最近語(yǔ)音 AI 圈子里有兩件值得放到一起琢磨的事Neuphonic 開(kāi)源了 43MB 的語(yǔ)音決策模型 NeuDecide主打不經(jīng)過(guò) ASR直接把用戶(hù)語(yǔ)音變成工具調(diào)用另一個(gè)是法國(guó) Mallow 團(tuán)隊(duì)推出的兒童無(wú)屏語(yǔ)音游戲音箱靠 AI 實(shí)時(shí)聽(tīng)孩子說(shuō)話(huà)、接住每一句回答驅(qū)動(dòng)游戲劇情往前走。前者面向開(kāi)發(fā)者后者面向家庭用戶(hù)表面看一個(gè)是模型、一個(gè)是硬件但它們指向同一個(gè)趨勢(shì)語(yǔ)音交互正在從“先聽(tīng)懂、再思考、再回答”的老三段往“聽(tīng)見(jiàn)就行動(dòng)”的方向塌縮。這兩件事適合誰(shuí)讀如果你是做語(yǔ)音助手的、做 IoT 產(chǎn)品的、或者正在糾結(jié)“要不要把 ASR 從鏈路里拿掉”的這套拆解應(yīng)該能幫你想清楚。如果你是做兒童內(nèi)容或教育硬件的Mallow 的產(chǎn)品定義也會(huì)給你一個(gè)參考樣本無(wú)屏不是功能缺失而是一種主動(dòng)選擇的交互約束。1. 為什么把這兩件事放在一起看1.1 傳統(tǒng)語(yǔ)音代理管線(xiàn)里ASR 不是免費(fèi)的過(guò)去幾年我們聊語(yǔ)音代理默認(rèn)的鏈路都長(zhǎng)這樣麥克風(fēng)采集音頻 → 喚醒詞 → ASR 轉(zhuǎn)寫(xiě)成文本 → NLU 理解意圖 → 對(duì)話(huà)管理 → 決策 → TTS 說(shuō)出來(lái)。這個(gè)架構(gòu)成熟、工具多、調(diào)試直觀但它有幾個(gè)被大家默默接受的問(wèn)題。第一是延遲疊加。ASR 本身要等一個(gè)完整句子的邊界一般要攢到 300 到 600 毫秒的音頻才敢出結(jié)果轉(zhuǎn)寫(xiě)又需要幾百毫秒后面 NLU 再跑一次一輪對(duì)話(huà)的“思考時(shí)間”輕松超過(guò)一秒。用戶(hù)只感受到一個(gè)字慢。尤其在做工具調(diào)用時(shí)中間每多一跳延遲預(yù)算就要多一分。第二是錯(cuò)誤級(jí)聯(lián)。ASR 一旦轉(zhuǎn)錯(cuò)后面全錯(cuò)。有些場(chǎng)景里用戶(hù)說(shuō)“幫我定明天七點(diǎn)的鬧鐘”ASR 聽(tīng)成“明天七點(diǎn)鐘”意圖層可能就懵了。這種錯(cuò)誤不是靠 NLU 優(yōu)化能完全解決的因?yàn)樾畔⒁呀?jīng)在轉(zhuǎn)寫(xiě)那一步丟了一部分。第三是韻律信息被抹掉。語(yǔ)音里除了詞還有停頓、語(yǔ)氣、重音、遲疑。文本化以后這些全沒(méi)了。用戶(hù)說(shuō)“嗯……那好吧”和“好的”轉(zhuǎn)寫(xiě)出來(lái)可能都是“好的”但意圖強(qiáng)度完全不一樣。ASR 后端模型做得再好原始音頻里的這些線(xiàn)索也拿不回來(lái)。所以當(dāng) NeuDecide 這類(lèi)“語(yǔ)音決策模型”出現(xiàn)的時(shí)候我第一反應(yīng)不是“又多了一個(gè)模型”而是“終于有人把 ASR 從決策路徑里請(qǐng)出去了”。1.2 從兒童無(wú)屏音箱反推產(chǎn)品需求無(wú)屏帶來(lái)了什么再看 Mallow 的這款無(wú)屏語(yǔ)音游戲音箱。很多人第一眼會(huì)問(wèn)都做 AI 音箱了為什么不加個(gè)屏加了屏看起來(lái)信息量更大、玩法更多。但如果你真的在家庭場(chǎng)景里待過(guò)就會(huì)發(fā)現(xiàn)屏幕恰恰是最大的干擾源。兒童產(chǎn)品面對(duì)的競(jìng)爭(zhēng)對(duì)象是平板、手機(jī)、電視上的視頻內(nèi)容。屏幕意味著高刺激孩子看著屏幕注意力就被吸過(guò)去了。無(wú)屏設(shè)計(jì)把交互壓縮到“聽(tīng)”和“說(shuō)”兩個(gè)通道孩子必須在腦子里建立空間想象和推理而不是被動(dòng)接收畫(huà)面。這其實(shí)是刻意在產(chǎn)品能力上做減法。但做減法不意味著技術(shù)也做減法。正因?yàn)闆](méi)有屏幕語(yǔ)音就成了唯一的交互通道。孩子說(shuō)“我要紅色的龍”音箱就不能顯示“紅色龍”三個(gè)字而是直接推動(dòng)游戲草叢里鉆出一條紅龍它希望你幫它找到三顆火石。所有的狀態(tài)、道具、劇情反饋都必須通過(guò)語(yǔ)音呈現(xiàn)這要求 AI 對(duì)每一句輸入的響應(yīng)都足夠快、足夠準(zhǔn)。實(shí)時(shí)聽(tīng)孩子語(yǔ)音這件事不是為了炒作“AI 實(shí)時(shí)”而是這種產(chǎn)品形態(tài)的基本功。從另一個(gè)角度看這是在消費(fèi)者硬件里驗(yàn)證語(yǔ)音決策模型的價(jià)值低延遲、低算力、端側(cè)或近端側(cè)部署、口語(yǔ)化指令直接驅(qū)動(dòng)邏輯。和 NeuDecide 面向的場(chǎng)景高度重合。1.3 兩條線(xiàn)交匯語(yǔ)音模型開(kāi)始直接“行動(dòng)”我會(huì)把這兩個(gè)項(xiàng)目放在一起主要是因?yàn)樗鼈兇砹苏Z(yǔ)音 AI 的一種范式變化語(yǔ)音不再必須先變成文字再變成意圖最后變成行動(dòng)。初級(jí)版本是直接學(xué)習(xí)“聲音 → JSON 動(dòng)作”的映射高級(jí)版本是讓模型在音頻語(yǔ)義空間中做推理。這對(duì)開(kāi)發(fā)者的影響很大。以前你要打磨 ASR 的領(lǐng)域?qū)Ｃ?、同音字、口音還要寫(xiě)規(guī)則把文本映射到參數(shù)槽位。如果語(yǔ)音決策模型能把“音頻 → 結(jié)構(gòu)化動(dòng)作”這件事做穩(wěn)很多中間工程就可以省掉。Mallow 這類(lèi)團(tuán)隊(duì)從第一天起就不用管“ASR 是不是把兒話(huà)音丟了”只要把“孩子說(shuō)了這句話(huà)之后應(yīng)該觸發(fā)什么劇情節(jié)拍”做好就行。當(dāng)然這也不是說(shuō) ASR 就該被淘汰。后面我會(huì)詳細(xì)分析端到端方案的局限但至少?gòu)内厔?shì)上看語(yǔ)音交互的軟件棧正在變薄這是好事。2. NeuDecide 核心拆解43MB 的語(yǔ)音決策模型怎么工作2.1 模型定位從語(yǔ)音到意圖而不是從語(yǔ)音到文本NeuDecide 這個(gè)模型給我的第一印象是兩個(gè)詞小、快。43MB 的權(quán)重體積說(shuō)明它設(shè)計(jì)之初就是奔著“低資源設(shè)備可跑”去的而不是那種只能在數(shù)據(jù)中心里燒卡的大模型。它做的事情可以理解為輸入一段語(yǔ)音直接輸出工具調(diào)用的結(jié)構(gòu)化結(jié)果。比如“幫我把客廳燈關(guān)掉”模型輸出的不是“幫我把客廳燈關(guān)掉”這句文本而是一個(gè)意圖動(dòng)作{action: turn_off_light, room: living_room}這樣的一件事。這種能力的關(guān)鍵在于訓(xùn)練目標(biāo)。傳統(tǒng)模型的訓(xùn)練目標(biāo)是預(yù)測(cè)下一個(gè) token也就是字符或詞NeuDecide 這類(lèi)語(yǔ)音決策模型的目標(biāo)是預(yù)測(cè)決策結(jié)果。它可以學(xué)習(xí)“用戶(hù)語(yǔ)音的聲學(xué)特征 → 語(yǔ)義嵌入 → 工具動(dòng)作”的映射。模型內(nèi)部可能仍然有一個(gè)語(yǔ)義表示層但它不需要把詞序完整還原。換句話(huà)說(shuō)它抓住的是“你要干什么”而不是“你嘴里說(shuō)的每個(gè)字是什么”。這個(gè)思路聽(tīng)起來(lái)簡(jiǎn)單實(shí)踐上有門(mén)檻語(yǔ)音里包含說(shuō)話(huà)人特征、背景噪聲、音調(diào)變化模型必須學(xué)會(huì)忽略與決策無(wú)關(guān)的信息只保留任務(wù)相關(guān)語(yǔ)義。要做到這一點(diǎn)需要在訓(xùn)練數(shù)據(jù)里構(gòu)造大量的“換說(shuō)法、換口音、換環(huán)境但動(dòng)作不變”的樣本讓模型自己學(xué)出穩(wěn)定的決策表示。2.2 43MB 背后的壓縮邏輯很多人看到 43MB 第一反應(yīng)是“這能智能嗎”實(shí)際上模型體積小不代表能力弱關(guān)鍵是看它的任務(wù)邊界被壓縮到什么程度。一個(gè)通用語(yǔ)音助手可能需要認(rèn)識(shí)幾十萬(wàn)個(gè)詞但一個(gè)工具調(diào)用模型的詞表可能只要覆蓋幾千個(gè)核心詞和上百個(gè)動(dòng)作名稱(chēng)就夠了。從工程角度推測(cè)43MB 大概率是這樣組成的一個(gè)緊湊的語(yǔ)音編碼器負(fù)責(zé)把音頻變成語(yǔ)義向量一個(gè)小型決策頭負(fù)責(zé)把語(yǔ)義向量映射到工具參數(shù)空間。編碼器可以用類(lèi)似蒸餾的方式從一個(gè)更大的語(yǔ)音理解模型中壓縮而來(lái)決策頭則根據(jù)具體工具集訓(xùn)練。如果再做 int8 量化體積還會(huì)下降推理速度也能提升。這給開(kāi)發(fā)者的啟發(fā)是別追求一個(gè)模型什么都能干先定義清楚“我要讓它決策什么”。比如一個(gè)音箱只需要十幾種動(dòng)作那模型的有效詞表就是這十幾類(lèi)參數(shù)規(guī)模完全不需要到 B 級(jí)。模型體積和場(chǎng)景廣度是直接掛鉤的。以下是典型的壓縮方向?qū)Ρ染S度傳統(tǒng)語(yǔ)音助手模型輕量語(yǔ)音決策模型參數(shù)量級(jí)0.5B ~ 7B通常 50M ~ 300M輸入文本來(lái)自 ASR音頻特征或語(yǔ)義嵌入輸出自由文本結(jié)構(gòu)化動(dòng)作/參數(shù)部署目標(biāo)云端 GPU邊緣設(shè)備/低功耗 SoC目標(biāo)詞表開(kāi)放受控/按領(lǐng)域裁剪延遲數(shù)百毫秒到秒級(jí)百毫秒級(jí)2.3 工具調(diào)用的輸入輸出設(shè)計(jì)端到端語(yǔ)音決策模型的輸出格式直接決定了它好不好用。NeuDecide 如果只是輸出一個(gè)“動(dòng)作 ID”那其實(shí)是把復(fù)雜問(wèn)題簡(jiǎn)單化了。實(shí)際工具調(diào)用往往需要參數(shù)時(shí)間、地點(diǎn)、名稱(chēng)、數(shù)量等。合理的輸出設(shè)計(jì)應(yīng)該是一段結(jié)構(gòu)化 JSON或者一組受限的 token 序列模型在解碼時(shí)被約束只能生成給定 schema 內(nèi)的字段。比如鬧鐘工具schema 是{time, label}音樂(lè)工具schema 是{playlist, device}。模型聽(tīng)到“放點(diǎn)爵士樂(lè)”就應(yīng)該輸出動(dòng)作play_music參數(shù)playlistjazz。參數(shù)槽位怎么填是關(guān)鍵。傳統(tǒng)的槽位填充是從文本中抽取實(shí)體而語(yǔ)音決策模型要直接從音頻特征中映射出槽位值。這對(duì)訓(xùn)練數(shù)據(jù)的要求很高因?yàn)椤拔妩c(diǎn)半”和“五點(diǎn)四十”在聽(tīng)感上只有細(xì)微差別模型必須對(duì)數(shù)字、時(shí)間這類(lèi)精確信息格外敏感。我建議如果你要復(fù)現(xiàn)或微調(diào)類(lèi)似模型一定要把數(shù)字、時(shí)間、人名、地名這類(lèi)實(shí)體強(qiáng)化合成到訓(xùn)練音頻里。輸出端的另一個(gè)問(wèn)題是怎么處理“不確定”。模型給一個(gè)動(dòng)作要附帶置信度比如confidence: 0.92。開(kāi)發(fā)者拿到這個(gè)值應(yīng)該設(shè)兩個(gè)閾值低于 0.6 直接不執(zhí)行轉(zhuǎn)向澄清話(huà)術(shù)在 0.6 到 0.85 之間執(zhí)行前先讓用戶(hù)確認(rèn)一遍。這個(gè)策略能避免很多尷尬的誤操作。2.4 不經(jīng) ASR 的真實(shí)收益與代價(jià)先說(shuō)收益。最直接的是延遲。端到端模型輸入是音頻特征不需要等待完整轉(zhuǎn)寫(xiě)通?？梢赃吢?tīng)邊推。模型輸出結(jié)構(gòu)化的動(dòng)作 token也省去了 NLU 這一步。整體下來(lái)一個(gè)“聽(tīng)懂到行動(dòng)”的延遲可以從傳統(tǒng)方案的 1.2 秒左右壓到 400 到 600 毫秒這是體感上“立即響應(yīng)”和“慢半拍”的分界線(xiàn)。其次是可靠性。ASR 可能聽(tīng)錯(cuò)詞但這種模型直接學(xué)習(xí)“哪段音頻對(duì)應(yīng)哪個(gè)動(dòng)作”。在動(dòng)作類(lèi)別固定的場(chǎng)景里它能學(xué)會(huì)對(duì)同義詞、口音、背景噪聲的魯棒性而不是依賴(lài)某個(gè)轉(zhuǎn)寫(xiě)結(jié)果剛好命中規(guī)則。舉例用戶(hù)說(shuō)“把燈滅了”和“關(guān)燈”傳統(tǒng)鏈路可能依賴(lài)兩個(gè)不同意圖模板端到端模型只要訓(xùn)練數(shù)據(jù)覆蓋了這兩種說(shuō)法就能學(xué)到同一個(gè)動(dòng)作。代價(jià)也明顯可解釋性差。ASR 出錯(cuò)了你能看到轉(zhuǎn)寫(xiě)文本定位是哪幾個(gè)詞錯(cuò)了語(yǔ)音決策模型出錯(cuò)你只能拿到一個(gè)意圖結(jié)果不知道它是哪段音頻特征讓你走偏的。調(diào)試時(shí)需要大量回放音頻和標(biāo)注工程體驗(yàn)不如老鏈路。還有領(lǐng)域泛化的問(wèn)題。傳統(tǒng)鏈路在 ASR 后面加一個(gè)新意圖只要追加幾個(gè)文本模板就行端到端模型要加一個(gè)新動(dòng)作通常得準(zhǔn)備一批新音頻樣本重新微調(diào)。所以它不是萬(wàn)能的更適合動(dòng)作集合相對(duì)穩(wěn)定的場(chǎng)景。3. 從硬件角度看 Mallow 的無(wú)屏語(yǔ)音游戲音箱3.1 無(wú)屏交互的適用邊界Mallow 把音箱設(shè)計(jì)成無(wú)屏我認(rèn)為不是偷懶而是保護(hù)交互重心。但無(wú)屏也不是所有內(nèi)容都適合。適合無(wú)屏的場(chǎng)景有幾個(gè)共同點(diǎn)目標(biāo)單一、需要持續(xù)口語(yǔ)對(duì)話(huà)、不太依賴(lài)視覺(jué)驗(yàn)證。講故事、角色扮演、語(yǔ)言游戲、猜謎這些都可以在大腦里完成畫(huà)面構(gòu)建適合無(wú)屏。反之如果孩子需要看選項(xiàng)、做選擇題、識(shí)別圖片那沒(méi)屏就非常難受。所以 Mallow 的產(chǎn)品邏輯應(yīng)該是把游戲內(nèi)容嚴(yán)格限定在“聽(tīng)力理解 口語(yǔ)表達(dá) 邏輯推理”這三類(lèi)上。孩子說(shuō)“我選擇走左邊那條路”音箱就描述左邊的森林里有什么而不是彈出一張地圖。這種體驗(yàn)用聲音驅(qū)動(dòng)是順暢的。從開(kāi)發(fā)者角度我的建議是如果你要做無(wú)屏語(yǔ)音產(chǎn)品先把“必須通過(guò)視覺(jué)才能理解的信息”列清楚。任何需要孩子盯住屏幕才能繼續(xù)的節(jié)點(diǎn)都是在和產(chǎn)品形態(tài)作對(duì)。要么改造內(nèi)容讓它變成純口頭描述要么放棄這個(gè)功能。3.2 實(shí)時(shí)語(yǔ)音鏈路喚醒、聆聽(tīng)、決策、回復(fù)這類(lèi)實(shí)時(shí)語(yǔ)音設(shè)備的技術(shù)鏈路比手機(jī) App 復(fù)雜不少。它要一直開(kāi)著麥克風(fēng)但又不能把所有聲音都傳給云端或模型否則功耗、隱私、帶寬都撐不住。一個(gè)典型的端側(cè)鏈路是這樣前端拾音與降噪麥克風(fēng)陣列做波束成形鎖定孩子的位置壓制電視聲、空調(diào)聲、家里人說(shuō)話(huà)聲。喚醒詞檢測(cè)專(zhuān)用低功耗喚醒模型常駐運(yùn)行檢測(cè)“你好小 Mallow”之類(lèi)的喚醒詞其他時(shí)候不啟動(dòng)主鏈路。語(yǔ)音活動(dòng)檢測(cè) VAD喚醒后判斷孩子是否開(kāi)始說(shuō)話(huà)區(qū)分靜音、噪聲和有效語(yǔ)音段。流式語(yǔ)音識(shí)別或語(yǔ)義編碼把音頻流切成小塊邊采邊處理不等整句說(shuō)完。Mallow 如果要做到“實(shí)時(shí)”就得同時(shí)依賴(lài)流式輸入和增量推理。游戲邏輯決策把識(shí)別出的語(yǔ)義或轉(zhuǎn)寫(xiě)結(jié)果送入決策模塊觸發(fā)角色反應(yīng)。語(yǔ)音合成播放用 TTS 生成角色臺(tái)詞或音效打斷和重新播放都要順滑。整個(gè)鏈路的核心要求是“低中斷”。孩子語(yǔ)音游戲跟成人用語(yǔ)音助手不一樣成人愿意等兒童一旦超過(guò)兩三秒沒(méi)有反饋?zhàn)⒁饬烷_(kāi)始漂。我見(jiàn)過(guò)一些兒童語(yǔ)音產(chǎn)品的測(cè)試數(shù)據(jù)響應(yīng)超過(guò) 1.5 秒孩子就會(huì)重復(fù)說(shuō)話(huà)或者直接放棄。所以 Mallow 這類(lèi)設(shè)備的實(shí)時(shí)性不是參數(shù)上的炫技是維持孩子參與感的必需品。3.3 兒童語(yǔ)音識(shí)別的難點(diǎn)與調(diào)整兒童語(yǔ)音與成人語(yǔ)音的聲學(xué)差異很大。孩子發(fā)聲器官還沒(méi)長(zhǎng)成音調(diào)偏高、音長(zhǎng)不穩(wěn)、氣聲重很多詞發(fā)音并不標(biāo)準(zhǔn)這給聲學(xué)模型帶來(lái)天然挑戰(zhàn)。如果直接把成人 ASR 模型搬過(guò)來(lái)識(shí)別率會(huì)肉眼可見(jiàn)地下降尤其是低齡兒童。針對(duì)兒童語(yǔ)音常規(guī)做法是這幾類(lèi)用兒童語(yǔ)音數(shù)據(jù)做聲學(xué)模型適配。但兒童語(yǔ)音語(yǔ)料稀缺且隱私敏感。提高系統(tǒng)對(duì)“半句話(huà)”的容忍度。孩子經(jīng)常說(shuō)一半就?；蛘甙选拔乙闭f(shuō)成“我要要”決策模塊要做容錯(cuò)而不是傻等。增加澄清機(jī)制。識(shí)別置信度低時(shí)游戲角色反問(wèn)“你是說(shuō)紅龍還是藍(lán)龍”用二選一縮小范圍這樣即使用戶(hù)發(fā)音模糊系統(tǒng)也能通過(guò)約束選項(xiàng)把任務(wù)完成。擴(kuò)大允許說(shuō)法集合。孩子會(huì)說(shuō)“那個(gè)紅色的”也可能說(shuō)“火龍”還可能說(shuō)“我要那條紅色的龍”訓(xùn)練數(shù)據(jù)一定要覆蓋不同的口語(yǔ)表達(dá)習(xí)慣。還要注意多說(shuō)話(huà)人的問(wèn)題。孩子可能和兄弟、父母同時(shí)在場(chǎng)設(shè)備需要分辨“誰(shuí)在跟音箱說(shuō)話(huà)”。前端聲源定位可以幫一部分忙但對(duì)語(yǔ)義層來(lái)說(shuō)最好是能檢測(cè)到多人對(duì)話(huà)時(shí)暫時(shí)不觸發(fā)決策避免把父母之間的閑聊當(dāng)成孩子的指令。3.4 產(chǎn)品體驗(yàn)細(xì)節(jié)從語(yǔ)音設(shè)計(jì)反推內(nèi)容工程很多人低估了無(wú)屏音箱的內(nèi)容制作成本。屏幕產(chǎn)品可以用畫(huà)面交代劇情無(wú)屏設(shè)備所有信息都只能通過(guò)語(yǔ)音和音效來(lái)傳達(dá)。設(shè)計(jì)角色臺(tái)詞時(shí)要說(shuō)人話(huà)不能像念說(shuō)明書(shū)。舉例屏幕游戲里道具欄會(huì)顯示“火焰石×3”無(wú)屏音箱就必須讓角色說(shuō)出來(lái)“你已經(jīng)找到了兩顆火焰石再找一顆我就能帶你飛過(guò)火山口啦。”這種口播狀態(tài)提示要頻繁但不能啰嗦。每一次對(duì)話(huà)都承擔(dān)兩個(gè)任務(wù)推進(jìn)劇情 狀態(tài)反饋。這是兒童語(yǔ)音游戲內(nèi)容工程的核心。另外音頻反饋必須多樣。同一個(gè)“回答正確”可以有好幾種表達(dá)方式“太棒了”“就是這樣”“紅龍點(diǎn)點(diǎn)頭”避免孩子聽(tīng)多了麻木。情緒表達(dá)要夸張TTS 要用有一定表現(xiàn)力的音色最好能支持帶情感的 SSML 標(biāo)記讓模型在句尾拖長(zhǎng)音或提高音調(diào)。Mallow 如果真想做出“游戲感”這塊比模型結(jié)構(gòu)更重要。4. 動(dòng)手實(shí)踐把“語(yǔ)音決策”思路搬進(jìn)自己的項(xiàng)目4.1 先明確場(chǎng)景適不適合端到端我在測(cè)試過(guò)幾類(lèi)端到端語(yǔ)音模型之后的一個(gè)結(jié)論是別跟風(fēng)替換先看你自己的場(chǎng)景。適合用語(yǔ)音決策模型的典型特點(diǎn)動(dòng)作集合有限。比如開(kāi)關(guān)設(shè)備、設(shè)定鬧鐘、選擇菜單、控制游戲角色。需要超低延遲。用戶(hù)說(shuō)完馬上要有反饋。部署環(huán)境算力緊張。內(nèi)存和 CPU 都有限。隱私敏感。不愿把原始音頻直接送云端或者不想保留中間文本日志。不太適合的場(chǎng)景包括需要開(kāi)放域知識(shí)問(wèn)答的需要逐字記事的比如聽(tīng)寫(xiě)、記錄電話(huà)號(hào)碼或者需要多種工具任意組合的。這些場(chǎng)景里 ASR LLM 的鏈路還是更有優(yōu)勢(shì)。4.2 一個(gè)最小可跑的本地決策流程這里我寫(xiě)一個(gè)示意性的流程方便理解。具體接口以你落地的模型為準(zhǔn)。假設(shè)模型加載方式類(lèi)似這樣from speech_model import SpeechDecisionModel, ToolRegistry registry ToolRegistry() registry.register( nameset_alarm, description設(shè)定一個(gè)鬧鐘, params{time: HH:MM, label: 鬧鐘名稱(chēng)(可選)} ) registry.register( nameplay_music, description播放指定風(fēng)格的歌, params{playlist: 歌曲風(fēng)格或歌單名稱(chēng)} ) model SpeechDecisionModel.from_checkpoint(checkpoints/neu-decide-43m) # 從麥克風(fēng)或音頻文件讀取一段語(yǔ)音 audio load_audio(user_request.wav, sample_rate16000) result model.decide(audioaudio, toolsregistry.schema()) print(result.action) # set_alarm print(result.params) # {time: 07:00, label: 明天起床} print(result.confidence) # 0.94關(guān)鍵點(diǎn)是registry.schema()把工具的 JSON Schema 傳給模型讓模型在受限動(dòng)作空間里選擇。如果沒(méi)有這個(gè)約束模型輸出很容易跑飛。拿到結(jié)果之后的處理邏輯我也建議統(tǒng)一if result.confidence 0.6: reply 我沒(méi)太聽(tīng)清你是想調(diào)鬧鐘還是放音樂(lè) elif result.confidence 0.85: reply f你是想定 {result.params.get(time)} 的{result.params.get(label, 鬧鐘)}嗎 else: execute_tool(result.action, result.params) reply 已經(jīng)幫你定好啦這個(gè)三段式處理幫我在實(shí)驗(yàn)里省了大量跟誤觸發(fā)搏斗的時(shí)間。4.3 延遲預(yù)算怎么算語(yǔ)音交互的延遲感知是個(gè)系統(tǒng)性的預(yù)算問(wèn)題。設(shè)計(jì)目標(biāo)建議定在用戶(hù)說(shuō)完話(huà)后 800 毫秒內(nèi)給出反饋。這對(duì)很多產(chǎn)品已經(jīng)比較舒適。接著把所有時(shí)間開(kāi)銷(xiāo)拆開(kāi)看環(huán)節(jié)典型耗時(shí)優(yōu)化思路麥克風(fēng)采集與前端20 ~ 50ms低延遲音頻驅(qū)動(dòng)環(huán)形緩沖端點(diǎn)檢測(cè) VAD10 ~ 50ms用流式 VAD不等完整停頓語(yǔ)音編碼/特征提取30 ~ 80ms小步長(zhǎng)、并行計(jì)算決策模型推理100 ~ 250msint8 量化、ONNX/TensorRT 優(yōu)化工具參數(shù)仲裁10 ~ 50ms規(guī)則校驗(yàn)不放大模型回復(fù)話(huà)術(shù)拼接10 ~ 30ms預(yù)置模板TTS 首包合成150 ~ 300msstreaming TTS不等全句合成完加起來(lái)大概 500 到 800ms體感上是“這個(gè)人反應(yīng)很快”。如果其中 ASR 環(huán)節(jié)占掉 400ms整體就會(huì)突破一秒只能靠提前打斷和搶話(huà)術(shù)來(lái)緩解體驗(yàn)打折。所以我做語(yǔ)音決策模型實(shí)驗(yàn)時(shí)慣性做法是先把音頻隊(duì)列和推理線(xiàn)程分開(kāi)。采集線(xiàn)程只負(fù)責(zé)往隊(duì)列塞音頻塊推理線(xiàn)程消費(fèi)隊(duì)列優(yōu)先拿最近一包數(shù)據(jù)。不要讓采集和推理在同一線(xiàn)程里互相等。4.4 接入工具時(shí)的魯棒性設(shè)計(jì)語(yǔ)音決策模型比文本模型更容易出現(xiàn)“幻覺(jué)動(dòng)作”。用戶(hù)說(shuō)了句“今天天氣怎么樣”你模型里沒(méi)這工具它可能會(huì)硬輸出一個(gè)不相干的 action。要抑制這種問(wèn)題有幾個(gè)操作層面的手段。第一在 schema 里顯式加入一個(gè)拒絕類(lèi)別。除了真實(shí)工具再加一個(gè) action 叫no_action或clarify訓(xùn)練時(shí)把領(lǐng)域外請(qǐng)求的樣本也放進(jìn)去讓模型學(xué)會(huì)“我不該處理”。這比單純依賴(lài)閾值判斷更可靠。第二參數(shù)值要做類(lèi)型校驗(yàn)。模型輸出time: abc時(shí)不要直接往鬧鐘模塊傳。先用解析函數(shù)驗(yàn)證格式不合規(guī)就進(jìn)入澄清流程。第三對(duì)不可逆操作設(shè)置二次確認(rèn)。比如“刪除錄音”“解鎖關(guān)卡”高置信度也建議確認(rèn)。設(shè)備語(yǔ)音是很輕量的操作多問(wèn)一句不會(huì)太煩人。第四保留文本影子鏈路用于日志。雖然主鏈路不依賴(lài) ASR但在開(kāi)發(fā)調(diào)試階段可以并行跑一個(gè) ASR 把音頻轉(zhuǎn)寫(xiě)成日志。這樣模型出錯(cuò)時(shí)你至少知道音頻里的真實(shí)內(nèi)容是什么。我在本地實(shí)驗(yàn)時(shí)就是這樣定位問(wèn)題的。5. 常見(jiàn)問(wèn)題與避坑記錄5.1 實(shí)測(cè)中的排查速查表癥狀可能原因處理方向模型頻繁把無(wú)關(guān)語(yǔ)音識(shí)別成動(dòng)作訓(xùn)練數(shù)據(jù)缺少領(lǐng)域外樣本加入負(fù)樣本和“不回應(yīng)”類(lèi)別換個(gè)口音/方言就失效聲學(xué)多樣性不足擴(kuò)充多口音訓(xùn)練麥克風(fēng)前端預(yù)處理數(shù)字、時(shí)間參數(shù)經(jīng)常錯(cuò)決策模型對(duì)精確數(shù)字敏感度不夠強(qiáng)化數(shù)字樣本后接輕量槽位校驗(yàn)端側(cè)推理卡頓模型未量化或線(xiàn)程未優(yōu)化做 int8 量化調(diào)低采樣并行度響應(yīng)太慢但推理不慢VAD 等完整句尾才出結(jié)果改成流式半句推理或縮短端側(cè)靜音判定兒童音箱誤喚醒喚醒模型被兒童音調(diào)觸發(fā)調(diào)高喚醒閾值加入說(shuō)話(huà)人方向校驗(yàn)連續(xù)對(duì)話(huà)后答非所問(wèn)缺失角色記憶或狀態(tài)重置維護(hù)短時(shí)上下文 buffer定期清理輸出 JSON 偶爾語(yǔ)法不完整解碼約束失效用約束解碼不要說(shuō)開(kāi)放文本再解析5.2 幾條獨(dú)家實(shí)操心得第一錄音回放是永遠(yuǎn)的神。我在做任何語(yǔ)音模型評(píng)測(cè)時(shí)會(huì)先錄五十條真實(shí)場(chǎng)景語(yǔ)音存成 wav然后批量跑一遍模型把結(jié)果和音頻一起列表對(duì)比。絕對(duì)不要在模型調(diào)試階段用麥克風(fēng)實(shí)時(shí)測(cè)試因?yàn)榄h(huán)境變量太多你根本分不清是模型的問(wèn)題還是采集的問(wèn)題。第二兒童語(yǔ)音場(chǎng)景必須做“預(yù)設(shè)答案收斂”。孩子在無(wú)屏游戲里自由表達(dá)時(shí)輸入空間近乎無(wú)限但游戲推進(jìn)只需要幾個(gè)選項(xiàng)。不要指望模型能理解所有表達(dá)而是讓游戲角色主動(dòng)把范圍縮小“你想先去湖邊還是去山洞”把自由度收斂到兩個(gè)選項(xiàng)決策模型準(zhǔn)確率會(huì)大幅上升。第三延遲和準(zhǔn)確率要放在一起調(diào)。只看準(zhǔn)確率不管速度很容易把模型越調(diào)越大只看速度不管準(zhǔn)確率又會(huì)陷入反復(fù)澄清。我建議先定延遲上限再在預(yù)算里找準(zhǔn)確率最大的那個(gè)模型尺寸。比如目標(biāo)端側(cè) 150ms 推理那就把 43MB、100MB、300MB 的候選模型都?jí)簻y(cè)一遍挑一個(gè)能同時(shí)在延遲和準(zhǔn)確率兩個(gè)指標(biāo)達(dá)標(biāo)的。第四TTS 的情感表達(dá)比想象中重要。語(yǔ)音決策模型再怎么強(qiáng)最終用戶(hù)感知的是音箱說(shuō)出來(lái)的那句話(huà)。普通 TTS 念“你好厲害呀”和帶孩子聲音說(shuō)“你好厲害呀”是完全兩種體驗(yàn)。Mallow 這類(lèi)產(chǎn)品一定需要可控制韻律的 TTS至少要能調(diào)整語(yǔ)速、音高、停頓。我見(jiàn)過(guò)太多項(xiàng)目在 NLU 上花大力氣最后栽在一句僵硬的語(yǔ)音反饋上。第五狀態(tài)管理是這類(lèi)系統(tǒng)的隱藏復(fù)雜度。多輪對(duì)話(huà)不是每一次都從零開(kāi)始音箱必須記住孩子已經(jīng)走到哪個(gè)劇情節(jié)點(diǎn)、答對(duì)了幾道題、任務(wù)目標(biāo)是什么。語(yǔ)音決策模型只負(fù)責(zé)“當(dāng)下這句話(huà)怎么理解”游戲狀態(tài)機(jī)要單獨(dú)做。把狀態(tài)存內(nèi)存里不行斷電重啟就丟。最好落盤(pán)或走云端賬戶(hù)否則孩子第二天重新開(kāi)機(jī)游戲進(jìn)度全沒(méi)了產(chǎn)品口碑會(huì)一夜崩塌。第六做真實(shí)設(shè)備測(cè)試時(shí)噪聲源要覆蓋完整。電視背景音、廚房水聲、另一個(gè)孩子玩玩具的聲音這些在實(shí)驗(yàn)室里想不出來(lái)的場(chǎng)景都會(huì)在家庭測(cè)試?yán)锍霈F(xiàn)。前端降噪和 VAD 參數(shù)一定要留出余量否則演示當(dāng)天模型被旁白背景音干擾決策結(jié)果東一句西一句基本無(wú)法看。最后分享一個(gè)我自己的習(xí)慣每次接入新語(yǔ)音決策模型先不要直接替換老鏈路而是讓它兩條路并行跑一段時(shí)間。同一個(gè)音頻流同時(shí)走舊的“ASRNLU”和新的“端到端決策”對(duì)比它們的動(dòng)作輸出、置信度和響應(yīng)時(shí)長(zhǎng)。這樣能很快找出新模型的盲區(qū)也能給團(tuán)隊(duì)一個(gè)平滑切換的余地。語(yǔ)音交互的變化來(lái)得比大多數(shù)人想象中快但方法論還是老一套多測(cè)、多錄、多復(fù)盤(pán)。