说话人停顿半秒,是在找词,还是已经说完?即使转写足够快,抢答也会打断对话。沿着收音、交接话轮、核对答复和播放首段声音,可以把一次通话里的几种等待分开测。
ExecuTorch:多听一段,还是早点出字?
端侧识别得先攒够一个音频块。块越长,识别器能看到的上下文越多,第一批语音送入模型前也等得越久。
比较不同设置时,把收音等待和设备处理用时分开;主机上测得的词错误率回答的是另一个问题。
Voxtral 3:停顿之后,该谁开口?
转写给出说了什么,轮次结束检测决定何时把话交给 Agent。Voxtral 3 的通话流水线把两者分开,再接推理、工具调用与语音合成。
测试时可以分别记下用户停顿、系统判定说完和工具返回的时刻,区分抢话、迟迟不开口和等待外部服务。
Prism:在答案发声前改掉一句话
Prism 从音频保留语调和停顿,同时把准备说出的回答暴露为可检查、可修改的文本。
如果回答依赖外部工具,可以先核对工具结果,再放行相应文本;已经播出的声音可没有这次修改机会。
Phonon:第一段声音到了就开始播
Ollama 的语音接口可将 Phonon 合成的音频分块返回,播放器不必等整句写成文件。输出为 24 kHz 单声道 WAV 或 PCM。
验收时应记录首段何时可播,以及后续播放有没有断续。整段音频合成得快,并不能单独回答这两个问题。