跳到主内容

AI 产品与多模态

说话人停顿半秒,是在找词,还是已经说完?即使转写足够快,抢答也会打断对话。沿着收音、交接话轮、核对答复和播放首段声音,可以把一次通话里的几种等待分开测。

ExecuTorch:多听一段,还是早点出字?

端侧识别得先攒够一个音频块。块越长,识别器能看到的上下文越多,第一批语音送入模型前也等得越久。

比较不同设置时,把收音等待和设备处理用时分开;主机上测得的词错误率回答的是另一个问题。

阅读日报:多层 KV 读取、轨迹准入与长程机器人任务,ExecuTorch 流式 ASR|同时选择分块长度与精度PyTorch 工程评估(新窗口)

Voxtral 3:停顿之后,该谁开口?

转写给出说了什么,轮次结束检测决定何时把话交给 Agent。Voxtral 3 的通话流水线把两者分开,再接推理、工具调用与语音合成。

测试时可以分别记下用户停顿、系统判定说完和工具返回的时刻,区分抢话、迟迟不开口和等待外部服务。

阅读日报:稀疏页打包、低比特解码与语音流水线,Voxtral 3|语音、推理与工具调用接成流式流水线Mistral 发布说明(新窗口)

Prism:在答案发声前改掉一句话

Prism 从音频保留语调和停顿,同时把准备说出的回答暴露为可检查、可修改的文本。

如果回答依赖外部工具,可以先核对工具结果,再放行相应文本;已经播出的声音可没有这次修改机会。

阅读日报:工具就绪、内核契约与可检查语音,Prism|发声前保留可检查的文本Rime 原始发布(新窗口)

Phonon:第一段声音到了就开始播

Ollama 的语音接口可将 Phonon 合成的音频分块返回,播放器不必等整句写成文件。输出为 24 kHz 单声道 WAV 或 PCM。

验收时应记录首段何时可播,以及后续播放有没有断续。整段音频合成得快,并不能单独回答这两个问题。

阅读日报:缓存写入预算、可核验证明与本地语音,Ollama 语音|把 Phonon 接到本地流式输出Ollama 语音接口文档(新窗口)

延伸阅读