Block 公司近日推出了一款名为 Dessa 的语音模型,该模型能够在本地运行,并具备模拟笑声、停顿、哽咽等情绪表达的能力,听感极为自然。据官方透露,Dessa 完全基于人类语音数据训练,训练过程仅使用了一组英伟达 GPU 机架。
Dessa 属于全双工模型,与 OpenAI 今年早些时候发布的 GPT-Live 类似,能够同时说话并收听用户语音。目前主流语音模型通常需要与大语言模型配合来获取知识;Block 表示,Dessa 自身知识来源于其训练所用的对话数据。
Block 指出,现有语音 AI 体验常常显得生硬且不自然,根本原因在于生成过程需要先将语音转为文本,再通过文本驱动语音合成。像 ElevenLabs v4、Fish Audio Drama 3 等许多模型依赖语音标签来控制情绪。而这家由杰克·多尔西领导的公司声称,Dessa 的情绪表达是模型原生内置的,不过目前尚不清楚其底层是否仍依赖某种标签来调节情绪。
Block 在博客中写道:“目前的语音 AI 交互体验实在糟糕。它先把你的语音转成文字,大量文字承载不了的信息直接丢失。即便是全球最强的 AI,也听不出你的情绪。我们认为这很不合理,不仅体验差,还存在潜在风险。”
研究团队发布了多段与 Dessa 的对话示例,这个智能体能够切换音色、语速和情绪。例如,在一段对话中,AI 表示自己工作很累,发声状态也随之带有疲惫感。
另一段示例中,AI 谈及对方带给自己安心的感受,语气中充满情绪,近乎哽咽。还有一段演示是 Block 员工与语音助手玩游戏。
官方说明指出,该模型可以在消费级电脑本地运行,设备门槛为 M4 Max 及更高配置的 MacBook。但目前 Dessa 暂不对外开放试用,Block 正向安全研究者发出测试邀请,重点测试这类语音智能体欺骗人类的风险场景。
据IT之家了解,Block 的主要业务是金融服务,面向小微企业提供解决方案,旗下 Square 已在用语音 AI 处理下单业务。自研这款可端侧运行的语音模型后,Block 有望以更低成本,推出更多面向商户与普通用户的语音产品。