应用介绍
和语音助手聊天最别扭的地方:你得等它说完,它也听不出你是在开玩笑还是在生气,回答永远一个调子。Sophon-Realtime 是一组开源的全双工语音模型,你说话的时候它一直在听,还能听出语气,回答时该笑就笑,该叹气就叹气。
它会在你说话的同时起草回复,你中途插话它就停下来回答新问题,首个音频最快 0.31 秒就出来。听语气这块在公开测评里排第一,情绪、重音、讽刺、笑声和叹息都能直接从声音里分辨。回复里的笑、叹气、呼吸是模型根据对话自己决定的,声音会真的演出来,而不是把标签念出来。代码和权重都是 Apache-2.0,可以免费商用。
三个版本:Tag 偏表现力,适合陪伴和角色;Flash 偏速度,适合客服和车载;E2E 为预览版,面向研究。三者共用同一个 32B 的大脑。
全双工对话:边听边想,被打断时立刻停下回应新问题。
多语言:中文、英文和意大利语、德语、西班牙语、法语、葡萄牙语开箱可用,Flash 还支持日语和俄语。
工具调用:可以和更大的后端模型配合,兼容 OpenAI GPT-Live 的接口格式。
一张卡一条命令:Tag 和 Flash 用 vLLM-Omni 部署,一张 80 GB 显卡即可,分别支持约 16 和 40 个并发用户。
它会在你说话的同时起草回复,你中途插话它就停下来回答新问题,首个音频最快 0.31 秒就出来。听语气这块在公开测评里排第一,情绪、重音、讽刺、笑声和叹息都能直接从声音里分辨。回复里的笑、叹气、呼吸是模型根据对话自己决定的,声音会真的演出来,而不是把标签念出来。代码和权重都是 Apache-2.0,可以免费商用。
软件功能
三个版本:Tag 偏表现力,适合陪伴和角色;Flash 偏速度,适合客服和车载;E2E 为预览版,面向研究。三者共用同一个 32B 的大脑。
全双工对话:边听边想,被打断时立刻停下回应新问题。
多语言:中文、英文和意大利语、德语、西班牙语、法语、葡萄牙语开箱可用,Flash 还支持日语和俄语。
工具调用:可以和更大的后端模型配合,兼容 OpenAI GPT-Live 的接口格式。
一张卡一条命令:Tag 和 Flash 用 vLLM-Omni 部署,一张 80 GB 显卡即可,分别支持约 16 和 40 个并发用户。


