Meta AI 最近发布了一个名为 Meta Spirit LM 的开源多模态语言模型，它能够在文本和语音之间实现无缝转换。这一模型支持多模态任务，既可以进行语音识别，也能够生成带有情感的语音。这款模型的出现为跨模态生成任务带来了新的可能，特别是在语音与文本的混合生成方面。
软件功能
- 自动语音识别（ASR）：Spirit LM 能够将语音输入准确地转换为文本输出，适用于语音识别任务。
- 文本转语音（TTS）：将文本输入转化为语音输出，支持自然流畅的语音生成。
- 语音与文本的混合生成：可以根据输入的模式（文本或语音）灵活生成相应的输出，支持在生成过程中自由切换模态。
- 情感语音生成（Expressive 版本）：生成带有情感的语音，例如“开心”、“愤怒”、“悲伤”等情感状态，极大提升了语音的自然性和表现力。
软件特点
- 两个版本：Meta Spirit LM 提供了 Base 和 Expressive 两个版本。Base 版本适合一般的语音识别和生成任务，而 Expressive 版本则可以生成带有情感的语音，使机器语音更加自然和富有表现力。
- 情感捕捉与生成：Expressive 版本 不仅能够理解语音中的情感，还可以通过不同的语调和风格生成带有情感的语音。例如，模型能够根据输入的情感状态生成带有“愤怒”、“悲伤”或“兴奋”色彩的语音内容。
- 跨模态任务：Spirit LM 支持多种跨模态任务，如 ASR 和 TTS，同时也能在生成过程中自由切换文本和语音，具备极高的灵活性。
应用场景
- 自动语音识别 (ASR)：适用于需要从语音转换为文本的场景，例如电话会议记录、语音笔记或语音助手。
- 文本转语音 (TTS)：可以用于虚拟助手、智能客服等需要将文本信息转化为自然语音输出的场景。
- 情感表达生成：Expressive 版本特别适合需要丰富情感表达的场景，如虚拟主播、虚拟助手、语音合成或对话系统，让生成的语音更符合用户情感需求。
- 跨模态生成：可以应用在创作、对话和翻译等场景中，根据文本或语音生成跨模态的输出。