文/陈根

(资料图片)

你懂几国语言？据相关资料显示，世界上一共有7000多种语言。但是，我们懂的可能就只有几种或者几十种。而目前的计算机语音识别技术所能覆盖的则有100多种。这对于很多人来说，已经是天文级的数字了。但Meta新开源的语言模型却有着更大的突破。

自从和OpenAI、Google分道扬镳之后，Meta便在开源大模型方向上越走越深。日前，Meta在GitHub上新开源的AI语言模型——Massively Multilingual Speech ( MMS，大规模多语种语音)可以识别4000多种口头语言，是目前已知技术的40倍之多；还扩展了文本与语音之间的转化技术的涵盖范围，从大约100种语言到1100多种。不仅如此，Meta开源的MMS最突出的特点是不仅支持ASR，还支持TTS，也就是说不仅可以语音转文字，还可以文字转语音。

Meta的官网blog上特别提到的Tatuyo语，一种只有几百人在使用的小语种。虽然对于日常来说没什么用，但是对于研究来说却是一个很好的助手。那么，对于这种只有几百人使用的小语种，如何才能找到并有效的提炼数据集呢？

Meta介绍说，他们在数千种语言的音频数据收集过程中，使用了一种非常规的方法——宗教文本录音。“我们转向已被翻译成许多不同语言的宗教文本（例如《圣经》），并且其翻译已被广泛研究用于基于文本的语言翻译研究。而且，这些译本都有公开录音，记录了人们采用不同语言进行阅读的情景。”

同时，Meta 在 MMS 模型的训练中结合使用了公司的 “自监督语音表示学习”模型 wav2vec 2.0，使机器能够在不依赖标记训练数据的情况下进行学习；有了它，就可以在更少的数据上训练语音识别模型。

而对于此种方式可能导致的模型偏向性，Meta声称，“虽然这些数据来自特定领域，并且通常由男性阅读；但我们的分析表明，我们的模型在男性和女性声音方面表现同样出色。虽然录音的内容是宗教的，但我们的分析表明，这并不会使模型偏向于产生更多的宗教语言。”

在使用1B参数的wav2vec 2.0模型对1100多种语言进行多语言语音识别模型的训练的时候，研发人员发现，随着语言数量的增加，性能会有所下降，但非常轻微：从61种语言到1107种语言，字符错误率只增加约0.4%，但语言覆盖率却增加了17倍以上。”

就此问题，Meta还与OpenAI的Whisper做了详细的对比，在数据上训练的模型实现了一半的单词错误率，并且训练数据更少：Meta的训练数据只有45k小时的标注数据，要比Whisper少10倍，而语言支持却多了10倍，这是一个大的提高。不过，Meta亦表示它的新模型并不完美，“例如，语音转文本模型可能会错误转录选定的单词或短语，这存在一定风险。但是，我们仍然相信，整个 AI 社区的协作对于负责任地开发 AI 技术至关重要。”而目前，Meta 已经开源了相关的模型和代码，以便研究社区中的其他人可以在此工作基础上进行构建。

对于语音大模型的未来，Meta并没有完全做好设想，但他们希望可以通过称也做了设想，希望可以通过一个模型解决所有语言的多个语音任务。“我们为语音识别、语音合成和语言识别训练了不同的模型，但我们有理由相信在未来，一个模型将能够完成所有这些任务以及更多任务，从而带来更好的整体性能”，Meta 说道。

放眼未来，Meta希望扩大MMS的覆盖范围以支持更多语言，并改进其对方言的处理。进一步打破世界各地人群之间的语言障碍，让来自全球每个角落的人们都可以通过声音正常交流。这是一个美好的愿景，但我们相信这一天的迟早是要到来的。

关键词：