# XLS-R

## 概述

XLS-R 模型由 Arun Babu、Changhan Wang、Andros Tjandra、Kushal Lakhotia、Qiantong Xu、Naman Goyal、Kritika Singh、Patrick von Platen、Yatharth Saraf、Juan Pino、Alexei Baevski、Alexis Conneau 和 Michael Auli 在 [XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale](https://huggingface.co/papers/2111.09296) 中提出。

该论文的摘要如下：

*本文提出了 XLS-R，一种基于 wav2vec 2.0 的跨语言语音表示学习大规模模型。我们在 128 种语言的近 50 万小时公开语音音频上训练了参数量高达 20 亿的模型，其公开数据量比已知最大的先前工作多了一个数量级。我们的评估涵盖了广泛的任务、领域、数据规模和语言，包括高资源和低资源语言。在 CoVoST-2 语音翻译基准测试中，我们将 21 个翻译方向到英语的平均 BLEU 分数比之前的最先进水平提高了 7.4。在语音识别方面，XLS-R 在 BABEL、MLS、CommonVoice 以及 VoxPopuli 上均优于已知的最佳先前工作，平均相对错误率降低了 14-34%。XLS-R 还在 VoxLingua107 语言识别上创造了新的最先进水平。此外，我们证明，在足够的模型规模下，当将英语语音翻译为其他语言时，跨语言预训练可以优于仅英语预训练，而这一设置通常有利于单语预训练。我们希望 XLS-R 能够帮助改善世界上更多语言的语音处理任务。*

相关检查点可以在 https://huggingface.co/models?other=xls_r 下找到。

原始代码可以在[此处](https://github.com/pytorch/fairseq/tree/master/fairseq/models/wav2vec)找到。

## 使用技巧

- XLS-R 是一个语音模型，它接受一个浮点数数组，该数组对应于语音信号的原始波形。
- XLS-R 模型使用连接主义时间分类（CTC）进行训练，因此模型输出必须使用 [Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/zh/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer) 进行解码。

XLS-R 的架构基于 Wav2Vec2 模型，请参阅 [Wav2Vec2 的文档页面](wav2vec2) 以获取 API 参考。

