# XLM-V

## 概述

XLM-V 是一个拥有 100 万词表的多语言语言模型，使用来自 Common Crawl 的 2.5TB 数据（与 XLM-R 相同）进行训练。它由 Davis Liang、Hila Gonen、Yuning Mao、Rui Hou、Naman Goyal、Marjan Ghazvininejad、Luke Zettlemoyer 和 Madian Khabsa 在 [XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models](https://huggingface.co/papers/2301.10472) 论文中提出。

XLM-V 论文的摘要：

*大型多语言语言模型通常依赖于在 100 多种语言间共享的单一词汇表。随着这些模型的参数量和深度不断增加，词汇表大小基本保持不变。这种词汇表瓶颈限制了 XLM-R 等多语言模型的表征能力。在本文中，我们提出了一种扩展至超大规模多语言词汇表的新方法：通过弱化词汇重叠较少的语言之间的 token 共享，并为每种语言分配足够的词汇容量以实现充分覆盖。与 XLM-R 相比，使用我们词汇表生成的分词结果通常更具语义意义且更短。利用这一改进的词汇表，我们训练了 XLM-V，一个拥有百万级 token 词汇表的多语言语言模型。XLM-V 在我们测试的所有任务上均优于 XLM-R，涵盖自然语言推理（XNLI）、问答（MLQA、XQuAD、TyDiQA）、命名实体识别（WikiAnn）以及低资源任务（Americas NLI、MasakhaNER）。*

该模型由 [stefan-it](https://huggingface.co/stefan-it) 贡献，其中包含在下游任务上使用 XLM-V 进行的详细实验。实验仓库可在[此处](https://github.com/stefan-it/xlm-v-experiments)找到。

## 使用技巧

- XLM-V 与 XLM-RoBERTa 模型架构兼容，只需将 [`fairseq`](https://github.com/facebookresearch/fairseq) 库中的模型权重进行转换即可。
- `XLMTokenizer` 实现用于加载词表并执行分词。

XLM-V（base 规模）模型可通过 [`facebook/xlm-v-base`](https://huggingface.co/facebook/xlm-v-base) 标识符获取。

XLM-V 的架构与 XLM-RoBERTa 相同，请参阅 [XLM-RoBERTa 文档](xlm-roberta) 以获取 API 参考和示例。

