이 모델은 2023-01-25에 HF papers에 게시되었으며, 2023-06-20에 Hugging Face Transformers에 기여되었습니다.

XLM-V

개요

XLM-V는 Common Crawl(2.5TB)에서 학습된 100만 토큰 어휘를 가진 다국어 언어 모델입니다(XLM-R과 동일). Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer, Madian Khabsa가 발표한 XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models 논문에서 소개되었습니다.

XLM-V 논문 초록에서:

대규모 다국어 언어 모델은 일반적으로 100개 이상의 언어에 걸쳐 공유되는 단일 어휘를 사용합니다. 이러한 모델의 매개변수 수와 깊이가 증가했음에도 불구하고, 어휘 크기는 크게 변하지 않았습니다. 이러한 어휘 병목 현상은 XLM-R과 같은 다국어 모델의 표현 능력을 제한합니다. 본 논문에서는 어휘가 거의 겹치지 않는 언어 간의 토큰 공유를 완화하고, 각 개별 언어에 대해 충분한 커버리지를 달성하도록 어휘 용량을 배분하여 매우 큰 다국어 어휘로 확장하는 새로운 접근법을 소개합니다. 제안된 어휘를 사용한 토큰화는 XLM-R과 비교할 때 일반적으로 더 의미론적으로 의미 있고 더 짧습니다. 이 개선된 어휘를 활용하여 100만 토큰의 어휘를 가진 다국어 언어 모델인 XLM-V를 학습했습니다. XLM-V는 자연어 추론(XNLI), 질의응답(MLQA, XQuAD, TyDiQA), 개체명 인식(WikiAnn)에서 저자원 작업(Americas NLI, MasakhaNER)에 이르기까지 테스트한 모든 작업에서 XLM-R보다 우수한 성능을 보였습니다.

이 모델은 stefan-it에 의해 기여되었으며, XLM-V를 활용한 다운스트림 작업에 대한 상세한 실험을 포함합니다. 실험 저장소는 여기에서 찾을 수 있습니다.

사용 팁

• XLM-V는 XLM-RoBERTa 모델 아키텍처와 호환되며, fairseq 라이브러리의 모델 가중치만 변환하면 됩니다.
• XLMTokenizer 구현체는 어휘를 로드하고 토큰화를 수행하는 데 사용됩니다.

XLM-V(기본 크기) 모델은 facebook/xlm-v-base 식별자로 사용할 수 있습니다.

XLM-V 아키텍처는 XLM-RoBERTa와 동일하며, API 참고 자료 및 예제는 XLM-RoBERTa 문서를 참조하세요.