نُشر هذا النموذج في أوراق HF في 25 يناير 2023، وأُضيف إلى مكتبة Hugging Face Transformers في 20 يونيو 2023.

XLM-V

نظرة عامة

XLM-V هو نموذج لغوي متعدد اللغات بمفردات تضم مليون رمز، تم تدريبه على 2.5 تيرابايت من البيانات من Common Crawl (نفس مصدر بيانات XLM-R). تم تقديمه في ورقة XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models التي كتبها Davis Liang وHila Gonen وYuning Mao وRui Hou وNaman Goyal وMarjan Ghazvininejad وLuke Zettlemoyer وMadian Khabsa.

من الملخص الخاص بورقة XLM-V:

تعتمد نماذج اللغة متعددة اللغات الكبيرة عادةً على مفردات واحدة مشتركة عبر أكثر من 100 لغة. ومع تزايد عدد المعلمات وعمق هذه النماذج، ظلت حجم المفردات دون تغيير كبير في الغالب. يُقيّد هذا الاختناق في المفردات قدرات التمثيل في النماذج متعددة اللغات مثل XLM-R. في هذه الورقة، نطرح نهجًا جديدًا للتوسع إلى مفردات متعددة اللغات ضخمة جدًا من خلال تقليل أهمية مشاركة الرموز بين اللغات التي تملك تداخلًا معجميًا ضئيلًا، وتخصيص سعة المفردات لتحقيق تغطية كافية لكل لغة على حدة. عمليات الترميز باستخدام مفرداتنا تكون عادةً أكثر دلالة دلاليًا وأقصر مقارنةً بـ XLM-R. بالاستفادة من هذه المفردات المحسّنة، درّبنا XLM-V، وهو نموذج لغة متعدد اللغات بمفردات تضم مليون رمز. يتفوق XLM-V على XLM-R في كل مهمة اختبرناها، بدءًا من الاستدلال اللغوي الطبيعي (XNLI)، والإجابة عن الأسئلة (MLQA، XQuAD، TyDiQA)، والتعرف على الكيانات المسمّاة (WikiAnn)، وصولًا إلى المهام منخفضة الموارد (Americas NLI، MasakhaNER).

تمت مساهمة هذا النموذج من قِبل stefan-it، بما في ذلك تجارب مفصّلة باستخدام XLM-V على المهام الفرعية. يمكن العثور على مستودع التجارب هنا.

نصائح للاستخدام

• يتوافق XLM-V مع بنية نموذج XLM-RoBERTa، حيث كان لا بد من تحويل أوزان النموذج فقط من مكتبة fairseq.
• تُستخدم عملية XLMTokenizer لتحميل قاموس الرموز وتنفيذ عملية التقطيع.

يتوفر نموذج XLM-V (بحجم أساسي) تحت المعرّف facebook/xlm-v-base.

بنية XLM-V هي نفسها بنية XLM-RoBERTa، لذا يُرجى الرجوع إلى توثيق XLM-RoBERTa للاطلاع على مرجع واجهة برمجة التطبيقات (API) والأمثلة.