Accelerate documentation
FSDP1 مقابل FSDP2
FSDP1 مقابل FSDP2
يشرح هذا الدليل الفروقات الرئيسية بين FSDP1 وFSDP2 ويساعدك على نقل كودك الحالي لاستخدام FSDP2 بأقل قدر من التعديلات.
كيف يكون FSDP2 أفضل من FSDP1؟
أولاً، نريد أن نفهم كيف يعمل FSDP1 وFSDP2 داخليًا لفهم الفروق بينهما. كما يساعدنا هذا في فهم قيود FSDP1 وكيف يحل FSDP2 هذه القيود.
سنناقش سيناريو لدينا فيه Layer واحد يحتوي على 3 طبقات Linear ومغلف باستخدام FSDP ليتم تقسيمه عبر وحدتي معالجة رسومية.

FSDP1
أولاً، علينا أن نفهم FSDP1 الأصلي والقيود التي يجلبها. فهو يمثل كل وحدة FSDP كـ FlatParameter واحد، وهو متجه أحادي البُعد يحتوي على جميع معاملات الوحدة، ثم يتم تقسيمه عبر الرتب. أي أنه إذا غطّيت Layer بـ FSDP1، فستحصل على شيء من هذا القبيل:

قد تلاحظ مشكلة. يتم تسطيح Layer بالكامل إلى FlatParameter واحد، ثم يتم تقسيمه عبر الرتب. ولكن إذا كان كائن FlatParameter واحدًا، فكيف نخزّن البيانات الوصفية؟ هذه إحدى القيود. فالتخزين السليم للبيانات الوصفية الخاصة بكل معامل، مثل dtype وrequires_grad وما إلى ذلك، غير ممكن دون بعض الحلول غير الأنيقة.
FSDP2
لهذا السبب تم تقديم FSDP2. فهو لا يستخدم FlatParameter، بل يستخدم بدلاً من ذلك DTensor وهو اختصار لـ “Distributed Tensor” (الموتر الموزّع). يمثل كل DTensor في الأساس torch.Tensor عاديًا تم تقسيمه عبر الرتب (ranks). يحتوي على بيانات وصفية عن torch.Tensor الأصلي وكيفية تقسيمه، وما هو نوع التوزيع وما إلى ذلك. لهذا السبب يُسمى per-parameter sharding (تقسيم لكل معامل). تُظهر الصورة التالية الفرق:

يُقسَّم كل معامل من معاملات Layer الأصلية عبر البُعد صفر، ويُوزَّع بين وحدتي معالجة رسومية. الآن، كل طبقة Linear هي DTensor منفصلة، وتخزين البيانات الوصفية لكل معامل ممكن وبسيط.
في الصورة أعلاه، تم تقسيم الموترات عبر البُعد الأول من أجل ملاءمة الصورة على الشاشة، وفي الواقع، يتم تقسيمها عبر البُعد صفر كما هو موضح أعلاه
ماذا يقدم FSDP2؟
FSDP2 هو إصدار جديد ومحسّن من واجهة برمجة التطبيقات الخاصة بالتدريب المتوازي للبيانات المجزأة بالكامل في PyTorch. ميزته الرئيسية هي استخدام DTensor لتمثيل المعاملات المجزأة. مقارنةً بـ FSDP1، يقدم:
- تنفيذ داخلي أبسط، حيث يكون كل
Parameterعبارة عنDTensorمنفصل - يتيح تجميدًا جزئيًا بسيطًا للمعاملات بسبب ما سبق، مما يجعل طرقًا مثل
LORAتعمل مباشرة دون إعدادات إضافية - مع
DTensor، يدعمFSDP2خلطfp8وأنواع المعاملات الأخرى في نفس النموذج دون أي إعداد مسبق - تحقق أسرع وأبسط للنقاط المحفوظة دون تواصل إضافي بين الرتب باستخدام
SHARDED_STATE_DICTوtorch.distributed.checkpoint، بحيث يقوم كل رتبة بحفظ شقته الخاصة والميتاداتا المقابلة لها - للتحميل، يستخدم
state_dictللنموذج المجزأ لتحميل المعاملات المجزأة مباشرة - دعم الحفظ غير المتزامن (asynchronous checkpointing)، حيث تُنسخ المعاملات أولاً إلى ذاكرة المعالج المركزي (CPU)، ثم يستمر الخيط الرئيسي (main thread) في التدريب بينما يقوم خيط آخر (thread) بتخزين المعاملات على القرص
- كفاءة الذاكرة واستخدام ذاكرة حتمي، لم يعد
FSDP2يستخدمrecordStreamبل يعتمد على المزامنة بين التدفقات (لمزيد من التفاصيل التقنية راجع هذا المنشور في المنتدى وهذه المشكلة) - في المستقبل، من المخطط تحسين أنماط الاتصال عبر
torch.compile، مما سيؤدي إلى تحسين الأداء وكفاءة استخدام الذاكرة بشكل أكبر
اختلافات واجهة برمجة التطبيقات
لقد ناقشنا بالفعل الفروقات الداخلية، والآن لنناقش الفروقات التي ستحتاج أنت، بصفتك مستخدماً، إلى معرفتها.
إليك أبرز التغييرات في خيارات التهيئة عند استخدام FSDP2 عبر سطر أوامر accelerate:
السابق (FSDP1) | جديد (FSDP2) | ما الذي تغيّر |
|---|---|---|
--fsdp_sharding_strategy | --fsdp_reshard_after_forward | يستبدل --fsdp_sharding_strategy، وقد تغيّر إلى true (سابقاً FULL_SHARD) أو false (سابقاً SHARD_GRAD_OP) |
--fsdp_backward_prefetch | **تمت الإزالة** | FSDP2 يستخدم خيار BACKWARD_PRE السابق افتراضياً، إذ لا يسمح هذا الخيار وحده بتداخل الاتصالات والحسابات |
--fsdp_forward_prefetch | **لم يتم تنفيذه بعد** | كيف يتم تنفيذ هذا قيد النقاش النشط، وفي الوقت الحالي لا يُدعم في FSDP2 |
--fsdp_sync_module_states | **تمت الإزالة** | مع FSDP2، يصبح هذا المعامل زائداً |
--fsdp_cpu_ram_efficient_loading | --fsdp_cpu_ram_efficient_loading | إذا كان true، فسيقوم FSDP2 بشكل مشابه بتحميل النموذج على الرتبة 0 فقط، ثم يتم مزامنة المعلمات مع الرتب الأخرى، وهذا هو السلوك نفسه في FSDP1، ومع ذلك، لم يعد من الضروري تعيين --fsdp_sync_module_states |
--fsdp_state_dict_type | --fsdp_state_dict_type | يصبح LOCAL_STATE_DICT غير مستخدم، ومع FSDP2 يصبح SHARDED_STATE_DICT الخيار الافتراضي، مما يؤدي إلى عدم وجود اتصالات إضافية وحفظ كل رتبة (rank) لقسمها الخاص، والخيار الآخر الممكن هو FULL_STATE_DICT والذي يؤدي إلى اتصالات إضافية وارتفاع في استخدام الذاكرة لكنه يحفظ النموذج الكامل من الرتبة 0. |
--fsdp_use_orig_params | **تمت الإزالة** | FSDP2 يستخدم فئة DTensor في الخلفية، مما يعني أنه دائمًا يستخدم المعاملات الأصلية افتراضيًا |
| **جديد** | --fsdp_version | 1 هو الخيار الافتراضي، وذلك لتفادي كسر الأكواد الموجودة مسبقًا، اضبطه على 2 لاستخدام FSDP2 |
بالنسبة لجميع الخيارات الأخرى التي تبقى دون تغيير، راجع توثيق FSDP.
كيفية الانتقال إلى FSDP2
في حال استخدام كود بايثون:
ما عليك سوى تعيين fsdp_version=2 عند إنشاء الإضافة الخاصة بك واستبدال الخيارات وفقاً للجدول أعلاه.
from accelerate import FullyShardedDataParallelPlugin, Accelerator
fsdp_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2
# other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)في حال استخدام تكوين YAML:
استخدم أداة التحويل الخاصة بنا:
accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml
سيؤدي هذا تلقائيًا إلى تحويل جميع إعدادات FSDP1 إلى ما يعادلها في FSDP2. استخدم --overwrite لتحديث الملف الموجود بدلاً من إنشاء ملف جديد.