# FSDP1 مقابل FSDP2

يشرح هذا الدليل الفروقات الرئيسية بين `FSDP1` و`FSDP2` ويساعدك على نقل كودك الحالي لاستخدام `FSDP2` بأقل قدر من التعديلات.

## كيف يكون FSDP2 أفضل من FSDP1؟

أولاً، نريد أن نفهم كيف يعمل `FSDP1` و`FSDP2` داخليًا لفهم الفروق بينهما. كما يساعدنا هذا في فهم قيود `FSDP1` وكيف يحل `FSDP2` هذه القيود.

سنناقش سيناريو لدينا فيه `Layer` واحد يحتوي على 3 طبقات `Linear` ومغلف باستخدام `FSDP` ليتم تقسيمه عبر وحدتي معالجة رسومية.

  

### FSDP1
أولاً، علينا أن نفهم `FSDP1` الأصلي والقيود التي يجلبها. فهو يمثل كل وحدة `FSDP` كـ `FlatParameter` واحد، وهو متجه أحادي البُعد يحتوي على جميع معاملات الوحدة، ثم يتم تقسيمه عبر الرتب. أي أنه إذا غطّيت `Layer` بـ `FSDP1`، فستحصل على شيء من هذا القبيل:

  

قد تلاحظ مشكلة. يتم تسطيح `Layer` بالكامل إلى `FlatParameter` واحد، ثم يتم تقسيمه عبر الرتب. ولكن إذا كان كائن `FlatParameter` واحدًا، فكيف نخزّن البيانات الوصفية؟ هذه إحدى القيود. فالتخزين السليم للبيانات الوصفية الخاصة بكل معامل، مثل `dtype` و`requires_grad` وما إلى ذلك، غير ممكن دون بعض الحلول غير الأنيقة.

### FSDP2
لهذا السبب تم تقديم `FSDP2`. فهو لا يستخدم `FlatParameter`، بل يستخدم بدلاً من ذلك `DTensor` وهو اختصار لـ "Distributed Tensor". يمثل كل `DTensor` في الأساس `torch.Tensor` عاديًا تم تقسيمه عبر الرتب. يحتوي على بيانات وصفية حول `torch.Tensor` الأصلي وكيفية تقسيمه، وما هو [نوع التوزيع](https://pytorch.org/docs/stable/distributed.tensor.html#module-torch.distributed.tensor.placement_types) وما إلى ذلك. لهذا السبب يُسمى `per-parameter sharding`. تُظهر الصورة التالية الفرق:

  

يُقسَّم كل معامل من معاملات `Layer` الأصلية عبر البُعد صفر، ويُوزَّع بين وحدتي معالجة رسومية. الآن، كل طبقة `Linear` هي `DTensor` منفصلة، وتخزين البيانات الوصفية لكل معامل ممكن وبسيط.

> [!TIP] 
> في الصورة أعلاه، تم تقسيم الموترات عبر البُعد الأول من أجل ملاءمة الصورة على الشاشة، وفي الواقع، يتم تقسيمها عبر البُعد صفر كما هو موضح أعلاه

## ماذا يقدم FSDP2؟

`FSDP2` هو إصدار جديد ومحسّن من واجهة التدريب المتوازي للبيانات المجزأة بالكامل في PyTorch. ميزته الرئيسية هي استخدام `DTensor` لتمثيل المعاملات المجزأة. مقارنةً بـ`FSDP1`، يقدم:
- تنفيذ داخلي أبسط، حيث يكون كل `Parameter` عبارة عن `DTensor` منفصل
- يتيح تجميدًا جزئيًا بسيطًا للمعاملات بسبب ما سبق، مما يجعل طرقًا مثل [`LORA`](https://huggingface.co/papers/2106.09685) تعمل مباشرة دون إعدادات إضافية
- مع `DTensor`، يدعم `FSDP2` خلط `fp8` وأنواع المعاملات الأخرى في نفس النموذج دون أي إعداد مسبق
- تحقق أسرع وأبسط للنقاط المحفوظة دون تواصل إضافي بين الرتب باستخدام `SHARDED_STATE_DICT` و [`torch.distributed.checkpoint`](https://pytorch.org/docs/stable/distributed.checkpoint.html)، بحيث يقوم كل رتبة بحفظ شقته الخاصة والميتاداتا المقابلة لها
- للتحميل، يستخدم `state_dict` للنموذج المجزأ لتحميل المعاملات المجزأة مباشرة
- دعم الحفظ غير المتزامن (asynchronous checkpointing)، حيث تُنسخ المعاملات أولاً إلى ذاكرة المعالج المركزي (CPU)، ثم يستمر الخيط الرئيسي (main thread) في التدريب بينما يقوم خيط آخر (thread) بتخزين المعاملات على القرص
- كفاءة الذاكرة واستخدام ذاكرة حتمي، لم يعد `FSDP2` يستخدم `recordStream` بل يعتمد على المزامنة بين التدفقات (لمزيد من التفاصيل التقنية راجع [هذا المنشور في المنتدى](https://dev-discuss.pytorch.org/t/fsdp-cudacachingallocator-an-outsider-newb-perspective/1486) و[هذه المشكلة](https://github.com/pytorch/pytorch/issues/114299))
- في المستقبل، من المخطط تحسين أنماط الاتصال عبر `torch.compile`، مما سيؤدي إلى تحسين الأداء وكفاءة استخدام الذاكرة بشكل أكبر

## اختلافات واجهة برمجة التطبيقات

لقد ناقشنا بالفعل الفروقات الداخلية، فلنناقش الآن الفروقات التي ستحتاج إلى معرفتها، بصفتك مستخدماً.

إليك أبرز التغييرات في خيارات التهيئة عند استخدام `FSDP2` عبر سطر أوامر `accelerate`:

Previous (`FSDP1`) | الجديد (`FSDP2`) | ما الذي تغيّر -- | -- | -- `--fsdp_sharding_strategy` | `--fsdp_reshard_after_forward` | يحلّ محلّ `--fsdp_sharding_strategy`، وتغيّر ليصبح `true` (كان `FULL_SHARD` سابقًا) أو `false` (كان `SHARD_GRAD_OP` سابقًا) `--fsdp_backward_prefetch` | \*\***أُزيل**\*\* | يستخدم `FSDP2` خيار `BACKWARD_PRE` السابق افتراضيًا، إذ لا يسمح هذا الخيار وحده بتداخل الاتصالات والحسابات `--fsdp_forward_prefetch` | \*\***لم يُنفَّذ بعد**\*\* | كيفية تنفيذ هذا الخيار قيد المناقشة النشطة، ولا يدعمه `FSDP2` حاليًا `--fsdp_sync_module_states` | \*\***أُزيل**\*\* | مع `FSDP2`، يصبح هذا المعامل زائدًا `--fsdp_cpu_ram_efficient_loading` | `--fsdp_cpu_ram_efficient_loading` | إذا كان `true`، فسيحمّل `FSDP2` النموذج على الرتبة 0 فقط بشكل مشابه، ثم تُزامَن المعاملات مع الرتب الأخرى، وهذا هو السلوك نفسه في `FSDP1`، غير أنه لم يعد مطلوبًا ضبط `--fsdp_sync_module_states` `--fsdp_state_dict_type` | `--fsdp_state_dict_type` | يصبح `LOCAL_STATE_DICT` عديم الفائدة، ومع `FSDP2` يكون `SHARDED_STATE_DICT` الخيار الافتراضي، مما يؤدي إلى عدم وجود اتصالات إضافية وحفظ كل رتبة لقسمها الخاص، والخيار الممكن الآخر هو `FULL_STATE_DICT` الذي يؤدي إلى اتصالات إضافية وارتفاع في استهلاك الذاكرة لكنه يحفظ النموذج الكامل من الرتبة 0. `--fsdp_use_orig_params` | \*\***أُزيل**\*\* | يستخدم `FSDP2` فئة `DTensor` في الخلفية، مما يعني أنه *يستخدم دائمًا* المعاملات الأصلية افتراضيًا \*\***جديد**\*\* | `--fsdp_version` | `1` هو الخيار الافتراضي، لتفادي كسر الأكواد الموجودة، اضبطه على `2` لاستخدام `FSDP2`

بالنسبة لجميع الخيارات الأخرى التي تبقى دون تغيير، راجع [توثيق `FSDP`](../usage_guides/fsdp).

## كيفية الانتقال إلى FSDP2

### في حال استخدام كود بايثون:
ما عليك سوى تعيين `fsdp_version=2` عند إنشاء الإضافة الخاصة بك واستبدال الخيارات وفقاً للجدول أعلاه.

```python
from accelerate import FullyShardedDataParallelPlugin, Accelerator

fsdp_plugin = FullyShardedDataParallelPlugin(
    fsdp_version=2
    # other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)
```

### في حال استخدام تكوين YAML:
استخدم أداة التحويل الخاصة بنا:
```bash
accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml
```

سيؤدي هذا تلقائيًا إلى تحويل جميع إعدادات FSDP1 إلى ما يعادلها في FSDP2. استخدم `--overwrite` لتحديث الملف الموجود بدلاً من إنشاء ملف جديد.

