# أضِف Accelerate إلى كودك

لكل إطار عمل للتدريب الموزّع أسلوبه الخاص في العمل، مما قد يتطلب كتابة الكثير من الأكواد المخصصة لتكييفه مع كود التدريب الخاص بك في PyTorch وبيئة التدريب. يقدّم Accelerate طريقة سهلة للتفاعل مع هذه أطر العمل للتدريب الموزّع دون الحاجة إلى تعلّق التفاصيل المحددة لكل إطار منها. يتكفّل Accelerate بتلك التفاصيل نيابةً عنك، مما يتيح لك التركيز على كود التدريب وتوسيع نطاقه إلى أي بيئة تدريب موزّع.

في هذا الشرح التعليمي، ستتعلم كيفية تكييف كود PyTorch الخاص بك باستخدام Accelerate لتسهيل تدريبك على الأنظمة الموزعة! ستبدأ بحلقة تدريب أساسية في PyTorch (على افتراض أن جميع كائنات التدريب مثل `model` و`optimizer` تم إعدادها بالفعل) ثم تدمج Accelerate فيها تدريجيًا.

```python
device = "cuda"
model.to(device)

for batch in training_dataloader:
    optimizer.zero_grad()
    inputs, targets = batch
    inputs = inputs.to(device)
    targets = targets.to(device)
    outputs = model(inputs)
    loss = loss_function(outputs, targets)
    loss.backward()
    optimizer.step()
    scheduler.step()
```

## مُسرِّع

يُعدّ [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator) الفئة الرئيسية لتكييف كودك للعمل مع Accelerate. فهي على دراية بإعداد التوزيع الذي تستخدمه، مثل عدد العمليات المختلفة ونوع العتاد لديك. كما توفر هذه الفئة الوصول إلى العديد من الطرق اللازمة لتمكين كود PyTorch الخاص بك من العمل في أي بيئة تدريب موزعة، ولإدارة العمليات وتنفيذها عبر الأجهزة.

لهذا السبب يجب أن تبدأ دائمًا باستيراد [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator) وإنشاء مثيل منه في سكربت الخاص بك.

```python
from accelerate import Accelerator

accelerator = Accelerator()
```

يعرف [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator) أيضاً الجهاز الذي يجب نقل كائنات PyTorch الخاصة بك إليه، لذا يُوصى بترك الأمر لـ Accelerate للتعامل مع ذلك نيابةً عنك.

```diff
- device = "cuda"
+ device = accelerator.device
  model.to(device)
```

## تجهيز كائنات PyTorch

في الخطوة التالية، تحتاج إلى تجهيز كائنات PyTorch الخاصة بك (النموذج، المُحسِّن، المُجدوِل، إلخ) للتدريب الموزَّع. يتكفّل [prepare()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.prepare) بوضع النموذج في الحاوية المناسبة (مثل GPU واحد أو عدة GPUs) وفقاً لإعداد التدريب لديك، وتكييف المُحسِّن والمُجدوِل لاستخدام [AcceleratedOptimizer](/docs/accelerate/v1.16.0/ar/package_reference/torch_wrappers#accelerate.optimizer.AcceleratedOptimizer) و[AcceleratedScheduler](/docs/accelerate/v1.16.0/ar/package_reference/torch_wrappers#accelerate.scheduler.AcceleratedScheduler) من Accelerate، وإنشاء مُحمِّل بيانات جديد يمكن تقسيمه عبر العمليات.

> [!TIP]
> يُعدّ Accelerate فقط الكائنات التي ترث من فئات PyTorch المقابلة لها مثل `torch.optim.Optimizer`.

تُعاد كائنات PyTorch بنفس الترتيب الذي أُرسلت به.

```py
model, optimizer, training_dataloader, scheduler = accelerator.prepare(
    model, optimizer, training_dataloader, scheduler
)
```

## حلقة التدريب

أخيرًا، احذف استدعاءات `to(device)` للمدخلات والأهداف في حلقة التدريب لأن فئات DataLoader الخاصة بـ Accelerate تضعها تلقائيًا على الجهاز الصحيح. كما يجب أن تستبدل مسار `backward()` المعتاد بطريقة [backward()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.backward) الخاصة بـ Accelerate التي تقوم بتحديد مقياس التدرجات نيابةً عنك وتستخدم طريقة `backward()` المناسبة اعتمادًا على إعدادك الموزع (على سبيل المثال، DeepSpeed أو Megatron).

```diff
-   inputs = inputs.to(device)
-   targets = targets.to(device)
    outputs = model(inputs)
    loss = loss_function(outputs, targets)
-   loss.backward()
+   accelerator.backward(loss)
```

اجمع كل شيء معًا، وستبدو حلقة تدريب Accelerate الجديدة لديك على النحو التالي!

```python
from accelerate import Accelerator
accelerator = Accelerator()

device = accelerator.device
model, optimizer, training_dataloader, scheduler = accelerator.prepare(
    model, optimizer, training_dataloader, scheduler
)

for batch in training_dataloader:
    optimizer.zero_grad()
    inputs, targets = batch
    outputs = model(inputs)
    loss = loss_function(outputs, targets)
    accelerator.backward(loss)
    optimizer.step()
    scheduler.step()
```

## ميزات التدريب

توفر مكتبة Accelerate ميزات إضافية - مثل تراكم التدرجات، وقص التدرجات، والتدريب بدقة مختلطة وغيرها - يمكنك إضافتها إلى سكربتك لتحسين عملية التدريب. دعونا نستكشف هذه الميزات الثلاث.

### تراكم التدرجات

يتيح لك تراكم التدرّجات (Gradient accumulation) التدريب على أحجام دفعات (batch sizes) أكبر من خلال تراكم التدرّجات عبر دفعات متعددة قبل تحديث الأوزان. وقد يكون ذلك مفيدًا للتغلب على قيود الذاكرة. لتفعيل هذه الميزة في Accelerate، حدّد معامل `gradient_accumulation_steps` في فئة [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator) وأضف مدير السياق [accumulate()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.accumulate) إلى سكربتك.

```diff
+ accelerator = Accelerator(gradient_accumulation_steps=2)
  model, optimizer, training_dataloader = accelerator.prepare(model, optimizer, training_dataloader)

  for input, label in training_dataloader:
+     with accelerator.accumulate(model):
          predictions = model(input)
          loss = loss_function(predictions, label)
          accelerator.backward(loss)
          optimizer.step()
          scheduler.step()
          optimizer.zero_grad()
```

### قص التدرجات

تُعدّ تقليم التدرّجات تقنيةً للوقاية من "انفجار التدرّجات"، ويوفّر Accelerate:

* [clip_grad_value_()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.clip_grad_value_) لقص التدرجات إلى قيمة دنيا وقيمة قصوى
* [clip_grad_norm_()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.clip_grad_norm_) لتطبيع التدرجات إلى قيمة معينة

### الدقة المختلطة

يعمل الدقة المختلطة على تسريع التدريب من خلال استخدام نوع بيانات بدقة أقل مثل fp16 (دقة نصفية) لحساب التدرجات. للحصول على أفضل أداء مع Accelerate، يجب حساب الخسارة داخل نموذجك (كما هو الحال في نماذج Transformers) لأن الحسابات خارج النموذج تُحسب بالدقة الكاملة.

اضبط نوع الدقة المختلطة للاستخدام في [Accelerator](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator)، ثم استخدم مدير السياق [autocast()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.autocast) لتحويل القيم تلقائيًا إلى نوع البيانات المحدد.

> [!WARNING]
> يتيح Accelerate دقة مختلطة تلقائية، لذا لا يكون [autocast()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.autocast) مطلوباً إلا إذا كانت هناك عمليات دقة مختلطة أخرى بخلاف تلك التي تُنفَّذ على الخسارة بواسطة [backward()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.backward) والتي تتعامل بالفعل مع التوسيع.

```diff
+ accelerator = Accelerator(mixed_precision="fp16")
+ with accelerator.autocast():
      loss = complex_loss_function(outputs, target)
```

## الحفظ والتحميل

يمكن لـ Accelerate أيضًا حفظ *النموذج* وتحميله بعد اكتمال التدريب، أو يمكنك حفظ *الحالة* للنموذج والمُحسِّن، وهو ما قد يكون مفيدًا لاستئناف التدريب.

### النموذج

بمجرد اكتمال جميع العمليات، افكّ تغليف النموذج باستخدام طريقة [unwrap_model()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.unwrap_model) قبل حفظه، لأن طريقة [prepare()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.prepare) قامت بتغليف نموذجك في الواجهة المناسبة للتدريب الموزّع. إذا لم تفكّ تغليف النموذج، فإن حفظ قاموس حالة النموذج سيؤدي أيضاً إلى حفظ أي طبقات إضافية محتملة من النموذج الأكبر، ولن تتمكن من تحميل الأوزان مرة أخرى إلى نموذجك الأساسي.

يجب عليك استخدام طريقة [save_model()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.save_model) لفك تغليف النموذج وحفظ قاموس حالة النموذج. كما يمكن لهذه الطريقة حفظ النموذج في نقاط تحقق مجزأة أو في صيغة [safetensors](https://hf.co/docs/safetensors/index).

```py
accelerator.wait_for_everyone()
accelerator.save_model(model, save_directory)
```

بالنسبة إلى النماذج من مكتبة [Transformers](https://hf.co/docs/transformers/index)، احفظ النموذج باستخدام الطريقة [save_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel.save_pretrained) بحيث يمكن إعادة تحميله باستخدام الطريقة [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel.from_pretrained).

```py
from transformers import AutoModel

unwrapped_model = accelerator.unwrap_model(model)
unwrapped_model.save_pretrained(
    "path/to/my_model_directory",
    is_main_process=accelerator.is_main_process,
    save_function=accelerator.save,
)

model = AutoModel.from_pretrained("path/to/my_model_directory")
```

لتحميل أوزانك، استخدم طريقة [unwrap_model()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.unwrap_model) لفك تغليف النموذج أولاً قبل تحميل الأوزان. جميع معاملات النموذج هي مراجع إلى المصفوفات (tensors)، لذا يتم تحميل أوزانك داخل `model`.

```py
unwrapped_model = accelerator.unwrap_model(model)
path_to_checkpoint = os.path.join(save_directory,"pytorch_model.bin")
unwrapped_model.load_state_dict(torch.load(path_to_checkpoint))
```

اضبط `safe_serialization=True` لحفظ النموذج بتنسيق safetensor.

```py
accelerator.wait_for_everyone()
accelerator.save_model(model, save_directory, max_shard_size="1GB", safe_serialization=True)
```

لتحميل نقطة تحقق مجزأة أو نقطة تحقق بتنسيق safetensor، استخدم طريقة [load_checkpoint_in_model()](/docs/accelerate/v1.16.0/ar/package_reference/big_modeling#accelerate.load_checkpoint_in_model). تتيح لك هذه الطريقة تحميل نقطة تحقق على جهاز محدد.

```py
load_checkpoint_in_model(unwrapped_model, save_directory, device_map={"":device})
```

### الحالة

أثناء التدريب، قد ترغب في حفظ الحالة الحالية للنموذج والمُحسِّن ومولّدات الأعداد العشوائية، وربما مجدولات معدل التعلم، بحيث يمكن استعادتها في *النفس السكربت*. يجب عليك إضافة طريقتي [save_state()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.save_state) و[load_state()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.load_state) إلى سكربتك لحفظ الحالات وتحميلها.

لتخصيص مكان وحالة حفظ الحالات بشكل أكبر عبر [save_state()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.save_state)، استخدم فئة [ProjectConfiguration](/docs/accelerate/v1.16.0/ar/package_reference/utilities#accelerate.utils.ProjectConfiguration). على سبيل المثال، إذا كان `automatic_checkpoint_naming` مفعلاً، يُحفظ كل نقطة تحقق محفوظة في `Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}`.

يجب تسجيل أي عناصر أخرى ذات حالة يُراد حفظها باستخدام طريقة [register_for_checkpointing()](/docs/accelerate/v1.16.0/ar/package_reference/accelerator#accelerate.Accelerator.register_for_checkpointing) حتى يمكن حفظها وتحميلها. يجب أن تحتوي كل كائن يُمرر إلى هذه الطريقة ليتم حفظه على دالة `load_state_dict` ودالة `state_dict`.

> [!TIP]
> إذا كان لديك [`torchdata>=0.8.0`](https://github.com/pytorch/data/tree/main) مثبتًا، يمكنك أيضًا تمرير `use_stateful_dataloader=True` إلى [DataLoaderConfiguration](/docs/accelerate/v1.16.0/ar/package_reference/utilities#accelerate.DataLoaderConfiguration) الخاص بك. يوسّع هذا فئات DataLoader في Accelerate بوظيفة `load_state_dict` ووظيفة `state_dict`، ويجعل `Accelerator.save_state` و`Accelerator.load_state` تتتبع أيضًا مدى التقدم في قراءة مجموعة بيانات التدريب عند حفظ النموذج.

