Accelerate documentation
الآليات الداخلية لـ Accelerate
الآليات الداخلية لـ Accelerate
داخليًا، يعمل Accelerate من خلال تحليل البيئة التي يُشغَّل فيها السكربت أولًا لتحديد نوع إعداد التوزيع المستخدم، وعدد العمليات المختلفة، وأي عملية يعمل فيها السكربت الحالي. تُخزَّن جميع تلك المعلومات في ~AcceleratorState.
يتم تهيئة هذه الفئة في المرة الأولى التي تنشئ فيها مثيلًا من ~Accelerator بالإضافة إلى تنفيذ أي تهيئة محددة يحتاجها إعدادك الموزّع. ثم يتم مشاركة حالتها بشكل فريد عبر جميع مثيلات AcceleratorState. (يمكن أيضًا القيام بذلك باستخدام PartialState، وهي نسخة أكثر بساطة ترث منها)
ثم، عند استدعاء prepare()، يقوم المكتبة بما يلي:
- يغلّف نموذجك (أو نماذجك) في الحاوية المُعدّة للإعداد الموزّع،
- يغلّف مُحسِّناتك في AcceleratedOptimizer،
- يغلّف مجدولك (أو مجدولاتك) في AcceleratedScheduler
- ينشئ نسخة جديدة من مُحمِّل البيانات الخاص بك في DataLoaderShard أو DataLoaderDispatcher
في حين أن النموذج (أو النماذج) والمُحسِّن (أو المُحسِّنات) والمُجدوِل (أو المُجدوِلات) تُوضع ببساطة في أغلفة بسيطة، فإن مُحمِّل البيانات (أو مُحمِّلات البيانات) يُعاد إنشاؤه. يعود ذلك في الغالب إلى أن PyTorch لا يسمح للمستخدم بتغيير batch_sampler لمُحمِّل بيانات بعد إنشائه، بينما تتعامل المكتبة مع تقسيم بياناتك بين العمليات عن طريق تغيير ذلك batch_sampler ليُنتج كل دفعة ثانية من أصل num_processes دفعات (إذا كان مفعَّلاً).
يرث DataLoaderShard من DataLoader لإضافة الوظائف التالية:
- يقوم بمزامنة مولّد الأرقام العشوائية المناسب لجميع العمليات عند كل تكرار جديد، لضمان أن أي عشوائية (مثل الخلط) تتم بالطريقة نفسها تمامًا عبر العمليات.
- يضع الدُفعات على الجهاز المناسب قبل تسليمها (ما لم تكن قد اخترت إلغاء
device_placement=True).
تختلف فئات DataLoaderDispatcher الفرعية عن DataLoaderShard في أنه عند التكرار عبر DataLoader، تبدأ البيانات كلها من العملية 0 ثم تُقسَّم وتُرسل إلى كل عملية، بدلاً من حدوث ذلك على مستوى مجموعة البيانات.
سيؤدي مزامنة مولّد الأرقام العشوائية إلى مزامنة ما يلي افتراضيًا:
- خاصية
generatorلمُعيّن معيّن (مثلRandomSamplerفي PyTorch) لـ PyTorch >= 1.6 - مولّد الأرقام العشوائية الرئيسي في PyTorch <=1.5.1
يمكنك اختيار مولّد الأرقام العشوائية (أو المولّدات) التي تريد مزامنتها عبر حجة rng_types في Accelerator الرئيسي. في PyTorch >= 1.6، يُوصى بالاعتماد على generator محلي لتجنب تعيين البذرة نفسها في مولّد الأرقام العشوائية الرئيسي في جميع العمليات.
ستؤثر مزامنة مولّد الأرقام العشوائية الرئيسي في torch (أو CUDA أو XLA) على أي عناصر عشوائية أخرى محتملة قد تكون موجودة في مجموعة البيانات الخاصة بك (مثل زيادة البيانات العشوائية) بمعنى أن جميع العمليات ستحصل على نفس الأرقام العشوائية من وحدات torch العشوائية (لذا ستطبق نفس زيادة البيانات العشوائية إذا كانت تتحكم بها torch).
يجب أن يتم الجزء المتعلق بالتشغيل العشوائي في عيّّانك المخصص أو عيّّان الدفعة أو مجموعة البيانات القابلة للتكرار باستخدام كائن
torch.Generatorمحلي (في PyTorch >= 1.6)، انظر إلىRandomSamplerالتقليدي كمثال.
إذا كان لديك torchdata>=0.8.0 مثبتًا، وقد مررت use_stateful_dataloader=True إلى DataLoaderConfiguration الخاص بك، فإن هذه الفئات ستورث مباشرةً من StatefulDataLoader بدلاً من ذلك، وتحافظ على state_dict.
لمزيد من التفاصيل حول البنية الداخلية، راجع صفحة البنية الداخلية.
Update on GitHub