Accelerate documentation

استدلال النماذج الكبيرة

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.15.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

استدلال النماذج الكبيرة

من أبرز التطورات التي يوفرها Accelerate هي Big Model Inference، والتي تتيح لك تنفيذ الاستدلال مع نماذج لا تتسع بالكامل على بطاقة الرسوميات الخاصة بك.

ستُظهر لك هذه الشرحية كيفية استخدام Big Model Inference في Accelerate ونظام Hugging Face البيئي.

Accelerate

يُظهر ما يلي سير عمل نموذجي لتحميل نموذج PyTorch. ModelClass هو نموذج يتجاوز ذاكرة وحدة معالجة الرسوميات (GPU) لجهازك (mps أو cuda أو xpu).

import torch

my_model = ModelClass(...)
state_dict = torch.load(checkpoint_file)
my_model.load_state_dict(state_dict)

في الاستدلال على النماذج الكبيرة، تكون الخطوة الأولى هي تهيئة هيكل فارغ للنموذج باستخدام مدير السياق init_empty_weights. ولا يتطلب ذلك أي ذاكرة لأن my_model «خالي من المعاملات».

from accelerate import init_empty_weights
with init_empty_weights():
    my_model = ModelClass(...)

بعد ذلك، يتم تحميل الأوزان في النموذج للاستدلال.

تقوم طريقة load_checkpoint_and_dispatch() بتحميل نقطة التفتيش داخل نموذجك الفارغ وتوزيع أوزان كل طبقة عبر جميع الأجهزة المتاحة، بدءًا من الأجهزة الأسرع (GPU، MPS، XPU، NPU، MLU، SDAA، MUSA) قبل الانتقال إلى الأجهزة الأبطأ (وحدة المعالجة المركزية CPU والقرص الصلب).

يؤدي تعيين device_map="auto" إلى ملء جميع المساحة المتاحة على وحدات معالجة الرسوميات (GPU) أولاً، ثم وحدة المعالجة المركزية (CPU)، وأخيراً القرص الصلب (وهو الخيار الأبطأ على الإطلاق) إذا لم تكن هناك ذاكرة كافية بعد.

راجع دليل تصميم خريطة الأجهزة لمزيد من التفاصيل حول كيفية تصميم خريطة الأجهزة الخاصة بك.

from accelerate import load_checkpoint_and_dispatch

model = load_checkpoint_and_dispatch(
    model, checkpoint=checkpoint_file, device_map="auto"
)

إذا كانت هناك "مقاطع" معينة من الطبقات لا ينبغي تقسيمها، فمررها إلى no_split_module_classes (انظر هنا لمزيد من التفاصيل).

يمكن أيضًا تقسيم أوزان النموذج إلى نقاط تحقق متعددة لتوفير الذاكرة، كما هو الحال عندما لا يتسع state_dict في الذاكرة (انظر هنا لمزيد من التفاصيل).

الآن وقد تم توزيع النموذج بالكامل، يمكنك تنفيذ الاستدلال.

input = torch.randn(2,3)
device_type = next(iter(model.parameters())).device.type
input = input.to(device_type)
output = model(input)

في كل مرة يمرّ فيها مدخل عبر طبقة، يُرسل من وحدة المعالجة المركزية إلى وحدة معالجة الرسوميات (أو من القرص إلى وحدة المعالجة المركزية ثم إلى وحدة معالجة الرسوميات)، ثم يُحسب المخرج، وتُزال الطبقة من وحدة معالجة الرسوميات لتعود إلى الأسفل في التسلسل. وعلى الرغم من أن هذا يضيف بعض العبء الإضافي إلى الاستدلال، فإنه يتيح لك تشغيل أي نموذج بحجم على نظامك، طالما أن أكبر طبقة تتسع على وحدة معالجة الرسوميات لديك.

يمكن استخدام عدة وحدات معالجة رسومية، أو ما يُعرف بـ«توازي النموذج»، لكن وحدة معالجة رسومية واحدة فقط ستكون نشطة في أي لحظة معيّنة. وهذا يفرض على وحدة المعالجة الرسومية الانتظار حتى ترسل لها الوحدة السابقة المخرجات. يجب عليك تشغيل سكربتك بشكل طبيعي باستخدام Python بدلاً من أدوات أخرى مثل torchrun و accelerate launch.

اطّلع على مثال كامل للاستدلال على النماذج الكبيرة أدناه.

import torch
from accelerate import init_empty_weights, load_checkpoint_and_dispatch

with init_empty_weights():
    model = MyModel(...)

model = load_checkpoint_and_dispatch(
    model, checkpoint=checkpoint_file, device_map="auto"
)

input = torch.randn(2,3)
device_type = next(iter(model.parameters())).device.type
input = input.to(device_type)
output = model(input)

نظام هافينغ فاس البيئي

تدعم مكتبات أخرى في منظومة Hugging Face، مثل Transformers أو Diffusers، الاستدلال على النماذج الكبيرة في منشئات from_pretrained الخاصة بها.

كل ما عليك فعله هو إضافة device_map="auto" في from_pretrained لتفعيل استنتاج النماذج الكبيرة.

على سبيل المثال، حمّل نموذج Big Sciences T0pp الذي يحتوي على 11 مليار معامل باستخدام Big Model Inference.

from transformers import AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp", device_map="auto")

بعد تحميل النموذج، تُنفَّذ خطوات التهيئة الفارغة والتوجيه الذكي المذكورة سابقًا، فيصبح النموذج جاهزًا تمامًا للاستفادة من جميع الموارد في جهازك. ومن خلال هذه الدوال المنشئة، يمكنك أيضًا توفير المزيد من الذاكرة عن طريق تحديد معامل torch_dtype لتحميل النموذج بدقة أدنى.

from transformers import AutoModelForSeq2SeqLM

model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp", device_map="auto", torch_dtype=torch.float16)

الخطوات التالية

للحصول على شرح أكثر تفصيلاً للاستدلال على النماذج الكبيرة، تأكد من الاطلاع على الدليل المفاهيمي!

Update on GitHub