# Optimum Quanto

[Quanto](https://github.com/huggingface/optimum-quanto) هو واجهة خلفية لعمليات التكميم في PyTorch مخصصة لـ [Optimum](https://huggingface.co/docs/optimum/index). يتميز بدعم التكميم الخطي للأوزان (float8، int8، int4، int2) مع دقة تشبه إلى حد كبير دقة النماذج ذات الدقة الكاملة. كما أن Quanto متوافق مع أي نمط للنموذج وأي جهاز، مما يجعل استخدامه بسيطاً بغض النظر عن العتاد.

كما أن Quanto متوافق مع [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) لتوليد أسرع.

قم بتثبيت Quanto باستخدام الأمر التالي.

```bash
pip install optimum-quanto accelerate transformers
```

قم بتكميم نموذج من خلال إنشاء [QuantoConfig](/docs/transformers/v5.23.0/ar/main_classes/quantization#transformers.QuantoConfig) وتحديد معامل `weights` للتكميم إليه. يعمل هذا مع أي نموذج في أي نمط ما دام يحتوي على طبقات [torch.nn.Linear](https://pytorch.org/docs/stable/generated/torch.nn.Linear.html).

> [!TIP]
> يدعم تكامل Transformers تكميم الأوزان فقط. استخدم مكتبة Quanto مباشرةً إذا كنت بحاجة إلى تكميم التنشيط، أو المعايرة، أو QAT.

```py
from transformers import AutoModelForCausalLM, AutoTokenizer, QuantoConfig

quant_config = QuantoConfig(weights="int8")
model = transformers.AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B", 
    dtype="auto", 
    device_map="auto", 
    quantization_config=quant_config
)
```

## torch.compile

قم بتغليف نموذج Quanto باستخدام [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) لتسريع عملية التوليد.

```py
import torch
from transformers import AutoModelForSpeechSeq2Seq, QuantoConfig

quant_config = QuantoConfig(weights="int8")
model = AutoModelForSpeechSeq2Seq.from_pretrained(
  "openai/whisper-large-v2",
  dtype="auto",
  device_map="auto",
  quantization_config=quant_config
)

model = torch.compile(model)
```

## الموارد

اقرأ منشور المدونة [Quanto: a PyTorch quantization backend for Optimum](https://huggingface.co/blog/quanto-introduction) لمعرفة المزيد حول تصميم المكتبة والاختبارات القياسية.

لمزيد من الأمثلة العملية، اطّلع على [دفتر ملاحظات](https://colab.research.google.com/drive/16CXfVmtdQvciSh9BopZUDYcmXCDpvgrT?usp=sharing) الخاص بـ Quanto.

