Intel Gaudi

Les utilisateurs peuvent tirer parti des accélérateurs Intel Gaudi AI pour un entraînement et une inférence de modèles nettement plus rapides et économiques. La famille d'accélérateurs Intel Gaudi AI comprend actuellement trois générations de produits : Intel Gaudi 1, Intel Gaudi 2 et Intel Gaudi 3. Chaque serveur est équipé de 8 dispositifs, connus sous le nom de Habana Processing Units (HPUs), offrant 128 Go de mémoire sur Gaudi 3, 96 Go sur Gaudi 2 et 32 Go sur la première génération de Gaudi. Pour plus de détails sur l'architecture matérielle sous-jacente, consultez le Gaudi Architecture Overview.

Fonctionnement par défaut

Il est activé par défaut si un appareil Intel Gaudi est détecté. Pour le désactiver, passez le drapeau --cpu à la commande accelerate launch ou répondez à la question correspondante lors du questionnaire accelerate config.

Vous pouvez exécuter directement le script suivant pour le tester sur Intel Gaudi :

accelerate launch /examples/cv_example.py --data_dir images

Limites

Les fonctionnalités suivantes ne font pas partie de la bibliothèque Accelerate et nécessitent Optimum for Intel Gaudi :

• fast_ddp qui implémente DDP en appliquant un all-reduce sur les gradients au lieu de l'enveloppe DDP de Torch.
• minimize_memory, utilisé pour l’entraînement en fp8 et permettant de conserver les poids fp8 en mémoire entre les passes avant et arrière, ce qui réduit l’empreinte mémoire au prix de conversions fp8 supplémentaires.
• context_parallel_size, utilisé pour le parallélisme de contexte/séquence (CP/SP), qui partitionne les entrées du réseau et les activations le long de la dimension de séquence afin de réduire l’empreinte mémoire et d’augmenter le débit.