Intel Gaudi

Os usuários podem aproveitar os aceleradores de IA Intel Gaudi para treinar e inferir modelos de forma significativamente mais rápida e com melhor custo-benefício. A família de aceleradores de IA Intel Gaudi atualmente inclui três gerações de produtos: Intel Gaudi 1, Intel Gaudi 2 e Intel Gaudi 3. Cada servidor é equipado com 8 dispositivos, conhecidos como Habana Processing Units (HPUs), oferecendo 128GB de memória no Gaudi 3, 96GB no Gaudi 2 e 32GB no Gaudi de primeira geração. Para mais detalhes sobre a arquitetura de hardware subjacente, confira o Gaudi Architecture Overview.

Como funciona por padrão

Ele é ativado por padrão se um dispositivo Intel Gaudi for detectado. Para desativá-lo, passe a flag --cpu ao comando accelerate launch ou responda à pergunta correspondente ao responder ao questionário do accelerate config.

Você pode executar diretamente o script a seguir para testá-lo no Intel Gaudi:

accelerate launch /examples/cv_example.py --data_dir images

Limitações

Os seguintes recursos não fazem parte da biblioteca Accelerate e exigem Optimum for Intel Gaudi:

• fast_ddp, que implementa o DDP aplicando um all-reduce nos gradientes em vez do wrapper DDP do Torch.
• minimize_memory, usado para treinamento em fp8 e que permite manter os pesos em fp8 na memória entre as passadas de forward e backward, resultando em uma menor pegada de memória em troca de casts adicionais em fp8.
• context_parallel_size, usado para Context/Sequence Parallelism (CP/SP), que particiona as entradas da rede e as ativações ao longo da dimensão da sequência para reduzir a pegada de memória e aumentar o throughput.