Accelerate documentation

Treinamento acelerado do PyTorch no Mac

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.15.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Treinamento acelerado do PyTorch no Mac

Com o lançamento do PyTorch v1.12, desenvolvedores e pesquisadores podem aproveitar as GPUs de Apple silicon para treinar modelos de forma significativamente mais rápida. Isso permite executar fluxos de trabalho de machine learning, como prototipagem e fine-tuning, localmente, direto no Mac. O Metal Performance Shaders (MPS) da Apple, como backend para o PyTorch, habilita essa funcionalidade e pode ser usado por meio do novo dispositivo "mps". Isso mapeará os grafos computacionais e primitivos no framework MPS Graph e nos kernels otimizados fornecidos pelo MPS. Para mais informações, consulte os documentos oficiais Introducing Accelerated PyTorch Training on Mac e MPS BACKEND.

Vantagens do Treinamento e da Inferência usando Chips Apple Silicon

  1. Permite que os usuários treinem redes maiores ou tamanhos de lote maiores localmente
  2. Reduz a latência de recuperação de dados e fornece acesso direto da GPU ao armazenamento de memória completo devido à arquitetura de memória unificada. Portanto, melhora o desempenho de ponta a ponta.
  3. Reduz os custos associados ao desenvolvimento baseado em nuvem ou à necessidade de GPUs locais adicionais.

Pré-requisitos: Para instalar o torch com suporte a mps, siga este ótimo artigo do medium GPU-Acceleration Comes to PyTorch on M1 Macs.

Como funciona por padrão

Ele é ativado por padrão em máquinas MacOs com GPUs Apple Silicon habilitadas para MPS. Para desativá-lo, passe a flag --cpu ao comando accelerate launch ou responda à pergunta correspondente ao responder ao questionário do accelerate config.

Você pode executar diretamente o script a seguir para testá-lo em máquinas Apple Silicon com suporte a MPS:

accelerate launch /examples/cv_example.py --data_dir images

Algumas ressalvas a serem consideradas

  1. Configurações distribuídas gloo e nccl não funcionam com o dispositivo mps. Isso significa que, atualmente, apenas uma única GPU do tipo de dispositivo mps pode ser usada.

Por fim, lembre-se de que o Accelerate integra apenas o backend MPS. Portanto, se você tiver problemas ou dúvidas sobre o uso do backend MPS, abra uma issue no GitHub do PyTorch.

Update on GitHub