Accelerate documentation
Treinamento acelerado do PyTorch no Mac
Treinamento acelerado do PyTorch no Mac
Com o lançamento do PyTorch v1.12, desenvolvedores e pesquisadores podem aproveitar as GPUs de Apple silicon para treinar modelos de forma significativamente mais rápida.
Isso permite executar fluxos de trabalho de machine learning, como prototipagem e fine-tuning, localmente, direto no Mac.
O Metal Performance Shaders (MPS) da Apple, como backend para o PyTorch, habilita essa funcionalidade e pode ser usado por meio do novo dispositivo "mps".
Isso mapeará os grafos computacionais e primitivos no framework MPS Graph e nos kernels otimizados fornecidos pelo MPS.
Para mais informações, consulte os documentos oficiais Introducing Accelerated PyTorch Training on Mac e MPS BACKEND.
Vantagens do Treinamento e da Inferência usando Chips Apple Silicon
- Permite que os usuários treinem redes maiores ou tamanhos de lote maiores localmente
- Reduz a latência de recuperação de dados e fornece acesso direto da GPU ao armazenamento de memória completo devido à arquitetura de memória unificada. Portanto, melhora o desempenho de ponta a ponta.
- Reduz os custos associados ao desenvolvimento baseado em nuvem ou à necessidade de GPUs locais adicionais.
Pré-requisitos: Para instalar o torch com suporte a mps, siga este ótimo artigo do medium GPU-Acceleration Comes to PyTorch on M1 Macs.
Como funciona por padrão
Ele é ativado por padrão em máquinas MacOs com GPUs Apple Silicon habilitadas para MPS.
Para desativá-lo, passe a flag --cpu ao comando accelerate launch ou responda à pergunta correspondente ao responder ao questionário do accelerate config.
Você pode executar diretamente o script a seguir para testá-lo em máquinas Apple Silicon com suporte a MPS:
accelerate launch /examples/cv_example.py --data_dir images
Algumas ressalvas a serem consideradas
- Configurações distribuídas
glooencclnão funcionam com o dispositivomps. Isso significa que, atualmente, apenas uma única GPU do tipo de dispositivompspode ser usada.
Por fim, lembre-se de que o Accelerate integra apenas o backend MPS. Portanto, se você tiver problemas ou dúvidas sobre o uso do backend MPS, abra uma issue no GitHub do PyTorch.