Accelerate documentation

Mecanismos internos de Accelerate

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mecanismos internos de Accelerate

Internamente, Accelerate funciona analizando primero el entorno en el que se lanza el script para determinar qué tipo de configuración distribuida se utiliza, cuántos procesos distintos hay y en cuál de ellos se encuentra el script actual. Toda esa información se almacena en ~AcceleratorState.

Esta clase se inicializa la primera vez que instancias un ~Accelerator, así como al realizar cualquier inicialización específica que requiera tu configuración distribuida. Su estado se comparte de forma única a través de todas las instancias de AcceleratorState. (Lo mismo también se puede hacer con PartialState, una versión más básica de la que hereda)

Luego, al llamar a prepare(), la biblioteca:

Aunque los modelos, optimizadores y programadores se colocan simplemente en envoltorios, los dataloaders se recrean. Esto se debe principalmente a que PyTorch no permite al usuario cambiar el batch_sampler de un dataloader una vez que este ha sido creado, y la biblioteca gestiona la partición de los datos entre procesos cambiando ese batch_sampler para que devuelva cada num_processes lotes (si está habilitado).

La subclase DataLoaderShard de DataLoader añade la siguiente funcionalidad:

  • sincroniza el generador de números aleatorios apropiado de todos los procesos en cada nueva iteración, para garantizar que cualquier aleatorización (como el barajado) se realice de la misma manera exacta en todos los procesos.
  • coloca los lotes en el dispositivo adecuado antes de devolverlos (a menos que hayas desactivado device_placement=True).

Las subclases de DataLoaderDispatcher difieren de DataLoaderShard en que, al iterar sobre el DataLoader, los datos comienzan todos desde el proceso 0 y luego se dividen y envían a cada proceso, en lugar de que esto ocurra a nivel de conjunto de datos.

La sincronización del generador de números aleatorios sincronizará de forma predeterminada:

  • el atributo generator de un sampler determinado (como el RandomSampler de PyTorch) para PyTorch >= 1.6
  • el generador principal de números aleatorios en PyTorch <=1.5.1

Puede elegir qué generador(es) de números aleatorios sincronizar con el argumento rng_types del Accelerator principal. En PyTorch >= 1.6, se recomienda confiar en un generator local para evitar establecer la misma semilla en el generador principal de números aleatorios en todos los procesos.

La sincronización del generador principal de números aleatorios de torch (o de CUDA o XLA) afectará a cualquier otro artefacto aleatorio potencial que pueda haber en su conjunto de datos (como la aumentación aleatoria de datos), en el sentido de que todos los procesos obtendrán los mismos números aleatorios de los módulos aleatorios de torch (por lo que aplicarán la misma aumentación aleatoria de datos si esta está controlada por torch).

La parte de aleatorización de su sampler personalizado, batch sampler o dataset iterable debe realizarse utilizando un objeto local de torch.Generator (en PyTorch >= 1.6), consulte el RandomSampler tradicional como ejemplo.

Si tienes instalado torchdata>=0.8.0 y has pasado use_stateful_dataloader=True a tu DataLoaderConfiguration, estas clases heredarán directamente de StatefulDataLoader en su lugar, y mantendrán un state_dict.

Para más detalles sobre los detalles internos, consulte la página de detalles internos.

Update on GitHub