Parámetros

• dataloader (torch.utils.data.dataloader.DataLoader) — El cargador de datos para dividir entre varios dispositivos.
• device (torch.device) — El dispositivo de destino para el DataLoader devuelto.
• num_processes (int, opcional) — El número de procesos que se ejecutan de forma concurrente. Por defecto, tomará el valor indicado por PartialState.
• process_index (int, opcional) — El índice del proceso actual. Por defecto, tomará el valor proporcionado por PartialState.
• split_batches (bool, optional, defaults to False) — Whether the resulting DataLoader should split the batches of the original data loader across devices or yield full batches (in which case it will yield batches starting at the process_index-th and advancing of num_processes batches at each iteration).

  Otra forma de verlo es que el tamaño de lote observado será el mismo que el del dataloader inicial si esta opción se establece en True, y el tamaño de lote del dataloader inicial multiplicado por num_processes en caso contrario.

  Establecer esta opción en True requiere que el tamaño de lote del dataloader sea un múltiplo exacto de batch_size.

• put_on_device (bool, opcional, valor predeterminado False) — Indica si se deben colocar los lotes en device (solo funciona si los lotes son listas anidadas, tuplas o diccionarios de tensores).
• rng_types (lista de str o RNGType) — La lista de generadores de números aleatorios que se deben sincronizar al inicio de cada iteración. Debe ser uno o varios de los siguientes:
  • "torch": el generador de números aleatorios base de torch
  • "cuda": el generador de números aleatorios de CUDA (solo GPU)
  • El tipo de dispositivo de cualquier acelerador de PyTorch registrado: su generador de números aleatorios de dispositivo.
  • "xla": el generador de números aleatorios de XLA (solo TPU)
  • "generator": el torch.Generator del sampler (o del batch sampler si no hay sampler en su dataloader) o del dataset iterable (si existe) si el dataset subyacente es de ese tipo.
• dispatch_batches (bool, opcional) — Si se establece en True, el dataloader preparado solo se itera en el proceso principal y luego los lotes se dividen y se difunden a cada proceso. El valor predeterminado será True cuando el conjunto de datos subyacente sea un IterableDataset, y False en caso contrario.
• even_batches (bool, opcional, valor predeterminado True) — Si se establece en True, en los casos en que el tamaño total del lote en todos los procesos no divide exactamente al conjunto de datos, se duplicarán las muestras del inicio del conjunto de datos para que el lote pueda dividirse equitativamente entre todos los trabajadores.
• slice_fn_for_dispatch (Callable, optional) -- If passed, this function will be used to slice tensors across num_processes. Will default to [slice_tensors()](/docs/accelerate/main/en/package_reference/utilities#accelerate.utils.slice_tensors). This argument is used only when dispatch_batchesis set toTrue` and will be ignored otherwise.
• use_seedable_sampler (bool, opcional, valor predeterminado False) — Si se debe usar SeedableRandomSampler en lugar de RandomSampler para una mejor reproducibilidad. Esto conlleva un coste de posibles diferencias de rendimiento debido a los distintos algoritmos de barajado, pero garantiza que los resultados serán exactamente los mismos. Debe usarse junto con set_seed() en cada self.set_epoch
• data_seed (int, opcional, valor predeterminado None) — La semilla que se utilizará para el generador subyacente al usar use_seedable_sampler. Si es None, el generador utilizará la semilla predeterminada actual de torch.
• non_blocking (bool, opcional, valor predeterminado False) — Si se establece en True, el dataloader utilizará transferencias no bloqueantes de host a dispositivo. Si el dataloader tiene pin_memory establecido en True, esto ayudará a aumentar la superposición entre la transferencia de datos y los cálculos.
• use_stateful_dataloader (bool, opcional, valor predeterminado False) — “Si se establece en true, el dataloader preparado por el Accelerator estará respaldado por torchdata.StatefulDataLoader. Esto requiere que esté instalada la versión 0.8.0 o superior de torchdata que admita StatefulDataLoader.”
• torch_device_mesh (torch.distributed.DeviceMesh, opcional, valor predeterminado None) — Malla de dispositivos de PyTorch.

Parámetros

• batch_sampler (torch.utils.data.sampler.BatchSampler) — El batch sampler para dividir en varios shards.
• num_processes (int, opcional, valor predeterminado 1) — El número de procesos que se ejecutan de forma concurrente.
• process_index (int, opcional, valor predeterminado 0) — El índice del proceso actual.
• split_batches (bool, opcional, por defecto False) — Si los fragmentos deben crearse dividiendo un lote para dar una parte de él a cada proceso, o generando lotes completos diferentes en cada proceso.

  En dos procesos con un muestreador de [[0, 1, 2, 3], [4, 5, 6, 7]], esto resultará en:

  • el sampler en el proceso 0 para producir [0, 1, 2, 3] y el sampler en el proceso 1 para producir [4, 5, 6, 7] si este argumento se establece en False.
  • el sampler en el proceso 0 para producir [0, 1] y luego [4, 5] y el sampler en el proceso 1 para producir [2, 3] y luego [6, 7] si este argumento se establece en True.
• even_batches (bool, opcional, valor predeterminado True) — Indica si se debe volver al principio del muestreador cuando el número de muestras no es un múltiplo exacto de (tamaño original del lote / número de procesos).

Parámetros

• dataset (torch.utils.data.dataset.IterableDataset) — El batch sampler que se dividirá en varios fragmentos.
• batch_size (int, opcional, valor predeterminado 1) — El tamaño de los lotes por fragmento (si split_batches=False) o el tamaño de los lotes (si split_batches=True).
• drop_last (bool, opcional, valor predeterminado False) — Indica si se debe descartar el último lote incompleto o completar los últimos lotes utilizando las muestras del principio.
• num_processes (int, opcional, valor predeterminado 1) — El número de procesos que se ejecutan de forma concurrente.
• process_index (int, opcional, valor predeterminado 0) — El índice del proceso actual.
• split_batches (bool, opcional, el valor predeterminado es False) — Si los fragmentos deben crearse dividiendo un lote para dar una parte de él a cada proceso, o bien generando lotes completos diferentes en cada proceso.

  En dos procesos con un conjunto de datos iterable que produce [0, 1, 2, 3, 4, 5, 6, 7], esto resultará en:

  • el fragmento en el proceso 0 para producir [0, 1, 2, 3] y el fragmento en el proceso 1 para producir [4, 5, 6, 7] si este argumento se establece en False.
  • el fragmento en el proceso 0 para producir [0, 1, 4, 5] y el muestreador en el proceso 1 para producir [2, 3, 6, 7] si este argumento se establece en True.

Parámetros

• dataset (torch.utils.data.dataset.Dataset) — El conjunto de datos que se usará para construir este dataloader.
• device (torch.device, opcional) — Si se especifica, el dispositivo en el que se colocarán todos los lotes.
• rng_types (lista de str o RNGType) — La lista de generadores de números aleatorios que se deben sincronizar al inicio de cada iteración. Debe ser uno o varios de los siguientes:
  • "torch": el generador de números aleatorios base de torch
  • "cuda": el generador de números aleatorios de CUDA (solo GPU)
  • El tipo de dispositivo de cualquier acelerador de PyTorch registrado: su generador de números aleatorios de dispositivo.
  • "xla": el generador de números aleatorios de XLA (solo TPU)
  • "generator": un torch.Generator opcional
• synchronized_generator (torch.Generator, opcional) — Un generador de números aleatorios para mantenerlo sincronizado entre procesos.
• skip_batches (int, opcional, valor predeterminado 0) — El número de lotes que se omiten al principio.
• use_stateful_dataloader (bool, opcional, valor predeterminado False) — Si se debe adaptar esta clase para usar StatefulDataLoader de torchdata en lugar del DataLoader regular.
• **kwargs (argumentos de palabra clave adicionales, opcional) — Todos los demás argumentos de palabra clave para pasar a la inicialización regular de DataLoader.

Parámetros

• split_batches (bool, opcional, valor predeterminado False) — Si el DataLoader resultante debe dividir los lotes del cargador de datos original entre los dispositivos o devolver lotes completos (en cuyo caso devolverá lotes comenzando en el índice process_index y avanzando num_processes lotes en cada iteración). Otra forma de verlo es que el tamaño de lote observado será el mismo que el del dataloader inicial si esta opción se establece en True, y el tamaño de lote del dataloader inicial multiplicado por num_processes en caso contrario. Establecer esta opción en True requiere que el tamaño de lote del dataloader sea un múltiplo exacto de batch_size.
• skip_batches (int, opcional, valor predeterminado 0) — El número de lotes que se omiten al principio de una iteración.
• use_stateful_dataloader (bool, opcional, valor predeterminado False) — Si se debe adaptar esta clase para usar StatefulDataLoader de torchdata en lugar del DataLoader regular.

Parámetros

• optimizer (torch.optim.optimizer.Optimizer) — El optimizador que se va a envolver.
• device_placement (bool, opcional, valor predeterminado True) — Indica si el optimizador debe gestionar la colocación de dispositivos. Si es así, colocará el diccionario de estado de optimizer en el dispositivo correcto.
• scaler (torch.amp.GradScaler o torch.cuda.amp.GradScaler, opcional) — El escalador que se utilizará en la función de paso si el entrenamiento se realiza con precisión mixta.

Parámetros

• scheduler (torch.optim.lr_scheduler._LRScheduler) — El scheduler que se va a envolver.
• optimizers (uno o una lista de torch.optim.Optimizer) — Los optimizadores utilizados.
• step_with_optimizer (bool, opcional, valor predeterminado True) — Indica si el programador debe actualizarse en cada paso del optimizador.
• split_batches (bool, opcional, valor predeterminado False) — Indica si los dataloaders dividen un lote entre los diferentes procesos (de modo que el tamaño del lote sea el mismo independientemente del número de procesos) o si crean lotes en cada proceso (de modo que el tamaño del lote sea el tamaño original del lote multiplicado por el número de procesos).