# Kwargs 处理器

以下对象可以传递给主 [Accelerator](/docs/accelerate/main/zh/package_reference/accelerator#accelerate.Accelerator)，以自定义与分布式训练或混合精度相关的某些 PyTorch 对象的创建方式。

## AutocastKwargs[[accelerate.AutocastKwargs]]

#### accelerate.AutocastKwargs[[accelerate.AutocastKwargs]]

```python
accelerate.AutocastKwargs(enabled: bool = True, cache_enabled: bool | None = None)
```

[源代码](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L104)

在您的 [Accelerator](/docs/accelerate/main/zh/package_reference/accelerator#accelerate.Accelerator) 中使用此对象，以自定义 `torch.autocast` 的行为。有关每个参数的更多信息，请参阅此 [上下文管理器](https://pytorch.org/docs/stable/amp.html#torch.autocast) 的文档。

示例：

```python
from accelerate import Accelerator
from accelerate.utils import AutocastKwargs

kwargs = AutocastKwargs(cache_enabled=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

## DistributedDataParallelKwargs[[accelerate.DistributedDataParallelKwargs]]

#### accelerate.DistributedDataParallelKwargs[[accelerate.DistributedDataParallelKwargs]]

```python
accelerate.DistributedDataParallelKwargs(dim: int = 0, broadcast_buffers: bool = True, bucket_cap_mb: int = 25, find_unused_parameters: bool = False, check_reduction: bool = False, gradient_as_bucket_view: bool = False, static_graph: bool = False, comm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>, comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>, comm_state_option: dict = <factory>)
```

[源代码](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L146)

在您的 [Accelerator](/docs/accelerate/main/zh/package_reference/accelerator#accelerate.Accelerator) 中使用此对象，以自定义模型如何被 `torch.nn.parallel.DistributedDataParallel` 包装。有关每个参数的更多信息，请参阅此 [wrapper](https://pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html) 的文档。

示例：

```python
from accelerate import Accelerator
from accelerate.utils import DistributedDataParallelKwargs

kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

## ProfileKwargs[[accelerate.ProfileKwargs]]

#### accelerate.ProfileKwargs[[accelerate.ProfileKwargs]]

```python
accelerate.ProfileKwargs(activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = None, schedule_option: dict[str, int] | None = None, on_trace_ready: typing.Callable | None = None, record_shapes: bool = False, profile_memory: bool = False, with_stack: bool = False, with_flops: bool = False, with_modules: bool = False, output_trace_dir: str | None = None)
```

[源代码](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L416)

**参数：**

activities (`List[str]`, *可选*, 默认为 `None`) : 用于性能分析的活动组列表。必须是 `"cpu"`、`"xpu"`、`"mtia"`、"hpu" 或 `"cuda"` 之一。

schedule_option (`Dict[str, int]`, *可选*，默认为 `None`) : 用于配置分析器（profiler）的调度选项。可用的键包括 `wait`、`warmup`、`active`、`repeat` 和 `skip_first`。分析器将跳过前 `skip_first` 个步骤，然后等待 `wait` 个步骤，接着对接下来的 `warmup` 个步骤进行预热，再对接下来的 `active` 个步骤进行活动记录，最后从 `wait` 步骤开始重复该循环。可选的循环次数由 `repeat` 参数指定，值为零表示循环将持续进行，直到分析结束。

on_trace_ready (`Callable`，*可选*，默认为 `None`)：在性能分析过程中，当 schedule 返回 `ProfilerAction.RECORD_AND_SAVE` 时，每个步骤都会调用的 Callable。

record_shapes (`bool`, *可选*, 默认为 `False`) : 保存有关算子输入形状的信息。

profile_memory (`bool`, *可选*, 默认为 `False`) : 跟踪张量内存的分配/释放

with_stack (`bool`, *可选*, 默认为 `False`) : 记录操作（ops）的源信息（文件和行号）。

with_flops (`bool`，*可选*，默认为 `False`)：使用公式估算特定算子的 FLOPS

with_modules (`bool`, *可选*，默认为 `False`)：记录与 op 调用栈对应的模块层级（包括函数名称）。

output_trace_dir (`str`, *可选*, 默认为 `None`) : 以 Chrome JSON 格式导出收集到的跟踪数据。Chrome 使用 'chrome://tracing' 查看 json 文件。默认为 None，表示性能分析不存储 json 文件。

在您的 [Accelerator](/docs/accelerate/main/zh/package_reference/accelerator#accelerate.Accelerator) 中使用此对象来自定义 profiler 的初始化。有关每个参数的更多信息，请参阅此 [context manager](https://pytorch.org/docs/stable/profiler.html#torch.profiler.profile) 的文档。

示例：

```python
from accelerate import Accelerator
from accelerate.utils import ProfileKwargs

kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

#### build[[accelerate.ProfileKwargs.build]]

```python
build()
```

[源代码](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L498)

**返回：** `torch.profiler.profile`

分析器对象。

使用当前配置构建一个性能分析器对象。

## GradScalerKwargs[[accelerate.GradScalerKwargs]]

#### accelerate.GradScalerKwargs[[accelerate.GradScalerKwargs]]

```python
accelerate.GradScalerKwargs(init_scale: float = 65536.0, growth_factor: float = 2.0, backoff_factor: float = 0.5, growth_interval: int = 2000, enabled: bool = True)
```

[源代码](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L224)

在您的 [Accelerator](/docs/accelerate/main/zh/package_reference/accelerator#accelerate.Accelerator) 中使用此对象来自定义混合精度的行为，特别是如何创建所使用的 `torch.amp.GradScaler` 或 `torch.cuda.amp.GradScaler`。有关每个参数的更多信息，请参阅此 [scaler](https://pytorch.org/docs/stable/amp.html?highlight=gradscaler) 的文档。

示例：

```python
from accelerate import Accelerator
from accelerate.utils import GradScalerKwargs

kwargs = GradScalerKwargs(backoff_factor=0.25)
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

## InitProcessGroupKwargs[[accelerate.InitProcessGroupKwargs]]

#### accelerate.InitProcessGroupKwargs[[accelerate.InitProcessGroupKwargs]]

```python
accelerate.InitProcessGroupKwargs(backend: str | None = 'nccl', init_method: str | None = None, timeout: datetime.timedelta | None = None)
```

[源代码](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L249)

在您的 [Accelerator](/docs/accelerate/main/zh/package_reference/accelerator#accelerate.Accelerator) 中使用此对象，以自定义分布式进程的初始化。有关每个参数的更多信息，请参阅此 [方法](https://pytorch.org/docs/stable/distributed.html#torch.distributed.init_process_group) 的文档。

注意：如果将 `timeout` 设置为 `None`，则默认值将基于 `backend` 的设置而定。

```python
from datetime import timedelta
from accelerate import Accelerator
from accelerate.utils import InitProcessGroupKwargs

kwargs = InitProcessGroupKwargs(timeout=timedelta(seconds=800))
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

## KwargsHandler[[accelerate.utils.KwargsHandler]]

#### accelerate.utils.KwargsHandler[[accelerate.utils.KwargsHandler]]

```python
accelerate.utils.KwargsHandler()
```

[源代码](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L59)

实现 `to_kwargs()` 方法的内部混入类，用于 dataclass。

#### to_kwargs[[accelerate.utils.KwargsHandler.to_kwargs]]

```python
to_kwargs()
```

[源代码](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L67)

返回一个字典，其中包含与该类默认值不同的属性及其值。

