# FSDP1 与 FSDP2

本指南介绍了`FSDP1`与`FSDP2`之间的主要区别，并帮助您以最小的改动将现有代码迁移到使用`FSDP2`。

## FSDP2 比 FSDP1 好在哪里？

首先，我们希望了解 `FSDP1` 和 `FSDP2` 的内部工作原理，以理解它们之间的差异。这也有助于我们理解 `FSDP1` 的局限性，以及 `FSDP2` 如何解决这些问题。

我们将讨论一种场景：其中包含一个 `Layer`，该层包含 3 个 `Linear` 层，并使用 `FSDP` 进行封装，以便在 2 个 GPU 上进行分片。

  

### FSDP1
首先，我们需要理解原始的 `FSDP1` 及其带来的局限性。它将每个 `FSDP` 模块表示为单个 `FlatParameter`，这是一个包含该模块所有参数的单个一维张量，随后这些参数会在各个 rank 之间进行分片。也就是说，如果你用 `FSDP1` 来包装 `Layer`，你将得到类似以下的结果：

  

你可能会注意到一个问题。整个 `Layer` 会被展平为一个单一的 `FlatParameter`，然后该参数会在各个 rank 之间进行分片。但如果它只是一个单一的 `FlatParameter` 对象，我们该如何存储元数据？这是其局限性之一。如果不采用一些丑陋的变通方法，就无法妥善地存储诸如 `dtype`、`requires_grad` 等每个参数各自的元数据。

### FSDP2
这正是引入 `FSDP2` 的原因。它不使用 `FlatParameter`，而是使用 `DTensor`（“Distributed Tensor”的缩写）。每个 `DTensor` 基本上代表一个跨 rank 分片的普通 `torch.Tensor`。它包含有关原始 `torch.Tensor` 及其分片方式的元数据，例如 [placement type](https://pytorch.org/docs/stable/distributed.tensor.html#module-torch.distributed.tensor.placement_types) 等。这就是它被称为 `per-parameter sharding` 的原因。下图展示了二者的区别：

  

原始 `Layer` 的每个 Parameter 都在第 0 维上进行分片，并分布在 2 个 GPU 之间。现在，每个 `Linear` 层都是一个独立的 `DTensor`，因此按参数存储元数据是可行且直接的。

> [!TIP] 
> 在上面的图中，为了便于图像在屏幕上显示，张量沿第 1 维进行了分片；实际上，如上所述，它们是沿第 0 维进行分片的

## FSDP2 提供了哪些功能？

`FSDP2` 是 PyTorch 全分片数据并行训练 API 的全新改进版本。其主要优势在于使用 `DTensor` 来表示分片参数。与 `FSDP1` 相比，它提供了：
- 更简洁的内部实现，其中每个 `Parameter` 都是一个独立的 `DTensor`
- 得益于上述特性，可以简单地冻结部分参数，从而使[`LORA`](https://huggingface.co/papers/2106.09685)等方法开箱即用
- 使用 `DTensor`，`FSDP2` 开箱即支持在同一模型中混合使用 `fp8` 和其他参数类型
- 使用 `SHARDED_STATE_DICT` 和 [`torch.distributed.checkpoint`](https://pytorch.org/docs/stable/distributed.checkpoint.html) 实现更快、更简单的检查点保存，无需在 rank 之间进行额外通信，这样每个 rank 只需保存自己的分片及相应的元数据
- 在加载时，它使用分片模型的`state_dict`来直接加载分片参数
- 支持异步检查点，即先将参数复制到 CPU 内存，随后主线程继续训练，同时另一个线程将参数存储到磁盘
- 内存效率以及确定性的内存使用，`FSDP2` 不再使用 `recordStream`，而是采用流到流的同步（更多技术细节请参见[此论坛帖子](https://dev-discuss.pytorch.org/t/fsdp-cudacachingallocator-an-outsider-newb-perspective/1486)和[此 issue](https://github.com/pytorch/pytorch/issues/114299)）
- 未来，计划通过 `torch.compile` 优化通信模式，以进一步提升性能和内存效率。

## API 差异

我们已经讨论了内部差异，现在来谈谈你作为用户需要了解的那些差异。

通过 `accelerate` CLI 使用 `FSDP2` 时，配置选项的主要更改如下：

Previous (`FSDP1`) | 新增 (`FSDP2`) | 变更内容 -- | -- | -- `--fsdp_sharding_strategy` | `--fsdp_reshard_after_forward` | 取代 `--fsdp_sharding_strategy`，更改为 `true`（原为 `FULL_SHARD`）或 `false`（原为 `SHARD_GRAD_OP`） `--fsdp_backward_prefetch` | \*\***已移除**\*\* | `FSDP2` 默认使用之前的 `BACKWARD_PRE` 选项，因为只有该选项允许通信与计算重叠 `--fsdp_forward_prefetch` | \*\***尚未实现**\*\* | 如何实现此功能正在积极讨论中，目前 `FSDP2` 尚不支持 `--fsdp_sync_module_states` | \*\***已移除**\*\* | 在 `FSDP2` 中，此参数变得多余 `--fsdp_cpu_ram_efficient_loading` | `--fsdp_cpu_ram_efficient_loading` | 如果为 `true`，`FSDP2` 将同样仅在 rank 0 上加载模型，随后参数会同步到其他 rank，这与 `FSDP1` 的行为相同，但不再需要设置 `--fsdp_sync_module_states` `--fsdp_state_dict_type` | `--fsdp_state_dict_type` | `LOCAL_STATE_DICT` 已弃用，在 `FSDP2` 中 `SHARDED_STATE_DICT` 是默认选项，这不会带来额外的通信开销，且每个 rank 保存自己的分片；另一个可选选项是 `FULL_STATE_DICT`，这会带来额外的通信开销和内存使用峰值，但从 rank 0 保存完整模型。 `--fsdp_use_orig_params` | \*\***已移除**\*\* | `FSDP2` 在底层使用 `DTensor` 类，这意味着它默认 *始终* 使用原始参数 \*\***新增**\*\* | `--fsdp_version` | `1` 是默认选项，以免破坏现有代码；设置为 `2` 以使用 `FSDP2`

对于所有其他保持不变的选项，请参阅 [`FSDP` 文档](../usage_guides/fsdp)。

## 如何切换到 FSDP2

### 如果使用 Python 代码：
只需在创建插件时设置 `fsdp_version=2`，并根据上表替换相应选项。

```python
from accelerate import FullyShardedDataParallelPlugin, Accelerator

fsdp_plugin = FullyShardedDataParallelPlugin(
    fsdp_version=2
    # other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)
```

### 如果使用 YAML 配置：
使用我们的转换工具：
```bash
accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml
```

这将自动将所有 FSDP1 设置转换为对应的 FSDP2 设置。使用 `--overwrite` 可更新现有文件，而不是创建新文件。

