Accelerate documentation

DeepSpeed

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.15.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed

DeepSpeedは、ZeRO論文に記載されているすべての内容を実装しています。主な最適化は以下の通りです。

  1. オプティマイザ状態のパーティショニング(ZeROステージ1)
  2. 勾配の分割(ZeRO ステージ 2)
  3. パラメータ分割(ZeROステージ3)
  4. カスタム混合精度トレーニングの処理
  5. 高速なCUDA拡張ベースのオプティマイザーのバリエーション
  6. CPUおよびディスク/NVMeへのZeRO-Offload
  7. モデルパラメータの階層的分割(ZeRO++)

ZeRO-Offloadには専用の論文があります: ZeRO-Offload: Democratizing Billion-Scale Model Training。また、NVMeサポートについては、論文 ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning に記載されています。

DeepSpeed ZeRO-2は主にトレーニングに使用され、その機能は推論には役立たないためです。

DeepSpeed ZeRO-3は、単一のGPUでは不可能な巨大モデルを複数のGPUにロードできるため、推論にも使用できます。

Accelerateは、以下の2つのオプションを通じてDeepSpeedを統合しています:

  1. accelerate config 内で deepspeed config file を指定することによる DeepSpeed 機能の統合。カスタムの設定ファイルを提供するか、テンプレートを使用するだけです。このドキュメントの大部分はこの機能に焦点を当てています。DeepSpeed のコア機能すべてをサポートし、ユーザーに多くの柔軟性をもたらします。設定に応じて、ユーザーが数行のコードを変更する必要がある場合があります。
  2. deepspeed_plugin による統合。これは DeepSpeed の機能の一部をサポートし、残りの設定にはデフォルトオプションを使用します。 ユーザーはコードを変更する必要がなく、DeepSpeed のほとんどのデフォルト設定で問題ない方に向いています。

何が統合されていますか?

トレーニング:

  1. AccelerateはDeepSpeed ZeROのすべての機能を統合しています。これには、ZeROステージ1、2、3、ZeRO-Offload、ZeRO-Infinity(ディスク/NVMeへのオフロードが可能)、およびZeRO++が含まれます。 以下は、ZeRO - Zero Redundancy Optimizerを用いたData Parallelismの簡単な説明と、このブログ記事からの図です。ZeRO Data Parallelism

(出典: リンク)

a. ステージ 1 : オプティマイザの状態をデータ並列ワーカー/GPU間でシャードします

b. Stage 2 : オプティマイザの状態と勾配を、データ並列ワーカー/GPU間でシャードします

c. Stage 3: オプティマイザの状態 + 勾配 + モデルパラメータをデータ並列ワーカー/GPU間でシャードします

d. Optimizer Offload: ZERO Stage 2 をベースに、勾配とオプティマイザーの状態を CPU/ディスクにオフロードします

e. Param Offload: ZERO Stage 3 をベースに、モデルのパラメータを CPU/ディスクにオフロードします

f. 階層型パーティショニング: ZeRO Stage 3 を基盤として構築されており、ノード間でデータ並列学習、ノード内で ZeRO-3 シャーディングを行うことで、効率的なマルチノード学習を可能にします。

Note: With respect to Disk Offload, the disk should be an NVME for decent speed but it technically works on any Disk

推論:

  1. DeepSpeed ZeRO Inferenceは、ZeRO-InfinityによるZeROステージ3をサポートしています。学習と同じZeROプロトコルを使用しますが、オプティマイザーとlrスケジューラーは使用せず、関連するのはステージ3のみです。詳細については、ZeRO Inferenceを参照してください。

仕組み

前提条件: DeepSpeed バージョン >=0.6.5 をインストールしてください。詳細については、DeepSpeed のインストール詳細を参照してください。

まず、accelerate config を通じた使いやすい統合方法を確認します。 続いて、より柔軟で機能豊富な deepspeed config file による統合方法を確認します。

Accelerate DeepSpeed プラグイン

お使いのマシンで、次のコマンドを実行してください:

accelerate config

and answer the questions asked. It will ask whether you want to use a config file for DeepSpeed to which you should answer no. Then answer the following questions to generate a basic DeepSpeed config. This will generate a config file that will be used automatically to properly set the default options when doing

accelerate launch my_script.py --args_to_my_script

例えば、DeepSpeed Pluginを使用して、リポジトリのルートからNLPの例であるexamples/nlp_example.pyを実行するには、次のようにします。

ZeRO Stage-2 DeepSpeed プラグインの例

compute_environment: LOCAL_MACHINE
deepspeed_config:
 gradient_accumulation_steps: 1
 gradient_clipping: 1.0
 offload_optimizer_device: none
 offload_param_device: none
 zero3_init_flag: true
 zero_stage: 2
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
accelerate launch examples/nlp_example.py --mixed_precision fp16

CPUオフロード付きZeRO Stage-3 DeepSpeedプラグインの例

compute_environment: LOCAL_MACHINE
deepspeed_config:
  gradient_accumulation_steps: 1
  gradient_clipping: 1.0
  offload_optimizer_device: cpu
  offload_param_device: cpu
  zero3_init_flag: true
  zero3_save_16bit_model: true
  zero_stage: 3
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
accelerate launch examples/nlp_example.py --mixed_precision fp16

現在、AccelerateはCLIを通じて以下の設定をサポートしています:

`zero_stage`: [0] Disabled, [1] optimizer state partitioning, [2] optimizer+gradient state partitioning and [3] optimizer+gradient+parameter partitioning
`gradient_accumulation_steps`: Number of training steps to accumulate gradients before averaging and applying them.
`gradient_clipping`: Enable gradient clipping with value.
`offload_optimizer_device`: [none] Disable optimizer offloading, [cpu] offload optimizer to CPU, [nvme] offload optimizer to NVMe SSD. Only applicable with ZeRO >= Stage-2.
`offload_optimizer_nvme_path`: Decides Nvme Path to offload optimizer states. If unspecified, will default to 'none'.
`offload_param_device`: [none] Disable parameter offloading, [cpu] offload parameters to CPU, [nvme] offload parameters to NVMe SSD. Only applicable with ZeRO Stage-3.
`offload_param_nvme_path`: Decides Nvme Path to offload parameters. If unspecified, will default to 'none'.
`zero3_init_flag`: Decides whether to enable `deepspeed.zero.Init` for constructing massive models. Only applicable with ZeRO Stage-3.
`zero3_save_16bit_model`: Decides whether to save 16-bit model weights when using ZeRO Stage-3.
`mixed_precision`: `no` for FP32 training, `fp16` for FP16 mixed-precision training and `bf16` for BF16 mixed-precision training.
`deepspeed_moe_layer_cls_names`: Comma-separated list of transformer Mixture-of-Experts (MoE) layer class names (case-sensitive) to wrap ,e.g, `MixtralSparseMoeBlock`, `Qwen2MoeSparseMoeBlock`, `JetMoEAttention,JetMoEBlock` ...
`deepspeed_hostfile`: DeepSpeed hostfile for configuring multi-node compute resources.
`deepspeed_exclusion_filter`: DeepSpeed exclusion filter string when using mutli-node setup.
`deepspeed_inclusion_filter`: DeepSpeed inclusion filter string when using mutli-node setup.
`deepspeed_multinode_launcher`: DeepSpeed multi-node launcher to use, e.g. `pdsh`, `standard`, `openmpi`, `mvapich`, `mpich`, `slurm`, `nossh` (requires DeepSpeed >= 0.14.5). If unspecified, will default to `pdsh`.
`deepspeed_config_file`: path to the DeepSpeed config file in `json` format. See the next section for more details on this.

より多くのオプションを調整するには、DeepSpeedの構成ファイルを使用する必要があります。

DeepSpeed設定ファイル

お使いのマシンで、次のコマンドを実行してください:

accelerate config

質問に答えてください。 deepspeed の設定ファイルを使用するかどうかを確認されますので、yes と答えて、 deepspeed の設定ファイルへのパスを指定してください。 これにより、設定ファイルが生成され、実行時に デフォルトのオプションが適切に設定されるために自動的に使用されます。

accelerate launch my_script.py --args_to_my_script

例えば、DeepSpeed Config File を使用して NLP の例 examples/by_feature/deepspeed_with_config_support.py(リポジトリのルートから)を実行するには、次のようにします。

ZeRO Stage-2 DeepSpeed 設定ファイルの例

compute_environment: LOCAL_MACHINE
deepspeed_config:
 deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage2_config.json
 zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false

zero_stage2_config.json の内容は以下の通りです:

{
    "fp16": {
        "enabled": true,
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "weight_decay": "auto",
            "torch_adam": true,
            "adam_w_mode": true
        }
    },
    "scheduler": {
        "type": "WarmupDecayLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto",
            "total_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 2,
        "allgather_partitions": true,
        "allgather_bucket_size": 2e8,
        "overlap_comm": true,
        "reduce_scatter": true,
        "reduce_bucket_size": "auto",
        "contiguous_gradients": true
    },
    "gradient_accumulation_steps": 1,
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage2_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 24 \
--per_device_eval_batch_size 24 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\

CPUオフロード付きZeRO Stage-3のDeepSpeed設定ファイルの例

compute_environment: LOCAL_MACHINE
deepspeed_config:
 deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage3_offload_config.json
 zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false

zero_stage3_offload_config.json の内容は以下の通りです:

{
    "fp16": {
        "enabled": true,
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "weight_decay": "auto"
        }
    },
    "scheduler": {
        "type": "WarmupDecayLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto",
            "total_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        },
        "overlap_comm": true,
        "contiguous_gradients": true,
        "reduce_bucket_size": "auto",
        "stage3_prefetch_bucket_size": "auto",
        "stage3_param_persistence_threshold": "auto",
        "sub_group_size": 1e9,
        "stage3_max_live_parameters": 1e9,
        "stage3_max_reuse_distance": 1e9,
        "stage3_gather_16bit_weights_on_model_save": "auto"
    },
    "gradient_accumulation_steps": 1,
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage3_offload_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 32 \
--per_device_eval_batch_size 32 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\

ZeRO++ の設定例 適切な設定パラメータを使用することで、ZeRO++ の機能を利用できます。なお、ZeRO++ は ZeRO Stage 3 の拡張機能です。DeepSpeed の ZeRO++ チュートリアル に従って、設定ファイルを以下のように変更できます。

{
    "zero_optimization": {
        "stage": 3,
        "reduce_bucket_size": "auto",

        "zero_quantized_weights": true,
        "zero_hpz_partition_size": 8,
        "zero_quantized_gradients": true,

        "contiguous_gradients": true,
        "overlap_comm": true
    }
}

階層型パーティショニングでは、パーティションサイズzero_hpz_partition_sizeは、ノードあたりのGPU数に設定するのが理想的です。(例えば、上記の設定ファイルはノードあたり8つのGPUを前提としています)

DeepSpeed設定ファイルを使用する場合の重要なコード変更

  1. DeepSpeed Optimizers と Schedulers。これらに関する詳細は、DeepSpeed Optimizers および DeepSpeed Schedulers のドキュメントを参照してください。ここでは、これらを使用する場合にコードで行う必要がある変更について見ていきます。

    a. DS Optim + DS Scheduler: DeepSpeedの設定ファイルにoptimizerとschedulerの両方のキーが存在する場合です。 この場合、それらが使用され、ユーザーはコード内のPyTorch/カスタムオプティマイザーとスケジューラーをaccelerate.utils.DummyOptimとaccelerate.utils.DummySchedulerに置き換える必要があります。 以下は、examples/by_feature/deepspeed_with_config_support.pyからこのことを示すスニペットです:

     # Creates Dummy Optimizer if `optimizer` was specified in the config file else creates Adam Optimizer
     optimizer_cls = (
         torch.optim.AdamW
         if accelerator.state.deepspeed_plugin is None
         or "optimizer" not in accelerator.state.deepspeed_plugin.deepspeed_config
         else DummyOptim
     )
     optimizer = optimizer_cls(optimizer_grouped_parameters, lr=args.learning_rate)
    
     # Creates Dummy Scheduler if `scheduler` was specified in the config file else creates `args.lr_scheduler_type` Scheduler
     if (
         accelerator.state.deepspeed_plugin is None
         or "scheduler" not in accelerator.state.deepspeed_plugin.deepspeed_config
     ):
         lr_scheduler = get_scheduler(
             name=args.lr_scheduler_type,
             optimizer=optimizer,
             num_warmup_steps=args.num_warmup_steps,
             num_training_steps=args.max_train_steps,
         )
     else:
         lr_scheduler = DummyScheduler(
             optimizer, total_num_steps=args.max_train_steps, warmup_num_steps=args.num_warmup_steps
         )

    b. カスタム Optimizer + カスタム Scheduler: DeepSpeed の設定ファイルに optimizer キーと scheduler キーの両方が存在しない場合です。 この場合、ユーザーによるコードの変更は不要であり、DeepSpeed Plugin 経由で統合を使用する場合がこれに該当します。 上記の例では、DeepSpeed の設定ファイルに optimizer キーと scheduler キーが存在しない場合、コードが変更されないことがわかります。

    c. カスタム Optim + DS Scheduler: DeepSpeed の設定ファイルに scheduler キーのみが存在する場合です。 この状況では、ユーザーはコード内の PyTorch/カスタム スケジューラーを accelerate.utils.DummyScheduler に置き換える必要があります。

    d. DS Optim + Custom Scheduler: DeepSpeed の設定ファイルに optimizer キーのみが存在する場合。 DS Optim を使用していない場合、DS Scheduler を使用できないため、エラーが発生します。

  2. 上記のDeepSpeed設定ファイルの例にあるautoの値に注目してください。これらの値は、prepareメソッドに渡されたモデル、データローダー、ダミーのオプティマイザー、およびダミーのスケジューラーに基づいて、prepareメソッドによって自動的に処理されます。上記の例で指定されたautoフィールドのみがprepareメソッドによって処理され、それ以外のフィールドはユーザーが明示的に指定する必要があります。

auto の値は、次のように計算されます:

  • reduce_bucket_size: hidden_size * hidden_size
  • stage3_prefetch_bucket_size: int(0.9 * hidden_size * hidden_size)
  • stage3_param_persistence_threshold: 10 * hidden_size

これらの3つの設定項目に対してauto機能が動作するためには、Accelerateはmodel.config.hidden_sizeまたはmax(model.config.hidden_sizes)をhidden_sizeとして使用します。これら両方が利用できない場合、起動は失敗し、これらの3つの設定項目を手動で設定する必要があります。最初の2つの設定項目は通信バッファであり、これらが大きいほど通信は効率的になりますが、同時に消費するGPUメモリも大きくなります。したがって、これは調整可能なパフォーマンスのトレードオフです。

DeepSpeed設定ファイルを使用する際の注意点

以下は、異なるシナリオでdeepspeed_config_fileを使用するサンプルスクリプトです。

test.py のコード:

from accelerate import Accelerator
from accelerate.state import AcceleratorState


def main():
    accelerator = Accelerator()
    accelerator.print(f"{AcceleratorState()}")


if __name__ == "__main__":
    main()

シナリオ 1: deepspeed_config_file とその他のエントリを含む accelerate の設定ファイルを手動で改ざんした場合。

  1. accelerate設定の内容:
command_file: null
commands: null
compute_environment: LOCAL_MACHINE
deepspeed_config:
  gradient_accumulation_steps: 1
  gradient_clipping: 1.0
  offload_optimizer_device: 'cpu'
  offload_param_device: 'cpu'
  zero3_init_flag: true
  zero3_save_16bit_model: true
  zero_stage: 3
  deepspeed_config_file: 'ds_config.json'
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
gpu_ids: null
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_name: null
tpu_zone: null
use_cpu: false
  1. ds_config.json:
{
    "bf16": {
        "enabled": true
    },
    "zero_optimization": {
        "stage": 3,
        "stage3_gather_16bit_weights_on_model_save": false,
        "offload_optimizer": {
            "device": "none"
        },
        "offload_param": {
            "device": "none"
        }
    },
    "gradient_clipping": 1.0,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": 10,
    "steps_per_print": 2000000
}
  1. accelerate launch test.pyの出力:
ValueError: When using `deepspeed_config_file`, the following accelerate config variables will be ignored:
['gradient_accumulation_steps', 'gradient_clipping', 'zero_stage', 'offload_optimizer_device', 'offload_param_device',
'zero3_save_16bit_model', 'mixed_precision'].
Please specify them appropriately in the DeepSpeed config file.
If you are using an accelerate config file, remove other config variables mentioned in the above specified list.
The easiest method is to create a new config following the questionnaire via `accelerate config`.
It will only ask for the necessary config variables when using `deepspeed_config_file`.

シナリオ 2: エラーの解決策を用いて新しい accelerate 設定を作成し、曖昧性エラーがもう発生しないことを確認します。

  1. accelerate configを実行します:
$ accelerate config
-------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
multi-GPU
How many different machines will you use (use more than 1 for multi-node training)? [1]:
Do you wish to optimize your script with torch dynamo?[yes/NO]:
Do you want to use DeepSpeed? [yes/NO]: yes
Do you want to specify a json file to a DeepSpeed config? [yes/NO]: yes
Please enter the path to the json DeepSpeed config file: ds_config.json
Do you want to enable `deepspeed.zero.Init` when using ZeRO Stage-3 for constructing massive models? [yes/NO]: yes
How many GPU(s) should be used for distributed training? [1]:4
accelerate configuration saved at ds_config_sample.yaml
  1. accelerate設定の内容:
compute_environment: LOCAL_MACHINE
deepspeed_config:
  deepspeed_config_file: ds_config.json
  zero3_init_flag: true
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
machine_rank: 0
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 4
rdzv_backend: static
same_network: true
use_cpu: false
  1. accelerate launch test.pyの出力:
Distributed environment: DEEPSPEED  Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: bf16
ds_config: {'bf16': {'enabled': True}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': False, 'offload_optimizer': {'device': 'none'}, 'offload_param': {'device': 'none'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 10, 'steps_per_print': inf, 'fp16': {'enabled': False}}

シナリオ 3: DeepSpeed の設定ファイルで、accelerate launch コマンドの DeepSpeed 関連引数を "auto" に設定し、期待通りに動作することを確認します。

  1. accelerate launch DeepSpeed コマンドの引数に"auto"を指定した新しいds_config.json:
{
    "bf16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": "auto",
        "stage3_gather_16bit_weights_on_model_save": "auto",
        "offload_optimizer": {
            "device": "auto"
        },
        "offload_param": {
            "device": "auto"
        }
    },
    "gradient_clipping": "auto",
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": "auto",
    "steps_per_print": 2000000
}
  1. accelerate launch --mixed_precision="fp16" --zero_stage=3 --gradient_accumulation_steps=5 --gradient_clipping=1.0 --offload_param_device="cpu" --offload_optimizer_device="nvme" --zero3_save_16bit_model="true" test.py の出力:
Distributed environment: DEEPSPEED  Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: fp16
ds_config: {'bf16': {'enabled': False}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': True, 'offload_optimizer': {'device': 'nvme'}, 'offload_param': {'device': 'cpu'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 5, 'steps_per_print': inf, 'fp16': {'enabled': True, 'auto_cast': True}}

注:

  1. Remaining "auto" values are handled in accelerator.prepare() call as explained in point 2 of Important code changes when using DeepSpeed Config File.
  2. gradient_accumulation_stepsがautoの場合のみ、Accelerator(gradient_accumulation_steps=k)を介してAcceleratorオブジェクトを作成する際に渡された値が使用されます。DeepSpeed Pluginを使用している場合、その値が使用され、Acceleratorオブジェクトの作成時に渡された値を上書きします。

保存と読み込み

  1. ZeRO Stage-1およびStage-2では、モデルの保存と読み込みは変更ありません。

  2. ZeRO Stage-3では、モデルの重みが複数のGPUに分割されているため、state_dictにはプレースホルダーのみが含まれます。 ZeRO Stage-3には2つのオプションがあります。

    a. 16ビットのモデル重みをすべて保存し、後でmodel.load_state_dict(torch.load(pytorch_model.bin))を使用して直接読み込む方法。 これには、DeepSpeed Configファイルでzero_optimization.stage3_gather_16bit_weights_on_model_saveをTrueに設定するか、DeepSpeed Pluginでzero3_save_16bit_modelをTrueに設定します。このオプションは、重みを1つのGPUに集約する必要があるため、遅く、メモリを大量に消費する可能性があります。必要に応じてのみこの機能を使用してください。 以下は、examples/by_feature/deepspeed_with_config_support.pyから抜粋した、この設定を示すスニペットです:

    unwrapped_model = accelerator.unwrap_model(model)
    
    # New Code #
    # Saves the whole/unpartitioned fp16 model when in ZeRO Stage-3 to the output directory if
    # `stage3_gather_16bit_weights_on_model_save` is True in DeepSpeed Config file or
    # `zero3_save_16bit_model` is True in DeepSpeed Plugin.
    # For Zero Stages 1 and 2, models are saved as usual in the output directory.
    # The model name saved is `pytorch_model.bin`
    unwrapped_model.save_pretrained(
        args.output_dir,
        is_main_process=accelerator.is_main_process,
        save_function=accelerator.save,
        state_dict=accelerator.get_state_dict(model),
    )

    b. 32ビットの重みを取得するには、まずmodel.save_checkpoint()を使用してモデルを保存してください。 以下は、examples/by_feature/deepspeed_with_config_support.pyから抜粋した、この処理を示すスニペットです:

    success = model.save_checkpoint(PATH, ckpt_id, checkpoint_state_dict)
    status_msg = f"checkpointing: PATH={PATH}, ckpt_id={ckpt_id}"
    if success:
        logging.info(f"Success {status_msg}")
    else:
        logging.warning(f"Failure {status_msg}")

    これにより、チェックポイントディレクトリに ZeRO のモデルおよびオプティマイザーのパーティションと、zero_to_fp32.py スクリプトが作成されます。 このスクリプトを使用して、オフラインでの統合を行うことができます。 設定ファイルや GPU は不要です。使用例を以下に示します。

    $ cd /path/to/checkpoint_dir
    $ ./zero_to_fp32.py . pytorch_model.bin
    Processing zero checkpoint at global_step1
    Detected checkpoint of type zero stage 3, world_size: 2
    Saving fp32 state dict to pytorch_model.bin (total_numel=60506624)

    保存や推論用の32ビットモデルを取得するには、次のように実行できます。

    from deepspeed.utils.zero_to_fp32 import load_state_dict_from_zero_checkpoint
    
    unwrapped_model = accelerator.unwrap_model(model)
    fp32_model = load_state_dict_from_zero_checkpoint(unwrapped_model, checkpoint_dir)

    state_dictのみに関心がある場合は、次のようにできます。

    from deepspeed.utils.zero_to_fp32 import get_fp32_state_dict_from_zero_checkpoint
    
    state_dict = get_fp32_state_dict_from_zero_checkpoint(checkpoint_dir)

    これらの関数はすべて、最終的なチェックポイントサイズの約2倍のメモリ(一般的なRAM)を必要とする点に注意してください。

ZeRO推論

DeepSpeed ZeRO Inferenceは、ZeRO-InfinityによるZeROステージ3をサポートしています。 学習と同じZeROプロトコルを使用しますが、オプティマイザーとlrスケジューラーは使用せず、関連するのはステージ3のみです。 accelerateの統合を使用する場合、以下に示すようにモデルとdataloaderを準備するだけです:

model, eval_dataloader = accelerator.prepare(model, eval_dataloader)

留意すべきいくつかの注意点

  1. 現在の統合は、DeepSpeedのPipeline Parallelismをサポートしていません。
  2. 現在の統合はmpuをサポートしていないため、Megatron-LMでサポートされているテンソル並列性が制限されています。
  3. 現在の統合は、複数のモデルをサポートしていません。

マルチノード DeepSpeed

DeepSpeedは、さまざまなランチャーを介したマルチノード推論とトレーニングをサポートしています。deepspeed_multinode_launcher設定をCLIまたはDeepSpeed設定ファイルで設定することで、別のランチャーを指定できます。

現在、accelerateは、以下のDeepSpeedマルチノードランチャーの設定を渡すことをサポートしています: pdsh(デフォルト)、standard、openmpi、mvapich、mpich、slurm、nossh(DeepSpeed >= 0.14.5が必要です)。

異なるランチャーに関する詳細については、DeepSpeedのドキュメントを参照してください。デフォルトでは、DeepSpeedはメインのマシンノードから他のノードへパスワードなしのSSHを使用して、ランチャーコマンドを実行しようとします。この構成では、accelerate launchコマンドはメインノードでのみ実行すれば構いません。nosshランチャーを使用する場合は、コピーした設定を使用して、すべてのノードでaccelerate launchコマンドを実行する必要があります。

DeepSpeed リソース

deepspeedに関連する内部処理のドキュメントは、こちらで確認できます。

論文:

最後に、AccelerateはDeepSpeedのみを統合している点にご注意ください。したがって、DeepSpeedの使用に関する問題や質問がある場合は、DeepSpeed GitHubにissueを起票してください。

FSDPとDeepSpeedの類似点と相違点にご興味のある方は、こちらのコングラントガイドをご覧ください!

Update on GitHub