Accelerate documentation
DeepSpeed
DeepSpeed
DeepSpeedは、ZeRO論文に記載されているすべての内容を実装しています。主な最適化は以下の通りです。
- オプティマイザ状態のパーティショニング(ZeROステージ1)
- 勾配の分割(ZeRO ステージ 2)
- パラメータ分割(ZeROステージ3)
- カスタム混合精度トレーニングの処理
- 高速なCUDA拡張ベースのオプティマイザーのバリエーション
- CPUおよびディスク/NVMeへのZeRO-Offload
- モデルパラメータの階層的分割(ZeRO++)
ZeRO-Offloadには専用の論文があります: ZeRO-Offload: Democratizing Billion-Scale Model Training。また、NVMeサポートについては、論文 ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning に記載されています。
DeepSpeed ZeRO-2は主にトレーニングに使用され、その機能は推論には役立たないためです。
DeepSpeed ZeRO-3は、単一のGPUでは不可能な巨大モデルを複数のGPUにロードできるため、推論にも使用できます。
Accelerateは、以下の2つのオプションを通じてDeepSpeedを統合しています:
accelerate config内でdeepspeed config fileを指定することによる DeepSpeed 機能の統合。カスタムの設定ファイルを提供するか、テンプレートを使用するだけです。このドキュメントの大部分はこの機能に焦点を当てています。DeepSpeed のコア機能すべてをサポートし、ユーザーに多くの柔軟性をもたらします。設定に応じて、ユーザーが数行のコードを変更する必要がある場合があります。deepspeed_pluginによる統合。これは DeepSpeed の機能の一部をサポートし、残りの設定にはデフォルトオプションを使用します。 ユーザーはコードを変更する必要がなく、DeepSpeed のほとんどのデフォルト設定で問題ない方に向いています。
何が統合されていますか?
トレーニング:
- AccelerateはDeepSpeed ZeROのすべての機能を統合しています。これには、ZeROステージ1、2、3、ZeRO-Offload、ZeRO-Infinity(ディスク/NVMeへのオフロードが可能)、およびZeRO++が含まれます。
以下は、ZeRO - Zero Redundancy Optimizerを用いたData Parallelismの簡単な説明と、このブログ記事からの図です。

(出典: リンク)
a. ステージ 1 : オプティマイザの状態をデータ並列ワーカー/GPU間でシャードします
b. Stage 2 : オプティマイザの状態と勾配を、データ並列ワーカー/GPU間でシャードします
c. Stage 3: オプティマイザの状態 + 勾配 + モデルパラメータをデータ並列ワーカー/GPU間でシャードします
d. Optimizer Offload: ZERO Stage 2 をベースに、勾配とオプティマイザーの状態を CPU/ディスクにオフロードします
e. Param Offload: ZERO Stage 3 をベースに、モデルのパラメータを CPU/ディスクにオフロードします
f. 階層型パーティショニング: ZeRO Stage 3 を基盤として構築されており、ノード間でデータ並列学習、ノード内で ZeRO-3 シャーディングを行うことで、効率的なマルチノード学習を可能にします。
Note: With respect to Disk Offload, the disk should be an NVME for decent speed but it technically works on any Disk推論:
- DeepSpeed ZeRO Inferenceは、ZeRO-InfinityによるZeROステージ3をサポートしています。学習と同じZeROプロトコルを使用しますが、オプティマイザーとlrスケジューラーは使用せず、関連するのはステージ3のみです。詳細については、ZeRO Inferenceを参照してください。
仕組み
前提条件: DeepSpeed バージョン >=0.6.5 をインストールしてください。詳細については、DeepSpeed のインストール詳細を参照してください。
まず、accelerate config を通じた使いやすい統合方法を確認します。
続いて、より柔軟で機能豊富な deepspeed config file による統合方法を確認します。
Accelerate DeepSpeed プラグイン
お使いのマシンで、次のコマンドを実行してください:
accelerate config
and answer the questions asked. It will ask whether you want to use a config file for DeepSpeed to which you should answer no. Then answer the following questions to generate a basic DeepSpeed config. This will generate a config file that will be used automatically to properly set the default options when doing
accelerate launch my_script.py --args_to_my_script
例えば、DeepSpeed Pluginを使用して、リポジトリのルートからNLPの例であるexamples/nlp_example.pyを実行するには、次のようにします。
ZeRO Stage-2 DeepSpeed プラグインの例
compute_environment: LOCAL_MACHINE
deepspeed_config:
gradient_accumulation_steps: 1
gradient_clipping: 1.0
offload_optimizer_device: none
offload_param_device: none
zero3_init_flag: true
zero_stage: 2
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: falseaccelerate launch examples/nlp_example.py --mixed_precision fp16
CPUオフロード付きZeRO Stage-3 DeepSpeedプラグインの例
compute_environment: LOCAL_MACHINE
deepspeed_config:
gradient_accumulation_steps: 1
gradient_clipping: 1.0
offload_optimizer_device: cpu
offload_param_device: cpu
zero3_init_flag: true
zero3_save_16bit_model: true
zero_stage: 3
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: falseaccelerate launch examples/nlp_example.py --mixed_precision fp16
現在、AccelerateはCLIを通じて以下の設定をサポートしています:
`zero_stage`: [0] Disabled, [1] optimizer state partitioning, [2] optimizer+gradient state partitioning and [3] optimizer+gradient+parameter partitioning
`gradient_accumulation_steps`: Number of training steps to accumulate gradients before averaging and applying them.
`gradient_clipping`: Enable gradient clipping with value.
`offload_optimizer_device`: [none] Disable optimizer offloading, [cpu] offload optimizer to CPU, [nvme] offload optimizer to NVMe SSD. Only applicable with ZeRO >= Stage-2.
`offload_optimizer_nvme_path`: Decides Nvme Path to offload optimizer states. If unspecified, will default to 'none'.
`offload_param_device`: [none] Disable parameter offloading, [cpu] offload parameters to CPU, [nvme] offload parameters to NVMe SSD. Only applicable with ZeRO Stage-3.
`offload_param_nvme_path`: Decides Nvme Path to offload parameters. If unspecified, will default to 'none'.
`zero3_init_flag`: Decides whether to enable `deepspeed.zero.Init` for constructing massive models. Only applicable with ZeRO Stage-3.
`zero3_save_16bit_model`: Decides whether to save 16-bit model weights when using ZeRO Stage-3.
`mixed_precision`: `no` for FP32 training, `fp16` for FP16 mixed-precision training and `bf16` for BF16 mixed-precision training.
`deepspeed_moe_layer_cls_names`: Comma-separated list of transformer Mixture-of-Experts (MoE) layer class names (case-sensitive) to wrap ,e.g, `MixtralSparseMoeBlock`, `Qwen2MoeSparseMoeBlock`, `JetMoEAttention,JetMoEBlock` ...
`deepspeed_hostfile`: DeepSpeed hostfile for configuring multi-node compute resources.
`deepspeed_exclusion_filter`: DeepSpeed exclusion filter string when using mutli-node setup.
`deepspeed_inclusion_filter`: DeepSpeed inclusion filter string when using mutli-node setup.
`deepspeed_multinode_launcher`: DeepSpeed multi-node launcher to use, e.g. `pdsh`, `standard`, `openmpi`, `mvapich`, `mpich`, `slurm`, `nossh` (requires DeepSpeed >= 0.14.5). If unspecified, will default to `pdsh`.
`deepspeed_config_file`: path to the DeepSpeed config file in `json` format. See the next section for more details on this.より多くのオプションを調整するには、DeepSpeedの構成ファイルを使用する必要があります。
DeepSpeed設定ファイル
お使いのマシンで、次のコマンドを実行してください:
accelerate config
質問に答えてください。 deepspeed の設定ファイルを使用するかどうかを確認されますので、yes と答えて、 deepspeed の設定ファイルへのパスを指定してください。 これにより、設定ファイルが生成され、実行時に デフォルトのオプションが適切に設定されるために自動的に使用されます。
accelerate launch my_script.py --args_to_my_script
例えば、DeepSpeed Config File を使用して NLP の例 examples/by_feature/deepspeed_with_config_support.py(リポジトリのルートから)を実行するには、次のようにします。
ZeRO Stage-2 DeepSpeed 設定ファイルの例
compute_environment: LOCAL_MACHINE
deepspeed_config:
deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage2_config.json
zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: falsezero_stage2_config.json の内容は以下の通りです:
{
"fp16": {
"enabled": true,
"loss_scale": 0,
"loss_scale_window": 1000,
"initial_scale_power": 16,
"hysteresis": 2,
"min_loss_scale": 1
},
"optimizer": {
"type": "AdamW",
"params": {
"lr": "auto",
"weight_decay": "auto",
"torch_adam": true,
"adam_w_mode": true
}
},
"scheduler": {
"type": "WarmupDecayLR",
"params": {
"warmup_min_lr": "auto",
"warmup_max_lr": "auto",
"warmup_num_steps": "auto",
"total_num_steps": "auto"
}
},
"zero_optimization": {
"stage": 2,
"allgather_partitions": true,
"allgather_bucket_size": 2e8,
"overlap_comm": true,
"reduce_scatter": true,
"reduce_bucket_size": "auto",
"contiguous_gradients": true
},
"gradient_accumulation_steps": 1,
"gradient_clipping": "auto",
"steps_per_print": 2000,
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"wall_clock_breakdown": false
}accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage2_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 24 \
--per_device_eval_batch_size 24 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\CPUオフロード付きZeRO Stage-3のDeepSpeed設定ファイルの例
compute_environment: LOCAL_MACHINE
deepspeed_config:
deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage3_offload_config.json
zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: falsezero_stage3_offload_config.json の内容は以下の通りです:
{
"fp16": {
"enabled": true,
"loss_scale": 0,
"loss_scale_window": 1000,
"initial_scale_power": 16,
"hysteresis": 2,
"min_loss_scale": 1
},
"optimizer": {
"type": "AdamW",
"params": {
"lr": "auto",
"weight_decay": "auto"
}
},
"scheduler": {
"type": "WarmupDecayLR",
"params": {
"warmup_min_lr": "auto",
"warmup_max_lr": "auto",
"warmup_num_steps": "auto",
"total_num_steps": "auto"
}
},
"zero_optimization": {
"stage": 3,
"offload_optimizer": {
"device": "cpu",
"pin_memory": true
},
"offload_param": {
"device": "cpu",
"pin_memory": true
},
"overlap_comm": true,
"contiguous_gradients": true,
"reduce_bucket_size": "auto",
"stage3_prefetch_bucket_size": "auto",
"stage3_param_persistence_threshold": "auto",
"sub_group_size": 1e9,
"stage3_max_live_parameters": 1e9,
"stage3_max_reuse_distance": 1e9,
"stage3_gather_16bit_weights_on_model_save": "auto"
},
"gradient_accumulation_steps": 1,
"gradient_clipping": "auto",
"steps_per_print": 2000,
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"wall_clock_breakdown": false
}accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage3_offload_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 32 \
--per_device_eval_batch_size 32 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\ZeRO++ の設定例 適切な設定パラメータを使用することで、ZeRO++ の機能を利用できます。なお、ZeRO++ は ZeRO Stage 3 の拡張機能です。DeepSpeed の ZeRO++ チュートリアル に従って、設定ファイルを以下のように変更できます。
{
"zero_optimization": {
"stage": 3,
"reduce_bucket_size": "auto",
"zero_quantized_weights": true,
"zero_hpz_partition_size": 8,
"zero_quantized_gradients": true,
"contiguous_gradients": true,
"overlap_comm": true
}
}階層型パーティショニングでは、パーティションサイズzero_hpz_partition_sizeは、ノードあたりのGPU数に設定するのが理想的です。(例えば、上記の設定ファイルはノードあたり8つのGPUを前提としています)
DeepSpeed設定ファイルを使用する場合の重要なコード変更
DeepSpeed Optimizers と Schedulers。これらに関する詳細は、DeepSpeed Optimizers および DeepSpeed Schedulers のドキュメントを参照してください。ここでは、これらを使用する場合にコードで行う必要がある変更について見ていきます。
a. DS Optim + DS Scheduler: DeepSpeedの設定ファイルに
optimizerとschedulerの両方のキーが存在する場合です。 この場合、それらが使用され、ユーザーはコード内のPyTorch/カスタムオプティマイザーとスケジューラーをaccelerate.utils.DummyOptimとaccelerate.utils.DummySchedulerに置き換える必要があります。 以下は、examples/by_feature/deepspeed_with_config_support.pyからこのことを示すスニペットです:# Creates Dummy Optimizer if `optimizer` was specified in the config file else creates Adam Optimizer optimizer_cls = ( torch.optim.AdamW if accelerator.state.deepspeed_plugin is None or "optimizer" not in accelerator.state.deepspeed_plugin.deepspeed_config else DummyOptim ) optimizer = optimizer_cls(optimizer_grouped_parameters, lr=args.learning_rate) # Creates Dummy Scheduler if `scheduler` was specified in the config file else creates `args.lr_scheduler_type` Scheduler if ( accelerator.state.deepspeed_plugin is None or "scheduler" not in accelerator.state.deepspeed_plugin.deepspeed_config ): lr_scheduler = get_scheduler( name=args.lr_scheduler_type, optimizer=optimizer, num_warmup_steps=args.num_warmup_steps, num_training_steps=args.max_train_steps, ) else: lr_scheduler = DummyScheduler( optimizer, total_num_steps=args.max_train_steps, warmup_num_steps=args.num_warmup_steps )b. カスタム Optimizer + カスタム Scheduler: DeepSpeed の設定ファイルに
optimizerキーとschedulerキーの両方が存在しない場合です。 この場合、ユーザーによるコードの変更は不要であり、DeepSpeed Plugin 経由で統合を使用する場合がこれに該当します。 上記の例では、DeepSpeed の設定ファイルにoptimizerキーとschedulerキーが存在しない場合、コードが変更されないことがわかります。c. カスタム Optim + DS Scheduler: DeepSpeed の設定ファイルに
schedulerキーのみが存在する場合です。 この状況では、ユーザーはコード内の PyTorch/カスタム スケジューラーをaccelerate.utils.DummySchedulerに置き換える必要があります。d. DS Optim + Custom Scheduler: DeepSpeed の設定ファイルに
optimizerキーのみが存在する場合。 DS Optim を使用していない場合、DS Scheduler を使用できないため、エラーが発生します。上記のDeepSpeed設定ファイルの例にある
autoの値に注目してください。これらの値は、prepareメソッドに渡されたモデル、データローダー、ダミーのオプティマイザー、およびダミーのスケジューラーに基づいて、prepareメソッドによって自動的に処理されます。上記の例で指定されたautoフィールドのみがprepareメソッドによって処理され、それ以外のフィールドはユーザーが明示的に指定する必要があります。
auto の値は、次のように計算されます:
reduce_bucket_size:hidden_size * hidden_sizestage3_prefetch_bucket_size:int(0.9 * hidden_size * hidden_size)stage3_param_persistence_threshold:10 * hidden_size
これらの3つの設定項目に対してauto機能が動作するためには、Accelerateはmodel.config.hidden_sizeまたはmax(model.config.hidden_sizes)をhidden_sizeとして使用します。これら両方が利用できない場合、起動は失敗し、これらの3つの設定項目を手動で設定する必要があります。最初の2つの設定項目は通信バッファであり、これらが大きいほど通信は効率的になりますが、同時に消費するGPUメモリも大きくなります。したがって、これは調整可能なパフォーマンスのトレードオフです。
DeepSpeed設定ファイルを使用する際の注意点
以下は、異なるシナリオでdeepspeed_config_fileを使用するサンプルスクリプトです。
test.py のコード:
from accelerate import Accelerator
from accelerate.state import AcceleratorState
def main():
accelerator = Accelerator()
accelerator.print(f"{AcceleratorState()}")
if __name__ == "__main__":
main()シナリオ 1: deepspeed_config_file とその他のエントリを含む accelerate の設定ファイルを手動で改ざんした場合。
accelerate設定の内容:
command_file: null
commands: null
compute_environment: LOCAL_MACHINE
deepspeed_config:
gradient_accumulation_steps: 1
gradient_clipping: 1.0
offload_optimizer_device: 'cpu'
offload_param_device: 'cpu'
zero3_init_flag: true
zero3_save_16bit_model: true
zero_stage: 3
deepspeed_config_file: 'ds_config.json'
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
gpu_ids: null
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_name: null
tpu_zone: null
use_cpu: falseds_config.json:
{
"bf16": {
"enabled": true
},
"zero_optimization": {
"stage": 3,
"stage3_gather_16bit_weights_on_model_save": false,
"offload_optimizer": {
"device": "none"
},
"offload_param": {
"device": "none"
}
},
"gradient_clipping": 1.0,
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"gradient_accumulation_steps": 10,
"steps_per_print": 2000000
}accelerate launch test.pyの出力:
ValueError: When using `deepspeed_config_file`, the following accelerate config variables will be ignored:
['gradient_accumulation_steps', 'gradient_clipping', 'zero_stage', 'offload_optimizer_device', 'offload_param_device',
'zero3_save_16bit_model', 'mixed_precision'].
Please specify them appropriately in the DeepSpeed config file.
If you are using an accelerate config file, remove other config variables mentioned in the above specified list.
The easiest method is to create a new config following the questionnaire via `accelerate config`.
It will only ask for the necessary config variables when using `deepspeed_config_file`.シナリオ 2: エラーの解決策を用いて新しい accelerate 設定を作成し、曖昧性エラーがもう発生しないことを確認します。
accelerate configを実行します:
$ accelerate config
-------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
multi-GPU
How many different machines will you use (use more than 1 for multi-node training)? [1]:
Do you wish to optimize your script with torch dynamo?[yes/NO]:
Do you want to use DeepSpeed? [yes/NO]: yes
Do you want to specify a json file to a DeepSpeed config? [yes/NO]: yes
Please enter the path to the json DeepSpeed config file: ds_config.json
Do you want to enable `deepspeed.zero.Init` when using ZeRO Stage-3 for constructing massive models? [yes/NO]: yes
How many GPU(s) should be used for distributed training? [1]:4
accelerate configuration saved at ds_config_sample.yamlaccelerate設定の内容:
compute_environment: LOCAL_MACHINE
deepspeed_config:
deepspeed_config_file: ds_config.json
zero3_init_flag: true
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
machine_rank: 0
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 4
rdzv_backend: static
same_network: true
use_cpu: falseaccelerate launch test.pyの出力:
Distributed environment: DEEPSPEED Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: bf16
ds_config: {'bf16': {'enabled': True}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': False, 'offload_optimizer': {'device': 'none'}, 'offload_param': {'device': 'none'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 10, 'steps_per_print': inf, 'fp16': {'enabled': False}}シナリオ 3: DeepSpeed の設定ファイルで、accelerate launch コマンドの DeepSpeed 関連引数を "auto" に設定し、期待通りに動作することを確認します。
accelerate launchDeepSpeed コマンドの引数に"auto"を指定した新しいds_config.json:
{
"bf16": {
"enabled": "auto"
},
"zero_optimization": {
"stage": "auto",
"stage3_gather_16bit_weights_on_model_save": "auto",
"offload_optimizer": {
"device": "auto"
},
"offload_param": {
"device": "auto"
}
},
"gradient_clipping": "auto",
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"gradient_accumulation_steps": "auto",
"steps_per_print": 2000000
}accelerate launch --mixed_precision="fp16" --zero_stage=3 --gradient_accumulation_steps=5 --gradient_clipping=1.0 --offload_param_device="cpu" --offload_optimizer_device="nvme" --zero3_save_16bit_model="true" test.pyの出力:
Distributed environment: DEEPSPEED Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: fp16
ds_config: {'bf16': {'enabled': False}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': True, 'offload_optimizer': {'device': 'nvme'}, 'offload_param': {'device': 'cpu'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 5, 'steps_per_print': inf, 'fp16': {'enabled': True, 'auto_cast': True}}注:
- Remaining
"auto"values are handled inaccelerator.prepare()call as explained in point 2 ofImportant code changes when using DeepSpeed Config File. gradient_accumulation_stepsがautoの場合のみ、Accelerator(gradient_accumulation_steps=k)を介してAcceleratorオブジェクトを作成する際に渡された値が使用されます。DeepSpeed Pluginを使用している場合、その値が使用され、Acceleratorオブジェクトの作成時に渡された値を上書きします。
保存と読み込み
ZeRO Stage-1およびStage-2では、モデルの保存と読み込みは変更ありません。
ZeRO Stage-3では、モデルの重みが複数のGPUに分割されているため、
state_dictにはプレースホルダーのみが含まれます。 ZeRO Stage-3には2つのオプションがあります。a. 16ビットのモデル重みをすべて保存し、後で
model.load_state_dict(torch.load(pytorch_model.bin))を使用して直接読み込む方法。 これには、DeepSpeed Configファイルでzero_optimization.stage3_gather_16bit_weights_on_model_saveをTrueに設定するか、DeepSpeed Pluginでzero3_save_16bit_modelをTrueに設定します。このオプションは、重みを1つのGPUに集約する必要があるため、遅く、メモリを大量に消費する可能性があります。必要に応じてのみこの機能を使用してください。 以下は、examples/by_feature/deepspeed_with_config_support.pyから抜粋した、この設定を示すスニペットです:unwrapped_model = accelerator.unwrap_model(model) # New Code # # Saves the whole/unpartitioned fp16 model when in ZeRO Stage-3 to the output directory if # `stage3_gather_16bit_weights_on_model_save` is True in DeepSpeed Config file or # `zero3_save_16bit_model` is True in DeepSpeed Plugin. # For Zero Stages 1 and 2, models are saved as usual in the output directory. # The model name saved is `pytorch_model.bin` unwrapped_model.save_pretrained( args.output_dir, is_main_process=accelerator.is_main_process, save_function=accelerator.save, state_dict=accelerator.get_state_dict(model), )b. 32ビットの重みを取得するには、まず
model.save_checkpoint()を使用してモデルを保存してください。 以下は、examples/by_feature/deepspeed_with_config_support.pyから抜粋した、この処理を示すスニペットです:success = model.save_checkpoint(PATH, ckpt_id, checkpoint_state_dict) status_msg = f"checkpointing: PATH={PATH}, ckpt_id={ckpt_id}" if success: logging.info(f"Success {status_msg}") else: logging.warning(f"Failure {status_msg}")これにより、チェックポイントディレクトリに ZeRO のモデルおよびオプティマイザーのパーティションと、
zero_to_fp32.pyスクリプトが作成されます。 このスクリプトを使用して、オフラインでの統合を行うことができます。 設定ファイルや GPU は不要です。使用例を以下に示します。$ cd /path/to/checkpoint_dir $ ./zero_to_fp32.py . pytorch_model.bin Processing zero checkpoint at global_step1 Detected checkpoint of type zero stage 3, world_size: 2 Saving fp32 state dict to pytorch_model.bin (total_numel=60506624)保存や推論用の32ビットモデルを取得するには、次のように実行できます。
from deepspeed.utils.zero_to_fp32 import load_state_dict_from_zero_checkpoint unwrapped_model = accelerator.unwrap_model(model) fp32_model = load_state_dict_from_zero_checkpoint(unwrapped_model, checkpoint_dir)state_dictのみに関心がある場合は、次のようにできます。from deepspeed.utils.zero_to_fp32 import get_fp32_state_dict_from_zero_checkpoint state_dict = get_fp32_state_dict_from_zero_checkpoint(checkpoint_dir)これらの関数はすべて、最終的なチェックポイントサイズの約2倍のメモリ(一般的なRAM)を必要とする点に注意してください。
ZeRO推論
DeepSpeed ZeRO Inferenceは、ZeRO-InfinityによるZeROステージ3をサポートしています。 学習と同じZeROプロトコルを使用しますが、オプティマイザーとlrスケジューラーは使用せず、関連するのはステージ3のみです。 accelerateの統合を使用する場合、以下に示すようにモデルとdataloaderを準備するだけです:
model, eval_dataloader = accelerator.prepare(model, eval_dataloader)
留意すべきいくつかの注意点
- 現在の統合は、DeepSpeedのPipeline Parallelismをサポートしていません。
- 現在の統合は
mpuをサポートしていないため、Megatron-LMでサポートされているテンソル並列性が制限されています。 - 現在の統合は、複数のモデルをサポートしていません。
マルチノード DeepSpeed
DeepSpeedは、さまざまなランチャーを介したマルチノード推論とトレーニングをサポートしています。deepspeed_multinode_launcher設定をCLIまたはDeepSpeed設定ファイルで設定することで、別のランチャーを指定できます。
現在、accelerateは、以下のDeepSpeedマルチノードランチャーの設定を渡すことをサポートしています: pdsh(デフォルト)、standard、openmpi、mvapich、mpich、slurm、nossh(DeepSpeed >= 0.14.5が必要です)。
異なるランチャーに関する詳細については、DeepSpeedのドキュメントを参照してください。デフォルトでは、DeepSpeedはメインのマシンノードから他のノードへパスワードなしのSSHを使用して、ランチャーコマンドを実行しようとします。この構成では、accelerate launchコマンドはメインノードでのみ実行すれば構いません。nosshランチャーを使用する場合は、コピーした設定を使用して、すべてのノードでaccelerate launchコマンドを実行する必要があります。
DeepSpeed リソース
deepspeedに関連する内部処理のドキュメントは、こちらで確認できます。
論文:
- ZeRO: 兆パラメータモデルの学習に向けたメモリ最適化
- ZeRO-Offload: 10億規模のモデル学習の民主化
- ZeRO-Infinity: 極限スケールの深層学習におけるGPUメモリ壁の突破
- ZeRO++: 巨大モデルの学習における極めて効率的な集合通信
最後に、AccelerateはDeepSpeedのみを統合している点にご注意ください。したがって、DeepSpeedの使用に関する問題や質問がある場合は、DeepSpeed GitHubにissueを起票してください。
Update on GitHubFSDPとDeepSpeedの類似点と相違点にご興味のある方は、こちらのコングラントガイドをご覧ください!