Accelerate documentation

Amazon SageMaker

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Amazon SageMaker

Hugging Face と Amazon は、Amazon SageMaker 上で Hugging Face の Transformer モデルをこれまで以上に簡単にトレーニングできるよう、新しい Hugging Face Deep Learning Containers (DLCs) を導入しました。

はじめる

セットアップとインストール

Amazon SageMaker で Accelerate スクリプトを実行するには、AWS アカウントへの登録が必要です。まだ AWS アカウントをお持ちでない場合は、こちらで詳細をご覧ください。

AWSアカウントを取得した後、Accelerate用のsagemaker SDKを以下でインストールする必要があります。

pip install "accelerate[sagemaker]" --upgrade

Accelerate は現在、DLC を使用しており、transformers、datasets、tokenizers がプリインストールされています。Accelerate 自体はまだ DLC に含まれていません(まもなく追加される予定です)。そのため、Amazon SageMaker で Accelerate を使用するには、トレーニングスクリプトが配置されているディレクトリに requirements.txt を作成し、そこに依存関係として追加する必要があります。

accelerate

requirements.txt に、その他の依存関係も追加する必要があります。

Accelerateを設定する

Amazon SageMaker の起動設定は、SageMaker 以外のトレーニングジョブと同様に、Accelerate CLI を使用して設定できます:

accelerate config
# In which compute environment are you running? ([0] This machine, [1] AWS (Amazon SageMaker)): 1

Accelerate は、Amazon SageMaker のセットアップに関するアンケートを実施し、編集可能な設定ファイルを作成します。

Accelerate は、あなたの認証情報を保存しません。

Accelerateのファインチューニングスクリプトを準備する

学習スクリプトは、SageMaker 以外で実行する一般的な学習スクリプトと非常に似ていますが、学習後にモデルを保存するには、保存ディレクトリとして/opt/ml/modelを指定するか、os.environ["SM_MODEL_DIR"]を使用する必要があります。学習が完了すると、このディレクトリ内の成果物が S3 にアップロードされます。

- torch.save('/opt/ml/model`)
+ accelerator.save('/opt/ml/model')

SageMakerはargparseのアクションをサポートしていません。例えば、ブール型のハイパーパラメータを使用したい場合は、スクリプト内でtypeをboolとして指定し、このハイパーパラメータに対して明示的なTrueまたはFalseの値を指定する必要があります。[REF]。

トレーニングを開始

Accelerate CLI を使用して、以下のようにトレーニングを開始できます。

accelerate launch path_to_script.py --args_to_the_script

これにより、設定に基づいてトレーニングスクリプトが起動されます。トレーニングスクリプトに必要なすべての引数を、名前付き引数として指定するだけです。

例

サンプルスクリプトのいずれかを実行する場合は、accelerator.save('/opt/ml/model') を追加することを忘れないでください。

accelerate launch ./examples/sagemaker_example.py

出力:

Configuring Amazon SageMaker environment
Converting Arguments to Hyperparameters
Creating Estimator
2021-04-08 11:56:50 Starting - Starting the training job...
2021-04-08 11:57:13 Starting - Launching requested ML instancesProfilerReport-1617883008: InProgress
.........
2021-04-08 11:58:54 Starting - Preparing the instances for training.........
2021-04-08 12:00:24 Downloading - Downloading input data
2021-04-08 12:00:24 Training - Downloading the training image..................
2021-04-08 12:03:39 Training - Training image download completed. Training in progress..
........
epoch 0: {'accuracy': 0.7598039215686274, 'f1': 0.8178438661710037}
epoch 1: {'accuracy': 0.8357843137254902, 'f1': 0.882249560632689}
epoch 2: {'accuracy': 0.8406862745098039, 'f1': 0.8869565217391304}
........
2021-04-08 12:05:40 Uploading - Uploading generated training model
2021-04-08 12:05:40 Completed - Training job completed
Training seconds: 331
Billable seconds: 331
You can find your model data at: s3://your-bucket/accelerate-sagemaker-1-2021-04-08-11-56-47-108/output/model.tar.gz

高度な機能

分散学習: データ並列

accelerate config を実行して accelerate の設定を行い、SageMaker に関する質問に答えて設定してください。 SageMaker DDP を使用するには、What is the distributed mode? ([0] No distributed training, [1] data parallelism): と問われた際に、それを選択してください。 設定の例を以下に示します。

base_job_name: accelerate-sagemaker-1
compute_environment: AMAZON_SAGEMAKER
distributed_type: DATA_PARALLEL
ec2_instance_type: ml.p3.16xlarge
iam_role_name: xxxxx
image_uri: null
mixed_precision: fp16
num_machines: 1
profile: xxxxx
py_version: py10
pytorch_version: 2.5.0
region: us-east-1
transformers_version: 4.17.0
use_cpu: false

分散学習: モデル並列

現在開発中であり、まもなくサポート予定です。

Pythonパッケージと依存関係

Accelerate は現在、DLC を使用しており、transformers、datasets、tokenizers がプリインストールされています。異なる Python パッケージや追加のパッケージを使用する場合は、requirements.txt にそれらを追加してください。これらのパッケージは、トレーニングスクリプトが開始される前にインストールされます。

ローカルトレーニング: SageMaker ローカルモード

SageMaker SDKのローカルモードでは、HuggingFace DLC(Deep Learning container)内、またはカスタムコンテナイメージを使用して、トレーニングスクリプトをローカルで実行できます。これは、最終的なコンテナ環境内でトレーニングスクリプトのデバッグやテストを行う際に便利です。 ローカルモードはDocker composeを使用します(注: Docker Compose V2は現在サポートされていません)。SDKはECRへの認証を処理し、DLCをローカル環境にプルします。CPU(シングルインスタンスおよびマルチインスタンス)とGPU(シングルインスタンス)のSageMakerトレーニングジョブをエミュレートできます。

ローカルモードを使用するには、ec2_instance_typeをlocalに設定する必要があります。

ec2_instance_type: local

高度な設定

この設定により、Estimatorのパラメータを上書きできます。 これらの設定は設定ファイルに適用する必要があり、accelerate configの一部ではありません。Spotインスタンスの使用やネットワーク分離の有効化など、トレーニングジョブの多くの追加の側面を制御できます。

additional_args:
  # enable network isolation to restrict internet access for containers
  enable_network_isolation: True

利用可能なすべての設定はこちらで確認できます。

Spotインスタンスを使用する

Spot Instances を使用できます。例えば、高度な設定を参照してください:

additional_args:
  use_spot_instances: True
  max_wait: 86400

注: Spot Instances は終了の対象となり、チェックポイントからトレーニングを再開する必要があります。この処理は Accelerate ではデフォルトでは行われません。この機能をご希望の場合は、お問い合わせください。

リモートスクリプト: Github にあるスクリプトを使用します

この機能が必要かどうかは未定です。この機能をご希望の場合は、お問い合わせください。

Update on GitHub