Accelerate

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.15.0).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Trình khởi chạy

Các hàm để khởi động huấn luyện trên các tiến trình phân tán.

notebook_launcher

accelerate.notebook_launcher

< source >

( functionargs = ()num_processes = Nonemixed_precision = 'no'use_port = '29500'master_addr = '127.0.0.1'node_rank = 0num_nodes = 1rdzv_backend = 'static'rdzv_endpoint = ''rdzv_conf = Nonerdzv_id = 'none'max_restarts = 0monitor_interval = 0.1log_line_prefix_template = None )

Tham số

function (Callable) — Hàm huấn luyện cần thực thi. Nếu hàm này nhận các đối số, đối số đầu tiên phải là chỉ số của tiến trình đang chạy.
args (Tuple) — Bộ tuple các đối số để truyền cho hàm (hàm sẽ nhận *args).
num_processes (int, tùy chọn) — Số lượng tiến trình được sử dụng cho việc huấn luyện. Mặc định sẽ là 8 trong Colab/Kaggle nếu có TPU khả dụng, nếu không sẽ là số lượng thiết bị khả dụng.
mixed_precision (str, tùy chọn, mặc định là "no") — Nếu là fp16 hoặc bf16, sẽ sử dụng huấn luyện độ chính xác hỗn hợp trên nhiều thiết bị.
use_port (str, tùy chọn, mặc định là "29500") — Cổng (port) được sử dụng để giao tiếp giữa các tiến trình khi khởi động huấn luyện đa thiết bị.
master_addr (str, tùy chọn, mặc định là "127.0.0.1") — Địa chỉ được sử dụng cho việc truyền thông giữa các tiến trình.
node_rank (int, tùy chọn, mặc định là 0) — Rank của node hiện tại.
num_nodes (int, tùy chọn, mặc định là 1) — Số lượng node được sử dụng cho huấn luyện.
rdzv_backend (str, tùy chọn, mặc định là "static") — Phương thức rendezvous cần sử dụng, chẳng hạn như ‘static’ (mặc định) hoặc ‘c10d’
rdzv_endpoint (str, tùy chọn, mặc định là "") — Điểm cuối của bộ lưu trữ đồng bộ hóa rdzv.
rdzv_conf (Dict, tùy chọn, mặc định là None) — Cấu hình hội tụ bổ sung.
rdzv_id (str, tùy chọn, mặc định là "none") — ID chạy duy nhất của tác vụ.
max_restarts (int, tùy chọn, mặc định là 0) — Số lần khởi động lại tối đa mà elastic agent sẽ thực hiện trên các worker trước khi bị lỗi.
monitor_interval (float, tùy chọn, mặc định là 0.1) — Khoảng thời gian (tính bằng giây) được elastic_agent sử dụng làm chu kỳ giám sát các worker.
log_line_prefix_template (str, tuỳ chọn, mặc định là None) — Mẫu tiền tố cho nhật ký khởi động đàn hồi. Có sẵn từ PyTorch 2.2.0.

Khởi chạy một hàm huấn luyện, sử dụng nhiều tiến trình hoặc nhiều nút nếu môi trường hiện tại cho phép (ví dụ: TPU với nhiều lõi).

Để sử dụng hàm này, không được thực hiện bất kỳ cuộc gọi nào đến thiết bị trong phiên notebook trước khi gọi hàm. Nếu đã có bất kỳ cuộc gọi nào, bạn cần khởi động lại notebook và đảm bảo rằng không có cell nào sử dụng khả năng của thiết bị.

Việc đặt ACCELERATE_DEBUG_MODE="1" trong môi trường của bạn sẽ chạy một bài kiểm tra trước khi thực sự khởi chạy để đảm bảo rằng không có bất kỳ cuộc gọi nào trong số đó đã được thực hiện.

Ví dụ:

# Assume this is defined in a Jupyter Notebook on an instance with two devices
from accelerate import notebook_launcher


def train(*args):
    # Your training function here
    ...


notebook_launcher(train, args=(arg1, arg2), num_processes=2, mixed_precision="fp16")

debug_launcher

accelerate.debug_launcher

< source >

( functionargs = ()num_processes = 2 )

Tham số

function (Callable) — Hàm huấn luyện cần thực thi.
args (Tuple) — Bộ tuple các đối số để truyền cho hàm (hàm sẽ nhận *args).
num_processes (int, tùy chọn, mặc định là 2) — Số lượng tiến trình được sử dụng cho việc huấn luyện.

Khởi chạy một hàm huấn luyện sử dụng nhiều tiến trình trên CPU cho mục đích gỡ lỗi.

Hàm này được cung cấp cho mục đích kiểm tra và gỡ lỗi nội bộ, nhưng không dành cho các quá trình huấn luyện thực tế. Nó sẽ chỉ sử dụng CPU.

Update on GitHub

←Công cụ theo dõi thí nghiệm Công cụ tiện ích của DeepSpeed→