LeRobot documentation

Reachy 2

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Reachy 2

Reachy 2 は、Pollen Robotics によって開発されたオープンソースのヒューマノイドロボットであり、エンボディド AI および実世界でのアプリケーション開発を目的として設計されています。 プラットフォームの詳細については、Pollen Robotics のウェブサイトをご覧ください。また、Reachy 2 のドキュメントにもアクセスできます。

Reachy 2の遠隔操作

現在、Reachy 2をテレオペレーションする方法は2つあります。

  • Pollen RoboticsのVR遠隔操作(LeRobotには含まれていません)。
  • ロボット間テレオペレーション(Reachy 2 を用いて別の Reachy 2 を操作する)。

Reachy 2 シミュレーション

(Linux のみ) 提供されている Docker イメージ を使用して、Reachy 2 をシミュレーション(Gazebo または MuJoCo)で実行できます。

  1. Docker Engineをインストールします。
  2. 実行(MuJoCo用):
docker run --rm -it \
  --name reachy \
  --privileged \
  --network host \
  --ipc host \
  --device-cgroup-rule='c 189:* rwm' \
  --group-add audio \
  -e ROS_DOMAIN_ID="$ROS_DOMAIN_ID" \
  -e DISPLAY="$DISPLAY" \
  -e RCUTILS_CONSOLE_OUTPUT_FORMAT="[{severity}]: {message}" \
  -e REACHY2_CORE_SERVICE_FAKE="${REACHY2_CORE_SERVICE_FAKE:-true}" \
  -v /dev:/dev \
  -v "$HOME/.reachy_config":/home/reachy/.reachy_config_override \
  -v "$HOME/.reachy.log":/home/reachy/.ros/log \
  -v /usr/lib/x86_64-linux-gnu:/opt/host-libs \
  --entrypoint /package/launch.sh \
  pollenrobotics/reachy2_core:1.7.5.9_deploy \
  start_rviz:=true start_sdk_server:=true mujoco:=true

MuJoCo の実行が遅い場合(シミュレーション周波数が低い場合)、パフォーマンスを向上させるために、前述のコマンドに -e LD_LIBRARY_PATH="/opt/host-libs:$LD_LIBRARY_PATH" \ を追加してください。

docker run --rm -it \
  --name reachy \
  --privileged \
  --network host \
  --ipc host \
  --device-cgroup-rule='c 189:* rwm' \
  --group-add audio \
  -e ROS_DOMAIN_ID="$ROS_DOMAIN_ID" \
  -e DISPLAY="$DISPLAY" \
  -e RCUTILS_CONSOLE_OUTPUT_FORMAT="[{severity}]: {message}" \
  -e REACHY2_CORE_SERVICE_FAKE="${REACHY2_CORE_SERVICE_FAKE:-true}" \
  -e LD_LIBRARY_PATH="/opt/host-libs:$LD_LIBRARY_PATH" \
  -v /dev:/dev \
  -v "$HOME/.reachy_config":/home/reachy/.reachy_config_override \
  -v "$HOME/.reachy.log":/home/reachy/.ros/log \
  -v /usr/lib/x86_64-linux-gnu:/opt/host-libs \
  --entrypoint /package/launch.sh \
  pollenrobotics/reachy2_core:1.7.5.9_deploy \
  start_rviz:=true start_sdk_server:=true mujoco:=true

セットアップ

前提条件

  • ロボット上で、 サービスイメージ が最低バージョンを満たしていることを確認してください:
    • reachy2-core >= 1.7.5.2
    • webrtc >= 2.0.1.1

次に、VRテレオペレーションを使用する場合は:

2台のコンピューターを使用することをお勧めします。1台はテレオペレーション用(Windows必須)、もう1台はLeRobotでの録画用です。

LeRobotのインストール

LeRobotをインストールするには、インストール手順に従ってください。

Reachy 2の依存関係を含むLeRobotをインストールします:

pip install -e ".[reachy2]"

ステップ1: 録音

Reachy 2のIPアドレスを取得する

テレオペレーションとデータ記録を開始する前に、ロボットのIPアドレスを確認してください。 すべてのデバイス(PCとロボット)をEthernetで接続することを強く推奨します。

ローンチの録画

LeRobotのlerobot-recordコマンドを使用して、録画セッションを管理します。以前にここで文書化されていたpollen_data_acquisition_serverワークフローは、もう利用できません。

Reachy 2 VR遠隔操作アプリケーションを使用する際は、「Standard session」を選択してください。VRアプリケーションがロボットの動作を制御し、lerobot-recordがデータセットを管理してエピソードの開始と停止を行います。

lerobot-recordで記録する

Reachy 2 は、LeRobot の録画機能により完全にサポートされています。

例: モバイルベースなしで録音を開始する: まず、録音スクリプトのインポートに reachy2 と reachy2_teleoperator を追加します。その後、以下のコマンドを使用できます:

lerobot-record \
    --robot.type=reachy2 \
    --robot.ip_address=192.168.0.200 \
    --robot.id=r2-0000 \
    --robot.use_external_commands=true \
    --robot.with_mobile_base=false \
    --teleop.type=reachy2_teleoperator \
    --teleop.ip_address=192.168.0.200 \
    --teleop.with_mobile_base=false \
    --robot.with_torso_camera=true \
    --dataset.repo_id=pollen_robotics/record_test \
    --dataset.single_task="Reachy 2 recording test" \
    --dataset.num_episodes=1 \
    --dataset.episode_time_s=5 \
    --dataset.fps=15 \
    --dataset.push_to_hub=true \
    --dataset.private=true \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2 \
    # --dataset.rgb_encoder.vcodec=auto \
    --display_data=true

特定のオプション

拡張セットアップの概要(すべてのオプションを含む):

lerobot-record \
    --robot.type=reachy2 \
    --robot.ip_address=192.168.0.200 \
    --robot.use_external_commands=true \
    --robot.with_mobile_base=true \
    --robot.with_l_arm=true \
    --robot.with_r_arm=true \
    --robot.with_neck=true \
    --robot.with_antennas=true \
    --robot.with_left_teleop_camera=true \
    --robot.with_right_teleop_camera=true \
    --robot.with_torso_camera=false \
    --robot.camera_width=640 \
    --robot.camera_height=480 \
    --robot.disable_torque_on_disconnect=false \
    --robot.max_relative_target=5.0 \
    --teleop.type=reachy2_teleoperator \
    --teleop.ip_address=192.168.0.200 \
    --teleop.use_present_position=false \
    --teleop.with_mobile_base=false \
    --teleop.with_l_arm=true \
    --teleop.with_r_arm=true \
    --teleop.with_neck=true \
    --teleop.with_antennas=true \
    --dataset.repo_id=pollen_robotics/record_test \
    --dataset.single_task="Reachy 2 recording test" \
    --dataset.num_episodes=1 \
    --dataset.episode_time_s=5 \
    --dataset.fps=15 \
    --dataset.push_to_hub=true \
    --dataset.private=true \
    --dataset.streaming_encoding=true \
    --dataset.encoder_threads=2 \
    # --dataset.rgb_encoder.vcodec=auto \
    --display_data=true
--robot.use_external_commands

LeRobotのrobot.send_action()がロボットにコマンドを送信するかどうかを決定します。VRテレオペレーションアプリケーションを使用している間は、アプリケーションがすでにコマンドを送信しているため、必ずfalseに設定してください。

--teleop.use_present_position

テレオペレーターがロボットの目標位置か現在位置を読み取っているかを判定します。 コンプライアントな Reachy 2 を使用して別の Reachy 2 を制御する場合は、true に設定する必要があります。

関連する部分を使用します

初期のテストでは、一部の関節のみが動いている場合にすべての関節を記録すると、特定のポリシーではモデルの品質が低下する可能性があります。 これを回避するために、以下の方法で記録と再生から特定の部分を除外できます。

--robot.with_<part>=false

<part> は mobile_base、l_arm、r_arm",neck,antennas` のいずれかです。 対応するパーツが観測値に記録されるかどうかを決定します。設定されていない場合は True になります。

デフォルトでは、すべてのパーツが記録されます。

同じパートごとの機構は、reachy2_teleoperatorでも利用できます。

--teleop.with\_<part>

<part> は mobile_base、l_arm、r_arm",neck,antennas` のいずれかです。 対応するパーツがアクションに記録されているかどうかを判定します。設定されていない場合は True になります。

重要: 特定のセッションでは、ロボットとテレオペレーターの両方で有効化されたパーツが一致している必要があります。 例えば、ロボットが--robot.with_mobile_base=falseで実行されている場合、テレオペレーターでも同じパーツを無効にする必要があります--teleoperator.with_mobile_base=false。

関連するカメラを使用します

camerasについても同様の操作が可能です。デフォルトのパラメータを使用して各カメラを有効化または無効化するには、以下を使用します:

--robot.with_left_teleop_camera=<true|false> \
--robot.with_right_teleop_camera=<true|false> \
--robot.with_torso_camera=<true|false>

デフォルトではカメラは記録されず、すべてのカメラ引数はfalseに設定されています。 必要に応じて、--robot.camera_width & --robot.camera_height 引数を使用して、Reachy 2 のカメラにカスタムのwidthおよびheightパラメータを指定できます:

--robot.camera_width=1920 \
--robot.camera_height=1080

これにより、上記のブール引数で有効化された3つのデフォルトのロボットカメラの解像度が変更されます。

必要に応じて、…を通常どおり使用して、ロボットに搭載されているカメラ以外の追加カメラを追加できます。

--robot.cameras="{ extra: {type: opencv, index_or_path: 42, width: 640, height: 480, fps: 30}}" \

ステップ2: リプレイ

ロボットがデータセットと同じパーツで設定されていることを確認してください:

lerobot-replay \
    --robot.type=reachy2 \
    --robot.ip_address=192.168.0.200 \
    --robot.use_external_commands=false \
    --robot.with_mobile_base=false \
    --dataset.repo_id=pollen_robotics/record_test \
    --dataset.episode=0

ステップ3: 学習

lerobot-train \
  --dataset.repo_id=pollen_robotics/record_test \
  --policy.type=act \
  --output_dir=outputs/train/reachy2_test \
  --job_name=reachy2 \
  --policy.device=mps \
  --trackio.enable=true \
  --policy.repo_id=pollen_robotics/record_test_policy

ステップ4: 評価

lerobot-eval \
  --robot.type=reachy2 \
  --robot.ip_address=192.168.0.200 \
  --dataset.repo_id=pollen_robotics/eval_record_test \
  --dataset.single_task="Evaluate reachy2 policy" \
  --dataset.num_episodes=10 \
  --policy.path=outputs/train/reachy2_test/checkpoints/last/pretrained_model

移動されたセクション:

[ (任意ですが推奨)pollen_data_acquisition_server をインストールする ]

[ オプション 1: Pollen データ取得サーバーの使用(VR テレオペレーションに推奨) ]

[ オプション 2: lerobot.record の使用 ]

Update on GitHub