LeRobot 訓練監(jiān)控完整指南WandB 指標追蹤、Rerun 實時可視化與評估視頻導出【免費下載鏈接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning項目地址: https://gitcode.com/GitHub_Trending/le/lerobot策略訓練一旦啟動你通常只能在終端里翻 loss 數字機器人到底學沒學會基本靠猜。本文覆蓋 LeRobot 訓練可視化的三個環(huán)節(jié)按 WandB 指標配置、Rerun 實時監(jiān)控接入、評估視頻導出與歸檔的順序展開。LeRobot 訓練監(jiān)控能力全景LeRobot 把訓練黑盒拆成三條可視化通路WandB 負責聚合訓練指標并歸檔模型工件Rerun 負責遙操作與錄制時的實時觀測流評估視頻則把策略在仿真環(huán)境里的真實執(zhí)行過程錄下來供事后回放。三者分別掛在訓練主循環(huán)、控制循環(huán)腳本和評估函數上你不需要自己搭日志管道。能力解決的問題對應源碼路徑WandB 指標追蹤loss、學習率、成功率等訓練曲線無法直觀對比src/lerobot/common/wandb_utils.pyRerun 實時可視化遙操作、錄制時看不到傳感器畫面與關節(jié)動作src/lerobot/utils/visualization_utils.py評估視頻錄制策略在環(huán)境里執(zhí)行得如何缺乏直觀證據src/lerobot/scripts/lerobot_eval.py核心操作流程從 WandB 配置到評估視頻導出三條通路都不需要改動訓練代碼本身調用點已內置在腳本里你只需要打開配置開關并理解各自的數據流向。配置 WandB 訓練指標日志WandB 默認是關閉的啟動訓練后只有本地日志可看。打開它只需在lerobot-train命令上補幾個參數可用的鍵值都在 src/lerobot/configs/default.py 的WandBConfig中定義。# 配置定義見 src/lerobot/configs/default.py 的 WandBConfig lerobot-train --policy.typeact --dataset.repo_id... \ --wandb.enabletrue \ --wandb.projectlerobot-training \ --wandb.entityyour-team \ --wandb.modeonline --wandb.add_tagstrue這一步完成后終端里會打印一條 run 鏈接。WandBLogger在 src/lerobot/common/wandb_utils.py 中實現enable、project、entity是最常用的三個鍵mode可選online、offline、disabledadd_tags開啟后每個 run 會自動帶上策略類型、seed、數據集名等標簽方便事后篩選對比。接入 Rerun 實時數據流指標回答訓練得好不好Rerun 回答機器人此刻在干什么。錄制、遙操作與 rollout 腳本已集成init_visualization和log_visualization_data把 display mode 指定為rerun觀測畫面、標量關節(jié)值和動作指令就會實時推送到 Rerun 查看器。# src/lerobot/scripts/lerobot_record.py: 錄制/遙操作控制循環(huán) from lerobot.utils.visualization_utils import init_visualization, log_visualization_data init_visualization(rerun, session_namerecording) ... # 控制循環(huán)內每個時間步 log_visualization_data(rerun, observationobservation, actionaction)Rerun 后端實現在 src/lerobot/utils/rerun_visualization.py標量進時間序列視圖攝像頭畫面自動從 CHW 轉成 HWC 并獨占一個空間視圖單通道數組按深度圖渲染。依賴rerun-sdk安裝lerobot[viz]extra 后即可使用。導出評估視頻并同步到 WandB當訓練進入環(huán)境評估階段你會注意到eval_policy_all除了統(tǒng)計成功率還會把前幾個 episode 逐幀渲染成 mp4落在輸出目錄的eval子目錄下WandBLogger.log_video再把其中一條上傳到 WandB與該 step 的指標自動對齊。# src/lerobot/scripts/lerobot_train.py: env_eval 到達時觸發(fā) eval_info eval_policy_all( envseval_env, policy..., n_episodescfg.eval.n_episodes, videos_dircfg.output_dir / eval / fvideos_step_{step_id}, max_episodes_rendered4, ) if wandb_logger: wandb_logger.log_video(eval_info[overall][video_paths][0], step, modeeval)n_episodes控制每個任務的評估回合數max_episodes_rendered控制實際渲染成視頻的 episode 上限默認取 4避免編碼開銷拖慢評估節(jié)奏。進階技巧如果你需要橫向對比多組超參數保持add_tags默認開啟多個 run 會帶上策略類型、seed、數據集名等標簽在 WandB 里按 tag 篩選比按項目翻找快得多。一個比較省事的思路是訓練機先跑--wandb.modeoffline日志緩存在本地目錄訓練結束后再統(tǒng)一同步斷網環(huán)境也不會丟數據。如果 Rerun 推流在遠程機器上卡頓可以給init_visualization傳ip/port指向遠端 server或在log_visualization_data里打開compress_images壓縮圖像降帶寬。延伸閱讀docs/source/il_robots.mdx在真實機器人遙操作與錄制腳本中使用 Rerun 的完整示例src/lerobot/utils/visualization_utils.pyrerun / foxglove 兩種可視化后端的統(tǒng)一分發(fā)入口examples/training/train_with_streaming.py流式訓練場景下如何復用同一套日志配置下一次啟動lerobot-train時不妨順手把wandb.enable打開讓指標、實時畫面和評估視頻三條通路同時工作起來?！久赓M下載鏈接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning項目地址: https://gitcode.com/GitHub_Trending/le/lerobot創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考