Dora 分布式部署指南多機集群、標簽調度、滾動升級與 systemd 運維完整手冊【免費下載鏈接】doraDORA (Dataflow-Oriented Robotic Architecture 面向數(shù)據(jù)流的機器人架構) 是為 AI 與具身智能機器人打造的高性能開發(fā)框架以數(shù)據(jù)流范式重構開發(fā)邏輯原生支持分布式部署與端邊云協(xié)同 —— 無需復雜適配即可實現(xiàn)一體端到端具身大小腦、VLA等模型部署無縫銜接感知、推理、控制全鏈路讓 AI 能力與機器人動作深度融合。 依托 Rust 內(nèi)核與零拷貝通信技術它將具身大小腦、VLA等模型推理、多模態(tài)數(shù)據(jù)融合延遲壓縮至微秒級同時兼容 ROS2 生態(tài)與國產(chǎn) AI 芯片徹底降低具身智能機器人的開發(fā)門檻讓分布式部署下的 AI 賦能創(chuàng)新更高效、更靈活。項目地址: https://gitcode.com/dora-rs/doraDoraDataflow-Oriented Robotic Architecture是為 AI 與具身智能機器人打造的高性能開發(fā)框架內(nèi)置開箱即用的分布式部署能力一條命令拉起多機集群用標簽調度把節(jié)點精準放置到目標機器零停機滾動升級整集群再配合systemd服務實現(xiàn)開機自啟與崩潰自愈。本文覆蓋從cluster.yml配置到生產(chǎn)運維 Runbook 的全部關鍵步驟幫你把同一份數(shù)據(jù)流 YAML 從單機開發(fā)平滑擴展到多機生產(chǎn)環(huán)境。一、三級架構Dora 分布式系統(tǒng)的組成 Dora 的分布式架構分為三層職責清晰、互不干擾CLI -- Coordinator -- Daemon(s) -- Nodes / Operators (單實例) (每機器一個) (用戶代碼)CLI發(fā)送 build / start / stop 等控制命令到 CoordinatorCoordinator單一編排者負責節(jié)點放置決策與數(shù)據(jù)流生命周期管理Daemon每臺機器運行一個負責拉起并監(jiān)管本機節(jié)點進程Node用戶代碼。同機節(jié)點走共享內(nèi)存跨機節(jié)點通過 Zenoh 發(fā)布訂閱通信。數(shù)據(jù)流量不經(jīng)過 Coordinator控制面與數(shù)據(jù)面完全分離——這是 Dora 能把多機推理鏈路延遲壓到微秒級的關鍵設計。 更完整的網(wǎng)絡拓撲LAN、VPN mesh、zenoh 路由跨 NAT見 docs/multi-machine.md完整集群參考見 docs/distributed-deployment.md。二、5 分鐘拉起多機集群cluster up 快速上手 ?Dora 提供兩條部署路徑臨時模式手動在各機器啟動dora daemon適合開發(fā)測試和托管集群模式一個cluster.ymldora cluster命令族SSH 管理所有機器。生產(chǎn)環(huán)境推薦后者。第 1 步編寫 cluster.ymlcoordinator: addr: 10.0.0.1 machines: - id: robot host: 10.0.0.2 user: ubuntu - id: gpu-server host: 10.0.0.3 user: ubuntu第 2 步一條命令拉起集群dora cluster up cluster.yml它會自動啟動本地 Coordinator然后 SSH 到每臺機器啟動 Daemon并輪詢直到全部 Daemon 注冊成功started dora coordinator on 0.0.0.0 (reachable from other machines) Starting daemon on robot (ubuntu10.0.0.2) Starting daemon on gpu-server (ubuntu10.0.0.3) All 2 daemons connected.第 3 步啟動跨機數(shù)據(jù)流并查看集群健康dora start dataflow.yml --name my-app --attach dora cluster statusDAEMON ID LAST HEARTBEAT robot 2s ago gpu-server 1s ago Active dataflows: 1第 4 步需要時一鍵拆除dora cluster down 提示Daemon 之間無需手工互指地址——每臺 Daemon 會從--coordinator-addr推導出自己的對外地址并注冊給 Coordinator由 Coordinator 把先注冊者的地址下發(fā)給后注冊者自動組成全連接 mesh啟動順序任意。三、cluster.yml 配置參考機器清單與標簽 ?字段默認值說明coordinator.addr必填Coordinator 綁定地址coordinator.port6013WebSocket 端口machines[].id必填機器唯一標識供deploy.machine引用machines[].host必填SSH 可達的主機名或 IPmachines[].user當前用戶SSH 用戶名machines[].port22SSH 端口非標準端口時設置machines[].daemon_port53291Daemon 本地監(jiān)聽端口同機多 Daemon 時需區(qū)分machines[].zenoh_addr/zenoh_porthost/5456其他 Daemon 撥號到本機的地址與端口machines[].labels空鍵值標簽用于標簽調度一個 3 機 GPU 集群的典型寫法coordinator: addr: 192.168.1.1 machines: - id: coordinator-host host: 192.168.1.1 labels: role: control - id: gpu-a100 host: 192.168.1.10 user: ml labels: gpu: a100 arch: x86_64 - id: jetson-01 host: 192.168.1.20 user: nvidia labels: gpu: jetson arch: arm64四、節(jié)點調度三策略machine、labels、自動分配 在dataflow.yml的節(jié)點上通過deploy段控制放置解析優(yōu)先級為machine labels 未命名。策略 1按機器 ID 精確指定nodes: - id: camera deploy: machine: robot # 匹配 cluster.yml 中的 id path: ./camera-driver outputs: [frames]策略 2按標簽匹配推薦nodes: - id: inference deploy: labels: gpu: true # 目標 Daemon 標簽必須是其超集 path: ./ml-model inputs: frames: camera/frames outputs: [predictions]Coordinator 會選中第一個標簽超集滿足要求的已連接 Daemon{gpu: true, arch: arm64}滿足{gpu: true}的要求。標簽匹配不到任何 Daemon 時部署直接失敗并報錯no daemon matches labels {gpu: true}——快速失敗優(yōu)于靜默放錯機器。策略 3未指定時自動分配給第一臺無--machine-id的默認Daemon。 最佳實踐多用標簽、少寫死機器 ID。標簽把數(shù)據(jù)流與具體硬件解耦換機器、加機器時無需改dataflow.yml。五、二進制分發(fā)策略local、scp、http 怎么選 節(jié)點二進制如何送達遠機由deploy.distribute控制策略適用場景取舍local默認同構集群、CI 構建每臺機器需要構建工具鏈Daemon 在本機自行編譯scp異構集群、交叉編譯好的二進制需要 CLI 機器對目標機有 SSH 權限http防火墻隔離、air-gapped DaemonCoordinator 充當制品倉庫Daemon 經(jīng) HTTP 拉取需認證nodes: - id: my-node deploy: machine: edge-01 distribute: scp # 本地編譯后推送到目標機 path: ./my-node六、systemd 服務一鍵安裝守護進程重啟自愈 ?生產(chǎn)部署應將 Daemon 安裝為 systemd 服務——斷電重啟不丟、崩潰自動拉起dora cluster install cluster.yml # Installing dora-daemon-robot on ubuntu10.0.0.2... OK # Installing dora-daemon-gpu-server on ubuntu10.0.0.3... OK # 2/2 succeeded.每臺機器會生成dora-daemon-id單元核心屬性Restarton-failureRestartSec5崩潰 5 秒后自動重啟Afternetwork-online.target等網(wǎng)絡就緒再啟動WantedBymulti-user.target開機自啟。驗證與卸載ssh ubuntu10.0.0.2 sudo systemctl status dora-daemon-robot dora cluster uninstall cluster.yml # 停止、禁用并刪除單元文件七、滾動升級零停機更新整集群 更新集群只需一條命令dora cluster upgrade cluster.yml對每臺機器依次執(zhí)行三步其余機器全程不受影響Upgrading robot (ubuntu10.0.0.2)... SCP binary... OK Restart service... OK Waiting for reconnect... OK (3.2s) 2/2 succeeded.SCP本地dora二進制到目標機/usr/local/bin/dora重啟systemd 服務輪詢Coordinator 直到該 Daemon 重連30 秒超時。Daemon 重連后自動恢復機制會把該機器上被中斷的數(shù)據(jù)流節(jié)點全部重新拉起見下節(jié)。前置條件Daemon 已通過dora cluster install裝為 systemd 服務目標機具備 sudo 權限本地二進制與集群版本兼容。八、自動恢復Daemon 斷線重連后節(jié)點自愈 Daemon 因網(wǎng)絡抖動、機器重啟或服務重啟而掉線再重連時Coordinator 會自動修復Daemon 重連并提交當前運行中的StatusReportCoordinator 比對期望狀態(tài)找出缺失的數(shù)據(jù)流向該 Daemon 下發(fā)SpawnDataflowNodes命令重建缺失節(jié)點。為防止節(jié)點秒崩 → 無限重建的死循環(huán)恢復帶30 秒退避同一 Daemon/數(shù)據(jù)流對每 30 秒最多嘗試一次重建節(jié)點重新上報運行中后退避清除。注意自動恢復只覆蓋dora start啟動的托管數(shù)據(jù)流本地dora run不受 Coordinator 跟蹤。單節(jié)點粒度的崩潰重啟策略restart_policy、max_restarts、指數(shù)退避等見 docs/fault-tolerance.md與自動恢復疊加使用形成縱深防御。九、日常運維 Runbook監(jiān)控、日志與故障排查 日常操作速查dora list # 列出運行中的數(shù)據(jù)流 dora top # 實時資源監(jiān)控TUI dora logs my-app --node id --follow # 查看任意機器上節(jié)點的日志 dora stop my-app # 停止數(shù)據(jù)流 dora cluster status # 集群健康Daemon 心跳 活動數(shù)據(jù)流數(shù) dora cluster restart cluster.yml my-app # 按名稱重啟數(shù)據(jù)流故障排查四板斧癥狀排查動作Daemon 連不上檢查 Coordinator 是否監(jiān)聽可路由地址journalctl -u dora-daemon-id -f看日志核對--coordinator-addr/ 端口SSH 命令失敗確認ssh -o BatchModeyes userhost echo ok免密可用核對 cluster.yml 中user字段標簽不匹配dora cluster status查看已連 Daemon標簽在 Daemon 啟動時注入運行期不可改需重啟 Daemon自動恢復沒觸發(fā)確認數(shù)據(jù)流由dora start啟動查 Coordinator 日志中auto-recovery: re-spawning注意 30 秒退避最佳實踐清單?開發(fā)期用dora run dataflow.yml本地驗證同一份 YAML 直接上集群deploy字段本地模式下被忽略生產(chǎn)環(huán)境務必dora cluster install裝 systemd配合節(jié)點級restart_policy雙保險優(yōu)先標簽調度把cluster.yml與數(shù)據(jù)流定義一起納入版本控制升級走滾動方案不要整體停機。多 Daemon 聯(lián)動的完整示例見 examples/multiple-daemons/更多命令細節(jié)見 docs/cli.md。【免費下載鏈接】doraDORA (Dataflow-Oriented Robotic Architecture 面向數(shù)據(jù)流的機器人架構) 是為 AI 與具身智能機器人打造的高性能開發(fā)框架以數(shù)據(jù)流范式重構開發(fā)邏輯原生支持分布式部署與端邊云協(xié)同 —— 無需復雜適配即可實現(xiàn)一體端到端具身大小腦、VLA等模型部署無縫銜接感知、推理、控制全鏈路讓 AI 能力與機器人動作深度融合。 依托 Rust 內(nèi)核與零拷貝通信技術它將具身大小腦、VLA等模型推理、多模態(tài)數(shù)據(jù)融合延遲壓縮至微秒級同時兼容 ROS2 生態(tài)與國產(chǎn) AI 芯片徹底降低具身智能機器人的開發(fā)門檻讓分布式部署下的 AI 賦能創(chuàng)新更高效、更靈活。項目地址: https://gitcode.com/dora-rs/dora創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Dora 分布式部署指南：多機集群、標簽調度、滾動升級與 systemd 運維完整手冊
Dora 分布式部署指南多機集群、標簽調度、滾動升級與 systemd 運維完整手冊【免費下載鏈接】doraDORA (Dataflow-Oriented Robotic Architecture 面向數(shù)據(jù)流的機器人架構) 是為 AI 與具身智能機器人打造的高性能開發(fā)框架以數(shù)據(jù)流范式重構開發(fā)邏輯原生支持分布式部署與端邊云協(xié)同 —— 無需復雜適配即可實現(xiàn)一體端到端具身大小腦、VLA等模型部署無縫銜接感知、推理、控制全鏈路讓 AI 能力與機器人動作深度融合。 依托 Rust 內(nèi)核與零拷貝通信技術它將具身大小腦、VLA等模型推理、多模態(tài)數(shù)據(jù)融合延遲壓縮至微秒級同時兼容 ROS2 生態(tài)與國產(chǎn) AI 芯片徹底降低具身智能機器人的開發(fā)門檻讓分布式部署下的 AI 賦能創(chuàng)新更高效、更靈活。項目地址: https://gitcode.com/dora-rs/doraDoraDataflow-Oriented Robotic Architecture是為 AI 與具身智能機器人打造的高性能開發(fā)框架內(nèi)置開箱即用的分布式部署能力一條命令拉起多機集群用標簽調度把節(jié)點精準放置到目標機器零停機滾動升級整集群再配合systemd服務實現(xiàn)開機自啟與崩潰自愈。本文覆蓋從cluster.yml配置到生產(chǎn)運維 Runbook 的全部關鍵步驟幫你把同一份數(shù)據(jù)流 YAML 從單機開發(fā)平滑擴展到多機生產(chǎn)環(huán)境。一、三級架構Dora 分布式系統(tǒng)的組成 Dora 的分布式架構分為三層職責清晰、互不干擾CLI -- Coordinator -- Daemon(s) -- Nodes / Operators (單實例) (每機器一個) (用戶代碼)CLI發(fā)送 build / start / stop 等控制命令到 CoordinatorCoordinator單一編排者負責節(jié)點放置決策與數(shù)據(jù)流生命周期管理Daemon每臺機器運行一個負責拉起并監(jiān)管本機節(jié)點進程Node用戶代碼。同機節(jié)點走共享內(nèi)存跨機節(jié)點通過 Zenoh 發(fā)布訂閱通信。數(shù)據(jù)流量不經(jīng)過 Coordinator控制面與數(shù)據(jù)面完全分離——這是 Dora 能把多機推理鏈路延遲壓到微秒級的關鍵設計。 更完整的網(wǎng)絡拓撲LAN、VPN mesh、zenoh 路由跨 NAT見 docs/multi-machine.md完整集群參考見 docs/distributed-deployment.md。二、5 分鐘拉起多機集群cluster up 快速上手 ?Dora 提供兩條部署路徑臨時模式手動在各機器啟動dora daemon適合開發(fā)測試和托管集群模式一個cluster.ymldora cluster命令族SSH 管理所有機器。生產(chǎn)環(huán)境推薦后者。第 1 步編寫 cluster.ymlcoordinator: addr: 10.0.0.1 machines: - id: robot host: 10.0.0.2 user: ubuntu - id: gpu-server host: 10.0.0.3 user: ubuntu第 2 步一條命令拉起集群dora cluster up cluster.yml它會自動啟動本地 Coordinator然后 SSH 到每臺機器啟動 Daemon并輪詢直到全部 Daemon 注冊成功started dora coordinator on 0.0.0.0 (reachable from other machines) Starting daemon on robot (ubuntu10.0.0.2) Starting daemon on gpu-server (ubuntu10.0.0.3) All 2 daemons connected.第 3 步啟動跨機數(shù)據(jù)流并查看集群健康dora start dataflow.yml --name my-app --attach dora cluster statusDAEMON ID LAST HEARTBEAT robot 2s ago gpu-server 1s ago Active dataflows: 1第 4 步需要時一鍵拆除dora cluster down 提示Daemon 之間無需手工互指地址——每臺 Daemon 會從--coordinator-addr推導出自己的對外地址并注冊給 Coordinator由 Coordinator 把先注冊者的地址下發(fā)給后注冊者自動組成全連接 mesh啟動順序任意。三、cluster.yml 配置參考機器清單與標簽 ?字段默認值說明coordinator.addr必填Coordinator 綁定地址coordinator.port6013WebSocket 端口machines[].id必填機器唯一標識供deploy.machine引用machines[].host必填SSH 可達的主機名或 IPmachines[].user當前用戶SSH 用戶名machines[].port22SSH 端口非標準端口時設置machines[].daemon_port53291Daemon 本地監(jiān)聽端口同機多 Daemon 時需區(qū)分machines[].zenoh_addr/zenoh_porthost/5456其他 Daemon 撥號到本機的地址與端口machines[].labels空鍵值標簽用于標簽調度一個 3 機 GPU 集群的典型寫法coordinator: addr: 192.168.1.1 machines: - id: coordinator-host host: 192.168.1.1 labels: role: control - id: gpu-a100 host: 192.168.1.10 user: ml labels: gpu: a100 arch: x86_64 - id: jetson-01 host: 192.168.1.20 user: nvidia labels: gpu: jetson arch: arm64四、節(jié)點調度三策略machine、labels、自動分配 在dataflow.yml的節(jié)點上通過deploy段控制放置解析優(yōu)先級為machine labels 未命名。策略 1按機器 ID 精確指定nodes: - id: camera deploy: machine: robot # 匹配 cluster.yml 中的 id path: ./camera-driver outputs: [frames]策略 2按標簽匹配推薦nodes: - id: inference deploy: labels: gpu: true # 目標 Daemon 標簽必須是其超集 path: ./ml-model inputs: frames: camera/frames outputs: [predictions]Coordinator 會選中第一個標簽超集滿足要求的已連接 Daemon{gpu: true, arch: arm64}滿足{gpu: true}的要求。標簽匹配不到任何 Daemon 時部署直接失敗并報錯no daemon matches labels {gpu: true}——快速失敗優(yōu)于靜默放錯機器。策略 3未指定時自動分配給第一臺無--machine-id的默認Daemon。 最佳實踐多用標簽、少寫死機器 ID。標簽把數(shù)據(jù)流與具體硬件解耦換機器、加機器時無需改dataflow.yml。五、二進制分發(fā)策略local、scp、http 怎么選 節(jié)點二進制如何送達遠機由deploy.distribute控制策略適用場景取舍local默認同構集群、CI 構建每臺機器需要構建工具鏈Daemon 在本機自行編譯scp異構集群、交叉編譯好的二進制需要 CLI 機器對目標機有 SSH 權限http防火墻隔離、air-gapped DaemonCoordinator 充當制品倉庫Daemon 經(jīng) HTTP 拉取需認證nodes: - id: my-node deploy: machine: edge-01 distribute: scp # 本地編譯后推送到目標機 path: ./my-node六、systemd 服務一鍵安裝守護進程重啟自愈 ?生產(chǎn)部署應將 Daemon 安裝為 systemd 服務——斷電重啟不丟、崩潰自動拉起dora cluster install cluster.yml # Installing dora-daemon-robot on ubuntu10.0.0.2... OK # Installing dora-daemon-gpu-server on ubuntu10.0.0.3... OK # 2/2 succeeded.每臺機器會生成dora-daemon-id單元核心屬性Restarton-failureRestartSec5崩潰 5 秒后自動重啟Afternetwork-online.target等網(wǎng)絡就緒再啟動WantedBymulti-user.target開機自啟。驗證與卸載ssh ubuntu10.0.0.2 sudo systemctl status dora-daemon-robot dora cluster uninstall cluster.yml # 停止、禁用并刪除單元文件七、滾動升級零停機更新整集群 更新集群只需一條命令dora cluster upgrade cluster.yml對每臺機器依次執(zhí)行三步其余機器全程不受影響Upgrading robot (ubuntu10.0.0.2)... SCP binary... OK Restart service... OK Waiting for reconnect... OK (3.2s) 2/2 succeeded.SCP本地dora二進制到目標機/usr/local/bin/dora重啟systemd 服務輪詢Coordinator 直到該 Daemon 重連30 秒超時。Daemon 重連后自動恢復機制會把該機器上被中斷的數(shù)據(jù)流節(jié)點全部重新拉起見下節(jié)。前置條件Daemon 已通過dora cluster install裝為 systemd 服務目標機具備 sudo 權限本地二進制與集群版本兼容。八、自動恢復Daemon 斷線重連后節(jié)點自愈 Daemon 因網(wǎng)絡抖動、機器重啟或服務重啟而掉線再重連時Coordinator 會自動修復Daemon 重連并提交當前運行中的StatusReportCoordinator 比對期望狀態(tài)找出缺失的數(shù)據(jù)流向該 Daemon 下發(fā)SpawnDataflowNodes命令重建缺失節(jié)點。為防止節(jié)點秒崩 → 無限重建的死循環(huán)恢復帶30 秒退避同一 Daemon/數(shù)據(jù)流對每 30 秒最多嘗試一次重建節(jié)點重新上報運行中后退避清除。注意自動恢復只覆蓋dora start啟動的托管數(shù)據(jù)流本地dora run不受 Coordinator 跟蹤。單節(jié)點粒度的崩潰重啟策略restart_policy、max_restarts、指數(shù)退避等見 docs/fault-tolerance.md與自動恢復疊加使用形成縱深防御。九、日常運維 Runbook監(jiān)控、日志與故障排查 日常操作速查dora list # 列出運行中的數(shù)據(jù)流 dora top # 實時資源監(jiān)控TUI dora logs my-app --node id --follow # 查看任意機器上節(jié)點的日志 dora stop my-app # 停止數(shù)據(jù)流 dora cluster status # 集群健康Daemon 心跳 活動數(shù)據(jù)流數(shù) dora cluster restart cluster.yml my-app # 按名稱重啟數(shù)據(jù)流故障排查四板斧癥狀排查動作Daemon 連不上檢查 Coordinator 是否監(jiān)聽可路由地址journalctl -u dora-daemon-id -f看日志核對--coordinator-addr/ 端口SSH 命令失敗確認ssh -o BatchModeyes userhost echo ok免密可用核對 cluster.yml 中user字段標簽不匹配dora cluster status查看已連 Daemon標簽在 Daemon 啟動時注入運行期不可改需重啟 Daemon自動恢復沒觸發(fā)確認數(shù)據(jù)流由dora start啟動查 Coordinator 日志中auto-recovery: re-spawning注意 30 秒退避最佳實踐清單?開發(fā)期用dora run dataflow.yml本地驗證同一份 YAML 直接上集群deploy字段本地模式下被忽略生產(chǎn)環(huán)境務必dora cluster install裝 systemd配合節(jié)點級restart_policy雙保險優(yōu)先標簽調度把cluster.yml與數(shù)據(jù)流定義一起納入版本控制升級走滾動方案不要整體停機。多 Daemon 聯(lián)動的完整示例見 examples/multiple-daemons/更多命令細節(jié)見 docs/cli.md。【免費下載鏈接】doraDORA (Dataflow-Oriented Robotic Architecture 面向數(shù)據(jù)流的機器人架構) 是為 AI 與具身智能機器人打造的高性能開發(fā)框架以數(shù)據(jù)流范式重構開發(fā)邏輯原生支持分布式部署與端邊云協(xié)同 —— 無需復雜適配即可實現(xiàn)一體端到端具身大小腦、VLA等模型部署無縫銜接感知、推理、控制全鏈路讓 AI 能力與機器人動作深度融合。 依托 Rust 內(nèi)核與零拷貝通信技術它將具身大小腦、VLA等模型推理、多模態(tài)數(shù)據(jù)融合延遲壓縮至微秒級同時兼容 ROS2 生態(tài)與國產(chǎn) AI 芯片徹底降低具身智能機器人的開發(fā)門檻讓分布式部署下的 AI 賦能創(chuàng)新更高效、更靈活。項目地址: https://gitcode.com/dora-rs/dora創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考