RoCE（AI 網(wǎng)絡(luò)）技術(shù)全景培訓(xùn)指南面向?qū)ο螅菏煜鹘y(tǒng)以太網(wǎng) / TCP-IP / TSN / 工業(yè)環(huán)網(wǎng)（ERPS）的工業(yè)交換機(jī)從業(yè)者 目標(biāo)：從零建立對 AI 數(shù)據(jù)中心網(wǎng)絡(luò)（RDMA / RoCE）的系統(tǒng)性認(rèn)知，并能與已有的工業(yè)以太網(wǎng)知識做類比遷移目錄一、為什么 AI 時代突然爆火了 RoCE？（背景與痛點）二、RDMA 的演進(jìn)路線：InfiniBand vs RoCEv1 vs RoCEv2三、RoCE 的核心命脈：如何實現(xiàn)”絕對零丟包”四、AI 交換機(jī)的高級轉(zhuǎn)發(fā)策略（解決大象流與擁塞）五、交換機(jī)硬件與芯片（ASIC）差異：工業(yè)交換機(jī) vs AI 交換機(jī)六、總結(jié)與 FAQ一、為什么 AI 時代突然爆火了 RoCE？（背景與痛點）1.1 AI 大模型訓(xùn)練的流量特征：GPU 集群是如何工作的？在我們熟悉的工業(yè)場景里，一臺 PLC 控制一條產(chǎn)線，交換機(jī)傳輸?shù)亩嗍切≈芷?、小報文、?qiáng)實時的控制指令（比如 Profinet、EtherCAT 報文），單個節(jié)點的流量并不大，網(wǎng)絡(luò)的核心訴求是”低抖動、強(qiáng)確定性”。AI 大模型訓(xùn)練則完全是另一個物種。以訓(xùn)練一個千億參數(shù)的大模型為例：一個訓(xùn)練任務(wù)往往需要成百上千張 GPU（比如 H100/H800），這些 GPU 被組織成一個”集群”，通過網(wǎng)絡(luò)互聯(lián)，共同完成一次訓(xùn)練。由于單張 GPU 的顯存裝不下整個模型，模型的參數(shù)會被切分到不同的 GPU 上（這叫”模型并行”），同時訓(xùn)練數(shù)據(jù)也會被切分到不同 GPU 上并行處理（這叫”數(shù)據(jù)并行”）。每完成一輪小批量計算（一個 mini-batch），各個 GPU 上計算出的梯度必須被同步、聚合、再分發(fā)給所有 GPU，這樣大家才能在同一個”版本”的模型參數(shù)上繼續(xù)下一輪計算。這個同步過程最常見的算法叫All-Reduce（全局歸約）。用一個類比理解 All-Reduce：想象一個由 8 個分組組成的大型合唱團(tuán)排練。每個分組先各自練習(xí)自己那一段樂譜（GPU 各自做本地計算），然后所有分組必須把自己的進(jìn)度告訴彼此、取得共識（梯度同步），才能開始下一段的排練。如果某個分組的通知遲到了 1 分鐘，那么其余 7 個分組都要在原地等待——全體的排練進(jìn)度，取決于最慢的那個分組。這就是 GPU 集群訓(xùn)練的核心特征：特征說明對網(wǎng)絡(luò)的要求突發(fā)性強(qiáng)（Bursty）計算階段幾乎不占用網(wǎng)絡(luò)，梯度同步階段瞬間打滿帶寬需要極高的峰值吞吐集合通信（Collective Communication）All-Reduce / All-to-All / Broadcast，往往是”多對多”同時通信極易在交換機(jī)端口疊加形成擁塞（Incast）強(qiáng)同步性（Synchronous）必須等最慢的節(jié)點完成，才能進(jìn)入下一步（“木桶效應(yīng)”）任何一路的丟包重傳，都會拖慢全局，產(chǎn)生”算力雪崩”超大報文 + 超高并發(fā)單次同步的數(shù)據(jù)量可達(dá) GB 級別，成千上萬個 Queue Pair 同時收發(fā)需要低時延、大帶寬、無損轉(zhuǎn)發(fā)一句話總結(jié)：工業(yè)網(wǎng)絡(luò)怕”抖動”，AI 網(wǎng)絡(luò)怕”丟包和排隊延遲”——這個差異，是理解后面所有技術(shù)選型的根本出發(fā)點。1.2 傳統(tǒng) TCP/IP 協(xié)議棧的三大罪狀我們習(xí)慣認(rèn)為 TCP/IP 是”皇冠上的明珠”——可靠、通用、久經(jīng)考驗。但放到 AI 訓(xùn)練場景里，TCP/IP 協(xié)議棧卻成了性能瓶頸的元兇，主要有三大”罪狀”：罪狀一：高延遲（High Latency）TCP 通信必須經(jīng)過完整的協(xié)議棧處理：應(yīng)用層 → Socket → 內(nèi)核 TCP/IP 協(xié)議棧 → 網(wǎng)卡驅(qū)動 → 網(wǎng)卡硬件 → 網(wǎng)絡(luò)傳輸 → 對端網(wǎng)卡 → 內(nèi)核協(xié)議棧 → Socket → 應(yīng)用層。每一層都有排隊、校驗、協(xié)議頭封裝/解封裝的開銷，單次數(shù)據(jù)傳輸?shù)亩说蕉搜舆t可能達(dá)到幾十到上百微秒。而 AI 集合通信需要在微秒級完成海量小數(shù)據(jù)的同步，傳統(tǒng)協(xié)議棧的延遲直接拖垮訓(xùn)練效率。罪狀二：CPU 占用高TCP/IP 協(xié)議棧的所有處理（分片、校驗和計算、擁塞控制、重傳管理）默認(rèn)都由服務(wù)器的 CPU 完成。在高吞吐場景下（比如 400Gbps 網(wǎng)卡滿載），CPU 可能有相當(dāng)一部分算力被”消耗”在協(xié)議棧處理上，而不是真正用于 AI 訓(xùn)練計算——這對于每張動輒十幾萬元的 GPU 服務(wù)器來說，是極大的資源浪費。罪狀三：多次內(nèi)存拷貝（Memory Copy）這是最容易被忽視但影響最大的一點。傳統(tǒng) Socket 通信中，數(shù)據(jù)從應(yīng)用程序發(fā)送到網(wǎng)絡(luò)，要經(jīng)歷：應(yīng)用程序緩沖區(qū) → 內(nèi)核 Socket 緩沖區(qū) → 內(nèi)核協(xié)議棧緩沖區(qū) → 網(wǎng)卡驅(qū)動緩沖區(qū) → 網(wǎng)卡硬件每一次跨越用戶態(tài)/內(nèi)核態(tài)的拷貝都會消耗 CPU 周期和內(nèi)存帶寬，同時因為發(fā)生了”上下文切換”（用戶態(tài)到內(nèi)核態(tài)的切換），還會有額外的調(diào)度開銷。此外，經(jīng)典的 TCP 建連過程（三次握手）和優(yōu)雅斷連（四次揮手）本身也有一定的時延和資源開銷，在大規(guī)模、高并發(fā)短連接場景中會被放大。類比理解：傳統(tǒng) TCP/IP 通信就像”人工快遞中轉(zhuǎn)站”——包裹（數(shù)據(jù)）到了一個站點，工作人員要先拆開核對（內(nèi)核處理），登記造冊（協(xié)議棧校驗），再重新打包送到下一個站點，如此反復(fù)中轉(zhuǎn)多次才能到達(dá)收件人手中。每一次拆包/打包，都是一次”內(nèi)存拷貝”，都要占用”倉庫工作人員”（CPU）的時間。1.3 什么是 RDMA（遠(yuǎn)程直接內(nèi)存訪問）？RDMA（Remote Direct Memory Access，遠(yuǎn)程直接內(nèi)存訪問）的核心思想是：讓一臺服務(wù)器的網(wǎng)卡，直接讀寫另一臺服務(wù)器的內(nèi)存，全程不經(jīng)過對端 CPU、不經(jīng)過操作系統(tǒng)內(nèi)核、零內(nèi)存拷貝。類比理解：順豐直達(dá)倉庫傳統(tǒng) TCP/IP 通信 = 普通快遞：包裹要經(jīng)過多個分揀中心（內(nèi)核協(xié)議棧），每個分揀中心都要拆包檢查、重新裝箱（內(nèi)存拷貝），層層轉(zhuǎn)交（CPU 參與調(diào)度）。RDMA 通信 = 順豐”倉到倉”直達(dá)專線：發(fā)件倉庫（發(fā)送端內(nèi)存）直接把貨物用專用車輛（RDMA 網(wǎng)卡）運輸，中途不拆包、不經(jīng)過快遞公司總部審核（不經(jīng)過 CPU/內(nèi)核），車輛直接開進(jìn)收件倉庫的指定貨架（對端內(nèi)存的指定地址），放下就走。收件方倉庫甚至不需要專門安排人手去接收（不占用對端 CPU）。RDMA 實現(xiàn)這種效果依賴三個關(guān)鍵技術(shù)特性：特性說明Zero-Copy（零拷貝）數(shù)據(jù)直接從發(fā)送端應(yīng)用內(nèi)存搬運到接收端應(yīng)用內(nèi)存，跳過內(nèi)核緩沖區(qū)中轉(zhuǎn)Kernel Bypass（內(nèi)核旁路）應(yīng)用程序通過用戶態(tài)庫（如 libibverbs）直接向網(wǎng)卡下發(fā)指令，不經(jīng)過操作系統(tǒng)內(nèi)核協(xié)議棧CPU Offload（CPU 卸載）數(shù)據(jù)的搬運、校驗、排序等工作全部由網(wǎng)卡硬件（RNIC，RDMA 網(wǎng)卡）完成，不消耗服務(wù)器 CPU 資源RDMA 通信采用Queue Pair（隊列對，QP）模型：每個通信端點上有一對發(fā)送隊列（SQ）和接收隊列（RQ），應(yīng)用程序把”我要發(fā)送/接收什么數(shù)據(jù)”這個描述符（Work Request）提交給隊列，網(wǎng)卡硬件異步地完成實際的數(shù)據(jù)搬運，完成后通過完成隊列（CQ）通知應(yīng)用程序。這種”提交任務(wù)、硬件異步執(zhí)行、完成后通知”的模式，正是 RDMA 能做到超低延遲、超低 CPU 占用的根本原因。一個重要的認(rèn)知錨點：RDMA 是一種”內(nèi)存訪問范式”（技術(shù)理念/編程模型），它需要具體的網(wǎng)絡(luò)承載協(xié)議來實現(xiàn)。歷史上出現(xiàn)過三種主流承載方式——InfiniBand、RoCEv1、RoCEv2，這正是第二章要講的內(nèi)容。二、RDMA 的演進(jìn)路線：InfiniBand vs RoCEv1 vs RoCEv22.1 貴族技術(shù) InfiniBand（IB）：為什么好？為什么大家想替換它？InfiniBand 是 RDMA 技術(shù)最早、也是發(fā)展最成熟的承載網(wǎng)絡(luò)，由 InfiniBand Trade Association 在上世紀(jì) 90 年代末推出，目前市場上幾乎被 NVIDIA（收購了 Mellanox）主導(dǎo)。IB 的優(yōu)勢：原生無損設(shè)計：IB 從協(xié)議底層就設(shè)計了基于信用（Credit-Based）的流控機(jī)制，發(fā)送端在獲得接收端明確”有空間接收”的信用額度之前不會發(fā)送數(shù)據(jù)，從物理層面就杜絕了因緩沖區(qū)溢出而丟包的可能——這是一種”you first tell me you’re ready, then I send”的握手式流控，與以太網(wǎng)”先發(fā)后管”的理念完全不同。極低時延：端到端延遲可以做到亞微秒級別。專為高性能計算設(shè)計：從誕生之初就是為超算、HPC 場景服務(wù)的，集合通信性能極致優(yōu)化。IB 的問題（也是大家想擺脫它的原因）：問題說明封閉生態(tài)IB 交換機(jī)、網(wǎng)卡幾乎被單一廠商壟斷，缺乏充分的市場競爭采購成本高無論是交換機(jī)還是網(wǎng)卡，單位帶寬成本明顯高于以太網(wǎng)方案運維體系獨立IB 有自己的一套子網(wǎng)管理器（Subnet Manager）、命令行工具、運維人員需要專門學(xué)習(xí)，無法復(fù)用企業(yè)現(xiàn)有的以太網(wǎng)運維團(tuán)隊和工具鏈生態(tài)封閉帶來的供應(yīng)鏈風(fēng)險大規(guī)模采購時交貨周期、議價能力都受制于單一供應(yīng)商類比理解：IB 就像是一條”私人定制高鐵專線”——速度快、體驗好，但只有一家公司能造車、造軌道、賣票，你換個供應(yīng)商就要推倒重來，而且票價昂貴。以太網(wǎng)陣營（IEEE、各大云廠商、芯片廠商）迫切希望有一條”公共高速公路”，既能達(dá)到類似的高速體驗，又能保留以太網(wǎng)開放、多廠商競爭、生態(tài)成熟的優(yōu)勢——這正是 RoCE 誕生的驅(qū)動力。2.2 RoCEv1：發(fā)生在二層的粗暴嘗試RoCE 全稱RDMA over Converged Ethernet（融合以太網(wǎng)上的 RDMA），第一代 RoCEv1 的思路非常直接：把 IB 的傳輸層報文（IB Transport，也就是 InfiniBand 的 payload 部分）直接封裝進(jìn)以太網(wǎng)幀里，跳過 IP 層，直接使用以太網(wǎng)的二層幀頭（Ethernet Header）+ IB 的網(wǎng)絡(luò)層與傳輸層報文頭。RoCEv1 報文結(jié)構(gòu)：[以太網(wǎng)頭 Ethernet Header] + [IB GRH(可選)] + [IB BTH] + [Payload] + [ICRC] + [FCS]RoCEv1 為何無法跨網(wǎng)段？因為 RoCEv1 直接復(fù)用了以太網(wǎng)的二層幀頭，報文中沒有 IP 頭，這意味著它完全依賴 MAC 地址尋址，只能在同一個二層廣播域（同一個 VLAN/子網(wǎng)）內(nèi)通信，無法被三層路由器轉(zhuǎn)發(fā)跨越網(wǎng)段。類比理解：RoCEv1 就像小區(qū)里的對講機(jī)——聲音清晰、延遲極低，但信號出不了這個小區(qū)（二層網(wǎng)絡(luò)），你沒辦法通過” RoCE_Technical_Training_Guide
RoCE（AI 網(wǎng)絡(luò)）技術(shù)全景培訓(xùn)指南面向?qū)ο螅菏煜鹘y(tǒng)以太網(wǎng) / TCP-IP / TSN / 工業(yè)環(huán)網(wǎng)（ERPS）的工業(yè)交換機(jī)從業(yè)者 目標(biāo)：從零建立對 AI 數(shù)據(jù)中心網(wǎng)絡(luò)（RDMA / RoCE）的系統(tǒng)性認(rèn)知，并能與已有的工業(yè)以太網(wǎng)知識做類比遷移目錄一、為什么 AI 時代突然爆火了 RoCE？（背景與痛點）二、RDMA 的演進(jìn)路線：InfiniBand vs RoCEv1 vs RoCEv2三、RoCE 的核心命脈：如何實現(xiàn)”絕對零丟包”四、AI 交換機(jī)的高級轉(zhuǎn)發(fā)策略（解決大象流與擁塞）五、交換機(jī)硬件與芯片（ASIC）差異：工業(yè)交換機(jī) vs AI 交換機(jī)六、總結(jié)與 FAQ一、為什么 AI 時代突然爆火了 RoCE？（背景與痛點）1.1 AI 大模型訓(xùn)練的流量特征：GPU 集群是如何工作的？在我們熟悉的工業(yè)場景里，一臺 PLC 控制一條產(chǎn)線，交換機(jī)傳輸?shù)亩嗍切≈芷?、小報文、?qiáng)實時的控制指令（比如 Profinet、EtherCAT 報文），單個節(jié)點的流量并不大，網(wǎng)絡(luò)的核心訴求是”低抖動、強(qiáng)確定性”。AI 大模型訓(xùn)練則完全是另一個物種。以訓(xùn)練一個千億參數(shù)的大模型為例：一個訓(xùn)練任務(wù)往往需要成百上千張 GPU（比如 H100/H800），這些 GPU 被組織成一個”集群”，通過網(wǎng)絡(luò)互聯(lián)，共同完成一次訓(xùn)練。由于單張 GPU 的顯存裝不下整個模型，模型的參數(shù)會被切分到不同的 GPU 上（這叫”模型并行”），同時訓(xùn)練數(shù)據(jù)也會被切分到不同 GPU 上并行處理（這叫”數(shù)據(jù)并行”）。每完成一輪小批量計算（一個 mini-batch），各個 GPU 上計算出的梯度必須被同步、聚合、再分發(fā)給所有 GPU，這樣大家才能在同一個”版本”的模型參數(shù)上繼續(xù)下一輪計算。這個同步過程最常見的算法叫All-Reduce（全局歸約）。用一個類比理解 All-Reduce：想象一個由 8 個分組組成的大型合唱團(tuán)排練。每個分組先各自練習(xí)自己那一段樂譜（GPU 各自做本地計算），然后所有分組必須把自己的進(jìn)度告訴彼此、取得共識（梯度同步），才能開始下一段的排練。如果某個分組的通知遲到了 1 分鐘，那么其余 7 個分組都要在原地等待——全體的排練進(jìn)度，取決于最慢的那個分組。這就是 GPU 集群訓(xùn)練的核心特征：特征說明對網(wǎng)絡(luò)的要求突發(fā)性強(qiáng)（Bursty）計算階段幾乎不占用網(wǎng)絡(luò)，梯度同步階段瞬間打滿帶寬需要極高的峰值吞吐集合通信（Collective Communication）All-Reduce / All-to-All / Broadcast，往往是”多對多”同時通信極易在交換機(jī)端口疊加形成擁塞（Incast）強(qiáng)同步性（Synchronous）必須等最慢的節(jié)點完成，才能進(jìn)入下一步（“木桶效應(yīng)”）任何一路的丟包重傳，都會拖慢全局，產(chǎn)生”算力雪崩”超大報文 + 超高并發(fā)單次同步的數(shù)據(jù)量可達(dá) GB 級別，成千上萬個 Queue Pair 同時收發(fā)需要低時延、大帶寬、無損轉(zhuǎn)發(fā)一句話總結(jié)：工業(yè)網(wǎng)絡(luò)怕”抖動”，AI 網(wǎng)絡(luò)怕”丟包和排隊延遲”——這個差異，是理解后面所有技術(shù)選型的根本出發(fā)點。1.2 傳統(tǒng) TCP/IP 協(xié)議棧的三大罪狀我們習(xí)慣認(rèn)為 TCP/IP 是”皇冠上的明珠”——可靠、通用、久經(jīng)考驗。但放到 AI 訓(xùn)練場景里，TCP/IP 協(xié)議棧卻成了性能瓶頸的元兇，主要有三大”罪狀”：罪狀一：高延遲（High Latency）TCP 通信必須經(jīng)過完整的協(xié)議棧處理：應(yīng)用層 → Socket → 內(nèi)核 TCP/IP 協(xié)議棧 → 網(wǎng)卡驅(qū)動 → 網(wǎng)卡硬件 → 網(wǎng)絡(luò)傳輸 → 對端網(wǎng)卡 → 內(nèi)核協(xié)議棧 → Socket → 應(yīng)用層。每一層都有排隊、校驗、協(xié)議頭封裝/解封裝的開銷，單次數(shù)據(jù)傳輸?shù)亩说蕉搜舆t可能達(dá)到幾十到上百微秒。而 AI 集合通信需要在微秒級完成海量小數(shù)據(jù)的同步，傳統(tǒng)協(xié)議棧的延遲直接拖垮訓(xùn)練效率。罪狀二：CPU 占用高TCP/IP 協(xié)議棧的所有處理（分片、校驗和計算、擁塞控制、重傳管理）默認(rèn)都由服務(wù)器的 CPU 完成。在高吞吐場景下（比如 400Gbps 網(wǎng)卡滿載），CPU 可能有相當(dāng)一部分算力被”消耗”在協(xié)議棧處理上，而不是真正用于 AI 訓(xùn)練計算——這對于每張動輒十幾萬元的 GPU 服務(wù)器來說，是極大的資源浪費。罪狀三：多次內(nèi)存拷貝（Memory Copy）這是最容易被忽視但影響最大的一點。傳統(tǒng) Socket 通信中，數(shù)據(jù)從應(yīng)用程序發(fā)送到網(wǎng)絡(luò)，要經(jīng)歷：應(yīng)用程序緩沖區(qū) → 內(nèi)核 Socket 緩沖區(qū) → 內(nèi)核協(xié)議棧緩沖區(qū) → 網(wǎng)卡驅(qū)動緩沖區(qū) → 網(wǎng)卡硬件每一次跨越用戶態(tài)/內(nèi)核態(tài)的拷貝都會消耗 CPU 周期和內(nèi)存帶寬，同時因為發(fā)生了”上下文切換”（用戶態(tài)到內(nèi)核態(tài)的切換），還會有額外的調(diào)度開銷。此外，經(jīng)典的 TCP 建連過程（三次握手）和優(yōu)雅斷連（四次揮手）本身也有一定的時延和資源開銷，在大規(guī)模、高并發(fā)短連接場景中會被放大。類比理解：傳統(tǒng) TCP/IP 通信就像”人工快遞中轉(zhuǎn)站”——包裹（數(shù)據(jù)）到了一個站點，工作人員要先拆開核對（內(nèi)核處理），登記造冊（協(xié)議棧校驗），再重新打包送到下一個站點，如此反復(fù)中轉(zhuǎn)多次才能到達(dá)收件人手中。每一次拆包/打包，都是一次”內(nèi)存拷貝”，都要占用”倉庫工作人員”（CPU）的時間。1.3 什么是 RDMA（遠(yuǎn)程直接內(nèi)存訪問）？RDMA（Remote Direct Memory Access，遠(yuǎn)程直接內(nèi)存訪問）的核心思想是：讓一臺服務(wù)器的網(wǎng)卡，直接讀寫另一臺服務(wù)器的內(nèi)存，全程不經(jīng)過對端 CPU、不經(jīng)過操作系統(tǒng)內(nèi)核、零內(nèi)存拷貝。類比理解：順豐直達(dá)倉庫傳統(tǒng) TCP/IP 通信 = 普通快遞：包裹要經(jīng)過多個分揀中心（內(nèi)核協(xié)議棧），每個分揀中心都要拆包檢查、重新裝箱（內(nèi)存拷貝），層層轉(zhuǎn)交（CPU 參與調(diào)度）。RDMA 通信 = 順豐”倉到倉”直達(dá)專線：發(fā)件倉庫（發(fā)送端內(nèi)存）直接把貨物用專用車輛（RDMA 網(wǎng)卡）運輸，中途不拆包、不經(jīng)過快遞公司總部審核（不經(jīng)過 CPU/內(nèi)核），車輛直接開進(jìn)收件倉庫的指定貨架（對端內(nèi)存的指定地址），放下就走。收件方倉庫甚至不需要專門安排人手去接收（不占用對端 CPU）。RDMA 實現(xiàn)這種效果依賴三個關(guān)鍵技術(shù)特性：特性說明Zero-Copy（零拷貝）數(shù)據(jù)直接從發(fā)送端應(yīng)用內(nèi)存搬運到接收端應(yīng)用內(nèi)存，跳過內(nèi)核緩沖區(qū)中轉(zhuǎn)Kernel Bypass（內(nèi)核旁路）應(yīng)用程序通過用戶態(tài)庫（如 libibverbs）直接向網(wǎng)卡下發(fā)指令，不經(jīng)過操作系統(tǒng)內(nèi)核協(xié)議棧CPU Offload（CPU 卸載）數(shù)據(jù)的搬運、校驗、排序等工作全部由網(wǎng)卡硬件（RNIC，RDMA 網(wǎng)卡）完成，不消耗服務(wù)器 CPU 資源RDMA 通信采用Queue Pair（隊列對，QP）模型：每個通信端點上有一對發(fā)送隊列（SQ）和接收隊列（RQ），應(yīng)用程序把”我要發(fā)送/接收什么數(shù)據(jù)”這個描述符（Work Request）提交給隊列，網(wǎng)卡硬件異步地完成實際的數(shù)據(jù)搬運，完成后通過完成隊列（CQ）通知應(yīng)用程序。這種”提交任務(wù)、硬件異步執(zhí)行、完成后通知”的模式，正是 RDMA 能做到超低延遲、超低 CPU 占用的根本原因。一個重要的認(rèn)知錨點：RDMA 是一種”內(nèi)存訪問范式”（技術(shù)理念/編程模型），它需要具體的網(wǎng)絡(luò)承載協(xié)議來實現(xiàn)。歷史上出現(xiàn)過三種主流承載方式——InfiniBand、RoCEv1、RoCEv2，這正是第二章要講的內(nèi)容。二、RDMA 的演進(jìn)路線：InfiniBand vs RoCEv1 vs RoCEv22.1 貴族技術(shù) InfiniBand（IB）：為什么好？為什么大家想替換它？InfiniBand 是 RDMA 技術(shù)最早、也是發(fā)展最成熟的承載網(wǎng)絡(luò)，由 InfiniBand Trade Association 在上世紀(jì) 90 年代末推出，目前市場上幾乎被 NVIDIA（收購了 Mellanox）主導(dǎo)。IB 的優(yōu)勢：原生無損設(shè)計：IB 從協(xié)議底層就設(shè)計了基于信用（Credit-Based）的流控機(jī)制，發(fā)送端在獲得接收端明確”有空間接收”的信用額度之前不會發(fā)送數(shù)據(jù)，從物理層面就杜絕了因緩沖區(qū)溢出而丟包的可能——這是一種”you first tell me you’re ready, then I send”的握手式流控，與以太網(wǎng)”先發(fā)后管”的理念完全不同。極低時延：端到端延遲可以做到亞微秒級別。專為高性能計算設(shè)計：從誕生之初就是為超算、HPC 場景服務(wù)的，集合通信性能極致優(yōu)化。IB 的問題（也是大家想擺脫它的原因）：問題說明封閉生態(tài)IB 交換機(jī)、網(wǎng)卡幾乎被單一廠商壟斷，缺乏充分的市場競爭采購成本高無論是交換機(jī)還是網(wǎng)卡，單位帶寬成本明顯高于以太網(wǎng)方案運維體系獨立IB 有自己的一套子網(wǎng)管理器（Subnet Manager）、命令行工具、運維人員需要專門學(xué)習(xí)，無法復(fù)用企業(yè)現(xiàn)有的以太網(wǎng)運維團(tuán)隊和工具鏈生態(tài)封閉帶來的供應(yīng)鏈風(fēng)險大規(guī)模采購時交貨周期、議價能力都受制于單一供應(yīng)商類比理解：IB 就像是一條”私人定制高鐵專線”——速度快、體驗好，但只有一家公司能造車、造軌道、賣票，你換個供應(yīng)商就要推倒重來，而且票價昂貴。以太網(wǎng)陣營（IEEE、各大云廠商、芯片廠商）迫切希望有一條”公共高速公路”，既能達(dá)到類似的高速體驗，又能保留以太網(wǎng)開放、多廠商競爭、生態(tài)成熟的優(yōu)勢——這正是 RoCE 誕生的驅(qū)動力。2.2 RoCEv1：發(fā)生在二層的粗暴嘗試RoCE 全稱RDMA over Converged Ethernet（融合以太網(wǎng)上的 RDMA），第一代 RoCEv1 的思路非常直接：把 IB 的傳輸層報文（IB Transport，也就是 InfiniBand 的 payload 部分）直接封裝進(jìn)以太網(wǎng)幀里，跳過 IP 層，直接使用以太網(wǎng)的二層幀頭（Ethernet Header）+ IB 的網(wǎng)絡(luò)層與傳輸層報文頭。RoCEv1 報文結(jié)構(gòu)：[以太網(wǎng)頭 Ethernet Header] + [IB GRH(可選)] + [IB BTH] + [Payload] + [ICRC] + [FCS]RoCEv1 為何無法跨網(wǎng)段？因為 RoCEv1 直接復(fù)用了以太網(wǎng)的二層幀頭，報文中沒有 IP 頭，這意味著它完全依賴 MAC 地址尋址，只能在同一個二層廣播域（同一個 VLAN/子網(wǎng)）內(nèi)通信，無法被三層路由器轉(zhuǎn)發(fā)跨越網(wǎng)段。類比理解：RoCEv1 就像小區(qū)里的對講機(jī)——聲音清晰、延遲極低，但信號出不了這個小區(qū)（二層網(wǎng)絡(luò)），你沒辦法通過”