免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI-RAN架構(gòu)深度解析:ARM+GPU如何重塑5G-A與6G接入網(wǎng)

AI-RAN架構(gòu)深度解析:ARM+GPU如何重塑5G-A與6G接入網(wǎng) 1. 這次調(diào)研的起點(diǎn)AI-RAN和O社的ATR項(xiàng)目最近一直在追AI-RAN方向的資料我把它當(dāng)作接下來(lái)幾年移動(dòng)通信最有變量的一塊來(lái)研究。整理到后面O社的ATR項(xiàng)目成了繞不開(kāi)的樣本公開(kāi)材料反復(fù)出現(xiàn)幾個(gè)標(biāo)簽基于ARM架構(gòu)的GPU平臺(tái)、同時(shí)覆蓋集中式和分布式AI-RAN、面向5G-A和6G演進(jìn)。這幾點(diǎn)放在一起就是一次完整的架構(gòu)換代不是某個(gè)基站部件的小修小補(bǔ)。AI-RAN全稱(chēng)是AI-Radio Access Network字面意思是“人工智能無(wú)線接入網(wǎng)”。但這個(gè)詞在行業(yè)里其實(shí)有三層理解容易混。第一層是AI for RAN用AI做信道估計(jì)、波束管理、網(wǎng)絡(luò)節(jié)能相當(dāng)于給無(wú)線算法加了一個(gè)“智能調(diào)度大腦”第二層是AI on RAN把基站機(jī)器變成邊緣AI算力節(jié)點(diǎn)讓原本閑置的資源對(duì)外輸出推理能力第三層是AI and RAN強(qiáng)調(diào)AI和無(wú)線通信真正共享底層計(jì)算資源。ATR項(xiàng)目做的最關(guān)鍵事情就在第三層讓5G基帶處理和AI推理跑在同一塊GPU上用一個(gè)硬件平臺(tái)同時(shí)承擔(dān)通信和算力兩種角色。換句話說(shuō)傳統(tǒng)基站的基帶處理是交給專(zhuān)用芯片的ASIC、FPGA、DSP好用是好用但只能做無(wú)線這一件事。AI服務(wù)器又是另外一臺(tái)設(shè)備GPU常年開(kāi)著利用率卻經(jīng)常不到百分之二十。AI-RAN想改變的是這種浪費(fèi)。它把無(wú)線接入的功能“軟”下來(lái)跑在通用GPU上閑時(shí)算力再給AI任務(wù)用。基站從通信設(shè)備變成了“能通信的計(jì)算節(jié)點(diǎn)”這是整個(gè)產(chǎn)業(yè)邏輯變化的核心。ATR項(xiàng)目為什么值得單獨(dú)拎出來(lái)看主要因?yàn)閮牲c(diǎn)。第一這是運(yùn)營(yíng)商自己下場(chǎng)做RAN軟件棧而不是買(mǎi)設(shè)備商的整機(jī)O社動(dòng)的其實(shí)不是射頻還是天線而是把基帶處理整個(gè)搬到GPU上重新做一遍第二它同時(shí)定義了集中式和分布式兩種部署方式不是實(shí)驗(yàn)室里演示一把就完而是給了實(shí)際組網(wǎng)的路線圖。這次調(diào)研我主要就是圍繞這兩點(diǎn)展開(kāi)的。1.1 一個(gè)通俗的比喻把AI-RAN說(shuō)清楚基站流量是典型的潮汐曲線白天寫(xiě)字樓區(qū)域流量拉滿凌晨基本空閑。傳統(tǒng)方案里BBU設(shè)備不管有沒(méi)有流量整塊電路板都在通電待命就像一家餐廳固定開(kāi)著一個(gè)大廚房但一天只有兩個(gè)飯點(diǎn)有人來(lái)吃飯。AI-RAN的思路是把廚房變成可以外接訂單的中央廚房。人少的時(shí)候廚師們做外賣(mài)、做其他餐食把設(shè)備和場(chǎng)地利用起來(lái)。到了飯點(diǎn)信號(hào)處理任務(wù)優(yōu)先級(jí)最高所有算力立刻切給業(yè)務(wù)。同一個(gè)廚房不同時(shí)間做不同的事。CPU、GPU這類(lèi)通用計(jì)算資源天然適合這種“彈性分工”而專(zhuān)用芯片做不到ASIC的邏輯在出廠時(shí)就焊死了。這個(gè)比喻還能往下走一層。集中式AI-RAN相當(dāng)于把幾個(gè)餐廳的廚房合并到一個(gè)中央廚房統(tǒng)一采購(gòu)、統(tǒng)一排班效率更高但距離遠(yuǎn)了菜送過(guò)去路上一慢會(huì)涼分布式AI-RAN相當(dāng)于每家店保留一個(gè)中廚單店響應(yīng)快但每家店的設(shè)備使用率不如中央廚房。這兩種模式?jīng)]有絕對(duì)的優(yōu)劣要看現(xiàn)場(chǎng)條件。1.2 AI-RAN要解決的不只是成本問(wèn)題很多人以為運(yùn)營(yíng)商做AI-RAN就是為了省電、省設(shè)備其實(shí)這只是最表層。另一個(gè)更深的原因是現(xiàn)網(wǎng)設(shè)備的軟件化比例太低。傳統(tǒng)基站里協(xié)議棧大部分跑在封閉環(huán)境里想新增一個(gè)AI優(yōu)化功能需要依賴(lài)設(shè)備商升級(jí)版本周期非常長(zhǎng)。O社這種體量的運(yùn)營(yíng)商既有用戶規(guī)模優(yōu)勢(shì)又有AI研發(fā)能力自然想打破這個(gè)閉環(huán)。把RAN跑在GPU上以后很多以前不敢想的場(chǎng)景就通了?;颈旧砭褪且粋€(gè)帶AI能力的推理節(jié)點(diǎn)可以本地做視頻結(jié)構(gòu)化分析、工業(yè)設(shè)備異常監(jiān)測(cè)、自動(dòng)駕駛的低時(shí)延協(xié)同。以前這些東西需要單獨(dú)在邊緣機(jī)房部署AI服務(wù)器再把結(jié)果通過(guò)網(wǎng)絡(luò)送到用戶一來(lái)一回時(shí)延至少幾十毫秒?,F(xiàn)在基站的GPU直接把AI服務(wù)開(kāi)在離用戶最近的地方時(shí)延壓到個(gè)位數(shù)毫秒這是5G-A和6G場(chǎng)景里非常重要的一張牌。ATR項(xiàng)目選的硬件路線也很有意思它沒(méi)有走傳統(tǒng)設(shè)備商最熟悉的x86 CPU加FPGA加速卡路線而是直接用ARM CPU和GPU融合的平臺(tái)。這個(gè)選擇背后是好幾筆賬我在下一節(jié)詳細(xì)算。2. 硬件底座為什么是ARM架構(gòu)GPU平臺(tái)2.1 三種硬件方案的對(duì)比我在調(diào)研中把當(dāng)前RAN加速方案分成了三類(lèi)放在一起做對(duì)比這樣才能看清ARM加GPU這套組合的位置。第一類(lèi)是傳統(tǒng)ASIC/FPGA方案。典型場(chǎng)景是現(xiàn)網(wǎng)中大量早期5G基站基帶L1層走專(zhuān)用芯片性能和功耗都很好但問(wèn)題也很明顯開(kāi)發(fā)周期長(zhǎng)迭代一次物理層算法要按年來(lái)算AI能力基本為零除非額外掛一臺(tái)AI服務(wù)器否則這塊加速卡無(wú)法承接任何AI業(yè)務(wù)運(yùn)維上也是黑盒出了問(wèn)題只能交給設(shè)備商定位。第二類(lèi)是x86 CPU加FPGA加速卡的方案。這也是不少?gòu)S商在5G中后期采用的路線。FPGA做L1高性能流程x86跑協(xié)議??刂泼姹華SIC靈活但AI生態(tài)仍然弱。FPGA上部署深度學(xué)習(xí)模型需要專(zhuān)門(mén)做量化、編譯和布線人力成本極高沒(méi)法像NVIDIA那樣用CUDA生態(tài)快速落地。更重要的問(wèn)題是x86本身功耗高基站站點(diǎn)通常只給幾千瓦的電力預(yù)算一臺(tái)x86服務(wù)器放上去電源、散熱、機(jī)房空間都要重新設(shè)計(jì)。第三類(lèi)就是ARM加GPU。ARM CPU負(fù)責(zé)協(xié)議??刂坪屯ㄓ糜?jì)算GPU承擔(dān)L1物理層同時(shí)也作為AI推理引擎。GPU的好處是同一塊硬件天然能跑AI生態(tài)極其完整從訓(xùn)練框架到推理引擎全都現(xiàn)成。ARM CPU的好處是功耗低單核能效遠(yuǎn)好于x86而且ARM在電信設(shè)備里其實(shí)是老熟人很多基站的控制面早就在用ARM核兼容性不是問(wèn)題。三類(lèi)方案的關(guān)鍵差異我用一張簡(jiǎn)表列出來(lái)后面講參數(shù)方便一點(diǎn)。維度ASIC/FPGAx86 FPGAARM GPU基帶處理性能高中高中高AI負(fù)載承接差差好開(kāi)發(fā)迭代速度慢中快功耗低高中資源池化能力弱中強(qiáng)生態(tài)基礎(chǔ)封閉封閉開(kāi)放2.2 ARM和GPU之間那根“高速管道”是關(guān)鍵很多沒(méi)做過(guò)RAN的人第一次看ARM加GPU方案會(huì)有一個(gè)疑問(wèn)ARM CPU和GPU是兩個(gè)東西數(shù)據(jù)在這兩者之間來(lái)回搬運(yùn)會(huì)不會(huì)成為瓶頸這里就涉及平臺(tái)本身的設(shè)計(jì)。ATR方案里選的是某GPU廠商的服務(wù)器級(jí)加速平臺(tái)它把ARM CPU和GPU做成了緊密耦合的一顆大芯片CPU與GPU之間不是走傳統(tǒng)的PCIe總線而是通過(guò)高帶寬的一致性互聯(lián)通道直接相連。PCIe的典型雙向帶寬在數(shù)十GB每秒這個(gè)平臺(tái)的一致性互聯(lián)在規(guī)格上高出一個(gè)量級(jí)。更重要的是它支持緩存一致性CPU和GPU訪問(wèn)內(nèi)存時(shí)不需要頻繁做數(shù)據(jù)拷貝和驅(qū)動(dòng)同步這對(duì)毫秒級(jí)信號(hào)處理尤其關(guān)鍵?;鶐幚淼谋举|(zhì)是實(shí)時(shí)數(shù)據(jù)流天線端收到信號(hào)經(jīng)過(guò)前傳接口進(jìn)入GPU做FFT變換、信道估計(jì)、解調(diào)再交回ARM CPU做協(xié)議處理。整個(gè)過(guò)程要在幾毫秒內(nèi)完成任何一個(gè)環(huán)節(jié)出現(xiàn)DMA拷貝延遲和數(shù)據(jù)等待都可能拖壞空口指標(biāo)。ARM和GPU融合成一顆芯片后數(shù)據(jù)路徑短延遲可控這是它和“x86服務(wù)器插一塊GPU卡”最大的區(qū)別。很多公開(kāi)技術(shù)資料里還提到了配套的DPU網(wǎng)卡。這塊卡在AI-RAN里的作用很多人忽略了其實(shí)非常關(guān)鍵?;厩皞鹘涌诔休d的是樣本數(shù)據(jù)需要高精度的時(shí)間同步傳統(tǒng)方案里靠BBU里的獨(dú)立時(shí)鐘模塊解決但在GPU平臺(tái)里這個(gè)功能被卸載到DPU上由DPU完成eCPRI協(xié)議解析、時(shí)間戳打標(biāo)、同步和流量整形。DPU還順帶承擔(dān)了網(wǎng)絡(luò)虛擬化的負(fù)載把容器間通信、OVS轉(zhuǎn)發(fā)這些開(kāi)銷(xiāo)從CPU上解放出來(lái)。2.3 功耗與實(shí)時(shí)性這筆賬RAN工作負(fù)載和普通AI推理有一個(gè)本質(zhì)區(qū)別無(wú)線信號(hào)處理是有硬性實(shí)時(shí)要求的符號(hào)級(jí)任務(wù)必須在微秒級(jí)時(shí)間窗口內(nèi)完成過(guò)了這個(gè)窗口物理層的幀結(jié)構(gòu)就錯(cuò)了用戶直接掉線。GPU本身就是為吞吐量設(shè)計(jì)的一個(gè)任務(wù)排隊(duì)等幾百微秒很正常所以直接在GPU上跑L1基帶會(huì)出問(wèn)題必須有軟件棧做實(shí)時(shí)調(diào)度。O社的ATR方案里軟件層面的玩法是把L1處理切成兩類(lèi)任務(wù)。一類(lèi)是高優(yōu)先級(jí)實(shí)時(shí)任務(wù)例如每個(gè)時(shí)隙內(nèi)的核心符號(hào)處理用GPU的專(zhuān)用硬件隊(duì)列來(lái)做嚴(yán)格鎖定執(zhí)行窗口另一類(lèi)是低優(yōu)先級(jí)非實(shí)時(shí)任務(wù)怎么做都行后臺(tái)慢慢跑比如測(cè)量上報(bào)、日志分析。AI推理任務(wù)則被放在最低優(yōu)先級(jí)只能占用RAN任務(wù)不用的計(jì)算資源。功耗賬更要細(xì)算。服務(wù)器級(jí)GPU芯片功耗不低一塊卡就要幾百瓦到上千瓦放在中頻基站站址常常超過(guò)機(jī)房的單機(jī)柜供電上限。所以ATR項(xiàng)目在分布式部署場(chǎng)景里直接推出了低功耗版本的設(shè)計(jì)GPU的時(shí)鐘頻率被鎖定到較低檔位同時(shí)采用外置散熱整機(jī)整機(jī)功耗控制在1千瓦以?xún)?nèi)。這個(gè)數(shù)字放到傳統(tǒng)基站里依然偏高但已經(jīng)逼近機(jī)柜能接受的范圍了。集中式部署則可以把功耗壓力轉(zhuǎn)移到邊緣機(jī)房用液冷解決這也是集中式架構(gòu)在實(shí)踐中更好落地的原因之一。2.4 為什么這套平臺(tái)適合做“運(yùn)營(yíng)商級(jí)”AI-RAN我個(gè)人的判斷是ARM加GPU這個(gè)組合技術(shù)上有取舍但商業(yè)上很聰明。GPU的AI生態(tài)是現(xiàn)成的不用重新推動(dòng)產(chǎn)業(yè)ARM的授權(quán)生態(tài)又是開(kāi)放的運(yùn)營(yíng)商可以自己選處理器、選網(wǎng)卡、選服務(wù)器不用被單一設(shè)備商綁定。O社這樣做等于把原本封閉的RAN產(chǎn)業(yè)從“賣(mài)整機(jī)”變成了“組裝機(jī)”。代價(jià)是系統(tǒng)集成難度極高。傳統(tǒng)設(shè)備商交付的基站是經(jīng)過(guò)整體測(cè)試的整機(jī)運(yùn)營(yíng)商插上電就能用現(xiàn)在ARM服務(wù)器、GPU卡、DPU、前傳光模塊、實(shí)時(shí)操作系統(tǒng)、容器平臺(tái)都要自己拼運(yùn)維團(tuán)隊(duì)的要求一下子被拉高了。這也是ATR方案目前更多停留在大型項(xiàng)目合作和PoC驗(yàn)證階段的原因真正大面積替換現(xiàn)網(wǎng)基站還有一段距離。3. 兩種架構(gòu)形態(tài)集中式與分布式怎么用3.1 集中式AI-RANGPU資源池化的優(yōu)勢(shì)集中式架構(gòu)可以理解成把多個(gè)基站的基帶處理集中到邊緣機(jī)房機(jī)房里的GPU服務(wù)器組成一個(gè)資源池通過(guò)前傳網(wǎng)絡(luò)連接分布在遠(yuǎn)處的射頻單元。這個(gè)概念本質(zhì)上脫胎于C-RAN也就是云化無(wú)線接入網(wǎng)但ATR方案里的核心變化是資源池不僅能做基帶還能同時(shí)跑AI。集中式的第一個(gè)好處是資源利用率高。十個(gè)基站放在一起負(fù)載高峰時(shí)間各不相同如果每個(gè)基站各自配備一塊GPU必然出現(xiàn)有的滿負(fù)荷有的閑置。集中后十個(gè)小區(qū)的算力可以共享同一批卡按業(yè)務(wù)量動(dòng)態(tài)調(diào)度總卡數(shù)能省下三成以上。第二個(gè)好處是便于升級(jí)GPU卡可以集中替換不用爬鐵塔、進(jìn)站點(diǎn)一臺(tái)一臺(tái)換。第三個(gè)好處是AI服務(wù)更容易規(guī)?;渴饳C(jī)房里的GPU資源池直接統(tǒng)一調(diào)度一個(gè)模型可以在池子里隨意分配任何一個(gè)基站覆蓋區(qū)域的用戶都能就近獲得AI推理能力不用在每個(gè)站點(diǎn)重復(fù)部署。需要特別注意前傳網(wǎng)絡(luò)。集中式把基帶處理拉到遠(yuǎn)處后射頻單元和基帶單元之間的前傳時(shí)延必須嚴(yán)格受控尤其是L1處理對(duì)時(shí)延極敏感一般要求單跳傳輸時(shí)延在微秒級(jí)所以集中式機(jī)房通常距離遠(yuǎn)端站點(diǎn)幾十公里以?xún)?nèi)并且需要高質(zhì)量的光模塊和精確時(shí)間同步協(xié)議。前傳帶寬同樣需要預(yù)留信道光模塊速率不夠或者抖動(dòng)過(guò)大空口指標(biāo)立刻劣化。3.2 分布式AI-RAN把算力直接推到站點(diǎn)分布式架構(gòu)則是另一幅圖景每個(gè)基站站點(diǎn)部署一套一體化的ARM加GPU設(shè)備整臺(tái)設(shè)備直接掛在接入機(jī)房甚至塔上基帶處理和AI推理都在本地完成。這種形態(tài)解決集中式最頭疼的兩個(gè)問(wèn)題前傳時(shí)延超高標(biāo)準(zhǔn)和高帶寬依賴(lài)。分布式方案在低時(shí)延場(chǎng)景里有天然優(yōu)勢(shì)。以工業(yè)場(chǎng)景為例機(jī)器人的運(yùn)動(dòng)控制周期一般在幾毫秒如果控制決策要發(fā)回中心機(jī)房一來(lái)一回再考慮網(wǎng)絡(luò)排隊(duì)很難穩(wěn)定達(dá)標(biāo)。站點(diǎn)內(nèi)嵌GPU之后推理計(jì)算本地完成時(shí)延基本就一次DMA的距離穩(wěn)定在極低水平。這個(gè)優(yōu)勢(shì)適合真正硬實(shí)時(shí)的工業(yè)互聯(lián)網(wǎng)場(chǎng)景是集中式替代不了的。代價(jià)也很明顯分布式站點(diǎn)的環(huán)境比中心機(jī)房惡劣得多冬天沒(méi)有暖氣夏天沒(méi)有空調(diào)白天暴曬灰塵和潮氣無(wú)孔不入。GPU這類(lèi)高功耗設(shè)備放在這種環(huán)境里對(duì)退熱設(shè)計(jì)、防塵過(guò)濾、供電保障都是大考驗(yàn)。另一個(gè)問(wèn)題是算力浪費(fèi)站點(diǎn)流量有高峰有低谷低谷時(shí)GPU完全空閑但不像集中式還可以把資源給別的小區(qū)用只能白白閑著。所以分布式架構(gòu)更適合那些本地AI業(yè)務(wù)占用本身就比較穩(wěn)定的場(chǎng)景比如智慧園區(qū)、港口、礦山AI負(fù)載能和通信負(fù)載錯(cuò)峰互補(bǔ)。3.3 同一套軟件棧如何覆蓋兩種模式ATR項(xiàng)目規(guī)劃里最有價(jià)值的部分不是單獨(dú)支持集中式或分布式而是用一個(gè)軟件架構(gòu)同時(shí)覆蓋了兩種模式。這意味著運(yùn)營(yíng)商不需要在兩種方案之間做非此即彼的選擇而可以根據(jù)地域、業(yè)務(wù)類(lèi)型、機(jī)房條件靈活組合比如城區(qū)寫(xiě)字樓區(qū)域用集中式郊區(qū)工廠用分布式。要做到這點(diǎn)關(guān)鍵在于把RAN功能拆分成可編排的原子能力。L1物理層處理、L2協(xié)議處理、L3控制面這些功能模塊全部做成可獨(dú)立部署的軟件容器。部署集中式時(shí)這些容器都跑在中心機(jī)房的GPU服務(wù)器上部署分布式時(shí)本地站點(diǎn)跑L1和一部分L2L3等高時(shí)延容忍的功能仍可送回中心機(jī)房。資源調(diào)度的策略也完全復(fù)用。無(wú)論集中還是分布底層都有一位GPU資源調(diào)度器負(fù)責(zé)給不同任務(wù)分配計(jì)算資源RAN任務(wù)擁有最高優(yōu)先級(jí)AI任務(wù)使用空閑窗口。這套調(diào)度邏輯和部署方式無(wú)關(guān)集中式調(diào)度的是一大池子分布式調(diào)度的是一小池子策略相同顆粒度不同。這就是軟硬件解耦設(shè)計(jì)帶來(lái)的最大收益一套軟件、兩種形態(tài)、多處復(fù)用。4. 從紙面到落地部署步驟與算力測(cè)算4.1 算力測(cè)算一個(gè)節(jié)點(diǎn)需要幾塊GPU調(diào)研要從紙面落到實(shí)操第一步就是算算到底需要多少GPU資源。這個(gè)數(shù)字不能拍腦袋要按小區(qū)配置、帶寬、天線數(shù)量、業(yè)務(wù)模型逐步推。以一個(gè)典型中頻宏站小區(qū)為例100兆赫茲帶寬、4T4R天線配置、TDD制式下行小區(qū)峰值吞吐量約在1.5Gbps左右L1物理層處理需要完成FFT變換、信道估計(jì)、均衡、編解碼等操作每毫秒處理一個(gè)時(shí)隙的數(shù)據(jù)。按該GPU廠商公開(kāi)演示的性能單個(gè)加速卡大概可以支撐3至4個(gè)這樣配置小區(qū)的L1處理再疊加一部分L2處理實(shí)際能力會(huì)降到2至3個(gè)還要為突發(fā)流量保留余量。如果集中式機(jī)房里規(guī)劃接入10個(gè)小區(qū)就需要4塊以上加速卡。這里有個(gè)常見(jiàn)的誤算直接把10除以3向上取整成4張卡但實(shí)際還要考慮L2開(kāi)銷(xiāo)、AI業(yè)務(wù)預(yù)留和故障冗余更穩(wěn)妥的是按“每小區(qū)占用0.35卡”計(jì)算再預(yù)留20%算力峰值緩沖和一塊卡的N加1備份最終結(jié)果是6塊卡左右。算力規(guī)劃寧多勿少因?yàn)闊o(wú)線RAN任務(wù)一旦超載不是變慢的問(wèn)題是直接掉線。AI業(yè)務(wù)的資源預(yù)留可以單獨(dú)計(jì)數(shù)。如果機(jī)房里還要運(yùn)行30路視頻分析每路按一個(gè)輕量模型推理需要大約一定比例的GPU實(shí)例算就得增加對(duì)應(yīng)數(shù)量的卡。RAN和AI需求放在同一個(gè)資源池里調(diào)度器在保證RAN不超閾值的前提下把剩余算力盡量分配給AIAI資源總量應(yīng)該在峰值算力基礎(chǔ)上再打個(gè)折扣。4.2 一套可復(fù)制的PoC部署流程我建議第一次做AI-RAN項(xiàng)目驗(yàn)證的團(tuán)隊(duì)按下面的順序走這樣可以盡可能規(guī)避翻車(chē)。先定拓?fù)浜蛨?chǎng)景。明確是要驗(yàn)證集中式還是分布式或者混合式。建議第一次做集中式機(jī)房條件可控問(wèn)題排查也方便。然后做資源估算參考上一小節(jié)的方法把基站數(shù)、小區(qū)帶寬、天線端口、預(yù)計(jì)AI業(yè)務(wù)類(lèi)型和路數(shù)全部列出來(lái)算出GPU卡數(shù)。這一步一定要多算一點(diǎn)富余量軟件層的損耗會(huì)在壓力測(cè)試?yán)锉┞冻鰜?lái)。再準(zhǔn)備硬件環(huán)境。ARM加GPU的服務(wù)器網(wǎng)卡交換機(jī)前傳光模塊時(shí)鐘同步設(shè)備逐一上架。時(shí)鐘同步這一步經(jīng)常被忽視AI-RAN機(jī)房里基站前傳和普通數(shù)據(jù)中心不太一樣必須要走精確時(shí)間同步協(xié)議否則空口幀對(duì)齊不了。軟件層則是部署容器平臺(tái)、實(shí)時(shí)操作系統(tǒng)的配置、基帶加速棧和AI推理框架。然后是單站驗(yàn)證先不在多站并發(fā)場(chǎng)景下跑只接一個(gè)射頻拉遠(yuǎn)單元驗(yàn)證一塊GPU跑L1處理看空口能不能穩(wěn)定建立連接吞吐量能不能達(dá)到理論值的八成以上。最后壓力測(cè)試逐步增加小區(qū)數(shù)同時(shí)混入AI推理任務(wù)觀察GPU利用率、時(shí)延和空口性能的變化曲線找到資源峰值邊界。這一步做完才算從“能用”到了“夠用”。4.3 資源切分和SLA保障策略AI-RAN系統(tǒng)里最重要的一條原則是RAN任務(wù)必須有絕對(duì)優(yōu)先權(quán)。這不是靠程序員自覺(jué)而是靠底層調(diào)度機(jī)制硬保證的。具體實(shí)現(xiàn)上GPU實(shí)例切片的使用方式值得借鑒。一塊物理GPU可按算力比例切分成多個(gè)實(shí)例每個(gè)實(shí)例擁有獨(dú)立計(jì)算單元和顯存互相之間隔離。可以給RAN任務(wù)分配一個(gè)獨(dú)占實(shí)例這個(gè)實(shí)例不參與AI推理專(zhuān)職保證基帶處理的實(shí)時(shí)性。AI任務(wù)跑在另一個(gè)實(shí)例上哪怕它把實(shí)例占滿也不會(huì)對(duì)RAN造成直接沖擊最多是等資源時(shí)間變長(zhǎng)。在實(shí)例內(nèi)部還可以加時(shí)間片隔離。實(shí)時(shí)無(wú)線任務(wù)長(zhǎng)期占著隊(duì)列的一部分固定窗口AI任務(wù)只能在剩余窗口里運(yùn)行。這有點(diǎn)像高速公路上給應(yīng)急車(chē)輛留出專(zhuān)用通道日常行駛非常自由但應(yīng)急車(chē)輛一來(lái)其他車(chē)必須立刻讓行。5. 實(shí)測(cè)中遇到的問(wèn)題和幾套排查思路5.1 實(shí)時(shí)任務(wù)在GPU上“跑飛”的處理第一次跑L1處理時(shí)最常見(jiàn)的問(wèn)題是GPU任務(wù)時(shí)延抖動(dòng)。傳統(tǒng)基站的基帶處理跑在專(zhuān)用芯片上時(shí)間行為幾乎是確定的而GPU的任務(wù)調(diào)度天然帶著不確定性。實(shí)測(cè)時(shí)最容易看到的現(xiàn)象是某個(gè)時(shí)隙的符號(hào)處理偶爾超時(shí)超時(shí)不超過(guò)幾十微秒但對(duì)空口來(lái)說(shuō)已經(jīng)構(gòu)成一次小中斷。我要特別提醒不要一上來(lái)就優(yōu)化代碼先開(kāi)GPU實(shí)時(shí)調(diào)度日志把超時(shí)分布抓出來(lái)看。大多數(shù)情況下問(wèn)題不在算法而在任務(wù)排隊(duì)。GPU上有多個(gè)計(jì)算隊(duì)列如果RAN任務(wù)和AI任務(wù)默認(rèn)使用同一個(gè)計(jì)算流AI的密集型計(jì)算會(huì)把RAN任務(wù)擠到隊(duì)尾。解決思路很直接把RAN任務(wù)分配到獨(dú)立的高優(yōu)先級(jí)計(jì)算流并配合固定時(shí)間片搶占機(jī)制同時(shí)把AI任務(wù)壓成低優(yōu)先級(jí)的后臺(tái)流。這屬于平臺(tái)級(jí)配置不需要改一行算法代碼。如果配置完成后仍然抖動(dòng)下一步檢查顯存分配。GPU實(shí)例之間如果共享顯存帶寬大量的顯存拷貝會(huì)拖慢RAN處理。給RAN實(shí)例預(yù)留足夠多的顯存駐留空間盡量避免運(yùn)行時(shí)頻繁申請(qǐng)能顯著改善時(shí)延穩(wěn)定性。5.2 前傳鏈路和資源沖突問(wèn)題速查前傳鏈路是集中式架構(gòu)最容易出問(wèn)題的地方。我整理了一份實(shí)測(cè)中最常踩坑的問(wèn)題清單給正在做同類(lèi)項(xiàng)目的團(tuán)隊(duì)參考。問(wèn)題現(xiàn)象定位思路解決辦法前傳光模塊誤碼率升高空口吞吐下降檢查光模塊速率和鏈路預(yù)算看是否在長(zhǎng)距離場(chǎng)景用錯(cuò)模塊等級(jí)換成更高等級(jí)光模塊縮短前傳距離空口幀偏移不穩(wěn)定檢查同步源是否所有射頻單元都同步到同一時(shí)鐘統(tǒng)一同步協(xié)議配置增加時(shí)鐘源冗余GPU利用率不滿但空口指標(biāo)差檢查CPU和GPU之間數(shù)據(jù)搬運(yùn)路徑是否走了低速接口確認(rèn)使用高帶寬一致性互聯(lián)通道關(guān)閉不必要的數(shù)據(jù)拷貝AI推理啟動(dòng)后RAN時(shí)延升高查看GPU任務(wù)隊(duì)列是否使用了同一計(jì)算流將RAN任務(wù)固化到獨(dú)立計(jì)算流并設(shè)為最高優(yōu)先級(jí)站點(diǎn)功耗超限導(dǎo)致掉電查看整機(jī)功耗曲線是否GPU長(zhǎng)期滿載設(shè)置功耗上限AI任務(wù)降頻必要時(shí)鎖GPU工作頻率最容易被忽略的一個(gè)問(wèn)題是AI模型預(yù)熱帶來(lái)的瞬時(shí)CPU和顯存沖擊。很多AI框架在推理服務(wù)冷啟動(dòng)時(shí)要加載模型會(huì)有一段很明顯的資源峰值如果剛好趕上RAN的忙時(shí)就可能引發(fā)資源爭(zhēng)搶。我建議在系統(tǒng)里做AI服務(wù)的資源配額限制并把模型加載放在RAN任務(wù)低峰期執(zhí)行AI容器啟動(dòng)后先空載運(yùn)行一段時(shí)間再接入實(shí)際業(yè)務(wù)流量。5.3 一小段真實(shí)調(diào)試經(jīng)歷供你參考我印象最深的一次調(diào)試是分布式站點(diǎn)GPU溫度過(guò)高導(dǎo)致頻率降到非常低整個(gè)系統(tǒng)的空口吞吐直接掉了三成。一開(kāi)始還懷疑是前傳問(wèn)題排查了半天才發(fā)現(xiàn)是散熱系統(tǒng)沒(méi)有適配好。GPU在降頻保護(hù)狀態(tài)下不會(huì)報(bào)錯(cuò)只會(huì)在日志里提示功耗和溫度限制但現(xiàn)網(wǎng)運(yùn)維如果不關(guān)注這部分日志根本發(fā)現(xiàn)不了。那個(gè)教訓(xùn)讓我養(yǎng)成了一個(gè)習(xí)慣在AI-RAN環(huán)境里做任何性能排查第一件事不是看空口指標(biāo)而是看GPU的實(shí)時(shí)狀態(tài)包括溫度、功耗、算力利用率、顯存占用、計(jì)算流隊(duì)列深度。這五個(gè)指標(biāo)先看完再判斷是不是無(wú)線側(cè)的問(wèn)題。傳統(tǒng)無(wú)線工程師做RAN排查時(shí)只看空口AI工程師做系統(tǒng)性能時(shí)只看GPU利用率這個(gè)項(xiàng)目最考人的恰恰是兩邊對(duì)齊。我個(gè)人的體會(huì)是AI-RAN這個(gè)方向的工程難點(diǎn)不在“GPU跑得動(dòng)跑不動(dòng)基帶”而在“當(dāng)一個(gè)系統(tǒng)里同時(shí)存在實(shí)時(shí)通信和彈性AI兩類(lèi)任務(wù)時(shí)怎么讓它們互相不拖累”。ARM加GPU的硬件平臺(tái)提供了一個(gè)足夠開(kāi)放的底座但真正決定項(xiàng)目能不能落地的還是軟件調(diào)度、資源隔離、運(yùn)營(yíng)維護(hù)這些細(xì)節(jié)。從現(xiàn)網(wǎng)角度看ATR項(xiàng)目目前最有參考價(jià)值的也不是那塊GPU卡而是它能不能把這套調(diào)度邏輯做成可復(fù)用的行業(yè)標(biāo)準(zhǔn)。這個(gè)方向后續(xù)值得持續(xù)跟蹤尤其是從5G-A走向6G以后基站架構(gòu)的軟件化程度會(huì)越來(lái)越高今天的ARM加GPU方案很可能就是未來(lái)整個(gè)接入網(wǎng)的主流底座。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
视频一二区| 久9久视频精品| 操操操av| 91九九精品| 女人天堂AV| 性爱五月丁香| 极品精品一区二区三区在线| 生活片五区| 亚洲性图一区二区三区| 小色小蛇伊人婷婷色香五月| 性做爰1一7伦| 丁香婷婷激情| 九热视频这里只有精品| 色情婷婷。| 九九在线精品| 熟女网站久久| 天天色色天天| 五月丁香啪啪啪啪| 人人爱操| 婷五月天丁香婷五月| 亚洲啪啪视频| 久久99热这里| 99资源在线视频| 亚洲中文字幕在线观看| 操碰91| 99这里只有精品视频在线| 任你弄在线视频免费| 九九干视频| 99热99思午夜精品| 99 热| 五月天激情综合网| 蒲京久久无码视频| 免费无码毛片一区二区A片 | 婷婷六月啪啪| 9久热这里只有精品| WWW免费视频碰碰碰碰| 欧美日韩欧美| 丁香五月成人| 色五月网址| 丁香婷婷月| 夜夜操夜夜爽| eeuss人妻| 亚洲99一级无嗎特制在线| 色偷偷综合| 99热无码首页| 国产成人+亚洲+欧洲| 婷婷丁香69精华| 五月婷婷精品| 五月婷婷精品| 91热久| 久久99最新地址| 激情五月天视频| 婷婷五月天激情AV影院| 伊人狠狠操| 国产婷婷色五月| 欧美日韩成人在线免费| 97五月天婷婷综合激情网| 亚洲字幕AV一区二区三区四区 | www.91.com黄| 五月天婷婷网站888| 思思热视频| 狠狠肏综合网| 亚洲五月天婷婷在线| 日日想日日夜日日操| 大香蕉综合| 婷婷丁香花五月天| 色婷婷小说| 婷婷激情视频| 色婷网| 亚洲欧洲一二| 男女99免费视频| 色九月婷婷综合| 五月丁香花激情综合网| 色婷久久| 色五月成人| 久久人人九| 99激情视频| 五月天天爱| 色色色.COM| 五月综合激情视频| 九九在线视频| 婷婷五月天影院| 丁香五月婷婷六月婷| 五月总合激情网| 国产成人av在线| 五月丁香六月婷婷成人| 无码地址| 色综合色综合网| 婷婷丁香综合成人| 激情久久久久久久久久久| 九九激情| 婷婷97狠狠成人网站| 成人无码精品1区2区3区免费看| 五月丁香综合激情| 9l久久久视频| 伊人网欧美在线男人天堂五月丁香| 99re视频在线播放| 99亚洲大片精品永久在线观看| 亚洲人妻一区二区 | 亚洲欧洲中文日韩久久AV乱码| 少妇AB又爽又紧无码网站| 国产精产国品一二三在观看| www91久久| 亚洲最大在线| 99这里只有精品99| 久久综合五月| 91av色色乱视频| 色婷婷9| 99久久久国产大片| 第四色五月天| 激情五月婷婷网| 国产成人精品一区二三区熟女在线 | 九九热中文| 五月天激情综合网| 亚洲99在线| 久久网站免费亚洲| 夜夜资源站| 丁香色五月天| 成人视频免费观看高清完整版在线观看| 五月丁香婷婷啪啪综合| www天天干| 色五婷婷开心缴| 99ri国产| 大香av| 六月丁香基地| 日本视频99| 五月婷婷六月激情| 婷婷成人综合| 色五月激情网| 日韩欧美性爱| 99精彩视频在线观看| 色色网站免费| 久久精品一区二区三区四区| 色人久久| 色九亚洲| 吾爱AV导航| 久草五月天电影网| 久久精彩视频| 国产免费一区二区三州老师F1F1| 丁香五月综合在线观看| 日日操夜夜擼| 五月天婷婷青青| 日91高清无玛| 婷婷六月视频| 超碰99资源站| 亚洲XX网| 婷婷97碰碰| 色婷婷五月综合激情中文字幕| 91婷色| 色了色综合| 久久丁香五月天| 大香蕉大香蕉在线影院| 天天操综合网| 婷婷色吧| 激情五月婷| 九九爱精品网站| 色噜噜狠狠色综合伊人| 99久久综合| 99久久精品色老| 五月婷婷六月综合| 亚洲激情六月| 日日操夜夜爽| 免费国产视频| 99热精品在线观看| 五月激情日本在线| 五月激情天| 91一起操| 激情伊人五月天| 精品99在线看| 激情亚洲网| 99福利导航| 丁香六月婷婷五月婷婷| 91日韩美女被插视频| 伍月婷丁香花全集| 久人人操| 六月婷婷久久| 五月丁香久久网| 色九九九九| 97干在线看| 五月天激情啪啪| 五月天网址在线刘玥| 99这里只有精品国产| 色综合伊人网| www·五月天| 色五月亚洲| 成人色五月天| 人妻中文av| 九九热只有精品| 久久99久久久久久久噜噜| 深情五月天| www.爱婷婷.com| 天天干天天干天天操| 亚洲视频久久| 熟女激情五月天| 91蜜桃婷婷狠狠久久综合9色| 国产av天天插天天操天天爽| 六月亚洲婷婷6月中文字幕| 九月婷婷激情| 在线综合91| 亚洲精品无码一区二区| 五月综合激情婷婷六月色窝| 丁香五月综合| 综合久久99| 天天干狠狠| 啪啪啪大香蕉| 久99久视频精品| 五月丁香六月激情综合| 婷婷五月天黄色| 狠狠综合久久| 天天做天天干天天综合网| 狠狠色噜噜狠狠色噜噜噜999| 九九热在线视频观看免费10| 成人精品在线观看| 在热视频精品| 五月婷婷丁香深深爱| 伊人玖玖精品| 日韩在线观看亚洲| 少妇口诉沐足视频播放器网址| 婷婷在线观看五月天在线视频| 97人人干人人操| 久久婷婷五月草视频在线播放| 色五月婷婷大| 久久婷婷五月综合| 在线视频区| 91.com男女操| 久久这里有| 97人人操人人爽| 中日韩美欧成人一区二区精品在线 | 婷婷丁香五月天综合网| 五月天伊人综合| 日本狠狠干| 91久久综合亚洲鲁鲁五月天| 99热这里只有精品最新| 最近免费中文字幕大全高清大全1| 九月丁香婷婷网| 99热偷拍| 九九久久网| 99九无网码| 色色色热热热| 伊人五月人妻精品| yiqicaoav| 久久大香蕉同僚| 任你干aa| 久久婷婷网站| 天天操狠狠操| 丁香 婷婷 激情 综合 五月| 色色色色色色色色网站| 亲子乱AV一区二区三区下载| 26uuu| 激情五月天在线观看婷婷| 99在线精品观看99| 8090在线影视少妇| 思思热在线视频精品| 亚洲综合在线视频| 超碰在线成人| 2025色婷婷| 高潮毛片遮挡费高一百度| 日韩黄在免| 生活片五区| 亚洲五月天婷婷| WWW.久久久久久久| 思思热在线观看| 一本色道久久88加勒比—| 六月婷婷在线| 99视频自拍| 婷婷丁香综合| 99热伊人综合| 99热国产在线| 色欲色欲久久宗合网| 99久久99热这里只有精品| 激情99| 精品成人在线观看| WWW.天天日| 亚洲精品又粗又大又爽A片| 色情五月综合婷婷| www.婷婷| 丁香婷婷五月天校园春色| 七七九色| 丁香激情网| 婷婷.com| 99re青青草| 丁香五月电影| 亚洲电影在线观看| 久久性爱视频| 亚洲色情一区二区三区四区| AV大片在线观看| AV性爱在线| 热久久99热欧美国产亚洲| 成人精品人妻| 人人干天天舔| 久久五月激情综合| 五月天综合在线网| 婷婷激情五月综合| 色五婷婷在线视频| 天天操B| 99综合久久| 99热视精品| 久机视频这只有精品| 天天综合中文| 综合网激情五月天| 丁香婷婷色| 99er6| 日韩操逼大片| 4399在线观看免费高清黄色视频| 成人国产欧美大片一区| 在线观看av网站| 97久久超碰| 亚洲精品视频在线播放| 成功精品影院| 熟女人妻视频| 久草五月婷婷| 99自拍视频在线| 伦99热| 26uuu另类| 99热这里只有国产精品| 欧美激情综合色综合啪啪五月| 综合久| www.yw尤物| 天天爱天天操| 日本三级日本三级99| www.夜夜| 99在线视频播放| 丰满少妇乱A片无码| 五月丁香激情欧洲啪啪| 丁香六月激情综合网| 色播播婷婷| 天天日天天爽| 人妻久久婷婷| 五月婷婷啪啪啪啪| 色五月av| 九九色色网| 青草五月天| 激情性爱网站| 热九九在线| 超碰97干| 久久久五月天网站| 97超碰99热99| 婷婷丁香色无五月| 婷婷五月色情| 伊人婷婷福利网| 婷婷久月| 丁香五月 综合| 丁香五月婷婷社区| 五月 婷 久| 国产成人网址| 日日噜噜夜夜狠狠久久丁香六月| 9精品视频在线| 激情文学第四色婷婷丁香五月| 五月天激情AAAA| 亚洲人成网站999综合| 大香蕉手机视频| 天天激情5月天亚洲| 婷婷午夜综合| 日本色色色| 成人婷99最新| 任你草| 丁香六月婷婷开心| 俺也去色| 久久成人精品视频| bukadeavzaixian| 思思热久久爱| 五月综合丁香婷婷| 色婷婷丁香五月| 夜夜噜夜夜奇| 五月色亚洲| 夜夜夜夜做天天天做无码视频| 91男同| 色五月丁香五月| 精品国产va久久久久| 久久caop| 伊人六月无码视频| 成人毛片在线免费观看| 可以直接看的AV| 襙比视频| 色婷视频| 色综合色色| VA婷婷| www.99操| 色色色色色网| 色人五月婷婷| 91午夜婷婷狠狠久久综合9色| 99天堂网| 国产黄色av| 九九久久网| 亚洲成人AV在线| 十一月婷婷激情四射| 国产夫妻操逼内射视频| 北京熟妇搡BBBB搡BBBB | WWW,五月| 九九热99精品| 狠狠操天天操| 免看黄大片AA | 超碰国产在线| 中文不卡一二三区| 性爱在线播放av| 五月丁香婷婷成人网| 国产一区男女| 婷婷五月激情的图片| 欧美日本不卡黄色片| 九九热婷婷| 久久激情五月| 97丨九色丨国产丨PORNY| 思思热高清在线观看| 五月综合六月丁| 亚洲婷婷月丁香五月| 爆乳熟妇一区二区三区四区| 激情亚洲网| 五月婷婷开心丁香| A网在线欧洲| 五月婷婷黄色| 欧美三级巜人妻互换| 91超碰人人操| 婷婷色五月激情强奸四射| 深爱五月激情| 色爱综合视频| 91人人操| 婷婷五月欧美| 99热狠狠操| 俺去也在线官网| 91免费试看| www.99热视频| 九九精品亚洲| 99精品在线| 日韩99视频| 久久女婷| 激情婷婷五月丁香啪啪啪| 色停停香蕉视频| 狠狠综合网| 99爱爱| 六月撸婷婷| 996热| 精品日本视频444| 久久久久久久人妻| 五月天综合色| 色婷婷综合久久| 小色小蛇伊人婷婷色香五月| 久久99热这里只有| 久久人妻www| 成年人99热| 最新五月天婷婷影| 欧美综合激情五月| 色综合中文| 丁香六月激情综合| 五月停停色| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | WWW激情五月天| 天天射色五月天| 丁香六月激情国产| 成人做爰A片免费看网站找不到了| 欧美色男人网站| 1024欧美看片| 五月婷久久综合| 婷婷九月亚洲| 亚洲久久激情| 五月丁香色色色| 九九这里只这里只有精品| 日日夜夜狠狠| 人人爱操| 超碰AV在线| 狠狠色噜噜狠狠狠888| 五月丁香六月婷婷啪啪| 香蕉婷婷色五月| 婷婷色影院| 久操福利| 丁香五月婷久久| 91聚色综合网| 丁香五月激情啪| 天天爱天天秀天天做| 色五月成人| 97碰碰叉| 9 1超碰九色| 六月五月久久丁香| 成人丁香五月| 97人人射| 五月亭亭欧美女人| 无码九九| 婷婷五月激情图片| 五月天婷婷成人网| 深爱激情AV| 激情综合区| 九色亚洲| 噜噜噜噜婷婷五月天| 99热6这里只有精品| 五月婷婷很很色| 婷婷五月天天aV| 亚洲天堂AV综合网| 人人爱人人草| 婷婷五月天综合久久日| 超碰三级秋霞| 色色五月天婷婷| 亚洲无码免费看| 久热超碰91| 69久久久| 九九热在线视频观看| AV成人在线播放| 五月丁香六月婷婷在线| 日本www免费九九| 色综合天天| 99久精品| 中文字幕av在线播放| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 激情丁香图片| 亚洲视频另类| 91蜜桃婷婷狠狠久久综合9色| 激情婷婷五月亚洲| 国产精品久久久久久久久久| 久久婷婷视频| 超碰人人99| 亚洲成人高清在线| 99视频精品全部免费观看| 香蕉中文在线| 超碰日日操| 婷婷五月天激情视频| www.99精品在线| 丁香六月婷婷色XXXXX| 日韩ac不卡无码| 九一九九黄色| 五月激情综合网| 综合AV在线| 久久激情视频99| 麻豆123区| 亚洲a片免费观看| 日韩aⅴ视频| 日韩欧美五月丁综合| 丁香五月玖玖| 色五月激情五月| 丁香五月婷婷激情网| 夜夜骑天天玩天天日| 五月香蕉综合| 婷婷中文字幕| 久热 91| 99ri视频在线播放| 黄色毛片精品| 丁香五月天影院| 中文字幕成人网站| 99精品视频在线观看| 可以看的AV| 五月婷婷色色| 能直接看的av网站| 亚洲激情婷婷| 极品人妻VideOssS人妻| 91综合在线| 天天爽人人综合免费7799| 日韩黄黄| 97啪啪| 欧美日本日韩| 亚洲狠狠色丁香婷婷综合久久| 777精品久无码人妻蜜桃| 欧美激情综合色综合啪啪五月| 丁香五月婷婷激情网| 亚洲欧美婷婷五月色综合| 欧美一级色| 国产69久久久欧美黑人A片 | 五月丁香婷草| 成人在线日韩| 亚洲色无码A片一区二区麻豆| 国产人妻人伦精品一区二区| www.五月天| 伊人激情网| 欧美丁香五月| 五月婷婷开心亚洲无| 79色色免费| 五月天天久久香| 色婷婷五月天在线观看| 九月婷婷在线视频| 婷婷免费无马| 亚州日本欧州韩美高青高潮一| 人妻自慰高清合集| 亚洲色在线观看| 农村熟妇高潮精品A片| 婷婷丁香熟女| 欧美在线干| 这里只有精品9| 99久久99九九九99九他书对| 亚洲亚洲人成综合网络| 国产精品国产| 天色综合网站| 超碰成人电影| www.久久99精品| 精品婷婷| 五月天天综合| 991自拍视频| 激情六月丁香综合| 欧美性爱一区| 精品9l九九九九九77777| 九九热这里有精品23| 中文av网| 色吧五月| 国产成人网| 激情久久久久| 亚洲AV永久无码影院黑人| 婷婷六月激情小说网| 天天爱综合网| www:99热视频| 五月天婷婷综合免费| 丁香五月停停av| 亚洲久久视频| 直接看的AV| 97碰人人操| 91婷婷五月天嫩女| 久久一品区| 五月婷婷之综合激情| 99久久婷婷综合| 激情综合网 激情五月天| 俺也去色| 亚洲Av入口| 中国女人做爰A片| www。五月天。com| 青青草伊人婷婷| 丁香五月在线观看综合| 日韩在线视频9色| 婷婷玉月丁香五月在线视频| 婷婷爱五月| 色五月丁香一区在线| 亚洲精品字幕| 免费观看欧美成人AA片爱我多深 | 久久人妻精品| 伊人丁香六月婷婷| 草了bav视频在线观看| 六月五月婷婷| 99九九在线观看免费| 99精品网| 26uuu欧美日本| 色综合久久88色综合天天| 丁香色综合| 夜夜爱爱亚洲| 337p大胆噜噜噜噜噜91Av| 人人操日| 亚洲国产精品SUV| 天堂婷婷丁香六月网| 久久5 9视频免费观看| 五月色婷| 久久久精品色| 久热2025无码| 蜜桃婷婷丁香综合久久开心亚洲| 97色伦另类图片小说视频| 国产亚洲精品AAAAAAA片| 襙比视频| 99er热精品视频| 超碰亚洲天堂| 久久99色色| 激情五月黄色| 丁香色婷婷| 天天开心AV色综合婷婷五月天| 这里只有视频精品| 99久久婷婷国产综合亚洲| 98毛片| www.9797国产| 婷婷五月天伊人在线| 九九99精品视频在线观看| 少妇性BBB搡BBB爽爽爽电影| 婷婷五月天国产在线播放| 激情婷婷五月天伊人在线观看| 99在线一区| 亚洲成人无码专区| 日日噜噜夜夜狠狠久久丁香五月| 舔色婷婷| se99视频| 99re最新地址| 高清无码中文字幕aVDV| 99色看这里只有精品| 夜夜夜天天操| 都市激情蜜桃婷婷五月天| 久久曰曰| 婷婷成人视频| 精品欧美性爱超级爽| 亚洲操操操| 国产精品24r| 亚洲操精品| 激情五月综合六月丁香婷婷狠狠干| 色婷婷六月性| 五月婷婷五月天| 五月丁香六月婷婷网| 丁香五月婷婷AV| PORNY九色9l自拍视频成人| 人人摸人人射| 五月丁香婷婷激情在线| www.色五月.com| AV电影在线播放| 激情98色婷婷五| 日日操天天操| 婷婷五月天社区| 开心五月综合| 六月丁香激情综合网| 五月综合丁香婷婷| 91九色视频| www.婷婷六月天| 九九婷婷综合| 婷婷五月天成人网| 久婷婷五月丁香在线观看| 只有精品视频在线观看| 激情宗合哪里能看| 亚洲色五月天是什么| 99热精品网| 久久视频在线视频| 天天舔夜夜操www com| 婷婷丁香五月天大香蕉| 无码色色色色色| 亚洲黄色影视| 大香蕉九九| 国产中文字幕在线视频免费观看| 99碰碰视频| 婷婷瑟五月天久久综合| 91狠狠色| www狠狠| 色射影院| 十月丁香婷婷| 色五月婷激情| 99国产精品久久久久久久久久久| 九月色婷婷| 丁香色婷婷| 欧美日韩婷婷五月天| 91丨九色丨老农村| 婷婷91| 亚洲综合五月天综合| 狠狠色噜噜色狠狠狠综合久久成人波| 人人操AV| 99免费视频| 人人操人| 影音先锋色色色资源色资源色| 五月青青草综合| 婷婷成人五月天成人文学小说| 大香蕉婷婷色| 精品无码色欲AV| 亭亭五月色男人| 99热这里精品| 色婷婷啪啪综合网| 五月婷婷深深的爱| 天天日夜夜帕| 久热这里只有精品6| 狠狠色丁香乆乆| 超碰成人av| 99热综合在线观看| www.五月丁香| 九九99精品视品| 久久久91| 色综合天天天天做夜夜| 久久久精品人妻| 一区操| 五月丁香在线视频观看| 婷婷成人五月天| 欧美性生交XXXXX无码小说| 欧美VA视频| 九九这里精品| 久久538| 激情五月婷黄版| 婷婷五月天影视| 色综合久久99色| 色五月综合在线| 五月婷婷啪啪| 婷婷久久影院| 五月婷婷开心丁香| 国产日韩欧美| 六月丁香婷婷视频综合在线观看| 丁香六月婷婷| 9999热在线| 国产五月婷| 思思99热| 日韩成人电影AV| 欧美va在线观看| 久久涩视频| 亚洲性天天| 爆乳熟妇一区二区三区爆乳照片| 91av色色乱视频| 婷婷激情五月天亚洲综合| 久久精品人妻| 色婷婷香蕉| 99婷婷国产最新视频| 91在线人| 99免费视频在线观看爱| 亚洲无AV在线中文字幕| 五月色婷婷在线观看| 狠狠五月激情丁香六月| 欧美日韩日韩成人| 婷婷五月丁香网| 热热色色五月天婷婷| 丁香五月成人论坛| 丁香五月天视频| 久久婷婷五月国产色综合激情| 五月天开心色情网| 婷婷六月啪啪| 婷婷中文在线| 婷婷五月天色| 欧美激情丁香五月| 婷婷五月天成人网| 亚洲小视频免费看| 我爱大香蕉| 99热最新地址在线| 亚洲激情在线| 五月天亚洲最大成人| 这里只有精品久久| 91热er| EEUSS鲁片一区二区三区| 丁香六月天AV| 免费视频WWW在线观看网站| 99热6这里只有精品6| 另类视频在线| 九九亚洲小视频| 岛国AV网| 国产AV不卡福利| 婷婷丁香花五月天| 久久综合中文| 五月丁香婷婷综合| 中文人妻主播久久| 五月婷三级片| 九九热在线视频观看| 成人免费在线电影| 五月丁香六月婷婷久久| 婷婷五月丁香影院| 色婷婷丁香花五月天| 丁香五月乱中文字幕| 五月伊人婷婷999| 丁香五月婷婷AV| 久久婷婷激情五月天一区二区| 99热久久这里只有精品| 色狠狠综合| 色播五月丁香综合| 免费黄色片子| 婷婷六月天精品| 日本人妻久久| 婷婷激情五月| 五月久久亚洲| 色婷婷狠狠久久YY| 五月丁香激情综合| 麻豆五月丁香婷婷| 91九色视频在线观看| 国产在这里只有精品| 婷婷五月天天| 久久玖玖综合| 噜噜噜狠狠色综合| 思思热AV| AV伊人青草丁香六月| 亚洲成人在线在线| 色狠狠综合| WWW.久久.COM| 成人丁香色| 丁六月激情| av免费在线网站| 九九Av| 舔色婷婷| 国产伊人五月天| 久久久九九视频精品18| 婷婷五月六月| 26uuu欧美日本| 五月久久五月激情| 久久婷婷大香蕉| 色99视频| 伊人网啪啪| 三十路磁力链接| 殴美日比视频| 操b视频在线观看一区二区| 九九伊人网| 精品五月天| 丁香五月婷婷少妇| www.五月天色色色| 大香伊人久色| 久久久久人妻精品| 亚洲精品色| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | www,天天干| 狠狠做深爱婷婷久久综合一区| 狠狠看狠狠| 棕合影院色色| 免费在线a| 五月天综合婷婷| 91免费在线视频6| 综合久久9| 狠狠色九月| 激情图片亚洲| 亚洲精品久久久久久久久久吃药 | www.丁香黄色五月天人与| 亚州精品色情无码A片| 婷婷久久图片| 嫩草视频。| 国产日产亚洲系列最新| 色色激情五月天| enecarbon-materials.com污K127封锁请涟系@wip1688 | 丁香五月香蕉| 婷婷夜夜操| 狠狠狠五月婷婷六月丁香| 成人深爱丁香五月| 亚洲性受XXXX五月丁香| 国产熟女一区二区三区五月婷| 丁香婷婷五月人体| 婷婷免费视频| 日韩有码一区| 麻豆忘忧草午夜| 97日本在线播放| 日本黄色三级片内射| 91碰碰| 操一区| 色婷视频| 五月天激情婷婷| 99热思思| AA片在线观看视频在线播放| 99热超碰在线| 六月丁香网| 粉嫩AV久久一区二区三区| 综合激情五月天| 色色国产| 免看黄大片AA | 色无婷婷| 欧美日韩一区二区三区四区| 欲色人妻| aV欲望人妻中文字幕| www.综合久久| 丁香婷婷色九月| 色婷婷五月综合| 淫视馆aV二区一区| 天天草天天爽| 丰满老熟妇BBBBB搡BBB| 日本激情综合| 五他月天啪啪啪| 人妻激情视频| 91viP在线看| 五月婷婷综合热| 婷婷久久夜| 思思热久久久在线| 人人草人人看| 色婷婷色99国产综合精品| 五月天色区| 丰满少妇猛烈A片免费看观看| 国产精品扒开腿做爽爽爽A片唱戏| 日韩久久成人| 婷婷五月激情综合啪啪| 五月婷在线影院| 丁香六月婷婷久久综合八月| 婷婷六月天精品| www.狠狠艹| 久热中文字幕| 天堂成人A片永久免费网站 | 噜噜噜噜噜日本视频| 狠狠草综合网| 色婷婷国产精品综合在线观看| 五月色网| 嫩草极品| 性爱五月丁香| 再綫Av免费視品| 中文国产五月天| WWW.桔色成人.COM| 久久激情视频| 操碰99在线视频观看| 五月丁香另类图片| α久久| 久久亚洲天堂| 少妇熟女视频一区二区三区| 九九久99免费视频| 99热99在线| 99久久精品视频女神1| 色色色婷婷五月| 婷婷色情 | 激情爱爱网站超大免费| www.国产亚洲69ty.久久久久久久久久久久 | 日本五月天网站| www.狠狠操.com| 思思热在线观看| 97精品人人A片免费看| 激情五月天婷婷色色色色色色色色色色色 | www五月| 中文在线视频久9| 丁香六月婷月91婷月| 永久AⅤ1| 五月天婷婷基地| 成人网丁香五月| 成人片久久网站| 蜜臀99精品| 99re欧美精品| 综合亚洲六月婷婷在线| 婷婷婷婷婷开心无码播放| 狠狠五月天| 99色精品| www.99成人视频| 涩五月婷婷| 狠狠色噜噜狠狠狠狠综合| 热99热9| 五月天综合网| 任你日视频| 五月婷婷六月综合| 大地资源色婷婷视频在线| 日韩成人AV在线| 激情六月色| 丁香五月天AV在线| 激情小说五月丁香在线视频观看视频| 激情无码网| 碰人人97| 五月天堂在线| 风流少妇A片一区二区蜜桃| 亚洲av成人在线| 99激情视频| 久草婷| 五月婷婷婷婷婷婷艺术| 五月婷婷六月色| 婷婷五月播| 91超碰在线观看| 婷婷五月天大香蕉| 丁香五月天在线| 岛国在线观看91| 婷婷激情五月天在线视频| 五月丁香人妻| 婷婷五月亚洲综合| 精品女人九九九| 十区AV| 996er热| 丁香伊人网| 日韩情色在线观看| 亚洲色爱综合| 色色综合网。| 久热这里只有精品视频免费观看| 爱超碰性| 久久 这里只有精品1| 亚洲精品久久久无码| 琪琪理论片| 色色婷| 色五月婷婷丁香国产在线| 夜夜操狠狠操| 亚洲五月天第一综合干| 97色色色| 国产裸舞福利资源在线视频| 可以免费观看的AV| 九九综合久久丁香婷婷,开心激情综合网| 五月激情啪啪| 欧美成性色| 99热色精品| 婷婷五月天六月综合| 99视频这里有精品| 婷婷五月色网| 婷婷久久婷婷色五月| 午夜丁香婷婷| 男人的天堂五月丁香| 玖玖99免费视频| 欧洲毛片基地c区| 激情五月天小说网| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 9久热这里只有精品视频| 三级片AAA久久久AAA久久久AAA| 婷婷五月AA五月在线| 大香蕉色婷婷伊人在线| 日本va欧美va欧美va| 激情久久婷婷| 九九久久99精品免费观看www| 色色综合网站| 欧亚成人A片一区二区| 人人综合五月人人婷婷| 丁香色情五月综合激情| 综合99久久天天综合| 九九99精品视频在线观看| 色色色综合网| 伍月婷丁香花全集| 天天干天天操天天射| 青青草激情网| 色五月婷婷开心| 精品色色| 婷婷激情五月天激情在线| 五月丁香婷婷伊人| 五月婷婷导航| 欧美日韩AAAAA| 大香久久综合网| AV在线免费播放| 五月丁香va| 大香人妻| 丁香五月电影| 激情网五月婷婷| 国产精品电影网| 精品一二三区久久AAA片| 99精色| 天天情天天狠天天透| 色婷婷综合久久| 综合网啪啪| 色高清无码视频| 9有码中文| 无码人妻AV久久久一区二区三区| www,色色色网站| 丁香六月婷婷久久综合八月| www.cao.com久久| 久久婷婷五月综合| 精品久久66| 亚洲视频a| 亚洲乱啪| 高清一区二区三区日本久| 99爱精品| 色婷婷五月网| 久久综合干| 中文AⅤ大全| 五月丁香婷婷基地| 婷婷狠狠操| 深爱五月中文字幕| 51成人| 成人精品免费在线观看| 色五月AV| 色婷婷五月天| 五月丁香欧美| 久久亚洲A| 秋霞日本免费毛片A片| 天天久综合网永久入口18| 婷婷永久在线| 美女丁香五婷婷| 久久五月激情网| 婷婷伊人綜合中文字幕小说| 在线中文亚洲| 99爱在线| 欧美色婷婷| 色五月五月婷婷| 五月婷婷丁香在线视频| 激情宗合哪里能看| 亚洲小电影在线观看黄999| 在线看AV| 亚洲乱码日产精品BD| 色情综合| 成人在线日韩欧美| 香蕉AV777XXX色综合一区| 日本www五月婷婷| 国产精品电影| 国产熟女大叫受不了| 免费观看日韩成人av| 少妇搡BBBB搡BBB搡毛茸茸| 操人91| 亚洲综合色网| 五月天狠狠网| 五月婷婷网站| 色五月六月婷婷| 2020久久婷婷五月| 五月丁香婷婷无码中文| 伊人久久婷婷| 欧美人人操| 久久九九玖玖| 亚洲欧洲午夜成人精品av| 99久久亚洲国产| 五月激情久久| 成人性生活免费观看。| 色色色九九九五月婷婷| 51精品国自产在线| 超pen个人视频97| 国产精产国品一二三在观看| 婷婷亚洲色| 九九伊人网| 久草热久草在线视频| 丁香五月婷婷基地| 激情五月激情综合网| 国产67194| 粉嫩AV久久一区二区三区| 极品少妇XXXX精品少妇偷拍| 九色婷婷| 色婷婷小说| 国产性av| 奇米色大香蕉| 欧美日韩日韩成人| 五月丁香综合影院| 五月丁香六月婷婷成人| 九九99精品视频| 久久99久久99精品免视看婷| 激情五婷网| 亚洲婷婷在线播放十月| 五月婷婷色播视频| 婷婷六月爽| 激情综合网,婷婷五月天| 狠狠五月天婷婷激情网。| 五月丁香在线看| 婷五月天| 欧美日综合| 激情综合亚洲| 操大屄五月天视频| 天天艹| 中文字幕综合网| 干亚洲天堂| 天天色天天舔天天爱天天爽| www.com亚洲网站在线免费| 五月丁香久久久久| 色婷婷中文字母五月丁香| 五月天婷婷丁香视频| 久久视频这里99| 五月婷婷丁香| 色色A| www99精品在线观看| 人人爽欧美婷婷久久久五月丁香| 五月玖玖| 五月婷婷色丁香| 婷婷性爱五月天| 精品久久99| 国产肥白大熟妇BBBB视频| 4399精品一区二区| 综合久久影院| 深爱激情五月天色婷婷| 国产无套精品一区二区| 婷婷综合| 色婷婷丁香女女| 久久久久亚洲AV无码网影音先锋| 天天综合激情| 久久婷婷综合五月天| 欧美人妻一区二区| 久久se 综合网| 日本一级特黄大片AAAAA级| 91艹人| 饮料下药迷倒漂亮女同事强干| 色色色成人网| 五月婷婷 自拍| 欧美婷婷六月丁香综合色| 九九无码视屏| 九月丁香婷婷| 久久蜜臀婷婷| 99热 免费| www.夜夜操.com| 第九色区av天堂| 色婷婷情片| 夜夜做天天爽| 日韩欧洲亚洲| 久久久久97| 天天操夜夜啊| 亚洲人成色A777777在线观看| 少妇2做爰HD韩国电影| 狠狠爱五月婷婷| 99久久er| 五月色网| av无码电影| 开心五月婷婷在线| 这里只有精品视频在线| 91oumei| Va另类视频| 狠狠的日| 另类视在线| 久久这里只有欧美| 六月天婷婷| 日本三级日本三级三级人妇四虎| 色综合色色色色色| 午夜丁香| 99热老司机| 五月婷视频| 色色色色色色综合网| 激情综合播播| 色色色婷婷五月| 亚洲成人av在线观看| 九九草热在线观看| 色五月av| 色欲av伊人久久大香线蕉影院| 九九热在线视频观看| 天天色2017| 天天爽,天天操。| 久久天天| www.99视频| 激情婷婷久久| 无码色综合| 九热视频| 99操不停| 青青草原伊人网| 可似看的AV| 婷婷字幕在线| 丁香婷婷啪啪啪| 国产成人精品亚洲线观看| 99色精品视频| 热99这就是精品视频| www.91操| 色人久久| 操一区| 99精品亚洲| 五月天激情综合在线| 五月天久久久| 99热99干| 天天干狠狠| 99精品国产在热久久| 婷婷中文字幕| 婷婷色激情网| 久久久97| 天天激情视频| 亚洲精品无码99热| 五月天激情婷婷小说| 狠狠婷婷日韩| 亚亚州久久高潮|