免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Floodlight 控制器實(shí)戰(zhàn):從 PacketIn 到流表下發(fā)與排錯

Floodlight 控制器實(shí)戰(zhàn):從 PacketIn 到流表下發(fā)與排錯 簡介面向SDN初學(xué)者、網(wǎng)絡(luò)實(shí)驗(yàn)課程學(xué)習(xí)者以及需要搭建控制器環(huán)境的Java開發(fā)者這份資料圍繞開源SDN控制器Floodlight的安裝部署展開重點(diǎn)幫助讀者理解Floodlight在SDN網(wǎng)絡(luò)中的定位并完成基礎(chǔ)實(shí)驗(yàn)環(huán)境的準(zhǔn)備。壓縮包約64.72MB下載頁暫未提供具體文件總數(shù)與類型明細(xì)使用前可結(jié)合資源說明確認(rèn)內(nèi)容構(gòu)成。已有554人瀏覽學(xué)習(xí)說明其在SDN控制器入門與部署實(shí)踐方面具有一定參考價值。內(nèi)容圍繞安裝部署主題組織可幫助讀者在正式動手前建立環(huán)境準(zhǔn)備、依賴檢查與運(yùn)行驗(yàn)證的整體框架減少盲目嘗試。對于希望在Ubuntu等Linux環(huán)境中熟悉Floodlight部署流程、梳理安裝要點(diǎn)與常見問題的人而言可將其作為搭建實(shí)驗(yàn)平臺和后續(xù)配置練習(xí)的參考材料并為后續(xù)SDN實(shí)驗(yàn)與二次開發(fā)打下基礎(chǔ)。1. Floodlight 是什么一條 PacketIn 消息能幫你驗(yàn)證多少假設(shè)floodlight 進(jìn)場的時機(jī)通常很樸素你已經(jīng)能用 Mininet 拉起一堆虛擬交換機(jī)但不知道控制平面在背后做了什么想找個能改源碼、能掛自己模塊、還能用一條 curl 就把內(nèi)部狀態(tài)看清楚的 OpenFlow 控制器。Floodlight 就是這類工具里上手成本偏低的那個——純 Java、單進(jìn)程、自帶 REST 接口跑起來之后對外兩條主線一條面向交換機(jī)的 OpenFlow 通道一條面向人和腳本的 HTTP 接口。前者負(fù)責(zé)收 PacketIn、下 FlowMod后者負(fù)責(zé)讓你在不重啟進(jìn)程的前提下查看拓?fù)?、讀寫流表。它適合的讀者畫像很具體想把流表邏輯跑通一遍的網(wǎng)絡(luò)方向?qū)W生、要做控制器二次開發(fā)的工程師、需要給測試環(huán)境造一個可控控制平面的驗(yàn)證人員。它不承諾生產(chǎn)級高可用也不打算替你做集群選主但能把“我寫的轉(zhuǎn)發(fā)邏輯到底對不對”這件事壓縮到幾分鐘內(nèi)看到結(jié)果。下面從跑通、寫模塊、下發(fā)流表一路寫到排查按我自己搭環(huán)境的順序來。2. 從源碼到 8080 端口Floodlight 本地跑通的最小路徑2.1 構(gòu)建前的依賴清單JDK、Maven 與三個容易漏的環(huán)境項(xiàng)Floodlight 是 Maven 工程構(gòu)建鏈路上翻車最多的地方不在代碼在工具鏈版本。它多數(shù)分支的pom.xml把maven.compiler.source/target鎖在 1.8用 JDK 8 構(gòu)建最省事如果你機(jī)器上只有 JDK 11 以上會在編譯期撞到package javax.annotation is not declared這類錯誤原因是高版本 JDK 移除了部分 Java EE 模塊而老代碼還在直接引用。解決辦法兩條裝一個 JDK 8 并讓JAVA_HOME指過去或者手動往 pom 里補(bǔ)javax.annotation-api依賴。我一般選前者省得后面還有別的模塊踩同一個雷。Maven 這邊3.6.x 是比較穩(wěn)的選擇。3.8.1 之后默認(rèn)阻塞 HTTP 倉庫而一些老 pom 里的 repository 地址還寫著http://構(gòu)建時會直接報(bào)Blocked mirror for repositories。這不是網(wǎng)絡(luò)問題是 Maven 的策略變更。要么在settings.xml里給這個倉庫配一個放行規(guī)則要么把地址換成 HTTPS 鏡像。別急著重裝 Maven先看報(bào)錯里那行 URL 的協(xié)議頭。# 1. 確認(rèn) JDK 版本1.8 開頭最穩(wěn) java -version javac -version # 2. 確認(rèn) Maven 版本3.6.x 優(yōu)先 mvn -v # 3. 顯式指定 JDK 8避免 shell 里殘留的 JAVA_HOME 干擾 export JAVA_HOME/path/to/jdk8 export PATH$JAVA_HOME/bin:$PATH # 4. 跳過測試打包第一次構(gòu)建不建議跑全量單測 mvn clean package -DskipTests # 5. 產(chǎn)物確認(rèn)正常會生成 target/floodlight.jar ls -lh target/*.jar這段命令的邏輯是“先鎖版本、再打包、最后確認(rèn)產(chǎn)物”。第三步的JAVA_HOME覆蓋很關(guān)鍵很多人java -version看到的是 8但 Maven 用的是另一套 JDK因?yàn)閙vn腳本會讀JAVA_HOME而不是PATH里的java。第五步如果只看到original-floodlight.jar而沒有floodlight.jar說明 shade 或 assembly 插件沒跑完通常是依賴下載中斷刪掉本地倉庫里對應(yīng)的.lastUpdated文件重來。提示第一次構(gòu)建會拉大量依賴網(wǎng)絡(luò)不穩(wěn)時容易出現(xiàn)“編譯到一半缺包”的假成功。構(gòu)建完先看一眼 jar 體積幾百 KB 的量級基本意味著依賴沒打進(jìn)去。2.2 啟動命令與配置文件-cf 改的是哪幾個值Floodlight 啟動時靠一個 properties 文件驅(qū)動默認(rèn)讀 classpath 里的floodlightdefault.properties。想改端口、改加載模塊列表用-cf指定自己的配置文件別去改 jar 里的那份。啟動成功的標(biāo)志是日志里出現(xiàn) OpenFlow 監(jiān)聽端口的行和 REST 服務(wù)的啟動行這兩行沒出現(xiàn)后面所有操作都免談。配置項(xiàng)作用什么時候必須改net.floodlightcontroller.core.FloodlightProvider.openFlowPort交換機(jī)接入端口端口被占用或要和 Mininet 的--controller對齊net.floodlightcontroller.restserver.RestApiServer.portREST 服務(wù)端口8080 被別的服務(wù)占了floodlight.modules啟動時加載的模塊列表加了自己寫的模塊必須顯式登記net.floodlightcontroller.core.FloodlightProvider.keyStoreTLS 證書路徑只做明文本地實(shí)驗(yàn)時建議去掉相關(guān)配置# 用自定義配置啟動前臺運(yùn)行方便看日志 java -jar target/floodlight.jar -cf ./my-floodlight.properties # 后臺跑并留日志排查時用這個 nohup java -jar target/floodlight.jar -cf ./my-floodlight.properties \ floodlight.log 21 # 起來了沒有返回 [] 說明控制器活著但還沒有交換機(jī)接入 curl -s http://127.0.0.1:8080/wm/core/controller/switches/json-cf后面的路徑建議用絕對路徑相對路徑在nohup場景下會因?yàn)楣ぷ髂夸涀兓x不到。第二條命令里21不能省Floodlight 的異常棧大多打在 stderr只重定向 stdout 會讓你在日志里看到一片空白卻查不出原因。第三條 curl 是最輕量的存活探針?biāo)灰蕾嚾魏文K業(yè)務(wù)邏輯只要 REST 服務(wù)起來就有響應(yīng)返回空數(shù)組是正常狀態(tài)返回連接拒絕才是真出問題。2.3 第一次握手Mininet 建拓?fù)浜蟠_認(rèn)交換機(jī)真的上線了控制器空轉(zhuǎn)沒意義得讓它接上交換機(jī)。本地最省事的做法是用 Mininet 起一個線性拓?fù)浒?controller 指到本機(jī)。這里有兩個參數(shù)必須對齊端口和 OpenFlow 版本??刂破鞅O(jiān)聽 6653Mininet 就得連 6653控制器按 1.3 解析消息交換機(jī)就得用protocolsOpenFlow13起。這兩個對不上握手階段就會失敗日志里刷的是解析異常而不是連接拒絕容易被誤判成網(wǎng)絡(luò)不通。# 起一個 3 節(jié)點(diǎn)的線性拓?fù)浣粨Q機(jī)用 OpenFlow 1.3 sudo mn --controllerremote,ip127.0.0.1,port6653 \ --switchovsk,protocolsOpenFlow13 \ --topolinear,3 # 另一個終端里確認(rèn)交換機(jī)是否上線正常會返回 DPID 列表 curl -s http://127.0.0.1:8080/wm/core/controller/switches/json | python -m json.tool # 看某個交換機(jī)的流表把 dpid 換成上一步返回的值 curl -s http://127.0.0.1:8080/wm/core/switch/dpid/flow/json | python -m json.tool--controllerremote表示不啟動 Mininet 自帶的控制器ip和port指向你剛起的那個進(jìn)程。protocolsOpenFlow13是給ovsk交換機(jī)傳的不寫這個部分版本默認(rèn)按 1.0 建鏈。第二條命令返回的數(shù)組長度應(yīng)該等于拓?fù)淅锏慕粨Q機(jī)數(shù)量少一臺就去floodlight.log里搜那臺交換機(jī)的連接記錄。第三條命令是第一手調(diào)試手段流表里能看到priority、match、instructions三個字段后面所有下發(fā)動作的效果都要回到這里驗(yàn)證不要只看 ping 通沒通。3. 模塊機(jī)制為什么你的自定義模塊收不到 PacketIn3.1 IFloodlightModule 六個方法的職責(zé)邊界Floodlight 的功能全部由模塊拼起來一個類要實(shí)現(xiàn)IFloodlightModule就得回答六個問題。這套接口設(shè)計(jì)的好處是加載順序由容器管你只需要聲明“我依賴誰”不用操心誰先 new。壞處是錯一個方法就可能靜默不生效——不報(bào)錯但你的代碼就是不會被調(diào)用。方法容器什么時候調(diào)常見寫錯的地方getModuleServices掃描階段登記本模塊對外提供的服務(wù)返回 null 和返回空集合語義不同前者表示不提供服務(wù)getServiceImpls同上返回接口到實(shí)例的映射提供了服務(wù)卻沒在這里注冊實(shí)現(xiàn)類getModuleDependencies加載排序前聲明依賴的服務(wù)接口只寫了接口類名忘了 import 或?qū)戝e泛型init依賴就緒后拿context.getServiceImpl取服務(wù)在構(gòu)造器里取服務(wù)此時容器還沒注入startUpinit之后注冊監(jiān)聽器、啟動線程監(jiān)聽器注冊在這里最穩(wěn)不要放 initshutdown進(jìn)程退出前釋放資源起了線程池卻沒關(guān)熱重啟會殘留最容易出問題的是init和startUp的分工。init只做“取服務(wù)、存字段”不要在里面注冊消息監(jiān)聽器startUp才是注冊監(jiān)聽的正確時機(jī)因?yàn)榇藭r依賴的模塊已經(jīng)完成初始化順序有保證。我見過把a(bǔ)ddOFMessageListener寫在init里的寫法表現(xiàn)是模塊時好時壞取決于哪個模塊先加載這種時序問題排查起來很麻煩。3.2 寫一個最小 PacketIn 記錄模塊并掛上去目標(biāo)很小交換機(jī)發(fā)來的每個 PacketIn打印源 MAC、目的 MAC 和入端口。這段代碼不長但每一行都對應(yīng)上面表格里的一個方法可以當(dāng)作模板改。package net.floodlightcontroller.packetlogger; import java.util.Collection; import java.util.Collections; import java.util.Map; import net.floodlightcontroller.core.FloodlightContext; import net.floodlightcontroller.core.IFloodlightProviderService; import net.floodlightcontroller.core.IOFMessageListener; import net.floodlightcontroller.core.IOFSwitch; import net.floodlightcontroller.core.module.FloodlightModuleContext; import net.floodlightcontroller.core.module.FloodlightModuleException; import net.floodlightcontroller.core.module.IFloodlightModule; import net.floodlightcontroller.core.module.IFloodlightService; import net.floodlightcontroller.packet.Ethernet; import org.projectfloodlight.openflow.protocol.OFMessage; import org.projectfloodlight.openflow.protocol.OFPacketIn; import org.projectfloodlight.openflow.protocol.OFType; import org.projectfloodlight.openflow.types.OFPort; public class PacketLogger implements IFloodlightModule, IOFMessageListener { private IFloodlightProviderService provider; // 本模塊不對外提供服務(wù)返回 null 即可 Override public CollectionClass? extends IFloodlightService getModuleServices() { return null; } Override public MapClass? extends IFloodlightService, IFloodlightService getServiceImpls() { return null; } // 聲明依賴容器保證 init 之前 provider 已經(jīng)就緒 Override public CollectionClass? extends IFloodlightService getModuleDependencies() { return Collections.Class? extends IFloodlightServicesingletonList( IFloodlightProviderService.class); } Override public void init(FloodlightModuleContext context) throws FloodlightModuleException { this.provider context.getServiceImpl(IFloodlightProviderService.class); } Override public void startUp(FloodlightModuleContext context) { // 注冊監(jiān)聽放在 startUp依賴已完成初始化 this.provider.addOFMessageListener(OFType.PACKET_IN, this); } Override public void shutdown() { // 沒有線程池留空 } Override public String getName() { return PacketLogger; } Override public Command receive(IOFSwitch sw, OFMessage msg, FloodlightContext ctx) { OFPacketIn pi (OFPacketIn) msg; // 從上下文里取已解析的以太幀避免自己再解析一遍 Ethernet eth IFloodlightProviderService.bcStore.get( ctx, IFloodlightProviderService.CONTEXT_PI_PAYLOAD); OFPort inPort pi.getMatch().get(MatchField.IN_PORT); if (eth ! null) { System.out.println([PacketLogger] dpid sw.getId() in inPort src eth.getSourceMACAddress() dst eth.getDestinationMACAddress()); } // CONTINUE 表示交給后續(xù)監(jiān)聽器STOP 表示到此為止 return Command.CONTINUE; } Override public boolean isCallbackOrderingPrereq(OFType type, String name) { return false; } Override public boolean isCallbackOrderingPostreq(OFType type, String name) { return false; } }邏輯上有三處必須說清。第一receive里沒有自己去調(diào)parse解析字節(jié)流而是用bcStore取上下文里已經(jīng)解析好的Ethernet這樣性能和正確性都由框架保證第二返回值選Command.CONTINUE而不是STOP因?yàn)槲疫€想讓默認(rèn)的轉(zhuǎn)發(fā)模塊繼續(xù)處理這些包一旦返回STOP這個 PacketIn 就到此為止網(wǎng)絡(luò)會直接不通第三isCallbackOrderingPrereq和isCallbackOrderingPostreq都返回 false表示不干預(yù)和其他監(jiān)聽器的相對順序?qū)砣绻阋鶕?jù)流表判斷、必須跑在轉(zhuǎn)發(fā)模塊之前就要在這里對forwarding這個名字返回 true。注意pi.getMatch().get(MatchField.IN_PORT)需要 importorg.projectfloodlight.openflow.protocol.match.MatchField漏了這個 import 編譯期會報(bào)泛型推斷失敗報(bào)錯信息看著像類型問題實(shí)際只是少了一行。3.3 依賴聲明與加載順序模塊沒生效的三個原因代碼寫完了重啟控制器日志里一條[PacketLogger]都沒有。這是新手最常卡住的地方原因基本逃不出三種。第一種模塊沒登記。Floodlight 不會自動掃描 classpath 下的所有IFloodlightModule實(shí)現(xiàn)必須把類名寫進(jìn)配置文件的floodlight.modules列表用逗號分隔。加了新模塊卻沒改這行等于沒寫。第二種登記了但加載失敗。日志里會有一行加載異常但它往往被埋在幾千行 DEBUG 里。把日志級別臨時調(diào)高到 INFO或者直接grep -i PacketLogger floodlight.log能快速定位是構(gòu)造失敗還是依賴沒找到。第三種類沒打進(jìn) jar。這在自己加源碼、用mvn package重新構(gòu)建的場景下很常見——你改的是 IDE 里的源碼目錄跑的還是上一次構(gòu)建的 jar。判斷方式很簡單unzip -l target/floodlight.jar | grep PacketLogger看不到類文件就說明構(gòu)建沒帶上你。# 配置文件里顯式登記追加在原有模塊列表后面 # floodlight.modules ...,net.floodlightcontroller.packetlogger.PacketLogger # 構(gòu)建后確認(rèn)類真的進(jìn)了 jar unzip -l target/floodlight.jar | grep -i packetlogger # 啟動后確認(rèn)模塊被加載 grep -i PacketLogger floodlight.log | head -20這三條命令的順序就是排查順序先確認(rèn)配置登記再確認(rèn)產(chǎn)物包含最后確認(rèn)運(yùn)行時加載。跳過任何一步都可能白折騰半小時。4. 流表下發(fā)從 PacketIn 到 FlowMod 的完整閉環(huán)4.1 PacketIn 到達(dá)后你有三種處理方式交換機(jī)遇到匹配不上的包默認(rèn)動作是把它整個或頭部加一段發(fā)給控制器這就是 PacketIn。控制器收到之后有三個選擇選哪個決定了這條流量后面怎么走。第一種是泛洪也就是讓包從除入端口外的所有端口發(fā)出去適用于你還不知道目的端在哪的場景學(xué)習(xí)型交換機(jī)的初始行為就是這個。第二種是丟棄直接不回適合做策略阻斷。第三種是下發(fā)一條 FlowMod把“以后遇到同類型的包該怎么辦”寫進(jìn)交換機(jī)后續(xù)同流量的包不再上送控制器。第三種是真正把控制平面用起來的方式前兩種更像是調(diào)試手段。這里有個容易忽略的細(xì)節(jié)PacketIn 可能攜帶 buffer_id表示交換機(jī)把原始包暫存在本地緩沖區(qū)了。如果你下發(fā)的 FlowMod 帶上了同一個 buffer_id交換機(jī)會直接把緩存里那個包按新流表轉(zhuǎn)發(fā)出去不需要你重發(fā)如果帶的是OFP_NO_BUFFER那個包就丟了得等重傳。首包丟失在 TCP 場景下表現(xiàn)為建連慢半拍很容易被誤認(rèn)為“流表沒生效”。4.2 用 Java 構(gòu)造一條 FlowModMatch、Instructions、buffer_id下面這段代碼完成的事收到 PacketIn 后按“入端口 IPv4”匹配下發(fā)一條 30 秒空閑過期的流動作為從指定端口輸出。這是一個最小可用的轉(zhuǎn)發(fā)邏輯改匹配字段就能擴(kuò)展成別的策略。// 在 receive 方法內(nèi)部拿到 pi 之后 private void installFlow(IOFSwitch sw, OFPacketIn pi, OFPort outPort) { // 用交換機(jī)自己的 OFFactory保證版本和協(xié)商結(jié)果一致 OFFactory factory sw.getOFFactory(); Match.Builder mb factory.buildMatch(); // 精確匹配入端口避免影響其他端口進(jìn)來的同目的流量 mb.setExact(MatchField.IN_PORT, pi.getMatch().get(MatchField.IN_PORT)); // 只對 IPv4 生效ARP 等二層流量交給默認(rèn)邏輯 mb.setExact(MatchField.ETH_TYPE, EthType.IPv4); // 動作從指定端口輸出 OFAction output factory.actions().buildOutput() .setPort(outPort) .setMaxLen(0) // 0 表示不截?cái)?.build(); // 指令立即執(zhí)行上面的動作 OFInstruction applyActions factory.instructions().buildActions() .setAction(output) .build(); OFFlowMod flowMod factory.buildFlowAdd() .setMatch(mb.build()) .setPriority(32768) // 高于 table-miss 的 0 .setIdleTimeout((short) 30) // 30 秒無流量即刪除 .setHardTimeout((short) 0) // 0 表示不設(shè)絕對過期 .setBufferId(pi.getBufferId()) // 復(fù)用交換機(jī)緩存的原始包 .setInstructions(Collections.singletonList(applyActions)) .build(); sw.write(flowMod); }關(guān)鍵在sw.getOFFactory()這一行。不要用全局靜態(tài)的 factory也不要用按 OpenFlow 1.0 構(gòu)造的 builder 去給 1.3 交換機(jī)下發(fā)版本字段對不上會導(dǎo)致交換機(jī)回一個錯誤消息而控制器側(cè)只看到流表沒增加很容易誤判。setBufferId(pi.getBufferId())是首包不丟的關(guān)鍵pi.getBufferId()在交換機(jī)不緩存時會返回OFP_NO_BUFFER這時行為等同于不指定屬于安全寫法。setMaxLen(0)表示輸出完整包如果你在做抓包分析、只關(guān)心頭部可以設(shè)成 128 之類的小值來降低帶寬。4.3 用靜態(tài)流表 REST 接口手工下發(fā)curl 與字段對照不想每次改邏輯都重啟控制器就用 REST 的靜態(tài)流表接口。它是排查和驗(yàn)證流表字段的最快通道也是把“控制器邏輯”和“流表內(nèi)容”分開驗(yàn)證的好辦法。注意接口路徑在不同分支之間變過/wm/staticflowpusher和/wm/staticentrypusher兩種前綴都出現(xiàn)過先探一下哪個有響應(yīng)再發(fā)數(shù)據(jù)。# 先探測路徑返回 200 說明這個前綴可用 curl -s -o /dev/null -w %{http_code}\n \ http://127.0.0.1:8080/wm/staticflowpusher/json # 下發(fā)一條 IPv4 轉(zhuǎn)發(fā)流actions 里的 output2 表示從 2 號端口出去 curl -s -X POST \ -d { switch: 00:00:00:00:00:00:00:01, name: f-ipv4-01, eth_type: 0x0800, ipv4_src: 10.0.0.1, ipv4_dst: 10.0.0.2, priority: 32768, idle_timeout: 30, active: true, actions: output2 } \ http://127.0.0.1:8080/wm/staticflowpusher/json # 查已下發(fā)的靜態(tài)流確認(rèn)字段沒被吞 curl -s http://127.0.0.1:8080/wm/staticflowpusher/list/00:00:00:00:00:00:00:01/json \ | python -m json.tool # 用完刪掉避免殘留影響后續(xù)實(shí)驗(yàn) curl -s -X DELETE \ -d {name:f-ipv4-01,switch:00:00:00:00:00:00:00:01} \ http://127.0.0.1:8080/wm/staticflowpusher/json字段對照關(guān)系要記牢switch是交換機(jī)的 DPID也就是dpid的十六進(jìn)制形式name是這條流的唯一標(biāo)識刪除時必須帶active是字符串true而不是布爾值寫成布爾會被靜默忽略actions是一段用逗號分隔的動作串outputN里的 N 是交換機(jī)端口號不是主機(jī)編號。返回體里如果是status:Entry pushed就說明成功如果是could not be pushed先檢查字段名拼寫——1.0 和 1.3 的匹配字段名不通用。4.4 優(yōu)先級、idle_timeout、buffer_id 三個必調(diào)參數(shù)參數(shù)取值范圍設(shè)錯的典型后果我一般怎么設(shè)priority0 到 32768比已有流低導(dǎo)致永不命中業(yè)務(wù)流 32768table-miss 固定 0idle_timeout秒0 表示永不過期設(shè)太短導(dǎo)致流反復(fù)重建、控制器 CPU 高實(shí)驗(yàn)環(huán)境 30演示環(huán)境 300buffer_id交換機(jī)分配或OFP_NO_BUFFER用錯導(dǎo)致首包丟失、TCP 建連慢直接用 PacketIn 攜帶的值priority的坑在于它是全局比較而不是按表比較在單表場景下一條 priority 為 100 的寬匹配流會擋住后面所有 priority 更低的精確流。table-miss 那條流必須保持 priority 0、match 為空它決定的是“沒命中任何流轉(zhuǎn)發(fā)控制器”這個兜底行為刪了它交換機(jī)遇到未知包會直接丟表現(xiàn)為新連接全部失敗但已有連接正常非常具有迷惑性。idle_timeout的坑在于它是空閑計(jì)時不是生存計(jì)時。有人設(shè) 5 秒想“快速回收資源”結(jié)果低頻心跳流量每小時才來一次流表里那條記錄反復(fù)被刪了重建控制器側(cè)日志刷得飛快。實(shí)驗(yàn)環(huán)境下 30 秒足夠演示環(huán)境建議 300 以上寧可多留一會也別讓它頻繁抖動。buffer_id的坑上面提過這里補(bǔ)一個排查技巧如果懷疑是首包丟失導(dǎo)致的建連慢先在receive里打印pi.getBufferId()和pi.getTotalLen()交換機(jī)不緩存時會明確給出OFP_NO_BUFFER這種情況你只能靠重傳不是代碼寫錯了。5. 排查交換機(jī)連不上、流表不生效的六個坑5.1 連接層的三個坑端口、版本與加密坑一交換機(jī)一直重連日志里是握手失敗?,F(xiàn)象是 Mininet 起來后pingall全丟控制器日志里反復(fù)出現(xiàn)連接建立又?jǐn)嚅_的記錄但沒有任何業(yè)務(wù)日志。原因通常是 OpenFlow 版本不匹配Mininet 的交換機(jī)默認(rèn)按 1.0 建鏈而控制器這邊按 1.3 解析雙方在 hello 階段商量不出共同版本直接斷開。解決是給 Mininet 顯式加protocolsOpenFlow13或者在控制器配置里允許 1.0。判斷依據(jù)很簡單看斷開前的最后一條日志里有沒有版本號字段??佣丝趯戝e連的是沒人監(jiān)聽的地址?,F(xiàn)象比坑一更安靜Mininet 側(cè)沒有任何報(bào)錯控制器側(cè)連一條連接記錄都沒有。原因是--controllerremote,ip...,port...里的端口和配置文件里的openFlowPort不一致常見組合是 6633 和 6653 混用。老版本默認(rèn) 6633新版本默認(rèn) 6653Mininet 不同發(fā)行版的默認(rèn)值也不一樣。解決是先ss -lntp | grep java確認(rèn)進(jìn)程真實(shí)監(jiān)聽的端口再把這個數(shù)字抄到 Mininet 參數(shù)里不要憑記憶。坑三控制器要加密連接交換機(jī)只會明文?,F(xiàn)象是 TCP 能連上但握手階段立刻斷開日志里出現(xiàn)證書或 TLS 相關(guān)字樣。原因是默認(rèn)配置里帶了 keyStore 路徑控制器啟動時生成了自簽證書并要求加密通道而 Mininet 的交換機(jī)默認(rèn)走明文。解決是在自己的配置文件里把 keyStore 相關(guān)項(xiàng)刪掉或置空重啟控制器。這個坑的隱蔽之處在于TLS 失敗和版本失敗的表面現(xiàn)象很像都是連上就斷只能靠日志里的關(guān)鍵字區(qū)分。5.2 轉(zhuǎn)發(fā)層的三個坑table-miss、ARP 與殘留流坑四流表查得到但 ping 就是不通?,F(xiàn)象是 REST 接口能查到剛下發(fā)的那條流match和instructions都正確但流量不命中。原因多半是 table-miss 那條兜底流被刪了或者 priority 被改過導(dǎo)致交換機(jī)遇到需要上送控制器的包直接丟棄ARP 請求根本到不了控制器自然也就沒有后續(xù)的流表下發(fā)。解決是確認(rèn) table-miss 存在且 priority 為 0或者干脆重啟控制器讓它重新下發(fā)默認(rèn)流。排查時先看 ARP 通不通再看 IP順序反了會浪費(fèi)很多時間。坑五IP 流表寫了但 ARP 沒人管主機(jī)學(xué)不到 MAC?,F(xiàn)象是流表里 IPv4 轉(zhuǎn)發(fā)規(guī)則齊全但主機(jī)側(cè) ARP 表一直是 incompleteping 直接報(bào)“目的主機(jī)不可達(dá)”。原因是你的模塊只處理了 IPv4 的 PacketIn把 ARP 的包也一并STOP掉了或者沒有讓默認(rèn)轉(zhuǎn)發(fā)模塊接手。解決是把receive的返回值按包類型區(qū)分非 IPv4 的包一律返回CONTINUE讓默認(rèn)邏輯去泛洪。這個坑的典型特征是“流表看起來完美網(wǎng)絡(luò)就是不通”??恿牧诉壿嬛貑⑴f流表還在新邏輯不生效?,F(xiàn)象是代碼改了、jar 換了、進(jìn)程重啟了行為卻和改之前一模一樣。原因是流表存在交換機(jī)側(cè)控制器重啟不會清空它們舊的高優(yōu)先級流還在生效新下發(fā)的流因?yàn)閮?yōu)先級相同或更低永遠(yuǎn)不會被匹配到。解決是重啟后先對每臺交換機(jī)做一次全量清流再驗(yàn)證新邏輯。清流之后建議先pingall跑一遍確認(rèn)兜底路徑正常再去看具體策略。# 清空某臺交換機(jī)的全部流表謹(jǐn)慎使用會短暫中斷該交換機(jī)上的所有轉(zhuǎn)發(fā) curl -s -X GET http://127.0.0.1:8080/wm/core/switch/00:00:00:00:00:00:00:01/flow/clear/json # 確認(rèn)流表已空 curl -s http://127.0.0.1:8080/wm/core/switch/00:00:00:00:00:00:00:01/flow/json \ | python -m json.tool清流這個動作要養(yǎng)成習(xí)慣它相當(dāng)于給自己留了一顆后悔藥任何“改了不生效”的懷疑先用它排除交換機(jī)側(cè)殘留再去查代碼。跳過這一步直接讀代碼經(jīng)常是讀了兩小時發(fā)現(xiàn)邏輯沒錯只是舊流沒刪。6. 進(jìn)階把 REST 接口串成回歸腳本驗(yàn)證下發(fā)是否真的生效手工 curl 在驗(yàn)證階段夠用但當(dāng)你開始反復(fù)改模塊邏輯就需要一個能一鍵回答“這次改動有沒有破壞原有行為”的腳本。我的做法是用 Python 寫一個小回歸器只做三件事下發(fā)前清流、下發(fā)后輪詢流表確認(rèn)條目存在、跑一次連通性檢查。它不追求覆蓋所有場景但能把“看起來成功了”和“真的成功了”區(qū)分開。import json import time import requests BASE http://127.0.0.1:8080 DPID 00:00:00:00:00:00:00:01 def clear_flows(): # 清空指定交換機(jī)的流表避免上一輪殘留干擾 requests.get(f{BASE}/wm/core/switch/{DPID}/flow/clear/json, timeout3) def flow_exists(cookie_prefix): # 輪詢交換機(jī)流表按 cookie 前綴匹配確認(rèn)下發(fā)的流真的落地 for _ in range(10): resp requests.get(f{BASE}/wm/core/switch/{DPID}/flow/json, timeout3) flows json.loads(resp.text).get(DPID, {}).get(flows, []) for f in flows: if f.get(cookie, ).startswith(cookie_prefix): return True time.sleep(0.5) # 交換機(jī)寫入有延遲別只查一次 return False if __name__ __main__: clear_flows() time.sleep(1) # 這里換成你自己的下發(fā)邏輯或者直接走靜態(tài)流表接口 print(flow landed:, flow_exists(0x0))腳本里有兩個細(xì)節(jié)值得說。一是time.sleep(0.5)加輪詢而不是查一次就下結(jié)論交換機(jī)寫入流表到 REST 接口能查到之間有毫秒級延遲單次查詢會偶發(fā)誤判這種偶發(fā)失敗最消耗排查時間。二是按 cookie 前綴匹配而不是按名字因?yàn)殪o態(tài)流表接口和模塊下發(fā)的流在字段上不完全一致cookie 是兩邊都能設(shè)且不參與匹配的字段適合當(dāng)標(biāo)記位。三種驗(yàn)證手段的取舍可以對著下表選手段能看到什么開銷適合階段控制器日志打印模塊是否被調(diào)用、參數(shù)是什么低但需要改代碼開發(fā)期定位邏輯分支REST 查流表交換機(jī)側(cè)實(shí)際生效的條目低無需改代碼每次下發(fā)后的必查項(xiàng)端到端連通性測試數(shù)據(jù)面是否真的通中要起拓?fù)涮峤磺暗淖罱K確認(rèn)我踩過最貴的一次坑是只看了日志就認(rèn)為功能正常——日志里模塊確實(shí)被調(diào)用了參數(shù)也對但下發(fā)的那條流因?yàn)閮?yōu)先級和已有的 table-miss 撞了交換機(jī)根本沒執(zhí)行。日志是控制器的視角流表是交換機(jī)的視角這兩個視角不一致的時候永遠(yuǎn)以交換機(jī)為準(zhǔn)。后來我給自己定了個規(guī)矩任何涉及流表的改動必須同時有日志、流表、連通性三樣證據(jù)缺一樣就先別提交。希望這些步驟能幫你在自己機(jī)器上把這套東西跑順少走幾段我走過的回頭路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲色色色色色色色色色| 色就是色婷婷五月亚洲激情| 热思思九九| 午夜激情五月| 日本在线视频手机播放五月婷| 丁香五月亚洲综合| 夜精品无码A片一区二区蜜桃| 色婷婷久综合久久一本国产AV| 色五月婷婷在线| 成人做爰高潮A片免费视频| 天天天干夜夜夜操| 亚洲无码九九| 夜夜操夜夜姧| 五月天婷婷午夜丁香| 热日韩欧美| 久久色婷婷| 九九爱激情| 综合激情五月天| 久草九一| 爱穴久久| 婷婷香蕉香| 丁香婷婷激情| 中文av网| 狠狠狠狠狠| 中文在线成人| 色婷婷综合网| 丁香五月激情天AV无码| 在线成人视频免费| 色播五月天婷婷老师| 亚洲日韩一页精品发布| 久草热8精品视频在线观看 | 五月丁香网站| 亚洲色色色| aa久久| 免费播放99性爱视频| 九九热这里只有精品7| 五月婷婷丁香啪啪| 九九热re99re6在线精品| 色婷婷五月综合色婷婷| 色九九丁香九月色九九色| 国产做A爰片毛片A片美国| 99爱视频| 五月婷婷丁香在线| 精品9197碰| 婷婷五月激情综合| 大香蕉在九| 夜夜爽天天爽| 婷婷不干网| 另类少妇人与禽zOZZ0性伦| 欧美一级色| 色五月涩涩婷婷| 久久金品黃色| 六月丁香久久| 色135综合网| 成人做爰高潮A片免费视频| 亚洲网视屏| 成人电影在线免费试看| 色婷婷基地| 色999;丁香五月| 看片视频在线免费日产在线看| 婷婷激情综合网| 99色婷婷视频| av高清无码| 久久五月婷6 9| 丁香综合日产精品久久| 婷婷五月色惰| 色五月开心婷婷| 99爱免费在线观看| 五月天久久综合婷婷| 婷婷狠狠色| 色五月五月天色婷婷色五月| 九九热免费视频| 精品婷婷| 成人免费视频一区| 亚洲丁香婷婷五月天综合色| 五月婷婷精品无在线| www.成人婷婷综合| 丁香五月婷婷六月| 久久久噜噜噜操操操| 97碰碰电影| 久久婷婷网站| 色五月色五天色情网| 亚城区在线| 99色在线| 色色色激情网| 久久久这里都是精品| 久久五月天大美女| 色五月激情网| 一区二区无码视频| 免费国产VA国产免费| 激情宗合网激情五月天| 久操操| 五月天婷a在线| 久久丁香综合精品综合| 欧美va国产va| 六月99天天婷婷激情综合| 无码日本精品XXXXXXXXX| 欲色人妻| 丁香五月狠狠综合欧美| 欧美六月| 懂色av蜜臀av粉嫩av永陈冠希| 天天色播| 久久与婷婷| 51精品国自产在线| 婷婷色五月天第7色| 综合色色色| 婷婷五月色| 久久久久久久8| 草综合网| 97香蕉久久超级碰碰高清版 | 亚洲综合草草| 97婷婷狠狠久久综合9色| 日本女va| 丁香五月在线| 婷婷成人综合| 97性视频| 停停综合色色| 噜噜狠狠色综无码久久合欧美| 嫩BBB槡BBBB搡BBBB| 丁香五月激情月| 久久久色婷婷五月天| 99热国产免费| 青青草99热久久精品国| 99re热视频这里只精品| 综合aV在线| 日本色天堂| 亚洲婷婷五月天激情| 欧美成人精品A片免费一区99| 久久婷婷五月综合啪| 伊人在线婷婷草| 国产在线中文字幕| 97人人射| 天天色宗合| 色婷成人狠干| WWW,五月| 五月丁香六月综合基地| AV在线免费网站| 葵花AV在线| 婷婷伊人五月| 97色综合视频| 开心五月网 | 激情www| 91九色白丝| 思思精品久久艹| 久久性爱视频| 国产探花AV在线| 综合色播| 婷婷五月天色综合翘| 99色色网| 色999五月色| 天天做天天爱天天高潮| 99久热| 婷婷内射视频在线| 激情五月丁香五月| 五月天色婷伊人| 99热伊人| 久久精品亚洲一级牲爱综合 | 91日综合欧美| 99日韩| 国产 亚洲 在线| 九九九热精品| 五月天色婷婷小说| 婷婷丁香色性爱| 五月婷婷丁香五月婷婷丁香| 婷婷五月天堂| 九九亚洲天堂| 五月丁香成年黄色| 香蕉婷婷色五月| 日日夜夜干| 丁香五月综合在线播放 | 五月色无码| 欧美顶级少妇做爰HD | 亚洲性图一区二区三区| 野外99热| 亚州操人在线视频| 99re这里有精品手机在线| 丰满少妇猛烈A片免费看观看| 久久婷婷五月综合色播| 婷婷丁香91| 中美日韩成人在线| 婷婷色五月久久| 五月天激情美女久久| 丁香丝袜五月| 五月婷久久| 人妻中文在线| 婷婷开心激情| 久久视频这里都是精品| 九九久久高清| 国产毛多水多女人A片| 五月天色婷婷基地| 久久五月天色婷婷| 婷婷色综合| 五月婷啪啪| 成功精品影院| 激情综合五| 精品久热| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久久婷| 五月婷婷丁香五月 | 日本高清综合网五月丁香| 色女人久久| 婷婷在线视频| 在线婷婷| 日韩综合久| 亚洲操B| 99性感视频| www.99热在线观看| 久xxxx| 99热精品在线播放| 久热黄色| 激情五月天小说| 日本99热| 激情视频综合| 久久ri精品视频| 99色精品| 97热精品| 亚洲综合五月| 五月丿香啪啪| 激情综合文学| 国外亚洲成AV人片在线观看| 五月丁香六月婷婷久久| 激情綜合網址| 五月丁香六月婷婷姐| 欧洲亚洲免费视频9| se.久久视频在线观看| 无码少妇高潮喷水A片免费| 五月婷婷六月丁香激情| 热久久视频99| 桃色激情婷婷伊人网| 67194中文字幕| 国产五月视频| 手机免费福利视频| 思思热精品免费视频| 婷婷丁香五另类网站| 4438全国最大视频成人网站在线观看| 超碰在线50| 996er热| 伊人玖玖精品| 亚洲碰碰碰| 亚洲激情免费视频| 五月天综合在线观看| 成人婷婷色五月天| 日韩激情人伦人| 六月婷婷五月丁香首页| 天堂爱爱| 天天射射夜| 噜一噜免费视频| 欧美天堂久久| 丁香五月自拍| 日韩免费乱轮网站| 日韩欧美四五区| 操操操www.com| 99精品在线| 成人AV在线电影| 色99日韩| 丁香五月播播| 桃色五月天| 狠狠操狠狠| 婷婷五月天激情网| 成人龟情网丁香五月| 亚洲欧美在线观看| 激情综合丁香| 六月丁香色色色| 欧美伊人9| 久久99激情| 超碰在线观看9| 日本久久人人| xxxx五月激情| 六月丁香好婷婷| 天天综合天综合| 九月婷婷久久| 日韩美女在线视频19| 久久丁香综合香蕉| 五月丁香另类网| 99国产精品久久久久久久久久久| 无码 色| aaaaaa片| 久久网思思| 久久这里都是精品视频| 丁香综合网| 五月人妻婷婷视频| 婷婷丁香97| 九九婷婷综合| 精品一二三区久久AAA片| 日本三级韩三级99久久| 97在线观视频免费观看| 日韩黄色电影| 深爱激情网五月| 思思久久99热只有频精品66| 婷婷综合丁香| 久久五月情| 久草婷婷网 | 1024AV视频| 91色五月在线观看| 欧美色九| 婷婷五月丁香基| 亚洲另类视频| 天天日天天舔| 开心五月网 | 色五月xxx| 色色色色色色97| 精品成人a v无码内射| 五月天综合激情网| 成人丁香五月| 亚洲精品V天堂中文字幕| 日韩免费视频| 色色色区| 开心五激情网| 在线天堂9| 成AV人片一区二区三区久久| 99啪在线视频| www.夜夜操.con| 五月丁香六月婷婷综合伊人| 五月婷婷狠狠干| 久久五月网| 丁香五月天天高清在线| 9久久精品| 最近中文字幕2019视频1| 亚洲日本三级片| 婷婷丁香69精华| www天天干| 欧美这里只有精品| 激情第四色| 26uuu成人网| 婷婷久久伊人| 亚洲99热| 激情内射人妻1区2区3区| 婷婷久久天堂网| 日本久久精品| 99热在这里只有精品| 99久久九九| 亚洲另类日本| 免费超碰在线观看| 全亚洲最大的婷婷五月天网站COM| www.五月婷婷久久.com| 成人做爰A片免费看视频| 免费成人中文字幕| 久久丁香五月婷婷| 天天天天干| 99.N在线视频| 婷婷综合五月| 欧美久久久久久久久中文字幕| 五月激情丁香五月| 久久大香蕉同僚| 欧洲电影在线观看免费版英语版| AV美美午夜| 综合性爱网| 骚逼视频一区2区| 五月婷婷六月丁香激情深爱| 无码区婷婷五月花开| WWW.久久久久久久久久久久久| 99在线观看免费精品视频| 99ri在线观看视频| 五月天停婷基地| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99人人干| 激情四射网| 99无码精品| 91九色PORNY大屁股| 欧美性二区| 国产avapp 网| 婷婷欧美激情| 精品激情| 天天艹天天综合网| 99久久网站| 久久综合综合久久| 97碰碰视频在线观看免费| 精品99在线| 99热人人| 久色国产| 丁香久久九九99| 久久久区区一久久久久久| 国产SUV精品一区二区6| 国产性av| 在线1青婷| 九九综合网| 丁香婷婷成人网| 香蕉影院色| 97好吊操| 97精品自拍视频| 曰曰久久| 99热99日…..| A片天天| www.sezonghe| 色综合99| 婷婷五月天狠狠搞干| 91 影音先锋| 五月天婷婷乱| 无码九九九九| 丁香五月色| 丁香婷婷少妇| 碰碰碰碰碰99| 99人妻碰碰碰久久久久视| 婷婷丁香综合| 国产精品色色| 密桃激情五月天综合网| 五月丁香激情啪啪网| 丁香色婷婷| 五月天丁香婷婷社区| 亚洲国产成人综合| 九九这里有精品视频| 免费视频WWW在线观看网站| 六月丁香婷婷网| 色婷婷五月天| 婷婷免费无马| 日本婷婷五月天| 久久 这里只有精品1| 熟妇高潮一区av| 色99热| 丁香婷婷精品视频| 亚洲精品一二三| 色婷婷五月天偷拍| 丁香婷婷久久| av第一二区| 99自拍视频在线| 立川无码av| 99热草草| 大香蕉婷婷丁香视频在线| 2018夜夜草| 色婷婷五月视频| 激情久久综合| 超级碰碰一区| 婷婷成人视频| 情趣视频66| 九九热黄色| 丰满人妻妇伦又伦精品国产| 另类视在线| 26UUU精品一区二区Com| 99re这里只有精品99| 色综啪啪网| 97操操操| 激情综合网激情五月俺也去| 五月丁香久久| 性色婷婷| 婷婷丁香五月综合网上| 婷婷五月亚洲激情| 亚洲激情在线| 久久九九99桃花视频| 久久激情网| 99热8| 激情五月婷婷网在线观看| 另类视频综合| 99久久五月丁香野外| 免费黄色片子| 色五月色五天色情网| 色婷婷社区| 三区激情四射av| 日韩99视频| 99热草草| 大香蕉AV在线| 涩涩五月天| 欧美丁香五月夫妻天| 五月色无码| 婷婷99视频精品| www.久9| 丁香花社区av| 国产黄大片在线观看画质优化| 天天射美女| 九九热精品99| 狠狠干狠狠干| 少妇人妻人伦A片| 不卡成人免费| 激情综合网激情五月丁香五月俺也去| 亚洲乱码日产精品BD| 婷婷天堂综合| 色碰碰视频| 99热只有| 丁香九月婷婷综合| 婷婷久草| 亚洲av骚货| 色噜噜五月天| 99热这里只有精品青草| 99热精品在线观看| 久草五月天| 欧美激情综合色综合啪啪五月| 这里只有精品免费观看网占| www.亭亭五月天| 久久性爱网站| 色婷婷婷婷| 人人爽欧美婷婷久久久五月丁香| 欧美啄木乌丝袜人妻系列| AⅤ色区| 午夜不卡久久精品无码免费| www.丁香六月婷婷久久天堂影院.con| 欧美丰满熟妇BBB久久久| 久久丁香| 韩国中文字幕91| 99色综合久久| 国产在线视频1234| 色欲九区| 97福利视频| 青青操绿aaa一区日v| 日本天天综合| 五月天另类小说久久小说网| 狠狠色综合精品视频在线| 丁香六月婷婷综合| 婷色五月| 国产一区男女| 日韩精品一品二区三区的使用体验| 丁香六月婷婷| 久久香蕉影院| 亚洲视频在线观看| 伊人色五月| 99久在线观看| 99在线观看免费精品视频| 人人人人人人人人人草| 婷婷另类小说| www.色婷婷| 99热在线观看| 热99在线精品| 色婷婷五月天av在线| 五月天丁香色色| 色婷婷亚洲综合av| 久久99久久99精品免视看婷婷| 人妻在线中文字幕久久| 婷婷五月天伊人| 99re热在线视频| 国产成人一区二区三区在线观看| 色五月欧美| 亚洲1区| 深爱激情AV| 五月丁香婷婷六月| 性色做爰片在线观看WW| 99热天堂| 婷婷区日本| 色五月丁香五月| AA片在线观看视频在线播放| 九九99在线视频| 开心婷婷五月天综合| 婷婷综合在线观看视频| 九月婷婷久久| 婷婷天堂视频| 五月婷婷影视| 啪啪一区| 国产综合婷婷| 五月花婷婷丁香| 日韩亚洲视频| 99爽视频| 天堂网操| 婷婷伊人激情婷婷| www.精品99| 影音先锋 萱萱| 激情五月,色五月| 成人丁香婷婷| 强辱丰满人妻HD中文字幕| 九9九9无码| 97韩国久久电影院| 中文字幕按摩做爰| 殴美日比视频| 五月丁激情| 色五月婷婷综合| 91丨人妻丨国产丨丝袜| 婷婷夜夜夜夜| 欧美69久成人做爰视频| 99er这里只有精品| 五月伊人网| 最新日韩AV中文字幕| 欧洲亚洲欧洲99久久| 欧美色图天堂网| 天啪色| 五月婷婷色情| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 欧美精品XXXXBBBB| 亚洲国产精品成人免费一区久久久在线观看AAAA | 综合久久五月天| 97操在线| 国产一级婬片毛片| 天天射影院| 91日韩在线| 成人精品在线| 日韩黄黄| 91九色熟女| 成人综合AV| 香蕉人在线香蕉人在线 | 色啦啦视频| 五月丁香婷婷综合激情基地| 久九男女天堂| 激情五月视频| 九九久久9 9在线观看| 综合久色五月| 天堂呦 呦百度搜索-百度搜索| 国产精品五月丁香| RenRenSe在线视频网站| 久久久婷婷| 丁香婷婷人妻综合网| 色噜噜婷婷| 俺来也综合网精品一区| 79精品视频在线观看,| 六月婷婷深深爱| 深爱五月激情五月| 婷婷激情中文综合| 色色亚洲| 操逼在线视频| 久草五月丁香婷婷综合| 五月伊人婷婷| 91精产一区三区免费观看| 99色色视频| 九九热青青草| 五月天国产| 色五月色五天色情网| 中文字幕,综合,91| 国产精品电影| 91大屁股| 在线超碰91| 91超碰九色| 丁香婷婷综合精品六月初| 一本大道嫩草AV无码专区| www.狠狠色.com| 婷婷五月激情黄色| 五月婷婷欧美| 五月丁香婷婷AV天堂| 日日影院 | 永久AⅤ1| wwwss在线观看| 99精品偷自拍| 黄色激情五月天| 五月激情小说网| 婷婷激情丁香五月天综合| 婷婷五月天成人网| 夜丁香综合| 丁香六月啪| 亚洲精品V天堂中文字幕| 激情开心五月亚洲| 丁香五月色网| 丁香五月婷婷综合激情啪啪啪| 亚洲精品99| 99精品热视频只有精品10| 五月婷婷激情啪啪| 亚洲欧美成人在线| 丁香五月欧美色综合| 婷婷色中文| 开心五月激情五月丁香五月婷婷| 九久久精品视频99| 亚洲操操操| 俺去也婷婷| 色色色精品无码区| yiqicaoav| 婷婷爱五月天| 久婷婷色| 可以直接看的AV网站| 99热99美国在线观看| 色综合色色| 天天日天天爽夜夜爽| a色色色色色| 精品九九久久| 久久精品凹凸分类| 色欲色香综合网| 综合色色色色色色| 涩五月婷婷| 丁香五月天激情四射网| 国产成人精品一区二三区熟女在线| 国产成人亚洲综合A∨婷婷| 91狼友视频在线观看| 天天操无码| 色婷婷九月| 丁香五月天激情网址| 国产精品色婷婷99久久精品| 91人人爱| 被强行糟蹋的女人A片| 激情五月丁香五月| 日韩综合久| 婷婷五月丁香久久| 天天爽夜夜爽夜夜爽精品| 成人精品人妻| 超碰9在| 久久五月婷婷综合网| 丁香婷婷大香蕉| 97超碰在线免费观看| 久草xx性爱视频| 日本噜噜色网| 婷婷色五月激情| 五月天开心色情网| 丁香五月天婷婷91| www.99热这里精品| 五月天另类激情在线| 99热精这里只有精品| 凹凸探花电影| 丁香婷婷五月天色综合| 性韩日色婷婷五月天激情啪啪XXX| 永久免费一区二区三区| 92久操视频| 国产精品第一国产精品| 国外亚洲成AV人片在线观看| 天天爽夜夜操| 极品人妻VIDEOSSS人妻| av九九| 欧美色频| 嫩草AV久久伊人妇女超级A| 亚洲精品大片| 日韩无码专区| 99热在线观看| www.99操| 国产小网站| 超碰在线超碰| 色五月首页| 婷婷久久五月| 亚洲色频| 伊久大香蕉| 9热成人在线视频| 色色999三级片| 久久九九精彩| 成人av在线网站| 99热最新| 亚洲另类久久| 开心激情综合| 99无码超碰| 成人电影AV在线观看| 色五月在线观看| 亚洲操人| 西西4r午夜剧场| 久久综合婷婷五月| www.zbzhongsen.com| 婷婷亚洲五| 亚洲婷婷激情888精品久| 丁香五月婷婷综合网| 久久久久婷| 综合色图区| 人妻系列久久久久久久久久久| 五月婷婷,六月激情| 五月婷婷丁香婷婷| 国产99热| 亚洲综合网在线| 五月婷婷久久大香蕉| 九九热a| 天天开心AV色综合婷婷五月天| 天天热夜夜操| 欧美日韩成人一区二区| 久热这里| 日笨久久网| 可以免费观看的av网址| 婷婷五月天激情影片| 久婷五月| 性色九九| 婷婷色中文字幕| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 六月婷婷色色网| 丁香五月电影院在线观看| 五月丁香美女视频| 丁香六月婷| www九九热| 99视频综合网| 五月色导航| 九九无码| 一区二区三区四日本| 99热国产精品| 五月天婷婷无码视频| 三级黄网站| AV免费在线网站| 久久婷婷激情五月天一区二区| 国产精品成人av在线观看春天| 天天日,天天插| 天天色凹凸| 九九热这里只有精品556| 久青草影院| 中文字幕无线久必| 亚洲久热| 九九色影院| 天天视频精品9| 开心婷婷五月激情网小说| 久久伦乱| 国产原创视频91九色| 激情五月图| 五月天另类小说| 99色视| 婷婷激情五月综合丁香社| 色婷婷狠狠| 五月综合激情| 淑女丝袜bi操逼123| 影音先锋AV资源男人站| 丁香婷婷偷拍| 国产午夜一区二区三区| 五月久久婷婷| 天天干电影| 99欧美热| 五月天久久综合婷婷丁香| 99亚洲天堂| 97超碰在线免费观看| 色屌丝中文字幕| 婷婷伊人欧美| 色欲AV导航| 欧美性生交XXXXX无码小说| 大香蕉520| 婷婷五月丁香基地| 丁香五月91| 99噜噜| 97干视频| 五月婷婷六月丁香综合| 一级二级色大片| 九九色图| 色婷久| 久热免费视频| 五月激情婷婷综合| 五月婷婷激情久久| 99热第一页| 激情中文在线| 91久久综合亚洲噜噜成人在线 | 爱婷婷都市激情| 久久婷婷桃花五月天| www.av骚货| 久热AⅤ| 色五月婷婷一二| 亚洲第二AV| 亚洲无线视频| 丁香五月婷婷啪啪啪| 97操操| 婷婷六月综合在线| 超喷97免费在线视频| 婷婷五月天另类网站| 伊人九热| 六月婷婷在线视频| 最新色色五月天| 五月婷婷综合激情网| 99碰碰| 欧美性生交XXXXX无码小说| 婷婷开心综合人妻小说网址| 久99热| 97好吊操| 日韩色色一区| 激情四射五月天| 丁香五月激情综合在线观看| 婷婷丁香红五月91C| 婷婷丁香六月| 欧美一级色| 久久婷婷伊人| 久久偷拍综合五月天| 亚洲精品在线视频| 成人午夜视频精品一区| 九九亚洲视频| 欧美 日韩 成人在线| 极品少妇XXXX精品少妇偷拍| 欧美成人五月天| 99九九热视频| 久久精品国产AV一区二区三区 | 五月丁香无码视频| 网色99| 五月婷在线| 天天爽夜夜爽| 91操人视频| 99噜噜噜在线播放| 六月婷婷五月天| 婷婷丁香五月天色播网站| 九月激情婷婷丁香| 色欧美影院| 婷婷五月天777| 婷婷丁香综合在线| 狠狠色综合网| 久久九九免费视频| 国产精典视频在线观看| 99婷婷综合| 色色吧综合| 久久丁香五月婷| 五月天婷婷xxx| 果冻传媒A片一二三区| 亚洲色视频| 丁香五月a| 日日色五月天| 中文字幕日韩成人| 草草夜夜操| 五月丁香啪啪| 色五月在线播放| xxx综合在线| 99男人的天堂| 色综合色香蕉网| www.狠狠操| 激情五月久久| 色情播放| 色婷婷久久| 大香婷婷| 丁香五月婷婷久久久| 日本丁香五月| 日韩啪啪视频| 天天爽天天爽视频| 99精品久久久| 丁香六月啪啪| 五月婷婷丁香av| 超碰在线99| 99热在线资源| 欧美精品啪啪| 这里只有精彩视| 六月丁香婷婷网| 婷婷六月久久| 五月丁香色欲| 九月丁香婷婷基地| 五月色网| 99久久久久| AV网站免费在线| 国产精品日日躁夜夜躁| 久久人妻视步| 99国产这里只有精品| 5月色亭亭视频| 六月亚洲婷婷6月中文字幕| 久久婷婷五月综合色奶水99啪| 日hao1区| 天综合日日夜综合7799| 五月激香蕉网| 亚洲午夜国产成人电影VA国产欧…| 九九亚洲视频| 1000部毛片A片免费观看| 亚洲精品视频在线| 婷婷人人操| 久久这里都是精品| 色情五月停停丁香| 丁香五月婷婷AV在线| 国产精品香蕉| 丁香婷婷六月男男| 夜夜操夜夜操| 色五月婷婷在线观看| 五月婷婷成人| 六月丁丁香| 9色在线视频| 爆乳熟妇一区二区三区爆乳照片| 人人干人人操人人摸| 五月天久久91| 网站免费一站二站| 五月停亭六月,六月停亭的英语 | 色色色色色色色色综合网| 激情六月天婷婷| 久久最新色| 色五月在线观看| 婷婷激情六月| 五月天激情美女久久| 野战J办公桌椅H| www.99热| 激情五月婷婷综合网| av在线免费播放观看| 操逼巨乳91| 在线观看亚洲视频影院| 99热成人永久免费| 综合网激情五月天| www.sezonghe| 中文久久婷婷| 97碰免费视频在线| 亚洲妇女熟BBW| 99久久国产综合精品五月天喷水\| 色婷婷女优有码五月亭| 欧美激情中文字幕| 日韩色色色色色| 五月婷婷花| 亚洲综合99| 婷婷五月天影院| 天天揷综合网| 丁香伊人网| 亚洲人人96@| 思思热99er在线视频| 99热这里只要精品免费| 九九热最新| 婷婷五月天激情小说| 91九色PORNY大屁股| 精品成人在线观看| 五月天色婷伊人| 丁香五月六月欧美| 亚洲99在线| www.99在线| 成人AV网站在线| 久久婷婷五月| 国产综合网在线| 粉嫩av蜜桃av蜜臀av| 九九爱激情| 9久久婷婷国产综合精品性色| 99热这里是精品| 日本颜色视频人人爱| 天天肏视频| 99超级超级超级碰| 五月丁香啪啪啪| 国产无套精品一区二区| 停停五月色宗合| 天天插天天射| 老司机视频lsj爱就色| 日本婷久久| 三级成人网站| 热九九精品| 亚洲永远av在线播放| 色综合丁香| 婷婷五月天六月| 婷婷五月激情综合| 91人人妻人人操人人爽| 天天免费成年人视频| 亚洲第一综合| 久久99草五月婷婷| 婷婷五月天美女| 99狠狠| http://www.com久久久精品一区| 婷婷综合五月| 夜夜骑夜夜撸| 开心五月婷婷激情| 久久综合爱| 激情五月天 婷婷| 爱iii做iiii日| 思思99热这里只有精品| 国产精品色婷婷99久久精品| 国产精品第一国产精品| 狠狠色丁香综合| 久久婷婷综合国产| 中文字幕无码成人电影| 手机AVAV天堂看网| 亚洲乱码精品久久久久..| 亚洲性爱电影| 亚洲免费观看高清完整版AV线| 在线看片h站| 97人妻碰碰碰久| 日本啪啪天堂| 五月天婷婷涩涩| 开心激情网五月| 69超碰在线| 9久热这里只有精品视频| 99视频在线| 狠狠色丁香久久久婷| 日本色色网站| 亚洲精品影视| 六月激情丁香一道本7777| 激情五月,激情综合网| 国产91资源在线| 大香蕉院线| 国产亚洲成AV人片在线观黄桃| www.av视频xx999.com| 亚洲天堂爱爱| 婷婷五月丁香色播| 国产亚洲精品久久一区二区三区| 色操综合| 九热视频| 91综合视频在线| 5五月综合网亚洲| 日本9区视频| 丁香五月中文字幕色播| 97性高潮久久久| 久久精品人妻| 久久综合网桃花| 超碰资源在线| 五月婷婷婷综合网| 大香蕉婷婷| 色色色激情| 亚洲激情久久| 色亚洲视频| 玖玖色综合色| 狠狠色婷婷六月激情网| 毛片九九九九九九| 丁香六月欧美| 91人人操人人| 99热这| 色五月丁香婷婷综合| 国产欧美日韩综合精品一区二区| 狠狠干伊人| 六月婷婷色色网| 人妻久久人妻久久第一区| www色婷婷com| 五月天开心激情综合网| 五月丁香网av| 婷婷五月天综合久久日美女| 99av视频| 黄色成人网站在线播放| 综合激情五月丁香| www.五月天婷婷姐姐| 青吴乐视频| 99热亚洲| 九九国产精视频| 丁香五月亚洲综合丝袜| 欧美VA在线| 综合激情在线视频| 69精品人人人人| AV国产有码| 久久精品五月| 99ri在线视频| 伊人色欲五月天| 99re视频在线播放| 婷婷丁香六月| 亚洲视频99| 久久九九爽| 碰99在线| 五月天狠狠色| 五月天四色房丁香| 丁香五月综合无码趴趴| 九九AV| 五月天激情av| 久久五月婷婷电影| av中文网| 91操人| 五月天六月婷| 色狠狠五月天| 97五月综合网| 六月丁香网| 丁香婷婷情色五月天| 五月婷婷免费在线| 99欧美三级视频| 日韩aaa| 亚洲成人五月| 激情五月黄色小说| 综合色吧| 风流少妇A片一区二区蜜桃| 日本久久人| 婷婷五月天日逼| 97AV在线视频| 热99色| 九九色精品| 综合网天天| 天天插天天干天天舔| 特级操b片| 婷婷六月香| 新97人人上人人| 日本五月天婷婷丁香| 99热日本| 91无码色色| www五月| 久热这里只有精品6| 九九草热在线观看| 丁香激情久久| 99综合熟女| 亚洲午夜成人av电影网| 欧美激情五月天| 亚洲乱码w在线观看| 婷婷色五月丁香六月欧美啪| 久久五月丁香伊人青草| 超碰免费在线| www狠狠com| 国产视频色色色色色色色 | 激情五月天色色网| 久久五月天 91| 五月天操逼激情| 亚洲色五月天| 婷婷丁香18| 黄色AV日韩| 六月激情网| 丁香五月在线观看| 激情五月天免费视频| 亚洲精品小视频| 激情深爱五月婷婷| 亚洲成人网无码| 久久多色| 99re免费精品视频| 影音先锋噜一噜| 久久久久婷| 色色色色色色色色色色色色色97| www久久久久久久久久久久久久久久久| 大地9中文在线观看免费高清 | 国产精产国品一二三在观看 | 欧美在线看| 五月丁香久久呀| 丁香五月欧美色综合| 青草青草视频2免费观看 | 噜噜五月天综合| 热日韩欧美| 香蕉99网| 99re资源在线视频导航| 超碰永久在线| 亚洲av电影网站| wwww.色婷婷| 少妇婷婷五月天| 91热手机在线| 91精品婷婷国产综合| 99re热在线视频观看| 性色婷婷| 五月婷婷影| 99热r| 激情婷婷五月女| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 91精品久久久久久77777| AV九九| 国产午夜精品一区二区三区嫩草| 激情av| 久热re视频在线观看网站| 99热999| 五月天丁香婷婷社区| 婷婷九九| 五月婷在线| er99免费视频在线| 五月婷婷九| 五月丁香亭亭| 五月婷婷色五月| 丁香五月激情五月| 99精彩视频在线观看| 成人视频免费观看高清完整版在线观看| 欧美日韩国产日本精品四虎网网站物| 久热精品在看| 亚洲欧洲另类| 色婷五月婷婷| 97人人操com| 久久人操| 青青.com| 亚洲人成人五月天| 五月天色不卡| 天天干一干| 97操碰日本女人| 五月婷婷激情日本| 天天爽夜夜爽夜夜爽精| 色婷婷六月综合| 超碰成人av| 九九Av| 万月丁香狠狠爱| 黄色三级日本| 天天操天天操| 1024操逼视频| 久热婷婷| 免费人人操| 婷婷五月激情丁香激情| 六月丁香成人网| 操操啪| 超碰国产在线| 大香蕉人人人| 丁香六月高清视频| 亚洲精品永久久久久久| 婷婷五月天丁香| 99综合入口| 亚洲色婷婷色| 天天色99| 欧美电影在线播放| 97视频91| 色色99色色| 91凹凸在线| 波多婷婷久久| 91色五月| 婷婷丁香五月激情| 国产3p露脸普通话对白| 激情熟女网| 99re这里有精品手机在线| www.99热在线| 97人碰人操| 亚洲视频在线观看99| 婷婷丁香18| 久久看九九90| 色噜噜狠狠色综合无码久久欧美| 泰州成人视频| 日韩无码AV电影网站| 99re视频在线播放| 可以看的AV网站| 开心五月激情网| 9l视频自拍9l九色9l成人| 日韩在线aaa| www.超碰在线| 久久丁香五月婷婷| 久人操| 五月久久综合| 天天色五月| 久久久com| 99日精品视频| 激情五月天影院| 国产露脸150部国语对白| 欧洲永久精品| 婷婷丁香五月亚洲| 色五月天丁香婷婷色| 精品五月天| 日本久久高清| 在线天堂9| 色播五月综合网| 亚洲成人丁香花| 丁香五月六月激情| 少妇高潮呻吟A片免费看软件| 色色色婷婷五月天| 性天堂久久| 九九色大香蕉| 欧美日韩AAAA| Av在线资源| 精品色情一区二区三区四区| 五月婷婷天| 色综合色| 久婷| 九九久久五月天综合伊人| 五月天激情久久| 色婷婷操逼网| 99re这里只有| 久久精品系列| 色爱亚洲| 日韩视频女神99| 超碰在线中文字幕| 99免费青青蜜臀| 国产精品电影网| www.色情五月天.com| 亚洲无码99|