免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Ethernet幀完整性校驗:從FCS原理到CRC-32故障排查實戰(zhàn)

Ethernet幀完整性校驗:從FCS原理到CRC-32故障排查實戰(zhàn) 做網絡這一行“Ethernet幀完整性校驗”這串詞平時未必天天掛在嘴邊但真遇到網絡上莫名其妙的丟包、誤碼、延遲抖動繞來繞去最后總會撞到它身上。我第一次對它產生強烈印象是在一次聯(lián)調現(xiàn)場客戶反映兩套系統(tǒng)之間偶發(fā)通訊卡頓接口統(tǒng)計面板里某個計數(shù)在緩慢上漲業(yè)務卻感知不到太多異常。查了好幾天換線、換模塊、重啟設備都試過最后才有人點了一句“你怎么不去看看FCS錯誤率”。也正是從那一次開始我把幀完整性校驗的原理、計算方式、排查套路徹底過了一遍后面再遇到類似問題基本都能在半小時內找到方向。這篇文章里的內容我會從原理講到實操包括CRC-32到底怎么算、為什么抓包工具看不見幀尾的FCS、FCS異常增長時該怎么由表及里定位故障最后再總結一些我用過、踩過、后來養(yǎng)成的排查習慣。適合剛接觸網絡協(xié)議分析的開發(fā)者也適合在網絡一線做過一段時間、想系統(tǒng)梳理一下這類知識的朋友。1. 一次聯(lián)調里的意外發(fā)現(xiàn)抓包看不見幀尾FCS1.1 現(xiàn)場現(xiàn)象與第一反應那次聯(lián)調的環(huán)境并不復雜兩臺服務器通過交換機互通中間走了一段雙絞線再看一眼光模塊轉接。業(yè)務流量本身不大但每天總有那么幾個時段出現(xiàn)重傳。起初我沒太在意因為應用層有重試機制偶發(fā)重傳也正常。真正引起警覺的是某臺交換機端口統(tǒng)計里兩個字段在緩慢增長一個和CRC錯誤相關另一個和入方向丟棄相關。雖然增長幅度不大對業(yè)務暫時沒有明顯影響但這類計數(shù)一旦出現(xiàn)說明鏈路里一定在做“無用功”。我第一反應是懷疑線纜和光模塊。按照常規(guī)做法先換了一根跳線又把兩端的收發(fā)模塊重新插拔看是否能匹配成功。結果并不理想CRC錯誤計數(shù)并沒有停。后來又試著把兩條鏈路的速率協(xié)商狀態(tài)改為固定模式同樣沒有明顯改善。這時候我才意識到一個問題我一直在“猜”是物理鏈路的問題但我根本沒有真正搞清楚這個錯誤計數(shù)到底是在什么時候產生的。換句話說我該先弄懂“FCS”是什么它校驗的是什么才能知道該懷疑誰。1.2 以太網幀結構里FCS到底在哪里IEEE 802.3標準定義的基礎以太網幀結構從發(fā)送端的角度來看大致是這樣一個順序前導碼7字節(jié) 幀起始定界符SFD1字節(jié) 目的MAC地址6字節(jié) 源MAC地址6字節(jié) 長度/類型字段2字節(jié) 載荷46到1500字節(jié) 幀校驗序列FCS4字節(jié)前導碼和SFD是物理層同步用的接收端把它們識別出來之后就知道“幀數(shù)據(jù)從這兒開始了”。目的MAC、源MAC、長度/類型字段和載荷是真正被協(xié)議棧解析的內容。而FCS這4個字節(jié)就是我今天要重點聊的“Ethernet幀完整性校驗”機制的核心。FCS的校驗范圍是從目的MAC地址開始一直覆蓋到載荷結束不包含前導碼、SFD也不包含F(xiàn)CS本身。發(fā)送端對這一段數(shù)據(jù)算出一個32位的結果并按固定字節(jié)序填到幀尾。接收端收到整個幀之后用同樣的算法對同樣的范圍重新計算一次再把計算結果和收到的FCS做比較。如果一致就認為這一跳傳輸過程中數(shù)據(jù)沒有發(fā)生比特級的變化如果不一致接收端會把這個幀直接丟棄。有一點值得注意如果幀里帶了VLAN標簽802.1QFCS的校驗范圍會從目的MAC一直算到VLAN Tag和載荷結束這部分額外字段同樣受保護。無論是私有VLAN還是其他擴展標簽只要在幀頭里作為數(shù)據(jù)結構存在、接著載荷發(fā)送它們都會被納入CRC計算范圍。實踐中我見過不少人在用抓包工具查看帶VLAN幀時下意識只盯著源目MAC和IP完全沒意識到FCS覆蓋范圍已經發(fā)生了變化。1.3 為什么抓包工具“看不見”FCS很多第一次接觸抓包的朋友都會問同一個問題我抓出來的幀里明明能看到MAC頭能看到IP頭為什么找不到文檔里說的那4字節(jié)FCS答案和抓包工具的采集位置有關。抓包工具讀取的是主機協(xié)議棧里某個“鉤子”位置這個位置通常位于網卡驅動把報文上拋給系統(tǒng)網絡棧之后。而絕大多數(shù)網卡在硬件收幀時會先做一遍CRC校驗校驗不過的幀直接丟棄不往上拋校驗通過的幀再把尾部的4字節(jié)FCS剝離掉只把有效載荷部分交給驅動。所以應用層抓包工具拿到的幀天然就少了尾部這4個字節(jié)。這就帶來一個很重要的實操認知用抓包工具抓到的幀“看起來都是好的”并不能證明鏈路就是干凈的。因為真正帶FCS錯誤的幀在網卡硬件這一層就已經被處理掉了。你如果想驗證“這一跳有沒有出錯”不能只看抓包文件里的幀內容而是要看網卡驅動或者對端交換機的底層計數(shù)統(tǒng)計比如常見的rx_crc_errors、rx_fcs_errors這類字段。在不少網卡驅動里FCS錯誤是單獨計數(shù)的也有驅動把它并入CRC錯誤一類這取決于具體實現(xiàn)但整體思路一致它是物理層和MAC層之間的事件普通抓包工具默認是看不見的。當然也有例外。部分網卡驅動支持關閉CRC剝離功能或者抓包工具配置為“保留壞幀”模式這時你可能會在抓包里看到尾部帶FCS的完整幀甚至看到CRC校驗失敗的幀。但這種模式不是默認行為而且開啟之后抓包工具本身也容易把壞幀當作正常幀顯示反而誤導判斷。所以我個人并不建議在日常分析中開這種模式除非你明確知道自己想要抓壞幀做實驗。2. CRC-32幀完整性校驗的數(shù)學底子2.1 為什么以太網選擇CRC而不是簡單校驗和如果只是想讓接收端確認數(shù)據(jù)沒被改過最直覺的做法是“把所有字節(jié)加起來存一個和”。IP協(xié)議頭部的校驗和就是這么干的。但以太網這種鏈路層技術面對的是實實在在的物理信道電磁干擾、線纜衰減、連接器氧化、信號反射都會造成比特錯誤而且這些錯誤往往不是孤立的單個比特翻轉而是連續(xù)的突發(fā)錯誤。簡單求和這種方式對突發(fā)錯誤的識別能力很差。CRC循環(huán)冗余校驗的核心思想是把數(shù)據(jù)看成一個龐大的二進制數(shù)用這個數(shù)去除以一個固定的“生成多項式”得到的余數(shù)就是校驗值。接收端拿到數(shù)據(jù)和校驗值之后再做一次同樣的除法如果余數(shù)不為零就說明數(shù)據(jù)在這條鏈路上發(fā)生了改動。這個“除法求余”的過程聽起來復雜但在硬件上用移位寄存器實現(xiàn)非常順而且可以通過查表法提升速度這就是它在通信領域被廣泛采用的原因。IEEE 802.3選擇的CRC-32并不是隨便挑了個多項式。它背后對應了突發(fā)錯誤檢測能力的數(shù)學保證可以檢測出所有長度不超過32比特的突發(fā)錯誤可以檢測所有奇數(shù)個比特錯誤并且在數(shù)據(jù)長度足夠短的情況下雙比特錯誤的漏檢率也極低。對于一條物理鏈路上常見的噪聲擾動來說這套保證已經非常夠用。所以別看FCS只有4字節(jié)它在鏈路層協(xié)議里承擔的角色比很多剛入門的人想象中重要得多。2.2 IEEE 802.3 CRC-32的參數(shù)細節(jié)很多朋友試過自己實現(xiàn)CRC-32卻發(fā)現(xiàn)自己算出來的值和抓包工具或設備上的FCS對不上。真不是你代碼寫錯了而是CRC存在多種“變體”IEEE 802.3使用的CRC-32有自己特定的參數(shù)組合。我整理成一張速查表參數(shù)項IEEE 802.3 CRC-32取值生成多項式普通寫法0x04C11DB7生成多項式反射寫法0xEDB88320初始值0xFFFFFFFF輸入數(shù)據(jù)是否反射處理是輸出結果是否反射處理是最終異或值0xFFFFFFFF這里面的“反射”指的是對參與計算的每個字節(jié)先做位序反轉或者對整段數(shù)據(jù)處理時按位反序操作。用業(yè)界常見的話說802.3的CRC-32是“反射輸入、反射輸出、初值全1、結果異或全1”。如果你的CRC計算工具或者算法實現(xiàn)沒有配齊這套參數(shù)算出來的結果自然和真實FCS對不上。新手最容易栽的坑有三個一是多項式寫法搞混普通寫法和反射寫法之間的二進制位序正好相反二是忘記處理初始值不置為全1的話算出的結果只在空數(shù)據(jù)時恰好一致一旦有實際數(shù)據(jù)就會出現(xiàn)偏差三是漏掉最終異或導致差一個固定掩碼。還有一點FCS在網絡上的字節(jié)序也要注意常見網卡把CRC結果按小端序填到幀尾如果你按大端讀出來再比較一樣會不匹配。2.3 用生活化的例子理解“多項式除法”我知道“除以多項式”這個概念對非數(shù)學背景的讀者容易勸退。換個說法可以理解為你有一串特別長的數(shù)字然后有一個固定的“模子”發(fā)送端拿著這串數(shù)字去除以模子得到的余數(shù)就是蓋章。接收端收到數(shù)據(jù)之后也拿著同一個模子去除如果余數(shù)和發(fā)過來的章對不上說明數(shù)字在運輸途中被改過。為什么它能檢測出“改了哪個位”因為模子本身有精心設計的數(shù)學性質。任意一個比特錯誤等價于原數(shù)據(jù)加上了某個“誤差向量”。如果這個誤差向量恰好不是模子的倍數(shù)除法余數(shù)就會改變就會被識別出來。CRC能保證一定長度范圍內的所有突發(fā)錯誤都會被識別正是因為這個模子的數(shù)學設計讓這些誤差向量都不會“正好整除”。實際做鏈路分析時我不需要去手推多項式除法但理解這一層之后你會明白一個關鍵道理CRC不是加密不是哈希它不承諾防偽只承諾“傳輸過程有沒有擾動”。它也不會告訴你錯誤發(fā)生在哪個比特只會告訴你“這一幀壞掉了”。這一點在后面的故障排查里非常重要——FCS異常說明問題出在這條鏈路的某個環(huán)節(jié)但具體是哪一段還需要進一步定位。3. 手寫一個幀完整性校驗工具3.1 構造最小以太網幀并計算FCS要說對Ethernet幀完整性校驗的理解光看書肯定不夠。我當時為了讓自己徹底搞明白FCS的計算過程寫了一個很小的腳本去“造幀”自己拼一個最小以太網幀算出CRC-32再模擬接收方校驗一遍。整個過程不到幾十行代碼但對理解校驗邏輯非常有幫助。思路很簡單拼一個目的MAC是全FF廣播地址、源MAC是某個本地地址的幀EtherType字段填入0x0800載荷就放46個字節(jié)的測試數(shù)據(jù)。算一下FCSimport zlib import struct def build_frame(dst_mac, src_mac, ethertype, payload): frame dst_mac src_mac ethertype payload crc_val zlib.crc32(frame) 0xffffffff fcs struct.pack(I, crc_val) return frame fcs def verify_frame(frame): fcs frame[-4:] body frame[:-4] expected struct.pack(I, zlib.crc32(body) 0xffffffff) return fcs expected dst bytes.fromhex(ffffffffffff) src bytes.fromhex(001122334455) etype b\x08\x00 payload bytes(range(46)) full_frame build_frame(dst, src, etype, payload) print(frame length:, len(full_frame)) print(fcs bytes:, full_frame[-4:].hex()) print(verify result:, verify_frame(full_frame)) # 模擬傳輸過程中一個比特被翻轉 bad_frame bytearray(full_frame) bad_frame[20] ^ 0x01 print(verify result with flip:, verify_frame(bytes(bad_frame)))這里用到了Python內置的zlib.crc32它的底層實現(xiàn)恰好就是IEEE 802.3這套CRC-32參數(shù)多項式反射寫法是0xEDB88320初始值是全1輸入輸出都帶反射最后再做異或。所以不用自己寫查表邏輯。代碼里定義了兩個函數(shù)build_frame負責構造完整幀verify_frame負責把幀尾4字節(jié)當成FCS重新計算并比較。運行之后你會看到正常幀校驗返回True而把第20個字節(jié)翻轉一位后校驗立刻返回False。這個“翻轉一位就翻車”的效果正是CRC-32在鏈路層的務實價值它不保證你不被攻擊但能保證你不會把壞數(shù)據(jù)當成好數(shù)據(jù)繼續(xù)往上拋。3.2 離線驗證真實抓包數(shù)據(jù)自己造完幀之后我接下來做的一件事是拿一批真實的抓包文件做離線校驗。想直接從抓包文件里驗證FCS首先要面臨一個現(xiàn)實問題多數(shù)抓包文件保存的幀里根本沒有FCS字節(jié)。如果抓包時啟用了“完整幀保存”或者某些設備明確保留了幀尾FCS那么離線文件里的每一幀會包含完整4字節(jié)。需要逐幀解析pcap記錄pcap全局頭通常是24字節(jié)之后每一條記錄頭16字節(jié)記錄頭里的incl_len告訴你這條記錄實際捕獲了多少字節(jié)orig_len則告訴你網絡上的原始長度。如果incl_len比正常最小幀頭加最小載荷還要多出4字節(jié)或者和你已知的載荷長度對不上就值得去讀取最后4字節(jié)做校驗。import struct import zlib def parse_and_verify_pcap(file_path): with open(file_path, rb) as f: global_header f.read(24) while True: rec_header f.read(16) if len(rec_header) 16: break ts_sec, ts_usec, incl_len, orig_len struct.unpack(IIII, rec_header) packet_data f.read(incl_len) if incl_len 64 and orig_len 64: fcs packet_data[-4:] body packet_data[:-4] expected struct.pack(I, zlib.crc32(body) 0xffffffff) if fcs ! expected: print(ftimestamp {ts_sec}.{ts_usec:06d}: FCS mismatch)這段代碼只是示意不同鏈路類型比如帶VLAN Tag、帶元數(shù)據(jù)封裝會有差異但整體結構差不多。我實際跑批處理時發(fā)現(xiàn)一部分抓包確實能驗證通過另一部分文件里的幀尾4字節(jié)并不是有效FCS而是某些網卡驅動填充的占位數(shù)據(jù)這時候直接按FCS校驗就會出現(xiàn)大量“誤報”。所以離線校驗前最好先確認抓包工具到底有沒有存儲FCS別對著一堆占位數(shù)據(jù)空跑。3.3 單跳校驗通過之后的事從FCS角度看每經過一條鏈路、一臺交換機幀都會被重新計算一次FCS。也就是說端到端抓包時你看到的FCS已經是被中間設備“重新蓋過章”的版本而不是最初發(fā)送端蓋的章。這是理解幀校驗和上層校驗關系的關鍵。交換機從入端口收到一幀先校驗FCS通過之后再查轉發(fā)表修改某些字段比如TTL或MAC等涉及三層轉發(fā)的場景再重新計算一個新的FCS發(fā)出去。這個過程保證了“每一跳”的可靠性但每一跳都獨立完成上下游之間沒有狀態(tài)關聯(lián)。所以只靠鏈路層FCS沒辦法保證端到端的數(shù)據(jù)完整性應用層數(shù)據(jù)跨越多個網絡節(jié)點中間只要有一個節(jié)點軟件內部出問題就可能改掉數(shù)據(jù)后重新計算一個合法的FCS。這也是為什么TCP層還要有自己的校驗和到了更高層有些協(xié)議還會再做一次完整性摘要。鏈路層FCS是一道重要的防線但它只是縱深防御體系里的一道而不是唯一一道。實際排查問題的時候不要把“FCS校驗過了”當作“整條鏈路沒問題”的結論要理解每一層校驗各自保護的范圍。4. 從FCS異常反推鏈路故障4.1 CRC錯誤到底是在哪個環(huán)節(jié)產生的FCS異常的本質是“接收端算出來的校驗值和發(fā)送端寫的不一致”。那這個不一致通常在哪里被引入首當其沖是物理層雙絞線過長導致信號衰減、連接器氧化造成接觸電阻增大、網線內部線對絞距被破壞導致的串擾、電磁干擾源靠近線纜、光模塊老化導致光功率下降、光纖彎曲過大導致反射這些都會讓比特位在傳輸過程中“翻轉”。另一個常見來源是鏈路雙方的工作狀態(tài)不匹配。比如一端協(xié)商到了全雙工另一端卡在半雙工這種狀態(tài)在低速以太網上會出現(xiàn)大量沖突嚴重時幀會被截斷、撕裂接收端的FCS校驗自然過不了。尤其是強制雙工模式的時候風險更大因為雙方完全放棄了自動協(xié)商的握手確認過程。還有一個容易被忽視的環(huán)節(jié)網卡或交換芯片內部的處理邏輯。比如芯片收到一個長度異常的短幀Runt可能還沒來得及完整接收就已經把不完整的數(shù)據(jù)提交給上層模塊又比如交換機緩存不足時某個隊列被丟棄或部分丟棄也會表現(xiàn)為CRC錯誤或對齊錯誤。這類問題的物理鏈路本身可能是健康的。我自己的經驗是遇到FCS異常先不要急著懷疑線纜質量而是先看錯誤計數(shù)的分布特征。如果錯誤零散分布在多個端口那更像環(huán)境干擾或設備共有問題如果錯誤集中在一條鏈路的兩端那重點懷疑這條物理路徑如果只有一端報錯另一端完全干凈那可能是接收端硬件或驅動的問題。4.2 一套可以照抄的排查順序下面這套順序是我后來固定下來的排查流程不算特別復雜但每一步都有明確目的先收集兩側端口統(tǒng)計把CRC錯誤、FCS錯誤、對齊錯誤、短幀錯誤、丟包計數(shù)全部記下來。不要只看其中一個字段它們組合起來會給出更多線索。觀察錯誤增長速率和負載的關系。如果只在業(yè)務高峰時快速增長說明大概率是信號質量問題在高負載下被放大如果空載也在漲那問題可能很穩(wěn)定比如硬件損壞或接觸不良。做一次“物理層替換法”換線、換模塊、換端口。每換一個環(huán)節(jié)觀察一段時間計數(shù)。替換法最忌諱一次換好幾個東西那你就永遠不知道是哪個環(huán)節(jié)治好了問題。檢查協(xié)商狀態(tài)。確認兩端速率、雙工模式一致關閉強制的“非標準”配置再做對比。如果是在僅跑少量流量的測試環(huán)境可以嘗試顯式固定速率看錯誤是否消失。在鏈路兩端同時抓包并打時間戳比對兩端收到的幀數(shù)量和數(shù)據(jù)內容。如果入口流量正常、出口出現(xiàn)突發(fā)錯誤問題很可能在中間設備如果兩端都干凈但交換機計數(shù)在漲也可能是交換機內部統(tǒng)計口徑問題。如果錯誤只在某個特定網卡上出現(xiàn)更新驅動、固件并檢查網卡是否啟用了某些卸載特性比如接收側合并、Large Receive Offload這些特性在驅動實現(xiàn)有bug時會引發(fā)奇怪的數(shù)據(jù)異常。如果以上都做完了還沒找到原因再考慮設備硬件故障比如交換芯片的背板問題。這種情況通常需要換一臺設備或換一個板卡做隔離驗證。這套流程看起來基礎但能覆蓋絕大多數(shù)場景。尤其第3步的“每次只換一個環(huán)節(jié)”聽起來像廢話恰恰是無數(shù)現(xiàn)場工程師最容易因為急躁而犯的錯誤。4.3 故障速查表現(xiàn)象、原因與驗證手段為了隨時查閱我整理了一張速查表也算是對上面排查順序的一個濃縮現(xiàn)象可能原因先驗證什么可能的動作單端口CRC計數(shù)緩慢增長業(yè)務無明顯感知線纜老化、連接器接觸電阻、輕微電磁干擾端口協(xié)商狀態(tài)、線纜長度、兩端功率更換跳線、重新壓接水晶頭高負載下CRC計數(shù)快速上升信號衰減、光模塊劣化、雙工不匹配光功率、錯誤增長速率與負載關系更換光模塊、調整協(xié)商策略CRC錯誤伴隨對齊錯誤出現(xiàn)鏈路沖突、物理層幀截斷雙工狀態(tài)、線對序強制全雙工一致或更換線纜多端口同時出現(xiàn)CRC錯誤公共環(huán)境干擾、設備供電異常設備側電源、周邊大功率設備干擾整改布線路徑、調整電源更換模塊后計數(shù)短暫清零又復漲硬件插槽或背板鏈路問題換一個端口或設備對比進一步隔離硬件層級這里有一條通用原則CRC計數(shù)是一個“果”不是“因”。你從它著手去查問題沒錯但最終修復的一定是導致它的環(huán)境、物理鏈路、協(xié)商狀態(tài)或者硬件故障。神化統(tǒng)計字段容易把自己帶偏。5. 常見誤區(qū)和幾個實戰(zhàn)心得5.1 誤區(qū)一看到CRC上升就斷定是線纜質量差這類判斷太絕對了。很多情況下CRC錯誤來自驅動或設備內部的異常。我遇到過一次很典型的例子兩端口之間CRC計數(shù)持續(xù)上漲但把線纜、模塊全部換了一遍問題依舊。最后發(fā)現(xiàn)是某塊板卡內部背板鏈路的數(shù)據(jù)通路故障換了整塊線卡后才恢復。如果當時只盯著“換線”這一條思路根本走不到真正的根因。另一個容易被忽略的是虛擬化環(huán)境。虛擬交換機和虛擬網卡驅動在統(tǒng)計CRC時很多實現(xiàn)只是把宿主機物理網卡的統(tǒng)計原樣暴露出來并不代表虛擬鏈路上真的發(fā)生了比特錯誤。如果在虛擬化平臺上看到CRC上漲第一件事應該是確認這個計數(shù)到底來自物理網卡還是虛擬數(shù)據(jù)通路否則你容易把平臺自身的問題嫁禍給底層物理網絡。5.2 誤區(qū)二抓包工具顯示無錯鏈路就一定干凈這個誤區(qū)在上文已經提到過但它真的太常見了值得單獨拿出來再說一次。抓包工具默認拿到的幀是網卡剝離FCS之后的版本壞幀在進入?yún)f(xié)議棧之前就被丟棄了。所以抓包結果里每一條記錄都“光鮮亮麗”根本不能說明物理鏈路上沒有噪聲。想看鏈路健康度必須配合網卡底層計數(shù)否則你會被自己的抓包文件欺騙。反過來如果抓包工具里真的出現(xiàn)了CRC錯誤標記某些工具在捕獲引擎保留了壞幀時會有提示那說明這已經很嚴重了鏈路質量可能差到了一定程度。但普通場景下抓不到CRC錯誤反而是常態(tài)不要因為抓包結果好看就放松警惕。5.3 把CRC計數(shù)當作長期健康度指標排查完一個具體問題之后就可以建立一套自己的觀察習慣。我對接口統(tǒng)計的處理方式不是看某一個時間點上的絕對數(shù)值而是看趨勢。比如某端口的CRC錯誤計數(shù)今天比昨天多了300這個數(shù)量級在業(yè)務負載變化范圍內是否正常相比硬件報錯我更關心它是不是持續(xù)、單調地增長。持續(xù)增長意味著某個劣化過程正在發(fā)生可能是光模塊的激光器在緩慢衰老也可能是連接器在逐漸氧化。建議每隔一段時間把關鍵端口的統(tǒng)計拉出來存一份基線等變更發(fā)生后做對比。這個辦法成本極低但對解決問題幫助很大。真到問題爆發(fā)那一刻你能立刻判斷出“這個錯誤是什么時候開始變多的”“最近改了什么東西”遠比現(xiàn)場抓瞎要強。對于光口順帶關注光模塊的收發(fā)光功率變化趨勢光功率下降往往比CRC計數(shù)增長提前幾天就發(fā)出預警這算是我自己比較受用的一個小技巧。還有一個小習慣拿到一臺新設備或者新網卡先做一次短時間高負載收發(fā)測試把錯誤統(tǒng)計清零再觀察。每個硬件對誤碼的容忍度不一樣過早做基線反而容易在基線里埋入大量背景噪聲。等確認鏈路在干凈狀態(tài)下跑穩(wěn)了再開始記錄正?;€之后每一次統(tǒng)計異常都會很有參考價值。做鏈路分析做得時間長了我對“Ethernet幀完整性校驗”這串詞的感受已經從“一個CRC寄存器”變成了一整套觀察鏈路健康度的視角。自己動手寫校驗腳本、跑真實數(shù)據(jù)、被虛驚嚇過、也被真正的根因折磨過這些過程確實是把知識變成能力的最好方式。如果你下次再遇到CRC相關告警不妨先冷靜下來把統(tǒng)計字段、抓包位置、物理鏈路狀態(tài)這三樣東西擺到桌面上再決定要不要動手拆線纜。我個人的體會是絕大多數(shù)FCS異常都能通過一張清晰的排查順序表快速收斂真正難的從來不是修而是判斷該修哪里。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久精典| 成人操呦av| 99热这里只有精品2| 九月停停| 成人片在线播放| 99亚洲大片精品永久在线观看| 九九爱精品网站| 五月亭亭狠狠| 亚洲mm色| 五月婷婷干干干| 亚洲精品久久久久久久久久吃药| 五月婷在线观看| 婷婷五月综合在线| 色综合色色色色| 26UUU欧美| 涩涩网五月天| oumeisesewang| 久久天堂精品| 日韩三十六页| 国产人妻777人伦精品HD| 激情五月综合亚洲另类| 99热只有这里才是精品| 欧美色播综合在线观看| 丁香六月综合激情| www.com亚洲网站在线免费| 99热精品在线| 天天日天天插| 久久女婷| 亚洲综合99| 怡红院精品视频久久久久久久久| xxxx五月| 五月丁香婷婷无码中文| 五月激情啪啪啪| 亚洲偷| 任你操精品免费| 色欲操| 91疯狂操操操操| 97在线观看| 色爱99| 五月婷婷色情| 五月婷婷色情| 丁香婷婷六月激情综合| wwccc久久久| 玖玖爱资源站| 97热在线精品| 久久婷婷综合基地| 精典久久| 亚洲中文av| 激情婷婷五月社区| 97日本在线| 亚洲精品久久久久久久久久飞鱼| 日韩一区二区A片免费观看| 99欧州偷拍视频| 亚洲人成人五月天| 婷婷五月六月| 九色无码| 五月丁香婷婷在线| 九九热在线视频| 色色色国产| 综合成人小说婷婷| 播五月丁香三月婷婷| 深爱激情av| 一夜福利不卡| 26UUU亚洲欧美| 欧洲亚洲免费视频9| 99久久婷婷五月综合| 色婷婷狠狠久久综合五月| 粉嫩AV久久一区二区三区| 99ri国产| 国产午夜伦鲁鲁| 色色色热| 艹色18p| 99在线免费视频| 久久99热这里只有精品| 99热99在线| 色婷婷av综合网| 免费在线观看AV网站| 99精品视频在线观看| 色色a| 亚洲av网站| 激情五月天啪啪| 久婷五月| 最近中文字幕大全免费版在线| 婷婷丁香成人| 久久久潮喷-久久久九九-成人AV| 91色噜噜狠狠狠狠色综合| XX久久| 综合另类视频| 天天开心AV色综合婷婷五月天| 玖玖精品视频99| 天堂草在线观| 超碰97干| 美女五月天婷婷| 色婷婷婷综合五月天| 亚洲天堂亚洲色色色| 国产熟女日日骚五月丁香爱| 99色视频| 欧洲电影在线观看免费版英语版 | 色五月五月丁香| 淫水导航| 99热这里只有精品在线观看| Aaa久久| 91九色 熟| 亚洲免费视频网站| 婷婷五六日| 五月丁香基地| 91精品丝袜久久久久久| 夫妻超碰在线| 婷婷五月天视频小说| 精品久久艹| 六月婷婷激情图片| 五月 婷 久| www热久久yy9| 欧美成人精品一区二区| 91日本在线观看| 在线看AV| 色婷婷激情小说网| 亚洲精品99| 久久受www免费人成| 亚洲综合成人网站| 天天狠狠色| 天堂综合久久| 久久电影五月天丁香电影| 久久五月网| 色色色视频| 五月天最新网| 艹B高清无码| 9福利性视频欧美| 色婷婷丁香五月丁香| 久热免费| 婷婷五月色花丁香社区| 丁香五月网| 99热这里只有精品1025| 人操人| 五月色婷婷影视在线电影| 丁香五月天啪啪| www.99热| 天天干天天日天天插| 五月天婷婷AV| 五月色婷婷夜色| 99热久只有| 99热在线播放| 久久伊人婷| 综合激情五月综合激情五月激情1| 丁香五月成人网| 成人做爰A片免费看视频| 99久久新视频| 婷婷五月天激情亚洲小说| 综合激情在线| www.99久| 色播播五月天| 五月天六月丁香| 色综合久久天天综合网| 非洲一级AV| 欧美综合激情五月天| 婷婷久久五月天| 91AV婷婷| 亚洲九九夜夜| 五月丁香在线视频观看| 国产日比| 婷婷五月色影视先锋| 天天综合网站| 丁香六月天婷婷在线| 色婷婷九月| 丁香六月啪啪啪| 成人在线视频一区| 成人视屏在线观看| www.婷婷| 婷婷五月天亚洲天堂| 日日爽日日| 九九精品系列| 无码色| 影音先锋91| 人人草人人爱| 婷婷色导航| 超碰亚洲天堂| 99热在线99| www.狠狠| 99热99这里只有精品| 最近免费中文字幕大全高清大全1| 婷婷五月天AV网| 激情四射五月天| 久久永久视频| 伊人综合网站| 天天天干夜夜夜操| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 激情综合色婷婷啪啪六月天| 91精品婷婷国产综合久久| 91热久久| 怎么样可以看免费的一级av| 国产va视频| 伊人五月婷婷国产视频| 婷婷丁香18| 成人五月天婷婷| 婷婷欧美| 婷婷五月天狠狠| 丁香九色不卡aaa| 激情视频综合| 99热热九九| 香蕉AV777XXX色综合一区| 五月色无码| 色婷婷亚洲综合天堂| 欧洲MV日韩MV国产| www.色婷婷.com| 婷婷色影院| 国产又黄又爽又色的免费| 五月丁香婷婷五月色| 97人人干| 91人人爽狠狠狠| 玖玖伦理电影| 超碰色女人| 五月天综合网| 思思热AV| 情五月亚洲婷婷| 日日操无码| 8区视频在线| 五月天婷婷色紫薇阁| www.婷婷激情网.com| AV成人在线播放| 狠狠 婷婷| 光棍影院日韩精品| 亚洲免费综合一区| 六月激情网| 五月天婷婷人妻| 九月丁香婷婷综合| 亚洲另类AV| 色婷网| 国产看真人毛片爱做A片| 草做免费在线观看| 电影蜘蛛女| 婷婷人妻激情| 国产91资源在线| 五月婷啪啪| 极品 少妇 内射| 99久久新视频| 激情五月天.色网| 六月婷婷综合激情| 九九激情| 直接看的av| 久久亚洲网| 99久热在线精品| 淫视馆av三区| 亚洲国产99| 大香蕉久热| 日韩av手机在线观看| 久99视频在线观看| 五月丁香色六月激情干大屄| 中文字幕 久久9999| 色五月婷婷久久| 中文字幕高清av| 桃色成人网| 婷婷网五月天| 俺去也五月天婷婷| 色婷婷www| 亚洲五月天另类小说图片| 亚洲五月天狠狠| 五月婷在线| 98永久精品| 青青草伊人婷婷| 91久操| www色色com| 九月av| 久久精热| 激情综合99| 99精品综合视频| 另类综合婷婷五月天欧美视频| 亚洲丁香五月美女| 五月丁香 啪啪啪| 色五月丁香激情视频| 狠狠操综合| 婷婷内射视频在线| 97热久久| 婷婷综合| 色综合久久88色综合天天人守婷| 99热久久最新地址| A久网| 五月婷婷婷婷婷婷艺术| 色综合射婷婷| 夜色综合网| 99精品视频在线观看| 色婷婷狠狠干芒果TV| 伍月婷婷六月丁香| 婷婷色在线视频| 五月丁香久久久久| 色区久久| 国产乱人偷精品人妻A片| 99自拍视频在线| 激情五月天视频| 99热精品在线| 99精品久久久久久久久| 天天肏高清在线| 丁香五月91| 午夜成人AV在线| 六月五月丁香五月欧美| 永久地址 色| 婷婷激情社区| 在线另类| 影音先锋AV资源男人站| 超碰二区| 能看的AV网站| 丁香五月婷婷AV在线| 色婷婷精品视频| 婷婷啪啪| 9色小视频在线观看| 九月婷婷在线观看| 丁香五月综合高清在线| 久久免费婷婷视频| 91操操| 八戒青柠影视剧在线观看| 99九九这里有免费视频| 99久久99久久综合| 日日射天天射| AV在线免费播放| 开心五月天激情网| 99精品偷拍视频| 69精品人人人人| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲AV网址| 夜夜躁狠狠 | 久久婷婷五月综合啪| 五月停亭六月,六月停亭的英语| 五月丁香综合网色欲| 日日操人人操| 99热| 久久久.COM| 丁香五月深爱五月婷婷| 成人丁香五月| 中文网婷婷字幕婷| 五月色欧洲| 超碰成人av| 亚洲精品无码99热| 華人性愛AV在線| 99热这里只有精品免费| 婷婷中文字幕网站| 98毛片| 99性爱视频| 三人荫蒂添的好舒服A片| 九九色色色| 丁香色啪综合| 狠狠干,狠狠操| 成片免费观看大全| 婷婷网五月| 激情网五月| 久久综合色情网站| 91人人爽久久涩噜噜噜| 好吊兆人妻| 婷婷五月天成人导航| 综合五月婷婷| 天堂久久大香蕉| 夜夜做天天爽| 国产精品人成A片一区二区| 日韩av在线免费观看| 人妻操操色| 丁香五月天啪啪| 天堂网色色| 国产精品A片| 久久五月天婷婷| 婷婷综合色色| 色优久久| 视频综合网| 成人在线精品| 粉嫩av蜜桃av蜜臀av| 26uuu亚洲| 日日噜噜夜夜狠狠久久丁香五月| 99热这里只有精品69| 五月天com| 色热久| 最新va在线播放| 成人精品网站在线观看| 夜夜操夜夜操| 午夜成人综合| www久久艹| 欧美婷婷色五月网| 天天摸天天透天天舔| 五月天天综合网色婷婷| 色色A| 丁香花婷婷五月天| 欧美日本国产欧美日本韩国99| 视频一区二区在线| 婷婷五月在线播放| 国产无人区大片| 人人摸人人澡人人| 婷婷五月天AV| 色色色免费视频| 激情综合色| 99热.com| 丁香五月激情婷婷激情| 91久久网站| 精品A√| 九月婷婷综合在线| 久久精典| 色插综合网| 久久精品一区二区三区四区| 色色网站| 99久久99九九九99九他书对| 无码AV免费精品一区二区三区 | 狠狠擼综合| 色综合综合综合| 人人摸人人干人人做| 色婷婷aV四虎| 婷婷五月丁香香蕉| 婷婷综合伊人丁香| 色欲五月婷婷| 最近中文字幕2019视频1| 色五月天在线| 日韩综合久久| 性做爰A片免费视频A片直播| 婷婷社区五月天| 色九月婷婷综合| 日韩色色视频| 噜噜久| 亚洲无码成人| 婷婷五月激情欧美大胆视频| 久久3p| 丁香五月天信号| 婷婷五月丁香图片人人操| 六月丁香影院| 久久五月天婷婷视频| 天天射天天插天天干| 婷婷久久综合久色| 五月婷婷中字在线| 大天天伊人| 中文av网| 天天日综合| 婷婷五月天伊人在线| 极品嫩草| 久久A极片| 97欧美在线| 五月丁香六月激情综合啪啪| 9久久久久久久久久久| 亚洲精品久久久无码| 色五月天本日| 99热国产这里只有| 欧美在线看| 91 九色大美女| 九九热10| 五月丁香六月综合激情| 天天操天天爽天天爱| 97碰人人操| 成人国产欧美大片一区| 26UUU精品一区二区| 亚洲成人在线五月天| 噜噜色天天开心| 综合久久8| www.超碰| 久色视频| 色玖玖综合网| 丁香五月社区| 五月婷婷五月丁香| 婷婷丁香激情| 精品福利911| 影音先锋噜一噜| 爱狠射| 777米奇影视第四色| 中文久久婷婷| 激情五月婷婷五月丁香五月开心五月| 九月色婷婷综合| 欧美欧盟性爱网| 亚洲AV第二区国产精品| 丁香婷婷婷婷十二月在线观看视频| 99在线免费视频| AV五月丁香| 婷婷丁香五月婷婷| 综合网五月| 婷婷丁香五月噜噜噜| 五月婷五月婷伊人伊人五月婷| 9久久久| 亚洲成人网址在线观看| 色婷婷很很十八禁| 中文字幕视频色婷婷| 97香蕉久久超级碰碰高清版| 九九热精品99| 99热新网址| 久久九九热视频| 婷婷五月丁香六月天亚洲综合| 激情丁香淫荡婷婷| 久久香蕉婷婷五月天| 99热这里在线精品| 丁香五月婷婷综合视频| 亚洲激情高潮| 天天综合网亚洲综合网| 51avj视频大全| 九九性视频| 五月丁香操亭亭网| 婷婷亚洲五月| 亚洲六月色婷婷| 97碰碰视频| 超碰日日操| 懂色av蜜臀av粉嫩av永陈冠希| 丁香六月婷婷缴情欧美| 九九九激情网| 成人短视频免费观看| 秋霞日本免费毛片A片| 99精品97| 66精品国产成人| 另类色视频| 亚洲婷婷丁香五月天激情小说| 婷婷色五月亚洲| 久久成人综合五月天| 五月激情基地| 午夜成人综合| 亚洲无码色| 欧美槡BBBB槡BBB少妇| 国产精产国品一二三在观看| 色综合播放| 免费啪啪啪网站| www一起操| 91碰碰碰| 中文字幕色色色| 99热视精品| 久久a热| 婷婷天堂综合| 免费视频在线观看的网站| 色噜噜狠狠狠狠色综合久欧美| 国产在线视频1234| www.粉嫩av.com| 久99久热只有精品国产99| WWW,五月| 97干在线视频| 五月婷婷9| 另类视频一区| 亚洲色情在线| 色色色热| 亚洲四色五月| 激情5月婷婷狠狠干| 婷婷五月视屏| 91一起操| 久久婷婷丁香| 天天做 天天爱| 亚洲综合无码| 五月停视频天堂| 大香蕉综合| 天天操天天日天天操| 婷婷操久久| 亚洲成人AV电影在线| 婷婷六月天天| AⅤ色区| 99亚洲视频| 色伊人91在线视频| 五月天色色色| 色五月大| 沈娜娜av| jiujiu无码五区| 五月丁香色婷婷色| 91狼友视频网页更新| 婷婷五月激情网| 99免费热视频| 精品色色| 五月天婷婷色在线视频免费观看| 99热这里有精品| 欧美精品在线观看| 久久中文人妻系列| www.91九色| 91操女| 久久久er热| 精品婷婷| 伊人www22综合色| 午夜电影网VA内射| 亚洲国产精品二二三三区| 影音先锋一区| 操逼巨乳91| 国产成人一区二区三区在线观看 | 日本少妇裸体做爰高潮片| 五月天久久www| 天天操夜夜橾| 久久女伦| 欧美人人草| 国产精产国品一二三在观看| www.激情五月天.com| 久婷婷婷| 成人 视频免费观看网站| 婷婷婷婷色| 大香蕉在线99热| 五月丁香综合精品| 国产特级毛片AAAAAAA高清| 婷婷五月丁香av网站| 日韩色久| 亚洲成人av在线| 色五月av| 欧美日韩成人在线观看| 另类激情综合| 五月天婷婷基地综合网| 丁香五月人妻| 色欲九区| 婷婷丁香18| 91vip在线观看| 婷婷久久五月天丁香| 国产AV不卡福利| 五月花在线观看视频| 五月婷婷之综合激情在线| 激情五月天色婷婷| 青青色com久久| 天天摸天天透天天舔| 日本在线wwww| 久艹大香蕉| www.五月婷婷.com| 色婷网| 激情网第九色| 亚洲精品V天堂中文字幕| 热的国产,热的综合,热的有码| 色婷五月| 成年人99热| 91精选国| 开心激情站| www.jiujiujiu| 120分钟婬片免费看| 噜噜噜噜噜久| 婷婷五月天VI| 日日夜夜干| 操碰99| 丁香五月天啪啪| 先锋资源996| 99热传媒| 天天久久狠狠色综合| 性爱网五月天| 亚洲性天天| 成人在线观看国产| 久久婷婷成人综合色怡春院| 激情伊人| 桃色五月婷婷| 伊人网啪啪| 丁香午月AV中文字幕| 亚洲精品无人区| 激情五月综合色婷婷| www.久操| 天天插天天爽| 思思热久热| 国産精品| 九九XX视频| 操九色| 2020久久婷婷五月| 97婷婷狠狠久久综合9色| 五月天色色网站| 日韩精品色| 人妻九九九九| 五月天色软件| 日日综合网| 色99热| 色婷婷综合网| 午夜色丁香| 可以看的av| 色婷婷五月中文字幕在线dvd| 色综合综合色| 五月天六月婷婷电影| 免费AV在线| 婷婷丁香社区| 特黄三级片| 青青草原福利在线| 色婷婷五月天亚洲| 婷婷激情综合色五月久久图片| 99热在线播放| 99热伊人| 九九在线视频| 深爱五月最新网址| 色五月成人婷婷| 超碰97久久| 丁香五月天成人| 丁香五月天色婷婷| 操操自拍| 99热精品无码| 99久久九九| 99爱这里只有精品| 99re66热这里只有精品| 99热丁香五月| www.色情五月天.com| 男女啪啪做爰高潮无遮挡| 欧美久久婷婷| 欧美精品18| 久久这里有精品在线观看| 就要爱综合| 大香蕉99热| 欧美人人超级碰| 日韩在线视频9色| 色综合天天| 激情伊人五月天| 亚洲av网站在线观看| 日日夜夜狠狠操| 人人看人人要| 一起草Av| 丁香婷婷色情| 丁香五月天激情网| a网站免费观看| 丁香婷婷色九月| 中文字幕天天干| 两性婷婷丁香五月| 亚洲性爱AV在线| 亚洲天堂色色| 六月丁香激情网| 婷婷久久亚洲| 99操碰| 亚洲婷婷久久综合| 五月丁香六月婷婷色情| 能看的AV| 九九色综合网| 大香蕉九九| 五月丁香黄色视频| 久草热在线视频| 丁香婷婷基地| 天天日天天色| 日韩AV免费电影在线播放| 97色婷婷| 久久五月丁香综合| 99资源人人| 1234操逼网| 六月婷婷九月丁香| 国产操碰| 婷婷成人综合免费视频| 五月丁香六月合| www.av骚货| 五月婷婷之综合激情| 五月丁香另类图片| 婷婷丁香九月| 婷婷五月天av| 不卡成人免费| 99狠狠| 久久久久久欧美精品se一二三四| wWwCom夜操wwW| 国产精品五月丁香| 女人天堂 AV| 色五月婷婷五月天| 99色视频在线| 日韩青青| 任你爽精品免费视频6| 久久永久网址| 66精品成人免费网站在线观看| 免费视频99| 一起草AV| 嘿嘿视频免费看9| 99久久99视频| 99热在这里只有免费精品| 丁香五月激情视频在线| 天天日天天干天天操| 狠狠干综合| 无码少妇高潮喷水A片免费| 欧美情色一区| 十区AV| 五月丁香六月婷婷亚洲天堂网站| 婷婷五月天激情视频| 婷婷久久色| 五月婷婷色| 久久久五月天婷婷| 婷婷久久综合久| 综合色综合| 五月丁香久久综合| 91国产精品视频播放| 六月丁香中文字幕| 亚洲精品操一操、噜一噜、摸一摸、爽| 五月天婷婷导航| 伊人婷婷大香蕉| 久99| 日韩另类在线观看| 另类图片 五月激情| 五月天婷婷基地| 无码激情AAAAA片-区区| 婷婷六月天天| 亚洲精品白浆高清久久久久久| 色综啪啪| 丁香六月av| 天堂综合久久| 国产在线网址1| 99爱视频精品在线观看| 丁香色婷婷五月天| 伊人综合网站| 大香蕉久艹| 日日日日操| 99无码视频| 99riAV国产精品视频| www.lingjunshare.com| 六月激情综合| 99久在线观看| 婷婷丁香五月色| 婷婷五月在线影院| 亚洲在线激情婷婷五月| 婷婷五月天无码| 97日韩无套内| 狠狠久久婷五月综合色| 99欧美| 亚洲 视频 导航 一区| 伊人久久丁香婷婷六月五月综合| 丁香五月色| 大香蕉五月天婷婷| 色婷婷激情四射视频| 七七色综合| 色 五月婷婷基地| 五月婷在线| 色情综合| 天天久久狠狠色综合| 97香蕉人人在线观看| 我要射综合| 国产精品18久久久| 这里只有精品视频222| 99热在线精品播放| 五月天天综合| 午夜九九九九九九九九九九九九九| 日韩国产AV播放| 一本伊人色婷| 国产九月婷婷| 婷婷六月久久综合导航| 清纯唯美 激情四射| 午夜不卡成人一区二区| 成人亚洲精品久久久久| 婷婷基地五月色| 666555。COm毛片| 色五月激情基地| 久久免费少妇高潮99精品| 激情五月网站| 激情综合网婷婷五夜| 五月丁香激情深爱婷婷| 五月婷九月| 丁香五月婷久久| 色婷婷五月天堂资源| 天天弄天天操| 啄木鸟黑丝一区二区| 色色色热| 婷婷六月天激情影院| 91精品刘玥| 丁香六月亭亭久久综合| 午夜日韩久久久网站| 婷婷五月天国产在线播放| www.无码com| 伦乱天堂| 夜夜躁狠狠 | WWW、日本色丁香、co m| 五月色丁香视频精品| 九九九九中文字幕| 99热在线观看精品| 丁香婷婷六月激情文学 | 久久小说网| 天天天摸夜夜夜玩| 五月丁香中文婷婷中文| 亚洲天堂啪啪| 影音先锋xfplay资源男人网| 国产毛片精品一区二区色欲黄A片| 思思热性操| 九九九九无码| 亚洲成人免费电影| 五月丁香婷婷国产精品综合| 99热亚州综合| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99亚洲精品视频| 激情综合网五月婷婷| 日本九九热| 婷婷五月天精品| 99操| 丁香六月亚洲综合| 免费97碰碰| 久热无码| 色婷婷精品| 丁香五月激情婷婷视频| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月丁香婷中文字幕| 亚洲色综合色网| 俺去也综合| 九九亚洲视频| 婷婷五月天天天日日夜夜| 九色激情| 99热这里有精力| 99热99热99热99热| 婷婷在线视频| 99自拍视频| 狠狠搞亚洲| 五月丁香婷婷啪啪| 91婷婷丁香五月亚洲| 国产激情综合| 影音先锋777xfplay色资源网站| 色色色欧美| 男同色五月开心五月激情五月| 91九色国产| 五月天影院| 成人深爱丁香五月| 日韩黄色电影| 婷婷中合| 色婷婷五月天在线观看| 噜噜在线| 国产在线6| 色私五月婷婷| 丁香九色不卡aaa| 伊人在线视频| 五月丁香免费看| 99久久五月婷婷| 白天AV月月| 五月丁香六月久久| 91pornav在线| 玖玖九九9999在线观看视频精品| 精品国产乱码久久久久久免费| 六月激情综合| 婷婷综合网| www久久久| 婷婷五月色| 亚洲激情AV| 天天噜日日噜综合无码| 超碰资源在线| 9月色婷婷| 婷婷色操| 九九99九九99偷拍视频免费看| 五月综合在线| 婷婷综合视频| www.henhenl| 综合另类视频| 超碰在线看| 天天色视频| 操骚货在线| 五月婷婷综合网| 精品一二三区久久AAA片| 丁香五月影院| 热热色色五月天婷婷| 91在线观看九区| 久久久五月天婷婷| www.色色com| AV动漫不卡无码免费| 婷婷射图| 五月天丁香六月综合| 开心五月天私房婷婷| 婷婷五月丁香狠狠| 全部老头和老太XXXXX| 婷婷99狠狠| 国产成人精品一区二三区熟女在线| 久草热8精品视频在线观看| 人妻丰满精品一区二区A片| 久久五月天激情| 久久99免费视屏| 婷婷午夜精品久久久| www,8050,午夜三级| 六月婷婷日| 亚洲99精品欧美一区| 婷婷久久丁香五月| 五月综合久久| 丁香婷婷五月天成人| 六月色激情| 亚洲色情久久| av在线色五月丁香婷区久| 国产精品久久久海的味道| 婷婷99中文字幕| 99精品成人无码A片观看金桔| 97人碰人操| 97色97干| 影音先锋 91工厂| 国产精品久久久海的味道| 婷婷五月色| 色吧婷婷五月亚洲| 亚洲色人妻| 99区视频| 六月婷婷激情| 五月丁香激情综合| 丁香五月成人丝袜| 五六月婷婷| 久久黄色片| 日韩视频99| 激情综合五月丁香六月婷婷| 久久久宗合| ss99热| 日本一级| 一级片无码| 色色吧综合| 欧美日韩aaaa| 337p大胆噜噜噜噜噜91Av| 新男人天堂人妻| 五月丁香网av| 九九热婷婷| 午夜天天精品视频| 五月丁香啪啪啪综合网| 五月综合六月婷婷| 99亚洲视频| 五月天色色色色色| 免费日韩99| 色色五月婷婷久久| 91精品刘玥| 丁香五月天激情婷婷丁香六月 | eeuss人妻| 久热免费视频| 伊人久久大香线蕉精品| 欧美日韩91| 五月天播播中文字幕| 精品欧美性爱超级爽| 99九九久久| 五月婷久久综合| 久久永久网址| 日本女人久久| 五月丁香婷婷激情爱爱| 天天做天天爱天天爽在| 中文字幕在线免费观看视频| 丁香五月婷婷激情完整版| 色 五月婷婷基地| 欧美成人va| 久久精典| 狠狠干综合网| 免费观看2018www黄色操逼网站| 狠狠色情婷婷| 黄网在线播放| 九九激情综合| 91超碰在线播放| 久九九热| 强伦轩人妻一区二区电影| 五月丁香六月片| 天天做天天干天天综合网| 激情五月天小说网| 超碰激情网| 久久婷婷91| 五月丁香黄色| 色九九九九| 丁香五月激情月| 橾逼网| 婷婷五月乱交换| 99re最新地址| 丁香啪啪中文字幕| 一级A片天天操夜夜操| 9热网站| 国产99视频永久免费| 精品亚洲国产成人A片在线鸭王| 婷婷免费精品视频| 中文av网站| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 99热播放| 99热精品在线观看| 99热这里只有精品66| 97操碰| 婷婷丁香六月天| 精品无码av丁香五月激情| 激情五月天综合网| 激情小说五月丁香在线视频观看视频| 久久婷婷热| 九九色逼| 99re热| 国产成人精品一区二区三区视频 | 五月天综合影院| 亚洲成人av在线观看| 可以看的AV网站| 亚洲色婷婷五月天| 色99在线视频| 欧洲永久精品| 操操操97| 亚洲五月花| 日韩 中文 欧美| 五月丁香六月欧美综合网站| 99色色网站| 色综合综合综合| 五月婷婷丁香俺日污视频| 丁香五月综合激情性爱| 另类在线| 伊人六月丁香婷婷| 色婷狠狠| 婷婷亚洲影院| 五月婷婷久久综合| 久久丁香网| 99在线免费视频| 色播五月婷婷综合| 日本成人内射| 午夜激情婷婷| 妻久久久久| 日本A片一区| 色欲婷婷五月天| www.久久五月天.com| 国产亚洲99久久精品熟女| 一起草Av| 九九热在这里只有精品| 91嫩草久久| 91丨九色丨国产打屁股| 久久精品亚洲一级牲爱综合| 婷婷激情在线| 久久精品99国产精品日本| 精a品a| 九九视频免费| 亚洲成人精品三区| 五月婷丁香| ss视频xx91| 色五月首页| 国产九月婷婷| 狠狠色丁香| 色色丁香激情五月| 婷婷五月天色色| 色综合99色| 亚洲无码99| 五月天亭亭俺也| 怡红院99| www.久久爱.com| 秋霞AV吧| 另类视频在线| 久久开心五月天激情| 天天搽天天射| 国产亚洲网站在线| 色色色色色色色色色影院| 黄网免费看| 狠狠干五月丁香综合网| 亚洲精品乱码久久久久久按摩观| 婷婷五月天久| 第九色区av天堂| 亚洲黄色精品| 五月情色天| 亚洲综合字幕色色| 少妇婷婷五月天| 国产高清av黄色看片| 婷婷五月天成人网| 五月天婷婷成人| 深爱网深爱综合网| 美女网黄| 永久热91| 日本色色视频| 亚洲国产精品VA在线看黑人| 久久久婷婷婷| 狠狠操综合| 3www激情| 色五月五月丁香| 天天爱天天日| 亚洲天堂久久| 26.uuu丁香五月婷婷| 91碰操| 综合狠久久| 色婷婷成人做爰A片免费看网站| 欧美人妻一区二区| 婷婷丁香宗合888| 久久美女五月天| 婷婷综合色播网| 79色色免费| 丁香五月老师| 亚洲天天免费| 天天日日人| 草综合网| 九九成人精品免费视频| 成人av在线电影| 欧美天堂久久| 99人妻碰碰碰久久久久视| 91精品综合久久久久久五月天| 97人人干视频| 天天干天天日蜜臀av| 精品国产一区二区三区四区阿崩| 色区久久| 九月色婷婷| 99激情| 国产真人做爰视频免费| 99视频内射三四| 色婷婷丁香A片区毛片区女人区| 婷婷综合视频| 婷婷啪啪| 香蕉久久国产AV一区二区| 国产成人精品亚洲线观看| 五月天婷婷久久| 欧美电影在线播放| 777米奇影视第四色| 疯狂做受XXXX高潮A片| 操老逼综合网| 97色综合| 超碰在线网站| 国产av基地| 婷婷色五月丁香六月欧美啪| 大香蕉九九| 五月天伊人av| 东北婷婷五月天| 丁香五月开心婷婷| 99色精品| 91色综合网| 99热66| 精品一二三区久久AAA片| 亚洲丁香花五月丁香花| 久久这里有精品在线观看| 武汉美女啪啪视频免费一级片| 婷婷五月伦理网站| 极品人妻VideOssS人妻| 成人丁香色| 色9999日韩国产| 欧美槡BBBB槡BBB少妇| 久超免费视频| 欧美色九| 人人色婷婷五月天| 婷婷五月天伊人网在线观看视频| 丁香五月婷婷综合网| 久久激情五月婷婷| 91久久久久久久久| 天天日天天插| 六月色 亚洲| 996热re视频精品视频| 色婷婷成人丁香| 天天干天天操| 五月色婷婷中文字幕| 婷婷五月影院| 欲求不满的人妻| 9|无码久久久久久| 五月丁香综合伦理片| 99热无码| 色色色色色色色色综合网| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色色亚卅| 日本女人久久| www.色婷婷| 97精品综合久久内射| 97人人干人人操| 五月天婷婷激情春色小说| 97色女人在线| 狠狠CAO日日穞夜夜穞AV| www99在线观看视频| 深爱1激情网| 五月天婷婷操逼视频| 五月婷婷深深爱| 新激情综合| 久久99热这里只有精品23| 涩涩涩五月天| 99性爱| 99啊精典免费视频| 久久这里面只有精品视频| 五月丁香成人视频| 九九性视频| 中文字幕激情综合| 99热在线中文字幕| 五月丁香91| 中文字幕人妻一区二区| 婷婷丁香五月天哟啪| 五月天综合在线观看| 激情综合五月| 欧美久久网| 久狠日av| 丰满人妻一区二区三区| 久久久五月婷婷| 操一操插一插| 97碰在线视频| 99精品在线观看视频| 激情婷婷五月天日本系列| 99成人| 五月婷婷久久大香蕉| 色五月婷婷内射| 国产精品美女久久久久AV超清| 97在线/亚洲| 激情亚洲网| 日本精品人妻无码77777| 99操逼视频| 激情丁香五月婷婷| 色吧婷婷五月亚洲| 激情综合网五月在线播放| 99色精品| 雪千夏麻豆| 夜夜操少妇| 99精品综合视频| 婷婷丁香花五月天| 久久婷婷五月免费视频| 丁香色婷婷色手机免费在线| 五月天六月丁香| 中文字幕在线观看视频www| 五月香蕉网| 婷婷久久亚洲| 九九精品免费视频99| 五月婷婷六月丁香综合视频在线| 任你草| 97碰久久| 成人av在线网站| 91久久九久久九久久九久久九久久| 色婷婷色五月天| 色操综合| av中文网站| 百度一下国产精品A| 欧美视频在线观看噜噜| 亚洲爆乳无码精品AAA片蜜桃| 色婷婷婷av | 亚洲色五月| 人人摸人人操人人爽| 91丨九色丨白浆秘| 国产精品色婷婷久久久精品| 精品导航在线x不卡| 人人舔人人| www.99热精品99.com| 五月天综合婷婷| 五月激情久久| 99热精品在这里| 69人妻人人澡人人爽久久| 99热这里只有精品8| 六月丁香婷婷色狠狠久久| 久久久27操| 人妻精品在线| 五月天婷婷视频|