免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

UFS 3.1協(xié)議深度解析:從分層架構(gòu)到WriteBooster與HPB實(shí)戰(zhàn)

UFS 3.1協(xié)議深度解析:從分層架構(gòu)到WriteBooster與HPB實(shí)戰(zhàn) 1. 項(xiàng)目概述與核心需求解析1.1 為什么要寫UFS 3.1協(xié)議分析UFSUniversal Flash Storage通用閃存存儲在移動設(shè)備和嵌入式系統(tǒng)里已經(jīng)全面普及這幾年從UFS 2.1到UFS 3.0再到UFS 3.1中間還穿插著UFS 2.2這種過渡版本整個演進(jìn)節(jié)奏非常快。我最初接觸UFS 3.1協(xié)議分析的時候手頭正好在做一款旗艦級移動平臺的存儲子系統(tǒng)適配芯片端的主控和UFS 3.1的Flash顆粒之間頻繁出現(xiàn)鏈路協(xié)商異常、命令超時和吞吐量不達(dá)標(biāo)的問題。那時候才發(fā)現(xiàn)光會調(diào)驅(qū)動、看日志遠(yuǎn)遠(yuǎn)不夠必須真正理解協(xié)議層的機(jī)制尤其是UFS 3.1相比老版本引入了哪些新特性、這些新特性又依賴哪些協(xié)議字段和交互流程才能真正定位問題。這篇博文我想做的事是把UFS 3.1協(xié)議分析中最基礎(chǔ)也最關(guān)鍵的框架性內(nèi)容整理出來。它不是一個完整的JEDEC規(guī)范翻譯也不是針對某個廠商主控的調(diào)試手冊而是從協(xié)議分層的視角把UFS 3.1是什么、為什么需要它、它如何工作、調(diào)試時需要盯住哪些點(diǎn)講清楚。適合的讀者包括剛進(jìn)入存儲行業(yè)的嵌入式軟件工程師、做移動平臺BSP底層的同學(xué)、以及需要跟Flash廠商和主控廠商打交道但協(xié)議底子不厚的系統(tǒng)工程師。在展開細(xì)節(jié)之前先用一句話概括UFS 3.1的本質(zhì)UFS是一套完整的“主機(jī)端控制器 協(xié)議命令集 物理鏈路”三位一體的閃存存儲方案3.1版本則是在3.0高速傳輸能力之上補(bǔ)齊了一組面向隨機(jī)讀寫性能、低功耗、大容量場景的增強(qiáng)特性。整個協(xié)議??梢圆鸪扇龑觼砜磻?yīng)用層UFS Command Set、傳輸層UTPUFS Transport Protocol、互連層UICUFS Interconnect每一層都有自己的職責(zé)也是排查問題時的分層邊界。1.2 項(xiàng)目拆分與章節(jié)規(guī)劃我計(jì)劃把UFS 3.1協(xié)議分析分成四個章節(jié)來處理這次先聚焦第一章到第四章的整體脈絡(luò)第一章UFS概述與系統(tǒng)架構(gòu)。搞清楚UFS在系統(tǒng)里的位置、主機(jī)側(cè)和設(shè)備側(cè)的組成、協(xié)議分層模型。第二章傳輸層與命令機(jī)制。深入UPIUUFS Protocol Information Unit、命令描述符、數(shù)據(jù)傳輸流程。第三章物理層與鏈路管理。包括UniPro、M-PHY、鏈路啟動、速率協(xié)商和功耗狀態(tài)切換。第四章UFS 3.1新特性與工程實(shí)踐。分析WriteBooster、HPB、DeepSleep等增強(qiáng)功能在真實(shí)項(xiàng)目里怎么用、怎么調(diào)。這種拆法不是為了按部就班而是遵循實(shí)際工作中的排查路徑先看清系統(tǒng)全貌再定位命令通路接著查鏈路物理層最后回到特性和性能優(yōu)化。很多剛?cè)胄械耐孪矚g一上來就翻UPIU結(jié)構(gòu)體定義結(jié)果被字段淹沒遇到實(shí)際問題仍然無從下手。我比較推薦的服務(wù)順序是架構(gòu) → 命令 → 鏈路 → 特性一步步把黑盒打開。2. UFS 3.1的整體設(shè)計(jì)思路與演進(jìn)邏輯2.1 從eMMC到UFS存儲接口到底變了什么要說清楚UFS 3.1的價值得先回頭看一眼eMMC。eMMC本質(zhì)上是個并行總線接口8位數(shù)據(jù)線半雙工模式讀寫不能同時進(jìn)行。它的命令機(jī)制簡單直接——主機(jī)發(fā)命令設(shè)備執(zhí)行然后通過數(shù)據(jù)總線傳輸。但這種設(shè)計(jì)在高性能場景下很快撞到天花板并行總線頻率提升困難、信號完整性問題隨頻率上升越來越嚴(yán)重、半雙工浪費(fèi)了總線帶寬。UFS方案從誕生那天起就走了一條完全不同的路。它引入了一套類似SATA/NVMe的串行傳輸架構(gòu)底層用M-PHY做物理傳輸U(kuò)niPro做鏈路管理和協(xié)議適配。兩個lane可以同時一個收一個發(fā)全雙工模式等效傳輸效率遠(yuǎn)高于同頻的eMMC。在協(xié)議模型上UFS還參考了SCSI體系結(jié)構(gòu)模型使用命令描述塊CDB 任務(wù)管理函數(shù)的模式這讓它天然支持命令隊(duì)列、亂序執(zhí)行、多任務(wù)調(diào)度。從UFS 2.1到UFS 3.0最大的變化是HS-G4High Speed Gear 4速率的引入。M-PHY在HS-G4速率下每個lane的線速率接近11.6Gbps配合雙lane配置理論上可以達(dá)到單lane約1450MB/s、雙lane約2900MB/s的HS速率這是在考慮了8b/10b編碼開銷后的結(jié)果實(shí)際有效載荷帶寬還需要進(jìn)一步乘以協(xié)議開銷系數(shù)。這個速率等級遠(yuǎn)比UFS 2.1的HS-G3每個lane約5.8Gbps有效帶寬大約725MB/s翻了好幾倍。UFS 3.1又在這個基礎(chǔ)上做了三件大事新增WriteBooster解決寫入性能偏低的問題。它利用SLC Cache機(jī)制把隨機(jī)寫入先吸收到SLC緩沖區(qū)再后臺回寫TLC/QLC區(qū)域大幅降低前端寫延遲。引入HPBHost Performance Booster把部分FTL映射表放到主機(jī)內(nèi)存中緩存減少設(shè)備端加載映射表的開銷提升隨機(jī)讀性能。強(qiáng)化低功耗管理DeepSleep狀態(tài)讓設(shè)備在待機(jī)時可以關(guān)閉大部分模塊供電顯著降低休眠功耗。這些特性不是孤立存在的它們都依賴協(xié)議層的字段和控制機(jī)制來生效。比如WriteBooster需要擴(kuò)展UFS Descriptor中的配置項(xiàng)HPB需要專門的控制命令和UPIU類型來管理主機(jī)端映射緩存。2.2 UFS 3.1系統(tǒng)架構(gòu)與協(xié)議分層模型一個典型的UFS系統(tǒng)由主機(jī)Host和設(shè)備Device兩部分構(gòu)成。主機(jī)端包括應(yīng)用處理器上的UFS Host Controller存儲控制器IP以及配套的軟件?!狶inux內(nèi)核的ufshcd驅(qū)動、SCSI層、塊設(shè)備層。設(shè)備端則是一顆UFS IC通常整合了控制器和NAND Flash或者由獨(dú)立的控制器芯片加上多片NAND組成。從協(xié)議分層來看應(yīng)用層Application Layer定義了UFS命令集UCS、設(shè)備管理器Device Manager和任務(wù)管理器Task Manager。SCSI命令通過UFS封裝成CDB下發(fā)設(shè)備管理器負(fù)責(zé)處理描述符Descriptor、屬性Attribute、標(biāo)志位Flag的讀寫任務(wù)管理器則處理任務(wù)管理請求比如Abort Task。傳輸層UTP負(fù)責(zé)把上層請求封裝成UPIU通過UNIPRO的傳輸服務(wù)訪問點(diǎn)Data Transport Service Access PointDTSAP傳給下面。UTRDUTP Transfer Request Descriptor是核心數(shù)據(jù)結(jié)構(gòu)保存了命令相關(guān)的所有指針和狀態(tài)。互連層UIC由UniPro層和M-PHY物理層組成。UniPro負(fù)責(zé)鏈路啟動、速率協(xié)商、流控和錯誤恢復(fù)M-PHY則負(fù)責(zé)真正的物理信號收發(fā)。調(diào)試時建議用這個分層模型來隔離問題如果命令發(fā)出后沒有任何中斷回應(yīng)優(yōu)先查傳輸層和設(shè)備狀態(tài)如果命令正常但吞吐量低再到UIC層看速率協(xié)商和Lane數(shù)量如果掉電重啟后鏈路穩(wěn)定但系統(tǒng)喚醒時報錯重點(diǎn)查DeepSleep和鏈路恢復(fù)流程。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 UTRD和UPIU讀懂協(xié)議的兩把鑰匙整個UFS傳輸機(jī)制的核心可以濃縮成一句話主機(jī)在內(nèi)存中構(gòu)造UTRDUTRD指向一組UPIU緩沖區(qū)和PRDTPhysical Region Descriptor Table寫Doorbell寄存器通知設(shè)備設(shè)備執(zhí)行完再通過CQCompletion QueueDoorbell和中斷通知主機(jī)。這段話里包含了大量信息逐個拆開看。UTRD的數(shù)據(jù)結(jié)構(gòu)大致包括命令類型命令UPIU、任務(wù)管理請求UPIU等。數(shù)據(jù)方向讀還是寫。一個指向命令UPIU緩沖區(qū)的地址。一個指向響應(yīng)UPIU緩沖區(qū)的地址。PRDT的物理地址和條目數(shù)。總數(shù)據(jù)傳輸字節(jié)數(shù)。PRDT是DMA傳輸?shù)年P(guān)鍵。UFS采用S/G表機(jī)制主機(jī)側(cè)物理內(nèi)存未必連續(xù)系統(tǒng)可以把一次大塊讀寫拆成多個不連續(xù)的物理段每個PRD條目記錄一段物理地址和長度。設(shè)備根據(jù)PRDT拿到數(shù)據(jù)完成寫入或讀取。這里的經(jīng)典坑在于PRDT條目的地址必須是物理地址而且對齊要求很嚴(yán)格通常要求對齊到32字節(jié)或64字節(jié)具體以主控手冊為準(zhǔn)長度字段則是按塊粒度對齊。如果上層傳下來的S/G表項(xiàng)不是塊大小的整數(shù)倍底層驅(qū)動需要處理尾部部分塊這是很多寫DMA路徑的工程師容易漏掉的細(xì)節(jié)。UPIU是UFS傳輸?shù)淖钚 靶欧狻背R婎愋桶∟OP OUT UPIU用于鏈路?;詈统瑫r檢測。COMMAND UPIU承載SCSI命令CDB是正常讀寫命令的載體。RESPONSE UPIU設(shè)備返回的命令執(zhí)行結(jié)果攜帶狀態(tài)、Sense Data長度等信息。DATA IN UPIU / DATA OUT UPIU數(shù)據(jù)階段傳輸分別對應(yīng)讀和寫。TASK MANAGEMENT REQUEST UPIU承載任務(wù)管理請求。QUERY REQUEST UPIU / QUERY RESPONSE UPIU用于設(shè)備管理讀寫Descriptor、Attribute、Flag。每個UPIU都有固定的頭部結(jié)構(gòu)其中LUN邏輯單元號、Task Tag任務(wù)標(biāo)簽、Expected Data Transfer Length期望傳輸長度都是高頻使用字段。排查命令掛起問題時要養(yǎng)成先看Task Tag的習(xí)慣它能把UFS設(shè)備內(nèi)部的任務(wù)和主機(jī)側(cè)提交的任務(wù)一一對應(yīng)起來。3.2 數(shù)據(jù)傳輸流程一次讀命令的完整旅程以一次從UFS設(shè)備讀取4KB數(shù)據(jù)的命令為例完整流程如下上層文件系統(tǒng)或塊層構(gòu)造一個讀請求SCSI層生成READ(10)命令CDB。ufshcd驅(qū)動分配一個UTRD初始化命令UPIU、響應(yīng)UPIU緩沖區(qū)并把本次讀的PRDT填好。驅(qū)動把UTRD的物理地址寫入主機(jī)控制器的UTRLDBRUTP Transfer Request List Doorbell Register置位相應(yīng)bit。設(shè)備端看到Doorbell置位后通過UniPro鏈路讀取UTRD和命令UPIU。設(shè)備解析CDB訪問Flash把讀取到的數(shù)據(jù)組裝成DATA IN UPIU按總長度拆分成多幀傳輸。設(shè)備通過Host Controller的UTRLCLRUTP Transfer Request List Clear Register寄存器清掉Doorbell對應(yīng)bit并產(chǎn)生中斷。主機(jī)在中斷處理中檢查響應(yīng)UPIU的狀態(tài)字段數(shù)據(jù)已經(jīng)由Controller通過DMA直接寫入主機(jī)內(nèi)存。這個流程里面藏著幾個關(guān)鍵點(diǎn)。第一數(shù)據(jù)搬運(yùn)不完全依賴設(shè)備端“發(fā)數(shù)據(jù)包”主機(jī)控制器的DMA引擎會根據(jù)PRDT把從UniPro接收到的數(shù)據(jù)直接搬運(yùn)到系統(tǒng)內(nèi)存。第二UTRLDBR和UTRLCLR的配合是命令生命周期的主線任何一環(huán)卡住都會導(dǎo)致命令超時所以抓日志時這幾個寄存器的歷史值非常有價值。3.3 命令超時的排查思路與現(xiàn)場日志分析在UFS調(diào)試中命令超時是我遇到最多的異常類型。它的表現(xiàn)通常是上層I/O卡住系統(tǒng)日志里出現(xiàn)xxx命令請求超時如Device failed to respond或者任務(wù)管理函數(shù)失敗。排查步驟建議這樣第一步確認(rèn)命令是否真正提交到了設(shè)備側(cè)。抓取UTRLDBR寄存器狀態(tài)如果Doorbell bit一直沒有被清掉說明設(shè)備根本沒從主機(jī)取走任務(wù)。這時問題大多在UIC鏈路或者設(shè)備側(cè)電源狀態(tài)而不是命令本身。第二步查看UIC層的錯誤寄存器比如UniPro的錯誤狀態(tài)寄存器UECPA、UECDL等看是否有物理層調(diào)通、幀重傳、CRC錯誤等記錄。如果有大量CRC錯誤基本可以判定M-PHY信號質(zhì)量出問題需要檢查PCB走線、終端電阻、參考時鐘。第三步確認(rèn)設(shè)備是否處于低功耗狀態(tài)導(dǎo)致沒有及時響應(yīng)。UFS支持多種電源狀態(tài)Active、Idle、Sleep、DeepSleep如果設(shè)備進(jìn)了DeepSleep而主機(jī)側(cè)軟件沒有做喚醒動作命令下發(fā)必然超時。我在實(shí)際項(xiàng)目里碰到過一個很典型的案例系統(tǒng)頻繁休眠喚醒后偶爾出現(xiàn)UFS命令超時。排查下來發(fā)現(xiàn)喚醒路徑中主機(jī)控制器先恢復(fù)了Link但設(shè)備還在DeepSleep狀態(tài)需要額外的設(shè)備喚醒機(jī)制。后來在喚醒處理里增加了對設(shè)備喚醒狀態(tài)的檢查并在鏈路恢復(fù)前先通過DME命令把設(shè)備從DeepSleep拉回Active狀態(tài)問題就再沒復(fù)現(xiàn)過。4. UFS 3.1新特性解析與工程實(shí)踐4.1 WriteBooster的機(jī)制、配置與應(yīng)用場景WriteBooster是UFS 3.1引入的一項(xiàng)提升寫入性能的機(jī)制它的本質(zhì)是在設(shè)備內(nèi)部劃分出一塊SLC單層單元模式的緩沖區(qū)。普通TLC/QLC顆粒寫入時需要分多步編程延遲高而SLC編程只需要一到兩次延遲低得多。WriteBooster把寫入的數(shù)據(jù)先快速寫到SLC緩沖區(qū)然后由設(shè)備在后臺把數(shù)據(jù)搬移到TLC/QLC區(qū)域從而降低主機(jī)側(cè)感知的寫延遲。在Linux內(nèi)核中通過UFS設(shè)備管理器提供的bWB相關(guān)Descriptor和Attribute來配置WriteBooster關(guān)鍵參數(shù)包括bWriteBoosterBufferType緩沖區(qū)類型一般配置為SLC模式。dWriteBoosterBufferSize緩沖區(qū)大小這個值直接由設(shè)備固件決定主機(jī)只能讀取。dWriteBoosterBufferLifeTimeEstSLC緩沖區(qū)的壽命估算可以直觀了解設(shè)備的擦寫壓力。工程上需要特別注意WriteBooster的緩沖區(qū)本質(zhì)上是借用NAND壽命換性能。如果SLC緩沖區(qū)寫滿設(shè)備需要做“強(qiáng)制回寫”Forced Flush這時突發(fā)寫入會被拖慢同時在回寫過程中不能斷電否則存在數(shù)據(jù)一致性風(fēng)險。實(shí)際測試中我會用fio先做小文件隨機(jī)寫壓測觀察前幾十GB的寫入延遲是否明顯低于穩(wěn)定期再對比穩(wěn)定期寫入速度以此判斷WriteBooster是否存在配置問題。4.2 HPB的映射緩存機(jī)制與調(diào)優(yōu)心得HPB的全稱是Host Performance Booster它的出現(xiàn)是因?yàn)閁FS設(shè)備使用NAND時需要一個FTLFlash Translation Layer映射表把邏輯地址轉(zhuǎn)換成物理地址。在TLC/QLC時代映射表本身不小如果設(shè)備端每次讀命令都要查一遍映射隨機(jī)讀性能會受影響。HPB的思路是把映射表的一部分“借”到主機(jī)內(nèi)存中緩存設(shè)備通過UPIU向主機(jī)提供映射表信息主機(jī)下發(fā)讀命令時可以把對應(yīng)的映射條目一起發(fā)給設(shè)備省掉設(shè)備端查表的過程。HPB在Linux內(nèi)核的實(shí)現(xiàn)比較復(fù)雜涉及ioctl接口、hpb相關(guān)sysfs節(jié)點(diǎn)、以及UFS驅(qū)動新增的映射管理邏輯。調(diào)HPB時我踩過幾個坑主機(jī)內(nèi)存中緩存的映射表必須與設(shè)備FTL保持同步否則會產(chǎn)生讀數(shù)據(jù)錯誤。因此設(shè)備端GC垃圾回收導(dǎo)致映射變化時需要向主機(jī)發(fā)送失效通知。HPB區(qū)域不是所有LBA范圍都使能的通常只對設(shè)備指定的一段區(qū)域生效。測試時如果沒有先在設(shè)備上使能HPB區(qū)域后續(xù)所有HPB相關(guān)參數(shù)都不會生效。啟用HPB后隨機(jī)讀性能的提升不是無條件的。在映射表穩(wěn)定、碎片化程度較低的場景下提升幅度能到30%以上但如果設(shè)備本身映射表經(jīng)常更新HPB反而可能因?yàn)榫彺媸幚矶黾娱_銷。4.3 DeepSleep功耗狀態(tài)與喚醒流程UFS 3.1的電源管理狀態(tài)包括Active、Idle、Sleep、DeepSleep。DeepSleep是功耗最極端的模式幾乎關(guān)閉了設(shè)備內(nèi)部除少量喚醒邏輯外的所有供電代價是從DeepSleep恢復(fù)到Active耗時較長耗時可能在幾十毫秒甚至百毫秒級別。系統(tǒng)設(shè)計(jì)時要權(quán)衡短時暫停用Sleep即可長時待機(jī)才應(yīng)該進(jìn)入DeepSleep。在移動平臺上我一般建議這樣配置系統(tǒng)suspend時先把UFS鏈路切到Sleep狀態(tài)。如果預(yù)計(jì)待機(jī)時間較長如超過數(shù)分鐘再通過設(shè)備管理命令把設(shè)備切到DeepSleep。喚醒時主機(jī)控制器先復(fù)位Link然后通過DME命令讓設(shè)備退出DeepSleep再重新啟動鏈路和對齊流程。這個流程里最容易出問題的就是“鏈路先于設(shè)備恢復(fù)”。設(shè)備還處于DeepSleep時如果主機(jī)嘗試通過Link發(fā)送命令會出現(xiàn)dme_error或者命令超時。因此軟件恢復(fù)流程必須嚴(yán)格遵循“設(shè)備先恢復(fù)鏈路后啟用”的順序。5. 常見問題排查技巧與避坑指南5.1 經(jīng)典問題速查表現(xiàn)象可能原因排查方法UFS設(shè)備無法識別供電時序不對、頻率配置錯誤檢查電源軌、參考時鐘抓Link啟動階段的DME錯誤命令超時設(shè)備低功耗未喚醒、鏈路物理異常抓取UTRLDBR狀態(tài)和UIC錯誤寄存器順序讀吞吐量低速率協(xié)商失敗只跑到HS-G1或HS-G2檢查UniPro配置、發(fā)送預(yù)加重/均衡參數(shù)隨機(jī)讀性能差HPB未正確啟用或映射失效頻繁檢查HPB region配置和hit ratio寫入速度突然下跌WriteBooster SLC緩沖區(qū)寫滿觀察Force Flush事件測試穩(wěn)定期寫入性能運(yùn)行一段時間后I/O出錯高溫導(dǎo)致信號完整性劣化排查供電、散熱、M-PHY通道串?dāng)_5.2 抓日志與現(xiàn)場復(fù)現(xiàn)的獨(dú)家技巧在UFS調(diào)試中最有效也最容易被忽視的動作是抓完整的歷史寄存器狀態(tài)。很多工程師遇到超時后直接重啟設(shè)備結(jié)果關(guān)鍵現(xiàn)場丟失。推薦做法是在代碼里保留UFS相關(guān)所有寄存器的環(huán)形緩沖結(jié)構(gòu)包括UTRLDBR、UTRLCLR、UTRSTATUS、UIC錯誤寄存器中斷處理函數(shù)里實(shí)時更新。在命令超時后不立即復(fù)位而是先暫停指令流把環(huán)形緩沖區(qū)的寄存器歷史值打印出來和抓取的波形數(shù)據(jù)對比。這套方法幫我在多個項(xiàng)目里快速鎖定過“中斷丟失導(dǎo)致命令卡死”的問題。中斷丟失的根因往往是設(shè)備發(fā)出的完成中斷與主控側(cè)的中斷mask寄存器配置不匹配或者中斷線在系統(tǒng)suspend/resume過程中被意外shutdown。如果把中斷狀態(tài)寄存器一并打進(jìn)環(huán)形緩沖這類問題的定位時間可以從半天縮短到半小時以內(nèi)。5.3 鏈路質(zhì)量與信號完整性檢測M-PHY是UFS 3.1高性能傳輸?shù)牡鼗:芏嗤掏铝坎贿_(dá)標(biāo)的問題根源不在協(xié)議層而在物理層信號質(zhì)量。判斷信號質(zhì)量可以看三個關(guān)鍵指標(biāo)眼圖、誤碼率、信號完整性抖動。工程環(huán)境下沒有高端示波器時至少可以做兩件事一是檢查UFS控制器上報的CRC錯誤計(jì)數(shù)二是用設(shè)備端回環(huán)測試Loopback驗(yàn)證物理鏈路?;丨h(huán)測試可以分別測PHY到PHY的傳輸以及Controller到Controller的完整通路從而把問題域縮小到固定層面。如果CRC錯誤持續(xù)增長優(yōu)先懷疑終端電阻不匹配或者走線阻抗連續(xù)性不佳而不是懷疑協(xié)議軟件邏輯。6. UFS 3.1協(xié)議分析工具鏈與測試方法6.1 Linux用戶態(tài)工具與協(xié)議跟蹤Linux平臺做UFS測試有幾個常用的用戶態(tài)工具我逐一說明適用場景ufs-utils提供針對UFS設(shè)備管理器的用戶態(tài)工具可以讀取/寫入Descriptor、Attribute、Flag。通過它可以直接觀察WriteBooster的緩沖區(qū)大小、HPB狀態(tài)、設(shè)備壽命信息比直接改內(nèi)核代碼方便很多。fio性能基準(zhǔn)測試的標(biāo)準(zhǔn)工事。UFS測試建議分別測順序讀寫、隨機(jī)讀寫同時加入混合讀寫模式和不同的隊(duì)列深度用隊(duì)列深度1、4、16、32分別觀察性能曲線。blktraceiostat定位請求在塊層的排隊(duì)情況。如果塊層排隊(duì)時間過長說明SCSI層或者UFS驅(qū)動有瓶頸如果排隊(duì)很短但請求始終不完成問題可能在設(shè)備側(cè)。/sys/kernel/debug/ufshcd內(nèi)核UFS驅(qū)動的debugfs節(jié)點(diǎn)。不同平臺暴露的內(nèi)容不一樣但通常包含命令歷史、錯誤狀態(tài)、鏈路速率等關(guān)鍵字段。6.2 性能測試的具體操作流程以fio為例一組有意義的UFS 3.1性能測試步驟是先執(zhí)行blkzone reset或者全盤TRIM確保測試前設(shè)備處于干凈狀態(tài)。用順序讀測試拿上限基準(zhǔn)fio --nameseqread --rwread --bs1m --size2g --iodepth32 --numjobs1 --direct1 --group_reporting。用順序?qū)憸y試觀察WriteBooster生效前后的差異fio --nameseqwrite --rwwrite --bs1m --size2g --iodepth32 --direct1。用隨機(jī)讀寫模擬真實(shí)業(yè)務(wù)fio --namerandrw --rwrandrw --rwmixread70 --bs4k --size2g --iodepth32 --direct1。每次測試前都記錄設(shè)備溫度和dWriteBoosterBufferLifeTimeEst因?yàn)镹AND在高溫下會觸發(fā)溫控降速不記錄溫度容易把溫控降速誤判為協(xié)議問題。這個細(xì)節(jié)我在多次評測中吃過虧室溫從26℃升到42℃后同一塊盤的順序?qū)懶阅艿袈淞藢⒔?0%不明真相時很容易導(dǎo)向錯誤的排查方向。6.3 如何用邏輯分析儀觀測協(xié)議交互如果需要深入觀測UFS協(xié)議交互邏輯分析儀依然是利器。UFS 3.1的HS-G4速率在11.6Gbps等級普通邏輯分析儀完全無法直接采集需要配合廠商的協(xié)議分析儀或者使用M-PHY探針轉(zhuǎn)接板。在分析時重點(diǎn)抓幾個節(jié)點(diǎn)Link啟動階段的M-PHY速率協(xié)商序列。命令下發(fā)階段的UPIU頭字段對比Command UPIU的CDB內(nèi)容。數(shù)據(jù)傳輸階段的DATA OUT UPIU和DATA IN UPIU幀間隔。每次命令完成后的RESPONSE UPIU的Sense Data。協(xié)議分析儀的優(yōu)勢是可以把物理波形自動解碼成協(xié)議字段期間還能統(tǒng)計(jì)各Layer的retry計(jì)數(shù)和錯誤統(tǒng)計(jì)。但它的價格和上手門檻都不低日常調(diào)試還是建議先用軟件層日志縮小范圍確需鏈路級證據(jù)時再上分析儀。7. 從協(xié)議理解到系統(tǒng)優(yōu)化的延伸思考7.1 UFS 3.1之后UFS 4.0的傳承與變化說完UFS 3.1不得不提一句它的后繼者UFS 4.0。UFS 4.0在鏈路速率上翻倍到HS-G5單lane速率約23.3Gbps雙lane理論帶寬可以超過7Gbps同時引入了VRSVariable Rate SuperSpeed之類的電源優(yōu)化機(jī)制和更多針對QLC顆粒的優(yōu)化策略。但底層協(xié)議框架依然延續(xù)了UFS 3.x時代建立的模型UTRD UPIU Doorbell的基本交互方式?jīng)]有變UPDATE的底層機(jī)制沒變。所以現(xiàn)在花時間把UFS 3.1協(xié)議吃透并不會白費(fèi)后續(xù)遷移到UFS 4.0時的學(xué)習(xí)曲線會平滑很多。7.2 與NVMe/UFS架構(gòu)思想的異同做存儲的工程師經(jīng)常會拿UFS與NVMe比較。NVMe是PCIe接口基礎(chǔ)上的協(xié)議棧使用Queue Pair機(jī)制命令提交和完成都通過共享內(nèi)存隊(duì)列完成效率極高。UFS的UTRD機(jī)制在思路上與NVMe有相似之處但UFS還保留了更傳統(tǒng)的門鈴寄存器模式和更細(xì)粒度的電源狀態(tài)管理這是由移動設(shè)備的低功耗需求決定的。在實(shí)際項(xiàng)目中理解這兩套體系的異同很有價值如果你的設(shè)備從移動端轉(zhuǎn)向汽車電子或邊緣計(jì)算場景很可能需要從UFS切到NVMe SSD那時你對Doorbell、Queue、DMA映射、Command Completion這些概念的理解都可以平移復(fù)用差異點(diǎn)只在鏈路層和命令格式上。7.3 后續(xù)可以繼續(xù)深入的方向UFS 3.1協(xié)議分析的內(nèi)容遠(yuǎn)不止這一篇文章能講完。后續(xù)可以展開的深水區(qū)包括UFS設(shè)備描述符/屬性/標(biāo)志位的完整字段解讀、SCSI命令集在UFS上的實(shí)現(xiàn)細(xì)節(jié)、UFS電源管理狀態(tài)機(jī)的完整轉(zhuǎn)移條件、UFS主機(jī)控制器的寄存器級編程指南、Flash轉(zhuǎn)換層FTL對UFS行為的影響、隨機(jī)讀性能優(yōu)化中的HPB演進(jìn)思路。我自己打算接下來抽時間寫第二部分重點(diǎn)講UPIU字段級解析和異常事件處理流程。如果你們在實(shí)踐中有有意思的UFS問題歡迎帶著業(yè)務(wù)場景來討論很多協(xié)議細(xì)節(jié)在規(guī)范里寫得非常隱晦只有在具體問題面前才能暴露出來。我在多個項(xiàng)目里反復(fù)體會到一件事UFS 3.1的穩(wěn)定性上限往往不取決于控制器和Flash的紙面參數(shù)而取決于軟件棧對協(xié)議細(xì)節(jié)的尊重程度。一個DPU字段沒配好、一次低功耗喚醒順序顛倒、一個PRDT對齊沒處理都可能在量產(chǎn)后的隨機(jī)場景里集中爆發(fā)。把協(xié)議吃透本質(zhì)上就是為自己的產(chǎn)品上了一道無形的保險。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香琪琪| 操丝袜视频影院导航| 色色网站在线| 婷婷中文字暮| 九九一综合精品| 日本三级网址| 婷婷五月天久| 91聚色综合网| 思思9久久| 久久综合婷婷五月| www99热| 激情综合无码| 影音先锋色婷婷| 亚洲av| 色五月婷婷久久| 五月天婷婷丁香社区| 大香蕉人妻| 婷婷五月成人社区| 伊人久久丁香狠狠婷婷综合香蕉| 欧美日本日韩| 五月婷婷激情五月| 深爱五月激情| 天天激情站| 开心婷婷丁香五月| 亚洲婷婷免费| 久狠狠狠| 激情网五月| 色色日韩无码| 久久五月网| 五月婷婷六月丁香综合| 99riAV国产精品视频| 色99xx| 国产偷人爽久久久久久老妇APP| 99九九综合久久九九| 啪到高潮激情丁香五月| 婷婷六月激情| 亚洲色图五月丁香| 99婷婷| 日本美女五月天| 日日夜夜噜噜爽爽| 另类小说激情五月天| 天天久久综合| 天天做天天爱天天要| 夜夜天天久久婷婷| 人妻尝试久久久久久久久久久久| 人人干Av| 五月天婷婷久久视频| 亚州日本欧州韩美高青高潮一| 99re6热在线精品视频播放速度| 大香蕉婷婷丁香| 婷婷久久18| 精品国产a| 色婷婷色综合久久精品V| 91一起操| 伊人狼人干| 欧美日韩成卜| 狠狠色噜噜狠狠| 丁香久久久| 婷婷五月丁香激情图片| 六月婷婷七月丁香| 狠狠色狠狠干| 激情婷婷五月社区| www久| 欧美va视频| 日本欧美在线| 黄色网址五月婷婷| 欧美日韩成人高清在线| 热久久77777| 婷婷开心青青草| 婷婷丁香成人网址| 天天射影院| 任你操精品免费| 91色婷婷综合久久中文字幕二区| 伊人综合网站| 久久精品9| 婷婷99狠狠躁天天躁| 五月天五月色婷婷综合| 亚洲激情97五月天| 中文av网| 一区二区三区XXXXXX| www久久久久久| 色九月欧美| 成人视频一区| 另类激情五月天| 1024操逼视频| 99热爆在线| 国产资源在线视频| 天插天啪天啪天啪| 99日本黄站| 九九热超碰| 婷婷桃色网| 超碰人人超碰| 天天色综网| 丁香五月天堂| 日本在线视频看se99| 九九碰九九爱97超| 夜夜综合色| 9久热免费视频99| 26uuu欧美| 婷婷婷久久| 大香蕉综合| 中文不卡一二区| 免费AV在线| 人妻久久久| 亚洲综合欧美色丁香婷婷888月图片 | 久久综合中文| 无码色色色| 99色在线视频| 五月婷婷在线丁香| 久久五月激情| 狠狠干综合网| 思思热在线| 天天干天天爽| 99热 这里只有精品 国产 日韩| 激情综合网 激情五月天| 99这里有精品视频| 大香蕉五月丁香| 精品久久这里热66| 涩涩涩五月天| 激情综合五月丁香六月婷婷| 影音先锋女人av鲁色资源网小说免费| 中文字幕av在线| 开心色色五月天综合| 婷婷五月天黄色| 九九热视频思思| 久久人人看| 一区二区免费看| 天天色综合综合| 婷婷丁香18| 久久激情五月网| 久久A区B区| 大地9中文在线观看免费高清| 国产精品色婷婷久久久精品| 天天干电影| 日日做A爰片久久毛片A片英语 | 九九这里是免费的视频5| 成人美女网| 91丨九色丨43老版熟女| 99热在线精品观看| 婷婷激情五月天综合| 67194中文字幕| 色播色丁香五月| 在线色五月婷婷| 狠狠做婷婷| 99日精品视频| 26uuu最新地址| 青青草原伊人网| 丁香婷婷色情社区成人小说| 亚洲成人AV在线| 五月丁香婷爱在线| 国产精品操| 中文av网| 香蕉狠狠爱视频| 久久亚洲天堂| 亚洲第一成人无码A片| 日韩成人综合| 激情五月天啪啪| 精品99在线看| 五月天综合网| 人妻VideOssS人妻| 婷婷五月丁香香蕉| 综合婷婷| 欧美熟女乱又伦| www.91五月| 激情五月天免费视频| 久热精品免费视频4| 五月婷婷综合潮喷| 大香蕉久久久| 99操碰| 深爱丁香网| 99ER热精品视频| 99热大片| 久久婷婷丁香| 伊人五月天| 婷婷久久免费看| 色婷婷五月亚洲| 操逼电影免费看| 丁香5月婷婷| 精品国产a| 五月婷婷成人| 天天操天天操综合| 99伊人性爱在线影院| 天天操B| 五月丁香A片| 国产午夜精品一区二区三区四区| 天天干天天做| 亚洲五月婷天天操| 99综合自拍| 91超级碰碰碰| 色情五月婷| 天堂AV三级| 性生生活大片又黄又| 五月婷婷 激情五月| 婷婷五月色惰| 69凹凸成人综合网| 久久五月综合| 99热九九热| 婷婷丁香久久| 五月婷婷六月丁香玖玖玫瑰91| 大香蕉综合| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 99手机在线精品视频| 91婷婷| 艾小青av| 丁香婷婷激情五月色| 丁香五月婷婷国产av| 99综合网| 5月婷婷五月天| 五月大香蕉| 五月天开心色色网| 丁香色婷婷| 欧美中文五月天| 久久成人性爱| 天天日日夜夜爽| 五月婷婷色色爱| 91狠狠色丁香婷婷综合久久| 色五月婷婷五月天| 婷婷视频在线| 日逼免费视频| 亚洲丁香五月天在线视频| 婷婷五月乱交换| 亚洲无码色| 五月99久久| tingtingzonghewang| 国产精品操| 操大屄五月天视频| 综合色图婷婷| 青青草青青草五月天| 亚洲 激情 中文| 大香蕉久久草| 色色五月婷婷久久| 久色五月天| 2018夜夜草| 99精品在线播放| 婷婷久久色| 99re思思精品在线观看| 四色 爱 婷婷 精品 亚洲 五月天| 影音先锋天天日| 亚洲色99综合天堂| 99久久久精品| 色九月综合网| 99爱爱网| 亚洲av免费在线| 99在线综合视频| 99久操视频| 男男野外做爰全过程69| 亚洲精品久久久久久久久久吃药| 色色色综合| 99热最新网址| 97精品综合久久| 都市激情蜜桃婷婷五月天| 大香蕉精品视频| 亚洲天堂啪啪| 91欧美| 九九久久五月天| 操九色| 超碰不卡在线| 五月婷婷欧美| 97五月天婷婷午夜| 99热日| 婷婷舔| 久久久er热| 性色播| 色情性爱视频网址| 久久婷婷五月综合色播| 五月丁香婷婷俺| 久久精品亚洲一级牲爱综合| 久久视频婷婷| 久久99网站| 亚洲爆乳无码精品AAA片蜜桃 | 大香蕉欧美在线| 69精品人妻不卡视频| 欧美69色| 大香蕉五月天| 激情综合激情五月| 婷婷狠狠色| 九九热99免费视频| 99热久只有| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 精品少妇蜜臀91| 天天操屄网| 99久视频| 嫩草AV久久伊人妇女超级A| 色色热| 97日韩无套内| 99久精品视频| 婷婷九月激情网| 丁香五月天网友自拍啪啪啪视频| 啪啪激情综合| 丁香五月婷婷av影院| 99福利视频导航| 99偷拍视频在线日本| 五月综合丁香婷婷| 天天噪夜夜爽| 99热日韩| 欧美精品狠狠色丁香婷婷| 丁香五月婷婷亚洲另类| 开心五月丁香综合久久| 色色五月天婷婷丁香| 色婷婷99| 加勒比日本一区二区三区| 二色AV| 中文aV网| 色五月天综合网| 日日夜夜天天| 99热网精品| 午夜婷婷久久| 色欲天天综合| 99在线精品免费视频| 国产永久一黄| 少妇激情五月婷婷| 久久99久久99久久99人受| 婷婷无五月无码视频| 六月婷欧美| 一个色的综合| 91操操| 婷婷五月精品| 色婷婷深爱五月| 婷婷久月| 色97啪啪| 亚洲小视频| 97人人干| 欧美日韩成人免费在线| 色婷婷的五月天| 国产av天堂| 嫩草视频观看| 激情综合网五月激情| 91久久婷婷| 日本欧美999久久久三级片| 99热在线观看免费中文| www.jiujiujiu| 91综合视频丁香| 欧美成人热| 久热人妻| 国产熟女一区二区三区五月婷| 人人看人人摸人人| 丁香,开心成人,久久| 综合亚洲色色| 婷婷欧美色| 五月丁香激情婷婷| 97碰人人操| 五月色网| 91日综合欧美| 五月天激情无码| 久久久天堂国产精品女人| 色情五月婷婷| 91操人| 五月天丁香综合久久国产| 五月婷婷av| 色五月丁香A欧美com | 婷婷五月天性爱视频| 五月婷婷就去色| 久久婷婷色| 91岛国片| 久久五月天视频| 丁香五月天婷婷91| 亚洲成人高清在线| 五月天色图| 99在线视频精品| 激情性爱五月| 五月丁香六月在线| 99视频久久免费视频| 97干在线| 就爱操www com| 麻豆AV一区二区三区| 99热国内| 亚洲AV日韩在线观看| 婷婷色五月情| 婷婷五月天AV在线| 午夜丁香婷婷| 六月丁香婷婷开心综合基地| 偷拍九九热| 国产精品激情五月天色婷婷| 亚洲Av成人在线观看| 五月人妻婷婷视频| 超碰91在线| 激情五月综合婷婷| 日日夜夜噜噜爽爽| 97婷婷狠狠久久综合9色| 影视av久久久噜噜噜噜噜三级| 色七七九九| 婷婷色九月| 色色婷婷五月| 久久视9精| 婷婷五月天成人小说| 涩五月丝袜婷婷| 婷婷五月综合色拍| 天天草天天爱| 97操在线资源| www.五月天婷婷| 深爱激情九九五月天 | 伊人在线视频| 色婷婷丁香| 99在线资源| 天天干天天干天天| 五月天色婷婷综合| 天天舔夜夜操www com| 美女久久天堂| 色婷婷五月综合| 欧美va| 久久久久久18| 婷婷伊人綜合中文字幕| 直接看的AV| 99热九九这里只有精品| 亚洲色频| 日本精品人妻无码77777| 青草激情综合| 婷婷 激情 五月| 九9九9无码| 九色PORNY9l原创自拍| 99热a片免| 色狠狠激情五月| WWW色色色COM| 午夜成人片400| 日本在线99| 另类国产综合| 欧美日韩一a.无| 色婷婷五月综合色婷婷| 做爰丰满少妇1313| 99热在线观看精品| 天天色天天操天天射| 99热在线里有精品| 五月丁香亚洲校园欧美| 在线超碰91| 免费观看全黄做爰的视频| 丁香五月天狠狠| 丁香六月天AV| 大香蕉啪啪啪| 超碰成人在线观看| 九热视频精品| 亚洲欧美日韩另类| 婷婷五月丁香激情| 江苏少妇性BBB搡BBB爽爽爽 | 丁香操逼| co超碰在线观看| 丁香六月激情综合| 国产激情综合| 婷婷五月大香蕉| 色欲色香伊人| 99热精品一| 丁香色色网| 九月久久婷婷| 久久99免费视屏| AV九九| 97人人射| 色婷婷六月天| 六月丁香网| wwwxxx五月婷婷小说| 樱花99视频| 夜夜大香蕉婷婷丁香| 日韩久久系列| 大香蕉 婷婷| 色情综合| 久久婷婷五月天| 日本超碰在线| 色色日本| 人人爱人人草| 色久综合| 最新久久网址| 五月婷婷色影院| 激情六月丁| 丁香五月婷婷色偷偷| 色婷婷五月网| 丁香五月,激情五月,深爱五月| 五月婷五月婷伊人伊人五月婷| 婷婷久月| 亚洲成人在线播放| 欧美影院婷婷| 麻豆科斗777| 热九九精品| 婷婷性爱网| 色婷婷综合网站| 97性视频| 婷婷五月天色色| 婷婷五月电影| 操碰97| 香蕉伊人综合| 99色区| www.主妇. com| 婷婷99| 天天爽天天日人人爱 | www色五月天| 丁香五月精品| 五月天成人网在线观看| 另类专区在线观看| 国产日韩欧美| 99视频综合网| 91爱啪啪| 巴基斯坦粉嫰无码视频| 99视频热| 亚洲超碰在线| 午夜69成人做爰视频| 亚洲亚洲人成综合网络| 五月开心啪啪| 思思热天天看| 天天干天天干天天干天天干天天| 天天日天天舔| 婷婷五月综合网| 六月欧美综合色情| 玖玖精品视频| 色色色色色色色色综合网| 99re热视频这里只精品| 黄色av网站在线免费播放| 激情五月婷婷她| 色婷婷久久综合| 五月色丁香成人| 一级二级香港秋霞欧美欧美秋霞| 国产日韩欧美性爱| 欧美精品在线观看| 色www.con| 久久er视频6| 99热日韩| 五月丁香啪啪| 9精品国产在热久久| 五月丁香婷婷啪啪| 思思久热6| 久婷婷婷| 天综合日日夜综合7799| 开心婷婷五月激情网小说| 亚洲综合婷婷五月| 思思热99热| 69久久久| 狠狠看狠狠| 91九色中文| 极品人妻VIDEOSSS人妻| 婷婷丁香五月91| 五月婷婷婷自由综合| 色久影院| 成人五月天。COM| 欧美欧盟性爱网| 99精品福利视频| 五月天激情小说网| 超碰超碰在线| 色色射| 性爱综合网| 国产婷婷久久| 欧美va| 级情九色| 久99热在线观看| 婷婷五月天伊人网在线观看视频| 九九激情网| 干一干xxxx| 少妇口诉沐足视频播放器网址| 1024操逼视频| 欧美日韩成人在线网站| 五月丁香激情欧洲啪啪| 99国产精品久久久久久久久久久 | 七月丁香婷婷 色色| 五月久久婷婷| 蜜臀99精品| av超碰在线| 亚洲爱爱无码婷婷色五月| 激情婷婷丁香五月天| 午夜免费高清AV片| 激情五月婷婷丁香综合网| 开心激情婷婷| 婷婷欧美色| 91天天操天天干天天射| 97色啪| 五月丁香啪啪网| 狠狠爱成人综合网| 色婷婷六月综合| 被强行糟蹋的女人A片| 99热播放| 色丁香五月天| 啪啪色激情五月天| 99热这里精品| 色墦五月丁香| 中文字幕人妻熟女在线| 激情婷婷色小说| 九九性视频| 996er热| 伊人久久大香蕉网| 婷色五月| www.激情| 丁香婷婷久久老熟女综合网| 97夫妻超碰| 婷婷和五月天| 韩国中文字幕91| 天天干天天日日| 九九爱激情| 欧美噜一噜| 欧美人与性动交CCOO| 爱射综合| 天天射影院| www.狠狠操.con| 日韩丁香涩| 另类综合网| 色五月在线综合| 欧美五月婷婷| 99色视频在线观看最新| 91操人| 国产va在线视频| 亚洲精品国产A久久久久久| 久久奄也去色色网站| 色网五月婷婷| 天天爽天天| 婷婷月综合| 任你草| WWW.夜夜| 久久精品夜色噜噜亚洲a∨| 99爱爱| 成人必爱视| 人妻在线观看视频| 丁香五月天婷婷中文字幕| 92国产福利| 丁香五月av| www夜夜操wwwcon| 狠狠草网| 四虎国产精品永久在线国在线| 久久婷婷操| 丁香色影院| 国产成人网址| 色欲色香伊人| 99热在线播放| 午夜福利8055| 成人在线日韩| 欧美色骚婷婷五月天| 综合色视频| 婷婷丁香五月综合| 丁香成人视频| 人人爱操| 97婷婷丁香五月综合| 九九av| 九九热在这里只有精品| 亚洲六月色婷婷| 热99玖玖99玖玖99九九| 久婷婷| 婷婷激情五月综合丁香社| aaa久久| 一本色道久久88加勒比| 亚洲视色| 久久午夜理论| 五月天大香蕉| 成人毛片在线免费观看| 欧类av怡春院| 色色五月天丁香| 99亚洲日韩| 欧美噜噜久久久XXX| 秋霞网在线免费基地五月婷婷丁香| 激情五月天婷婷五月天| 综合网五月| 99久久a线观| 色五月婷婷影院| 激情内射人妻1区2区3区| 天堂久久精品| 色色网站免费| 五月丁香av在线| 狠狠色丁香| 狠狠久久婷婷| 任你爽在线视频| 久久er99热精品一区二区| 丁香狠狠色婷婷| 综合色色色| 午夜无码精品色综合久久| 五月六月播婷婷| 伊人狠狠丁香婷婷综合尤物| 久草嫩草在线观看| www五月婷婷88导航| 中字幕视频在线永久在线观看免费| 极品另类| 99热6这里只有精品| 婷婷在线午夜| 五月婷婷综合激情| 五月六月激情婷婷| 五月亭亭六月色| 九热精品| 婷婷色在线观看| 久色激情| 97操操操| 九九色婷婷| 任我鲁这里有精品视频| 26UUU欧美激情一区二区| 91精品国产色猫| 99热精品网| 婷婷新网址| 操逼电影免费看| av免费在线观看0| 狠狠干最新地址| 色色网站日本91| 综合aV在线| 丰满少妇乱A片无码| 无码激情AAAAA片-区区| 精品成人无码A片观看香草视频| 欧洲色区| 日韩AV免费电影在线播放| 少妇性按摩无码中文A片| 精品人妻伦九区久久AAA片| 五月色综合| 天天插天天射| 婷婷五月天综合久久日美女| 日本操B片| 超级黄色片| 九九这里是免费的视频5| 丁香五月手机在线| 五月丁香六月婷婷,婷| caopeng超碰| 深爱五月亚洲| 色色色图| 亚洲愉拍99热成人精品| 五月丁香色综合| 久久AAAA片一区二区| 久久日婷婷| 激情丁香五月AV| 在线天堂9| 久久人妻久久久久| 天天插天天干天天舔| 欧美婷婷五月丁香| 淫视馆AV在线| 色婷婷丁香五月| 91人无码久久久久久| www.久久婷婷| 立川无码av| 色五月综合婷婷| 99精品免费视频| 激情五月丁香婷婷| 丁香五月停停av| 91九色视频| 婷婷激情五月综合基地| 五月婷婷六月丁香在线| 婷婷六月激情| 九九99偷拍视频| 金桔一区二区ab地址| 天天综合天天玩夜夜玩天天玩夜夜玩| 天天天天天天操| 专区无日本视频高清8| 另类图片五月天激情| 婷婷成人网五月天| 丁香五月色欲| 99精彩视频| 99热精品10| 色婷婷成人影片| 9久久婷婷国产综合精品性色| 久热免费视频| 综合五月丁香97| 亚洲欧洲色色| 人妻久久婷婷| 葵花AV在线| 婷婷五月天改成什么了| 99热精品观看| 九色在线五月婷婷网址| 日本三级日本三级三级人妇四虎| 99aese| 亚洲激情综合网| 欧美三级视频下载| 狠狠擼综合| 99热9| 丁香花操逼| 丁香五月影院| 婷婷综合亚洲| 国产欧美大香蕉一区| 色噜噜狠狠色综合日日免费| 91九色熟女| 丁香五月WWW| 五月丁香狠狠爱婷婷综合| 色碰碰| 婷婷五月天AV在| 亚洲99手机免费看视频| 丁香五月激情五月| 色婷婷狠狠18禁| 色域五月婷婷丁香| 日韩成人综合| 五月丁香花免费视频| 国产精品99久久久久久久女警| www.99精品视频| 亚州操人在线视频| 丰满少妇乱A片无码| 色五月丁香五月激情五月激情| 啪啪操超碰| 国产人人操| 自拍盗摄 另类| 婷色影院| 玖玖资源站蜜臀| www.97视频| 狠狠操.COM| 久操操| 五月丁香久人妻中文| 成人精品在线| 综合久久综合久久| 99日本精品视频热| 色五月婷婷综合在线| 婷婷六月色开| 久久99精品久| 国产精品日韩十五区| 北条麻妃伊人 | 99在线小视频| 九月婷婷综合在线| 噜噜狠狠色综合久| 97干视频在线| 99热精品在线| 亚洲婷婷视频| 熟女人妻一区二区三区免费看| 久久婷婷五月国产色综合激情| 任你日视频| 色呦呦美女| VA色婷婷| 开心亚洲久久开心| 亚洲中文字幕在线观看| 999影院成人在线影院| WWW.HENHENL.| 991国产精选视频在线播放下载| 丁香五月婷婷亚洲色图| 人妻操逼视频| 日韩抽插操逼| 婷婷色五月大香蕉在线| 欧美综合激情丁香五月六月婷| 91精品综合久久久五月天| 操逼六区| 99re熱| 久久婷婷五月综合色丁香花| 五月婷婷色激情| 九九色之九九色88| 色五月天综合网| 热九九精品| 成人龟情网丁香五月| 丁香婷婷婷五月| 欧美人人操| 五月天综合网| 日本婷婷| 久久九九怡红院| 狠狠操狠狠色| 婷婷五月天综合AV| 婷婷六月综合在线| 日韩精品一曲二曲三曲四曲五曲| 色婷婷五月网| 婷婷丁香亚洲色综合91| 日本色婷婷| 99热九九热| 黄网在线免费观看| 青吴乐视频| 超碰9| 丁香六月婷婷色XXXX| 97香蕉人人在线观看| 久久女婷| 99精品热| 九月婷婷丁香| 亚洲成人无码网站| 五月天婷婷色| 天天爽天天爽视频| 蜜臀丁香黄色婷婷五月天| 人人摸人人干| 欧美性爱五月天| 午夜色丁香| 五月开心婷婷网| 51XX嘿嘿午夜无码| 日本色色网| 97碰人人操| 五月婷婷中文网| 狠狠丁香| 五月色婷丁香| 久久精品国产AV一区二区三区 | 99视频这里只有精品10| 色五月色图| 五月Huangsewang| 色婷婷网| 五月天天久久香| 丁香六月天婷婷色| 久久精彩免费视频精彩免费视频| 久草婷妨| 草草女人亚洲| 开心五月网| 色婷婷综合亚洲| 天天干天天爽天天操| 色久婷婷网| 久久婷婷成人| 婷婷色吧| 七七色综合| 丁香久久在线| 色婷婷成人| 色婷婷影视| 九九视屏| 激情五月婷婷| 26uuu欧美宗合| 成人免费超碰| 婷婷色综合| 中文字幕在线日亚州9| 久久久99免费视频| 中文AV在线观看| 五月婷婷影| 欧美激情-区二区三区| 丁香五月婷婷动漫视频| 狠狠干天天内射| 99在线精品观看99| 婷婷综合网| 免费国产视频| 午夜成人网站在线观看| 99视频在线啪| 色色婷婷色色| 另类丁香综合| 日91高清无玛| 日韩在线一级| 丁香五月网| 丁香五月电影院在线观看| 婷婷五月激情五月丁香五月| 1级欧美日韩| 二色av| 久久婷婷综合五月天| 丁香婷婷六月天| 色999;丁香五月| 91久久| 开心婷婷五月| 另类激情中文| 亚洲欧洲中文日韩久久AV乱码| 激情AV| 精品国产一区二区三区四区阿崩| 国产亚洲精品久久久久久郑州| 成人无码髙潮喷水A片| 99re久久| 琪琪色综合网站| 色色色九九九五月婷婷| 婷婷九月丁香中文| 六月婷在线| 色五月激情| 五月丁香啪啪激情| 99惹| 色婷婷五月婷婷五月婷婷五月| AV79| 日婷婷久久开心| 久青操| 五月丁香啪啪啪综合网| 九九在线免费观看| 丁香五月色情| 天天操夜夜操| 人妻av在线| 中国女人内射6XXXXX| 疯狂做受XXXX高潮A片| 99久久婷婷国产综合亚洲| 丁香九月色| 人人干女人| 色色色婷婷五月| 99色在线视频观看| 亚洲丁香五月| 六月婷婷视频| 大地9中文在线观看免费高清| 夜夜操加勒比| 激情无码网| 五月天婷婷一起草| www.成人婷婷综合| 天天综合网91| 男同91| 婷婷99丁香| 婷婷激情在线| 丁香五月激情站| 丁香五月天激情小说| 天天摸天天舔| 丁香婷婷五月六月久久| 人妻丰满精品一区二区A片| 狠狠色综合图片| 婷婷五月激情五月丁香五月| 91精品久久久久| 人妻久久做| 99热最新| 桃色五月天| 九色视频入口91| 九九热只有这里精品| av性爱在线| 丁香五月自拍| 超碰九热| 热的国产99热| 婷婷的色色五月天| 香蕉人妻AV久久久久天天| 五月丁香六月色| 性爱电影科技贸易有限公司| 最新色色五月天| 激情婷婷狠狠干综合| 狼人久草| 激情六月综合| 婷婷的五月天另类视频| 97操操操| 99热这里| AA片在线观看视频在线播放| 情色婷婷五月天| 色婷婷六月丁香综合欲精品| 天天做天天爱天天高潮| 激情综合网激情五月天| 毛片新网地| 丁香五月偷拍| 久久人人九九| 色色色图| 国产偷人爽久久久久久老妇APP | 色色激情| 在线观看免费狠狠色丁香香综合| 不卡在线中文字幕无| 欧日美女Va| 99在线免费观看| 久久久潮喷-久久久九九-成人AV| 99色6爱9热| 9久精品| 婷婷色基地在线看 | 99这里只有精品|v| 久久9情免费| 丁六月激情| 中文字幕永久在线| 久久婷色| 成人亚洲精品| 91色操| 亚洲无码色| 99久久新视频| 天天摸色吧天天摸色吧| 久久久亚洲成人无码A片| 婷婷久久国产视频| 另类图片五月天| 97色婷婷| 色色色色色色色色网站| 99热老网站| 色综合久久88色综合天天99| 久久99精品久久久久子伦| 淑女丝袜bi操逼123| 亚洲成人在线观看网址| 开心五月婷| AV亚洲在线| 战争与艾拉电影免费观看| www.婷婷com| 丁香婷婷视频一区二区| 丁香五月婷婷激情四射深爱激情| 丁香5月啪啪| 精品亚洲国产成AV人片传媒| 六月天无码网址| 国外亚洲成AV人片在线观看| 久久婷婷成人视频| 久久婷综合| hd五月婷婷在线| 乱精品一区字幕二区| 激情综合网激情五月欧美| 婷婷综合五月| 亚洲婷婷丁香五月亚洲| 五月婷婷影视| 婷婷丁香色情五月天| 综合亚洲AV| 丁香婷婷激情五月天无毒不卡蜜桃| 99色.com| 久久多色| 日韩无码一区二区三区四区| 成人草榴视频| 精品国产va久久久| 日本色色网站| 无码激情| 天天人人天天爽| 五月色情精品| 婷婷五月天AV| 色婷婷丁香网| 丁香五月激动深爱欧美| 色婷婷婷婷五月天| 色五月偷偷| 色婷视频| 噜噜噜久久亚洲精品国产品91| 97人人操com| 大香蕉综合网| 五月人人丁香婷婷五月人人丁香| 97碰碰九九视频| 欧美另类五月激情| 无码橾| 亚洲激情四射| 激情小说之五月| 97热这里精品在线视频| 99热亚洲| 五月婷天天搞视频| 五月丁香综合激情| 无码激情AAAAA片-区区| 五月丁花六月丁香综合| 久碰久操| 五月天综合在线网| 丁香伊人网| 色五月天综合| 久久丝袜婷婷| 九九视频在线观看视频6 | 色色色com| 色婷婷最爱五月| 欧美婷婷丁香五月| 激情开心五月天| 99精品超在线播放| 五月婷婷影院| 欧美影院| 五月天婷婷久色| 亚洲旡码| AA片在线观看视频在线播放| 久久99精品久久久久久三级| ji'qing'luan'ren'lun| 综合色婷婷| 人妻丰满精品一区二区A片| 天天操天天曰| 伊人日日干| 五月天综合在线网| 色爱亚洲| 99啪啪网| 开心五月色婷| 婷婷五月天成人五月天| 密臀av无码人妻精品| 久久久婷| 色婷婷久久| 五月丁香欧美综合| 天天天天天操| 991精品在线视频| 99年操人人爽| 成人日韩欧美| 日本99在线视频| 直接看的AV| 激情小说之五月| 婷婷五月天色| 9191avse| 久草热8精品视频在线观看| 亚洲操操| 超碰在线免费| 五月色天情| 欧美天天性| 月婷婷亚洲| 亚洲精品国产成人AV在线| 9999热在线观看| 久热99狠| 九九丁香社区欧美激情| 免费看欧美成人A片无码| 综合色五月天| 天天综合五月| 婷婷久久久久久久| 丁香九月综合| 丁香五月激情婷婷视频| 国产精品人妻在线网址| 玖玖玖婷婷婷| 婷婷五月天丁香久久| 超碰在线观看三级片| 午夜成人片400| 99视频在线| 激情五月天综合网| 五月婷婷啪啪| 5月丁香啪啪啪| 综合网天天| 激情综合五| 亚洲中文字幕av| 日本一级一级一级一级| 亚洲综合色五月| 99在线国| 夜夜大香蕉婷婷丁香| 综合九九日本| 婷婷五月天你懂的| 成人资源在线| 99色.com| 99riAV国产精品视频| 激情99热| 九九色色网| 第四色婷婷日本| 婷婷之玖玖| 琪琪色热色色| 色婷网| 亚洲色综合| 26uuu.| 色婷五月天网站| 欧美性爱特黄一级aaaassss| 丁香丝袜五月| 久久99热这里只有精品| 五月激情婷婷丁香天堂| 国产激情在线| 一级黄色影片| 噜噜视频| 日本女色人人| 香蕉久久国产AV一区二区| www.lchjjc.com| 五月五月婷婷| 伊人九九综合| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 就爱射中文字幕资源网| 色www久视频| 五月天婷综合| 欧美 日韩 成人在线| 五月天婷婷丁香社区| 综合色影院| 女人天堂AV| 91人人人人人| 婷婷五月天综合AV| 99免费综合网| 情情五月天色| 五月婷婷在线视频观看| www.久久99| 国产精品一区在线观看你懂的| 婷婷丁香五月社区亚洲| 任你搞网站| 久久久色婷婷五月天| 99热99热99热99热| 97久久人人| 五月天伊人| 中文字幕黄色电影网址| 影音先锋按摩| 五月丁香九九九综合| 激情无码网| 久久五月丁香婷婷| 亚洲亚洲人成综合网络| 亚洲另类毛片| 婷婷综合久久| 欧洲高清免费久久| yellow视频在线观看91| 人妻熟女一区二区AV| 五月天婷婷丁香人人操91| 99热最新| 99热中文字幕久久| 新97人人上人人| 日日夜夜九九| 玖玖在线视频福利| 日日日影院| 这里只有精彩视频| 91亚洲免费片| 激情五月天噢美| 久久怡红院| 婷婷五月天免费99| 五月丁香欧美综合| 在线A色| 婷婷六月综合激情| 青青操成人福利| 激情五月天综合图片小说网站| 婷婷久久综合| 女人天堂 AV| 久热大香蕉| 激情五月天综合网| 开心激情久久久久久久| 色综合激情| 久久久久久久久久久97| 丁香五月色| 丁香婷婷激情| 色婷婷av综合网| 久久99最新| 日本美女上人| 色99超碰| 亚洲色色精品| 思思热99热| 任我鲁这里有精品视频| 婷婷五月天六点丁香五月| 色婷婷网| 成人丁香五月| 国产综合婷婷| 以及AA大片看看| www.狠狠干| www.99色| 视频综合网| 丁香婷婷九月| www91久久| 婷婷五月在线播放| 一本大道熟女人妻中文字幕在线| 丁香婷婷色五月| 激情99热| www色婷婷com| 丁香五月Av| 99精彩视频在线观看| 日批在线看| 91一起操| 婷婷五月深情丁香深爱日韩| 亚洲AV人人操| 亚州操人在线视频| 五月天婷a| 夫妇交换刺激做爰| 久久五月天激情婷婷| 亚洲综合99| 婷婷五月天久久| 丁香六月啪啪啪| 淫视馆AV在线| 综合网激情| 丁香五月天激情四射网| 亚洲美女网Va| 丁香六月婷婷综合啪啪| 色亭亭五月天丁香综合AV - 百度 - 百度 | 中文字幕网站在线观看| 日韩视频99| 亚洲精品第一国产综合亚AV | 中国丰满熟女A片免费观| 色婷婷狠狠| 99热网站| 青草热视频这里只有精品| 99爽视频| 快乐激情五月色婷婷|