免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

嵌入式固件三座山:啟動流程、HardFault定位與OTA升級工程化實戰(zhàn)

嵌入式固件三座山:啟動流程、HardFault定位與OTA升級工程化實戰(zhàn) 我一個朋友前陣子接手了一個MCU項目現(xiàn)象是“上電之后偶爾能跑、偶爾跑飛”最后定位到問題出在啟動流程里一個變量初始化順序上。另一個朋友做OTA升級本地模擬怎么測都正常一到產(chǎn)線就有一批設(shè)備變磚最后發(fā)現(xiàn)是升級包校驗邏輯只在應(yīng)用層做了沒在bootloader層二次校驗。這類問題不是個例在我接觸過的固件項目里啟動流程、故障定位、OTA升級這三個方向幾乎是嵌入式工程師從“會寫代碼”走向“能扛項目”必須跨過的三座山。這個專欄的內(nèi)容正是圍繞這三座山展開的第一把MCU和SoC的啟動流程從向量表開始徹底拆開看清從復(fù)位到main之間系統(tǒng)到底做了什么第二建立一套HardFault現(xiàn)場分析的方法論讓故障定位從“盲猜”變成“有章可循的刑偵”第三把OTA升級從“能跑通Demo”推進到“能上產(chǎn)線”的工程化水平。上篇課后思考題的完整解析也會一并展開其中包含我對幾個高頻誤區(qū)的復(fù)盤。這篇文章會把核心干貨都整理出來適合正在做嵌入式裸機或RTOS開發(fā)、想系統(tǒng)提升固件底層能力的工程師參考。1. 啟動流程不是“調(diào)用main”那么簡單從上電到RTOS就緒的完整鏈路很多工程師寫單片機程序?qū)恿鞒痰睦斫馔A粼凇皬?fù)位后從main開始執(zhí)行”。系統(tǒng)真正運行的路徑比這個認知復(fù)雜得多。以Cortex-M內(nèi)核MCU為例上電后CPU首先固定從地址0x00000000讀取初始堆棧指針MSP從地址0x00000004讀取復(fù)位向量然后跳轉(zhuǎn)到復(fù)位向量指向的地址開始執(zhí)行。這一步是整個啟動流程的源頭也是芯片設(shè)計上最基礎(chǔ)的約定。1.1 向量表與中斷入口啟動流程的“第一級入口”向量表本質(zhì)上是一塊存放函數(shù)地址的內(nèi)存區(qū)域每一項對應(yīng)一個中斷或異常的處理函數(shù)入口。Cortex-M的向量表默認放在0x00000000前兩項分別是初始堆棧指針和Reset_Handler。對于帶BootROM的SoC芯片而言啟動路徑會多一層芯片上電后先執(zhí)行片內(nèi)固化ROM代碼根據(jù)啟動引腳如eMMC、SD、UART、NAND等選擇加載第一級引導(dǎo)程序如u-boot SPL再由SPL加載完整的u-boot最后才進入內(nèi)核或應(yīng)用。這塊常被忽視的細節(jié)是中斷向量表的存放位置是可重定位的。通過VTOR寄存器Cortex-M/或?qū)?yīng)SoC的異常向量基地址寄存器可以把向量表搬到RAM或指定的Flash區(qū)域。我在項目里就遇到過因為啟用Bootloader后沒有同步重定位向量表導(dǎo)致App里中斷一響應(yīng)就跑飛的情況這種問題不查啟動流程根本定位不到。1.2 MCU與SoC啟動路徑的關(guān)鍵差異點MCU以STM32、GD32、瑞薩RA等為代表和SoC以i.MX、AM335x、全志V3s等為代表的啟動流程模型有明顯不同。MCU偏向“簡單直接”從上電到執(zhí)行用戶程序通常只經(jīng)過啟動文件startup_xx.s里的一段匯編代碼完成堆棧和中斷向量表初始化后即可跳轉(zhuǎn)main。SoC則往往有“多級引導(dǎo)”的概念常見的路徑是BootROM固化 - SPL或u-boot第一階段 - u-boot第二階段 - 內(nèi)核/應(yīng)用固件每級引導(dǎo)都承擔(dān)不同的職責(zé)BootROM負責(zé)最基本的設(shè)備和存儲介質(zhì)初始化SPL負責(zé)DDR初始化并將完整的u-boot加載到內(nèi)存u-boot則負責(zé)環(huán)境變量、外設(shè)驅(qū)動、啟動參數(shù)傳遞等更復(fù)雜的邏輯。我在實際項目中的經(jīng)驗是設(shè)計系統(tǒng)啟動方案時先判斷芯片屬于哪種模型很重要。比如在資源緊張的MCU上如果方案引入過多引導(dǎo)層級會顯著增加Flash占用和啟動時間而且在故障排查時多一層就多一個變量。而在SoC平臺上隨意跳過某級引導(dǎo)往往得不償失因為很多底層外設(shè)尤其是DDR、PMIC初始化是廠家固化在特定引導(dǎo)階段里的繞過去就得自己補大量代碼。1.3 啟動文件與鏈接腳本在啟動流程中的協(xié)作關(guān)系啟動文件startup文件負責(zé)的是“啟動代碼”部分鏈接腳本.ld或.sct負責(zé)的是“內(nèi)存布局”部分兩者必須協(xié)同工作。鏈接腳本定義了向量表、代碼段、只讀數(shù)據(jù)段、數(shù)據(jù)段、堆棧段的加載地址和運行地址。啟動匯編代碼中至少要做以下幾件事初始化堆棧指針從向量表首項加載調(diào)用SystemInit時鐘/電源等基礎(chǔ)外設(shè)初始化將.data段從Flash拷貝到RAM清零.bss段調(diào)用C庫初始化如需跳轉(zhuǎn)main。這段邏輯里最容易出問題的是.data段的拷貝和.bss段清零。如果鏈接腳本的符號定義與啟動代碼對不上或者芯片上電后RAM尚未穩(wěn)定就執(zhí)行數(shù)據(jù)拷貝就會出現(xiàn)“變量初始值不對”“全局變量莫名被清零”的詭異現(xiàn)象。我遇到過一次燒錄后部分變量總是復(fù)位為0的Bug最后查下來是.bss段的起始地址被鏈接腳本意外設(shè)置到了寄存器映射區(qū)啟動代碼執(zhí)行清零操作時把外設(shè)寄存器寫壞了。需要注意的關(guān)鍵點無論MCU還是SoC啟動流程都必須保證“內(nèi)存可用”和“時鐘穩(wěn)定”這兩個前提。很多人只關(guān)注“代碼能不能跑”忽略了內(nèi)存控制器和時鐘樹是否就緒。在部分新系列MCU上復(fù)位后默認時鐘源是內(nèi)部低速RC此時Flash讀取速度受限如果啟動代碼沒有及時切換到外部高速晶振后續(xù)初始化會出現(xiàn)時序不匹配的問題。2. RT-Thread的啟動初始化流程從Reset_Handler到調(diào)度器跑起來的代碼級拆解在實際項目中越來越多的產(chǎn)品使用RT-Thread這類RTOS啟動流程就不再只是“跳轉(zhuǎn)main”那么簡單了。RT-Thread在main之前和main之后都做了大量工作不理解這套流程寫出來的BSP或驅(qū)動很容易出現(xiàn)時序錯亂。2.1 RT-Thread啟動的三層結(jié)構(gòu)Reset_Handler、entry、rtthread_startup有經(jīng)驗的開發(fā)者都知道RT-Thread的main和我們認知里的“應(yīng)用程序入口”是兩回事。查看RT-Thread的啟動文件與源碼整個啟動鏈路是這樣的Reset_Handler - SystemInit(可選) - entry - rtthread_startup -(初始化調(diào)度器/信號量/定時器/設(shè)備驅(qū)動等) - main線程其中entry的實現(xiàn)在不同平臺略有差異但核心思想一致在進入C世界之前先把運行環(huán)境準(zhǔn)備好。rtthread_startup是RT-Thread的系統(tǒng)初始化入口它完成從“裸機環(huán)境”到“操作系統(tǒng)環(huán)境”的轉(zhuǎn)變包括初始化系統(tǒng)全局數(shù)據(jù)與BSS段調(diào)用rt_hw_board_init進行板級硬件初始化調(diào)用rt_system_heap_init初始化系統(tǒng)堆調(diào)用rt_components_board_init執(zhí)行板級自動初始化調(diào)用rt_application_init創(chuàng)建main線程。這塊內(nèi)容里經(jīng)常被忽視的細節(jié)RT-Thread的main線程并不是系統(tǒng)第一個運行的線程。調(diào)度器會在main線程創(chuàng)建前后依據(jù)線程優(yōu)先級和就緒狀態(tài)決定先運行哪個線程。所以如果板級初始化里創(chuàng)建的某些線程優(yōu)先級高于main就可能出現(xiàn)“main還沒執(zhí)行完其他線程已經(jīng)開跑”的情況這在驅(qū)動和設(shè)備注冊階段會引發(fā)“設(shè)備未初始化卻已被調(diào)用”的隱蔽問題。2.2 基于自動初始化機制的組件與服務(wù)注冊順序RT-Thread提供了一套自動初始化機制宏定義如INIT_BOARD_EXPORT、INIT_PREV_EXPORT、INIT_DEVICE_EXPORT、INIT_COMPONENT_EXPORT、INIT_APP_EXPORT使得開發(fā)者可以在不同階段通過宏將自己的初始化函數(shù)注冊進系統(tǒng)啟動流程。這套機制的精妙之處在于它通過鏈接腳本中的自定義段將一個一個初始化函數(shù)的地址收集起來在啟動時按順序逐個調(diào)用。自動初始化宏對應(yīng)順序如下INIT_BOARD_EXPORT - rt_hw_board_init后 INIT_PREV_EXPORT - 純軟件初始化較早階段 INIT_DEVICE_EXPORT - 設(shè)備驅(qū)動注冊 INIT_COMPONENT_EXPORT - 組件初始化 INIT_ENV_EXPORT - 環(huán)境變量等 INIT_APP_EXPORT - 應(yīng)用初始化實際項目中我見過幾次比較典型的錯誤在INIT_BOARD_EXPORT階段就調(diào)用外設(shè)驅(qū)動注冊接口此時外設(shè)設(shè)備框架還沒準(zhǔn)備好在INIT_DEVICE_EXPORT階段訪問設(shè)備私有數(shù)據(jù)但設(shè)備結(jié)構(gòu)體還沒被賦值在INIT_APP_EXPORT階段操作硬件資源但對應(yīng)的設(shè)備驅(qū)動還沒完成初始化。排查這類問題最笨也最有效的辦法是在每個自動初始化入口臨時加上打印信息觀察實際調(diào)用順序是否與預(yù)期一致。不要只看代碼邏輯編譯器的段排序、鏈接腳本的符號布局都可能影響最終順序。2.3 裸機習(xí)慣在RTOS啟動流程里容易踩的幾個坑從裸機轉(zhuǎn)RTOS的工程師最容易踩三個坑第一個坑低估了系統(tǒng)堆初始化對后續(xù)功能的影響。RT-Thread大量使用動態(tài)內(nèi)存管理比如動態(tài)創(chuàng)建線程、信號量、消息隊列。如果系統(tǒng)堆設(shè)置的起始地址與大小不合理比如與靜態(tài)數(shù)組重疊運行時就會出現(xiàn)偶發(fā)崩潰而且崩潰點五花八門不在啟動流程里加監(jiān)控腳本幾乎沒法直接定位。第二個坑忽略了線程棧的空間分配。啟動流程創(chuàng)建的第一個用戶線程通常是main線程棧大小在rt_application_init中配置。默認值在簡單Demo里沒有問題但在實際產(chǎn)品中main線程里有printf重定向、文件系統(tǒng)加載、網(wǎng)絡(luò)協(xié)議棧初始化等復(fù)雜調(diào)用棧需求遠大于默認值。棧溢出在當(dāng)時不報錯而是在某次函數(shù)調(diào)用把關(guān)鍵返回地址覆蓋了以后突然跑飛。第三個坑沒有在啟動流程里留出足夠時長的硬件穩(wěn)定時間。外設(shè)的上電穩(wěn)定時間、電源軌爬升時間在芯片數(shù)據(jù)手冊里都有標(biāo)注。如果RTOS啟動過程中在硬件還沒穩(wěn)定的情況下就去讀外設(shè)寄存器輕則讀到無效值重則死等超時。這個問題在含射頻模塊或傳感器供電有獨立時序要求的硬件上尤其明顯。我在多個量產(chǎn)項目里的做法是在板級初始化函數(shù)里明確分階段先保證電源穩(wěn)定必要時加延時再做外設(shè)時鐘使能最后初始化外設(shè)控制器把每個階段的標(biāo)志位打印出來方便在啟動異常時秒級定位停在哪一步。3. 故障定位方法論從HardFault現(xiàn)場到“刑偵式”排查的完整鏈路嵌入式固件的故障定位難點不在于“出錯”而在于“出錯后現(xiàn)場被破壞”。我曾經(jīng)在一個項目中花了兩天時間才確認一個HardFault的觸發(fā)路徑期間換了無數(shù)種猜測。后來把定位方法系統(tǒng)化以后同類問題基本能控制在一兩個小時內(nèi)。這套方法論核心可以總結(jié)為先保護現(xiàn)場再分析現(xiàn)場最后復(fù)原路徑。3.1 基于LR寄存器與異常棧回溯的HardFault分析三板斧所謂HardFault本質(zhì)是CPU執(zhí)行過程中遇到了無法處理的異常情況比如訪問了非法地址、執(zhí)行了未定義指令、除零錯誤Cortex-M默認不支持等。Cortex-M內(nèi)核在進入異常時會自動壓棧一部分寄存器xPSR、PC、LR、R12、R3-R0這個過程通常發(fā)生在當(dāng)前使用的棧指針MSP或PSP所指向的內(nèi)存區(qū)域。第一步查看LRLink Register的值。在Cortex-M中LR的值可以判斷“當(dāng)前使用的是哪個棧指針”以及“異常返回時的處理器模式”。進入HardFault后如果能從調(diào)試器或串口打印信息里拿到LR就能判斷出異常前的棧是MSP還是PSP這對區(qū)分“哪一層代碼出了錯”極有幫助。第二步根據(jù)LR指向的棧類型找到壓棧的寄存器現(xiàn)場通過其中的PC值確定異常發(fā)生時的指令地址。再結(jié)合反匯編或addr2line就能精確定位到某個函數(shù)。第三步利用LR的上一層調(diào)用地址逐步回溯多級調(diào)用鏈。Cortex-M的壓?,F(xiàn)場里保存了異常發(fā)生前的PC和LR這個LR實際上是“被中斷的某次函數(shù)調(diào)用”的返回地址所以只要棧沒有被嚴(yán)重破壞一般能向上追出調(diào)用路徑。這三個步驟就是業(yè)內(nèi)常說的“?;厮萑甯?。我見過不少工程師在HardFault_Handler里只做個死循環(huán)這在開發(fā)階段還能忍在產(chǎn)品階段等于“故障信息完全丟失”。3.2 現(xiàn)場保護的一種低成本實現(xiàn)在HardFault里把寄存器現(xiàn)場打印到串口更實用的做法是在HardFault_Handler里不要立刻清空現(xiàn)場而是把當(dāng)前SP值和自動壓棧的8個寄存器取出來通過串口或其他IO口輸出。Cortex-M的HardFault_Handler進入時硬件已經(jīng)完成了壓棧我們要做的就是找到棧頂按布局讀取寄存器。參考實現(xiàn)思路如下void HardFault_Handler(void) { uint32_t stack_addr; stack_addr __get_MSP(); /* 在 stack_addr 處依次存放 xPSR, PC, LR, R12, R3, R2, R1, R0 */ fault_regs.pc *(uint32_t*)(stack_addr 24); fault_regs.lr *(uint32_t*)(stack_addr 20); fault_regs.psr *(uint32_t*)(stack_addr 32); fault_print(fault_regs); while(1) { } }拿到PC值后通過反匯編工具定位具體函數(shù)這是整條鏈路中最直接、最有效的一步。若產(chǎn)品有顯示屏或LED也可以把PC低幾位編碼輸出做成簡易的“錯誤碼指示燈”產(chǎn)線維修時不需要接調(diào)試器就能快速判斷故障模塊。還有一個細節(jié)如果系統(tǒng)在異常中切換了棧比如使用了PSP需要先判斷LR的bit2異常返回時使用的棧再去讀對應(yīng)的PSP或MSP。很多網(wǎng)友分享的HardFault回調(diào)代碼沒有考慮雙棧場景這在帶RTOS的工程里很容易出錯。3.3 面對棧被破壞的場景硬故障之外的軟故障排查鏈路棧回溯法適用于“棧結(jié)構(gòu)基本完整”的異常。更棘手的是棧被系統(tǒng)性破壞的場景比如數(shù)組越界、棧溢出、野指針覆蓋關(guān)鍵變量。這類問題沒有專門的異常入口表現(xiàn)往往是“程序隨機跳飛”或“功能偶發(fā)錯亂”。排查這類問題的思路和在案發(fā)現(xiàn)場找指紋很像把可疑的全局變量加上內(nèi)存保護屬性MPU一旦寫入立即觸發(fā)異常在可疑函數(shù)入口和出口打印調(diào)用棧深度判斷是否在某個時段異常增長開啟編譯器的棧保護區(qū)Stack Canary讓溢出提前暴露將大數(shù)組、結(jié)構(gòu)體的定義位置從棧上挪到靜態(tài)區(qū)減少棧壓力在可疑的寫入操作前后加“哨兵值”檢測是否有野指針越界寫入。我做過一次最典型的“軟故障”排查經(jīng)歷是系統(tǒng)運行數(shù)小時后偶發(fā)死機查了三天沒結(jié)果。最后在懷疑對象結(jié)構(gòu)體周邊布置了幾組魔數(shù)0xDEADBEEF這類并在主循環(huán)里周期性檢查終于捕捉到某一刻魔數(shù)被破壞進而用寫入斷點定位到了越界寫數(shù)組的代碼。這種思路和做法后來被我用在多個項目的最后階段排查中算是調(diào)試手段里回報率最高的投入。3.4 故障定位常用的工具鏈與效率技巧目前市面上主流的IDEKeil、IAR、VS Code Cortex-Debug等都支持異常時的寄存器查看和調(diào)用棧回溯嚴(yán)格說不需要額外工具就能完成基礎(chǔ)分析。要想提高效率有幾個技巧值得養(yǎng)成習(xí)慣使用J-Link或DAP-Link的ReadRegister和MemRead命令快速讀取關(guān)鍵內(nèi)存在HardFault回調(diào)中不僅打印PC也打印LR和SP這三個值能快速壓縮排查范圍對代碼開啟-fno-omit-frame-pointerGCC可保留幀指針提升?;厮莩晒β柿慨a(chǎn)固件里保留一小段非易失存儲區(qū)在異常時寫入故障快照下次上電可主動上報故障碼。這套方法論的關(guān)鍵在于“提前準(zhǔn)備”。我不建議等故障發(fā)生了再設(shè)計現(xiàn)場保護而是在項目早期就把HardFault回調(diào)、異常棧打印、看門狗復(fù)位原因讀取這三個能力做成標(biāo)配。這樣后面每次遇到問題手里都有第一手數(shù)據(jù)。4. OTA升級工程化實戰(zhàn)從分區(qū)規(guī)劃到失敗回滾的全流程設(shè)計OTA升級是最能體現(xiàn)“工程化”三個字價值的方向。很多人跑通Demo后以為大功告成實際上真正的考驗在于升級中斷、斷電、版本回退、多設(shè)備并發(fā)這些真實場景。這一部分我把經(jīng)過多輪量產(chǎn)驗證的OTA設(shè)計經(jīng)驗拆開來講。4.1 分區(qū)規(guī)劃是OTA的“地基工程”先算清楚這四筆賬OTA是否穩(wěn)定七成取決于分區(qū)規(guī)劃。常見方案分三種單區(qū)方案、雙區(qū)A/B方案、雙區(qū)備份區(qū)方案。單區(qū)方案節(jié)省Flash但升級失敗后設(shè)備可能變磚需要依賴外部手段恢復(fù)。A/B分區(qū)方案把當(dāng)前運行固件和待升級固件分別存放在兩個獨立的存儲區(qū)域升級過程中即使斷電bootloader仍可啟動舊的A區(qū)固件這是消費電子和工業(yè)設(shè)備里最常用的安全方案。分區(qū)規(guī)劃時至少要計算四筆賬固件最大體積需要預(yù)留固件體積的1.2~1.5倍空間用于存儲升級包或備份固件Bootloader區(qū)大小bootloader本身要足夠容納升級校驗、擦寫驅(qū)動、恢復(fù)邏輯代碼升級包臨時存儲區(qū)如果固件從網(wǎng)絡(luò)或SD卡接收通常需要一個下載緩存區(qū)元信息區(qū)存放固件版本號、校驗和、升級狀態(tài)標(biāo)志這一段小但絕對關(guān)鍵。這里有個很容易踩的坑很多開發(fā)者在規(guī)劃分區(qū)時只看Flash總?cè)萘繀s沒考慮“Flash扇區(qū)擦除粒度”。比如某顆Flash的扇區(qū)大小是4KB如果固件分區(qū)邊界沒有對齊扇區(qū)邊界擦除操作可能意外跨越分區(qū)把鄰區(qū)的數(shù)據(jù)也抹掉。4.2 升級包的版本管理與校驗機制防“錯版本覆蓋”和“傳輸損壞”O(jiān)TA的版本管理核心是杜絕“舊版本覆蓋新版本”和“升級包半截損壞”這兩類問題。我的做法是設(shè)計一個簡化的版本描述結(jié)構(gòu)約定如下字段字段含義說明magic包頭魔數(shù)用于識別是否為合法升級文件version_major/minor/patch版本號用于比較新舊版本timestamp時間戳防止同版本號誤覆蓋size固件有效長度用于限制拷貝范圍checksum整包校驗值建議使用CRC32或SHA256flash_offset目標(biāo)寫入地址與分區(qū)表核驗防越界版本比較策略上我傾向于“拒絕降級”除非配置里顯式允許。這一策略能避免產(chǎn)測時誤刷舊固件導(dǎo)致功能回退的問題。校驗方面下載階段做一次整包校驗寫入完成后再做一次讀取校驗兩次校驗通過的包才允許被標(biāo)記為“可啟動”。在bootloader里的二次校驗尤為重要。我第一次做OTA時只在應(yīng)用層校驗了升級包bootloader直接跳轉(zhuǎn)。后來模擬了一次傳輸過程中數(shù)據(jù)被篡改的場景系統(tǒng)沒有任何防護地跑起來后面幾天數(shù)據(jù)全是亂的嚇得我趕緊補上bootloader階段的校驗?,F(xiàn)在的設(shè)計方案里bootloader在跳轉(zhuǎn)前必須檢查鏡像頭部magic、CRC以及升級狀態(tài)標(biāo)志位三者缺一不可。4.3 斷點續(xù)傳與升級失敗回滾機制的工程取舍標(biāo)準(zhǔn)OTA流程中升級動作分為下載、校驗、寫入備份區(qū)或覆蓋區(qū)、切換啟動標(biāo)志、重啟執(zhí)行。每一步都可能被打斷斷電、通信異常、Flash擦寫超時等。工程化設(shè)計里必須接受一個現(xiàn)實任何一步失敗都要能回到上一個穩(wěn)定狀態(tài)。斷點續(xù)傳的基本實現(xiàn)是記錄已下載或已寫入的數(shù)據(jù)塊偏移量。每次傳輸前查詢上次進度從斷點繼續(xù)。這個機制在固件體積大、網(wǎng)絡(luò)環(huán)境差的場景下能顯著降低升級失敗率。不過在MCU資源受限的情況下斷點續(xù)傳也會消耗存儲和邏輯復(fù)雜度如果產(chǎn)品固件不超過512KB且網(wǎng)絡(luò)穩(wěn)定我通常建議直接整包下載換取出錯的簡單和可預(yù)期?;貪L機制上雙區(qū)方案天然支持“升級失敗回退到舊版本”。具體思路是App區(qū)當(dāng)前運行 - Bootloader檢查升級標(biāo)志 - 下載App鏡像到Download區(qū) - 校驗 Download區(qū) - 標(biāo)記準(zhǔn)備就緒 - 重啟進入Bootloader - 將Download區(qū)拷貝到App區(qū)或直接切換啟動指針 - 啟動App - 應(yīng)用自檢如心跳上報 - 成功則確認新版本失敗則回滾舊版本這里的自檢確認環(huán)節(jié)是整個回滾方案的靈魂。沒有這個環(huán)節(jié)即使升級成功設(shè)備啟動后也可能因為新固件存在邏輯問題而反復(fù)重啟。所以在應(yīng)用層要設(shè)計一個“啟動后N秒內(nèi)上報心跳/打開指定標(biāo)志”的確認機制bootloader據(jù)此決定保留新版本還是觸發(fā)回滾。4.4 OTA上線產(chǎn)線前必須做的四類可靠性測試這一部分是我被項目交付逼出來的經(jīng)驗OTA功能在開發(fā)板上跑通離產(chǎn)線可用還有很長距離。上線前至少要做四類測試斷電測試在升級過程的每個階段下載中、擦除中、寫入中、跳轉(zhuǎn)前隨機斷電至少循環(huán)200次確認設(shè)備總能恢復(fù)到一個可運行狀態(tài)弱網(wǎng)/大流量測試模擬網(wǎng)絡(luò)中斷、數(shù)據(jù)丟包、延遲抖動確認重傳和超時邏輯正確臟數(shù)據(jù)測試向升級包中隨機注入錯誤字節(jié)確認校驗?zāi)軘r截、不污染當(dāng)前運行固件批量并發(fā)測試在一個網(wǎng)絡(luò)里同時升級數(shù)十臺設(shè)備觀察是否存在路由器/NAT連接數(shù)瓶頸以及設(shè)備同時重啟對網(wǎng)絡(luò)的沖擊。有一次做并發(fā)測試時發(fā)現(xiàn)設(shè)備大量集中重啟會導(dǎo)致路由器短暫失效后來在升級流程里加入了錯峰重啟機制每臺設(shè)備隨機延時0~30秒再重啟問題立刻消失。這類經(jīng)驗不實測很難預(yù)料到。5. 上篇課后思考題完整解析啟動、定位、OTA三重維度的融合應(yīng)用上篇專欄留下的思考題主要目的是幫讀者檢驗自己是否真正理解了啟動流程、故障定位、OTA三者之間的關(guān)聯(lián)。我從收到的留言和私信中選出了幾個具有代表性的問題逐一展開解析。5.1 思考題一為什么Bootloader跳轉(zhuǎn)到App前要重定位中斷向量表這道題考察的是對中斷向量表機制的理解。在Cortex-M上中斷向量表默認位于0x00000000但App如果燒錄在其他地址比如0x08010000CPU在響應(yīng)中斷時仍然會從0x00000000取向量這里存放的還是Bootloader的向量表于是中斷處理就會跳回Bootloader造成邏輯混亂和上下文錯亂。正確做法是在App啟動早期將SCB-VTOR設(shè)置為App向量表的基地址。在無Bootloader的裸機工程中向量表通常直接放在0x00000000所以不需要重定位。在有Bootloader的工程中重定位是必須的。這里補充一個容易被忽略的細節(jié)執(zhí)行VTOR設(shè)置前App向量表所在的內(nèi)存區(qū)域必須已經(jīng)可讀且內(nèi)容有效否則在設(shè)置后第一個中斷來臨前程序也可能會跑飛。對于帶RTOS的工程還有一個進階點如果App的向量表所在Flash是帶讀保護或加密引擎映射的VTOR地址必須配置為映射后的地址而非物理地址。這是我踩過的一個非常隱蔽的坑查了很久才發(fā)現(xiàn)是讀保護設(shè)置導(dǎo)致CPU從錯誤地址取向量。5.2 思考題二HardFault的PC值指向的是出錯指令還是返回地址這個問題很容易答錯。Cortex-M在異常壓棧時保存的PC是被中斷指令的下一條指令地址或者更準(zhǔn)確地說是異常發(fā)生時應(yīng)返回的地址。因此HardFault回溯拿到的PC值并不必然就是觸發(fā)異常的“元兇指令”地址。在實際分析時如果PC指向一個合理的代碼區(qū)域需要再結(jié)合LR和前一條指令的反匯編來判斷真正的出錯點。如果PC值看起來完全“不可能”指向任何代碼區(qū)比如指向了0xDEADBEEF基本可以判斷棧已被破壞回溯到的PC是臟數(shù)據(jù)。此時要放棄“精確到指令”的期望轉(zhuǎn)而通過檢查棧內(nèi)殘留的相鄰數(shù)據(jù)將可疑范圍從“全程序”縮小到“一兩個函數(shù)”。題目的深層含義是提醒我們故障定位不能只看單一寄存器的值必須把CPU模式、棧指針、崩潰前最近執(zhí)行的數(shù)條指令看作一個整體來推理。這也是“方法論”與“碰運氣式排查”的分水嶺。5.3 思考題三OTA升級過程中寫入Flash時發(fā)生斷電為什么雙區(qū)方案能避免變磚雙區(qū)方案的核心保護在于在任何時刻Flash里都至少有“一個完整可啟動的固件鏡像”。寫入Download區(qū)時App區(qū)不受影響即使Download區(qū)寫了一半斷電下一次上電Bootloader檢查到升級未完成可以選擇重新下載或直接啟動App區(qū)舊固件。對比單區(qū)方案直接覆蓋App區(qū)只要寫入中途斷電App區(qū)就等于被寫壞了設(shè)備沒有可啟動的固件只能靠人工介入。所以雙區(qū)方案的本質(zhì)不是“避免寫入失敗”而是“讓寫入失敗變得可恢復(fù)”。還有一個之前的細節(jié)值得強調(diào)切換啟動標(biāo)志這一操作必須采用“先寫標(biāo)志、再重啟”還是“先重啟、再寫標(biāo)志”取決于系統(tǒng)對崩潰窗口的容忍度。我通常采用“先寫標(biāo)志再重啟”方案啟動新版回滾時則依賴bootloader保存的上一次成功啟動標(biāo)志實現(xiàn)全自動恢復(fù)。5.4 思考題四RT-Thread的main線程里初始化的外設(shè)為什么不能在INIT_BOARD_EXPORT階段直接調(diào)用這道題的核心在于理解RT-Thread“分階段初始化”的設(shè)計意圖。INIT_BOARD_EXPORT階段的執(zhí)行時機非常早此時設(shè)備驅(qū)動框架尚未注冊設(shè)備對象還不存在直接調(diào)用設(shè)備接口會出現(xiàn)“對象為空”或“未注冊”的問題。正確的使用方式是板級基礎(chǔ)硬件初始化時鐘、GPIO、復(fù)位等放INIT_BOARD_EXPORT外設(shè)驅(qū)動注冊/初始化放INIT_DEVICE_EXPORT依賴驅(qū)動的組件文件系統(tǒng)、網(wǎng)絡(luò)協(xié)議棧等放INIT_COMPONENT_EXPORT應(yīng)用層邏輯放main線程中完成而不是放到系統(tǒng)初始化階段。這個分層思路不僅適用于RT-Thread也適用于其他RTOS或裸機分層架構(gòu)。設(shè)計啟動代碼時想清楚“每個模塊依賴什么”遠比想清楚“每個函數(shù)怎么寫”重要。依賴關(guān)系理清了自動初始化順序自然就對了。6. 從“能開發(fā)”到“能交付”的認知升級把啟動流程、故障定位與OTA放進同一個設(shè)計框架文章寫到這里核心內(nèi)容基本鋪完了。最后再聊一點我對這三個方向的理解單獨把啟動流程、故障定位、OTA每一項都學(xué)會確實能解決很多單點問題但真正讓工程師從“能開發(fā)”進階到“能交付”的是把三者放進同一個設(shè)計框架里去思考。舉一個典型的例子升級流程設(shè)計時如果對啟動流程理解不深就不會知道Bootloader階段要恢復(fù)現(xiàn)場、重定位向量表、設(shè)置棧指針——這些步驟有一處遺漏升級后App就無法正常工作。如果對故障定位方法論理解不透就不會知道升級失敗后要在Bootloader里保留足夠診斷信息而不是簡單地“打印一行日志”。如果對存儲分區(qū)和回滾機制沒有整體觀就算做了雙區(qū)也可能在分區(qū)大小或啟動標(biāo)志設(shè)計上留下變磚漏洞。這三個方向在系統(tǒng)設(shè)計階段是交織的啟動流程決定了“系統(tǒng)從哪來”是恢復(fù)和升級的入口故障定位方法論決定了“系統(tǒng)壞了以后你能不能快速看清現(xiàn)場”O(jiān)TA工程化決定了“系統(tǒng)能不能安全地變得更好”。所以我建議每一位做嵌入式固件開發(fā)的朋友不要把它們當(dāng)成三個獨立的章節(jié)去學(xué)習(xí)而是要嘗試在具體項目中交叉應(yīng)用。比如每次看到一個新的Bootloader代碼就試著畫出它的啟動流程圖標(biāo)注好異常處理和恢復(fù)路徑每次遇到HardFault不要只滿足于找到出錯點還要追問一句“如果這是我升級后的固件回滾邏輯能不能覆蓋這個故障”每次設(shè)計OTA方案先確認啟動流程能安全跳轉(zhuǎn)、故障現(xiàn)場能完整保留再考慮傳輸協(xié)議與分區(qū)大小。我所經(jīng)歷過的那些最讓人頭疼的項目大多不是因為某個知識點沒學(xué)過而是因為知識點之間沒有打通。等到你在這個框架下做過兩三個完整項目會發(fā)現(xiàn)很多之前“詭異”的Bug其實在一開始設(shè)計啟動流程和故障保護機制時就能從架構(gòu)層面規(guī)避掉大半。這種認知的轉(zhuǎn)變正是從“會寫代碼”走向“能扛產(chǎn)品”的關(guān)鍵一步。希望這篇內(nèi)容對你的實踐有實際幫助也歡迎帶著具體問題來交流。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
开心五月婷婷伊人| 思思99久久| 五月丁香六月激情综合欧美| 五月 丁香 欧美| 色五月激情综合网站| 9九色首页| 大香蕉久久伊人婷婷五月丁香| 人五月天婷婷喷水| 在线理论片| 欧美狠狠色| 五月婷婷综合网在线播放| 99久久亚洲国产| 欧美日韩中文国产一区发布| 天天色视频| 综合网五月| 婷婷五月天 偷拍| 一起草av在线观看| 成人在线高清| 色射7856五月天激情四射| 五月香婷婷| 思思热精品在线| 亚洲综合网激情小说| 五月久熟女| 91n网站cad入口在线观看| 久久久久久久人妻| 少妇人妻丰满做爰XXX| 色色狼人综合| 超碰九色| 亚洲这里只有精品| 99视频内射三四| 人妻久热| 五月丁香五月婷婷| 亚洲无码99| 欧美99视频| 日日杆天天| 天天拍久久| 538午夜激情| 综合性爱网| 超碰无码老师| 99热在线资源| 激情五婷网| 熟女91九色| 色婷婷香蕉丁丁网| 99热综合网| 色婷久| 九九色中文| 亚洲春色奇米影视| 亚洲国产网址| 日本WWW九九九| 大香蕉久久久久久久久| 99网址在线看| 人人玩人人橾| 久久久久久丁香五月| 99热这里只有精品23| 99r久久这里只有精品| 五月天婷婷激情网| 婷婷五月天色综合| 丁香狠狠色婷婷| 97色色视频| 偷拍五月丁香| 五月丁香久久| tingtingcaobi| 婷婷碰碰| 色情久久久| 久久婷婷五月综合色奶水99啪| 色婷婷五月天成人网| 99精品在线观看视频| 五月婷婷与六月丁香图片激情| 亚洲av成人在线| 五月丁香婷草| 新激情五月开心五月婷婷五月丁香五月 | 亚洲操B视频| 99热999| 丁香婷婷超碰| 韩国情人在线电视剧免费观看高清版全集 | 久久99国产综合精品免费| 九九热免费视频| 午夜天天精品视频| 成人在线不卡| 九九机热| 天天玩夜夜操| 麻豆精品| 五月伊人视频在线看| 免费播放99性爱视频| 婷婷五月婷婷| 嫩草AV久久伊人妇女超级A| www.超碰97| 超碰无码老师| 九九视频精品这里只有| 思思99热| 影音先锋五月天婷婷丁香在线观看| 99久久新视频| 六月丁香激情综合| 色99视频| 婷婷的99视频网站| 99热99热在线| 9国产在线视频| 99综合99| 亚洲性色XXXXX| 狠狠高潮精品亚洲1| 婷婷久久五月| www.com亚洲网站在线免费| 婷婷色播色五月五色五月天色妇| 五月花婷婷| 99精品久久| 亚洲天堂色| 激情五月婷婷综合| 亚洲综合在线播放| 丁香五夜激情四射夜夜夜| ww久久| 色婷婷五月亚洲| 99色在线观看视频| 狠狠综合色网| 精品久久66| 丁香五月激情五月| www.zbzhongsen.com| 艾小青av| 亚洲精品一二三| 999婷婷综合| 激情小说 五月天| 婷婷综合网| 色开心五月丁香| 婷色成人| 色色欧美色色| 第四色婷婷色五月| 极品人妻VIDEOSSS人妻| 欧美激情xxxXX| 综合色情网| 91操女| 久久五月婷综合网| 在线看九一V图片| 淫视馆aV二区一区| 日日操夜夜撸| 九九熱最新視頻| 狠狠操狠狠| 狠狠一日| 日本五月婷婷| 91九色大屁股| 综合色情网| 伊人综合婷婷| 亚洲激情婷婷| 五月花综合| 97操视频| 丁香五月婷婷性爱| 国产毛片精品一区二区色欲黄A片| 99在线观看| Av九九| 九色无码| www激情| 亚洲区视频| 综激情网| 色色色在线免费视频| 五月天综合在线| 182TV大香蕉| 狠狠操天天干| 天天爱天天做天天日| 粉嫩av蜜桃av蜜臀av| 91精品人妻少妇无码影院| 日本婷婷色日| AV在线观看网站| 9久热在线视频精品| 色五月97| 久久九九国产精品怡红院| 91久久久久久| 射婷婷中文字幕| 婷婷五月天在婷| av网站免费在线| 六月丁香好婷婷| 国产女生爱爱AA| 五月综合婷婷五月| 激情丁香婷婷五月天| 久久在线视频免费观看| 五月色综合网| 激情小说五月丁香在线视频观看视频| 爱iii做iiii日| 婷婷亚洲在线| 日本在线视频播放91| 伊人久久五月天| 欧美成人Va| 屁股翘好撅高迎合跪趴| 五月丁香六月成人| 婷婷玉月丁香五月在线视频| 欧美啪啪9| 99精品国产热久久91色欲| 婷婷色色五月| 亚洲视频在线网| 久婷婷婷| www.五月天社区| 99久久亚洲国产| 婷婷天天色| 色婷婷六月精品| 久久大香免费| 最近中文字幕2019视频1| 激情综合丁香五月| 久久人妻爱爱| 9久久婷婷国产综合精品性色| 亚洲综合五月天| 亚州性爱99| 久久久久久97| 日本97在线看片| 婷婷综合亚洲| 日本久久爱| 开心五月激情网| 深夜婷婷 丁香| 亚洲婷婷五月| 丁香五月天的网址。| 中文字幕人妻在线| 久久五月天激情婷婷| 久久五月天婷婷| 直接看的AV网站| 婷婷精品在线| 色综合久久综合| 亚洲精品久久久久久久久久吃药 | 久久精品凹凸分类| 日本三级日本三级99| 婷婷丁香五月在线播放| 丁香花五月天| 涩涩五月天综合| 东京热人妻一区二区三区在线| 国产日韩欧美性爱| www,久久久| 亚洲欧美国产高清vA在线播放| 久热久色| 丁香六月开心| 99操碰| 九月丁香欧美综合| 欲求不满的人妻| 一本道在线电影| 色九九九九| 99思思热只有在这里看| 一级A片天天操夜夜操| 日韩成人av在线| 丁香五月www| 亚洲亚洲人成综合网络 | 小泽玛利亚视频一区二区| 中文字幕按摩做爰| 亚洲精品无人区| 色爱五月天| 婷婷成人五月天| 另类视频丁香五月| 久久婷婷五月综合伊人| 日韩十国产极品久久| 99热久只有精品首页| 丁香五月影视| 亚洲久热| 美女天天艹人人爽| 五月天成人在线视频丁香| 成片免费播放| 国产在线6| 97久久人人操| 国产色丁香| 色五月天.con| 欧美精品久久久久久视频观看| 91欧美| 女婷久久| www.sd-xiangsu.cpm| 九九热视频精品2| 亚洲色久| www.五月激情.com| 99成人小视频| 五月天丁香综合久久国产| 五月天色不卡| 丁香六月婷婷久久综合| 偷偷与邻居做爰完整视频| 人人爱操| 丁香97综合| 六月丁香开心婷婷欧美| 97久人人| 婷婷激情五月天在线视频| 日本本土色网第一区| 色婷婷六月激情| 99久久成人| 丁香五月婷婷色播艳门照| 日日爽日日| 五月天婷婷在线视频| 五月婷婷激情| 丁香六月激情综合| 9 1 A v久久久| 九九99在线视频| 中美日韩成人在线| 啪啪五月天啪啪| 99久久精品视频女神1| 激情五月天在线视频| 五月99久久| 五月停亭六月,六月停亭的英语 | 激情五月天在线| 26UUU亚洲欧美| 玖玖资源天天无码| 久久婷婷影院| 丁香婷婷五月激情四射网| 92久操视频| 激情四射五月天| 婷婷五月欧美综合| www.91在线观看| 五月丁香综合| 超碰人人99| 人人澡天天色天天做| 婷婷激情综合网| 婷婷开心激情| 亚洲亚洲人成综合网络| 婷婷综合亚洲| www.丁香五月| 丁香五月影院| 丁香五月情| 成人色情五月天婷婷丁香| 婷婷激情五月综合| 无码少妇高潮喷水A片免费| 色综合9| 日本久久综合| 久热这里只有精品6| 人人操AV| 99A级片| 亚洲性爱99在线| 中文色婷婷| 91av传媒高清在线视频网| 亚洲无码yw| 狠狠色丁香| 五月婷婷激情啪啪| www.97干视频| 色五月婷婷色五月| 玖玖资源天天无码| 伊人无码高清| 久久99热只有精品| 操久久网| 先锋资源91| 天天爽天天透天天爱| 久久婷婷六月综合| 在线天堂9| 国产精品成人av在线观看春天| 97久久视频| 9精品一区| 久久婷婷五月综合激情国产| 五月激情啪啪| 青青草搞屄视频网站| www.色九月| 天天日日| 99思思热只有在这里看| 激情网 久久| www.久久| 五月天综合久久| 伊人婷婷91| 六月色国内综合| 亚洲va成人va成人va在线观看| 久久婷婷五月综合啪| 五月婷婷自拍视频| 丁香狠狠色婷婷久久无码视频| 色必久悠悠影院| 婷婷激情综合网| 色色色天堂网| 色综合天天| 停停六月 综合| 五月花婷婷丁香| 人人插操| 色5月婷婷| 疯狂做受XXXX高潮A片| 99re思思精品视频在线观看| 99国产精品白浆在线观看免费| 少妇丁香婷婷 | 九玖欧洲亚洲| 色色亚洲99com| 久久开心五月婷婷| 婷婷婷五月香蕉| 久久99性爱视频| www.九月婷婷丁香.com| 亚洲一区二区无遮挡A片| 亚洲无码AV片| 91精品久久久久久| 伊人大香五月天| 久久综合婷婷| 婷婷伊人五月| 国产午夜精品一区二区| 激情五月天婷婷丁香| 激情视频网址| 久久人妻超碰一区| 五月亭亭网成人在线视频| 69精品无码一区二区三区| 五月婷婷天天| av中文在线| 五月天另类综合网| 婷婷五月综合免费在线| 高清不卡一区| 免费久久这里只有精品99| 丁香五月天操B| 日韩在线五月天婷婷| 久草视频大香蕉99| 五月婷婷六月丁香综合| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 无码人妻一区| 狠狠综合| 欧美五月婷婷综合| 秋霞性爱AV| 免费的日逼视频| 一级AV片| 大香蕉久久久| 精品99只有。| 四虎成人精品永久免费AV九九| 99热这里只有精品在线| 五月丁香婷婷成人综合网| 99综合熟女| 五月天桃色深爱网| 欧洲激情精品婷婷| 丁香五月婷婷少妇| 亚州综合色| 99ri视频| 五月天淫乱视频| 激情小说婷婷小说| 五月婷婷日| 丁香五月电影| 丁香 久久| 五月丁香激情综合网官网| 任你干嘛免费视频播放| 激情又色又爽又黄的A片| 久久怡红院| 色色色在线播放| 性爱激情小说AV五月丁香花| 99热在线观看| 亚洲五月婷婷| 久草五月婷婷| 五月婷婷激情五月| 开心五月婷| 91人妻色色网| 久久婷婷综合国产| 日韩人人操| www.五月天| 婷婷情爱五月天6| 色色成人網| 狠狠色色综合| 亚洲AV日韩AV永久无码网站| 四川BBB搡BBB爽爽视频| www超碰| 婷婷五月天亚洲综合| 日逼免费视频| 99无码免费视频| 4438激情网| 99视频啪啪| 99在线精品免费视频| 99精品热视频| 美女激情综合| 狠狠色大香蕉| 狠狠色综合精品视频在线| 五月丁香天天| 欧美成人无码高清一区二区三区| 色 免费网站视频| 狠狠综合区| 影音先锋一区二区资源站| 内射人妻视频国内| 最近中文字幕大全免费版在线 | 99爱在线视频| 天天插天天插| 疯狂做受XXXX高潮A片动画| 婷婷五月六月| AVDV久久| 欧美日韩欧美| 欧美成人一区二区三区在线视频 | 日韩无码系列| 亚洲超级碰| 五月天激情黄色网址| 亚洲成人AV电影在线| 成人精品视频99在线观看免费| 五月婷婷之综合激情| 大香蕉婷婷色| 婷婷深爱五月| 99热这里只有精品8| 久久久久久欧美精品se一二三四| 97人人干| 日本精品人妻无码77777| 开心五月色婷婷综合开心网| 亚洲成人影视在线| 99超级超级超级碰| 97碰人人操| 五月天丁香综合久久国产| 十区AV| 91人人超碰在线| 欧美色色色色色色色色色色| 99热精品在线观看| 婷婷黄色五月天在线视频| 婷婷亚洲五月丁香综合在线| 婷婷丁香五月,狠狠综合| 无码色色| av色婷婷| 欧美成人精品A片免费一区99 | 99热销国产这里有精品| av九九| 久久综合网免费视频| 丁香色播五月天| 天天色天天爱天天爽| 欧美一级操逼视频| 26uuu丁香婷婷五月| 无码人妻电影| AA片在线观看视频在线播放 | 极品另类| 热99视频精品| 激情五月六月婷婷| 综合网五月| 亚洲欧洲另类图片| 色五月色图| 九月丁香婷婷综合激情| 99热亚洲精品66| 9有码中文| 激情五月久久| 亚洲AVwwwwwww| 五月丁香婷婷色色| 婷婷五月天亚洲综合| 99色精品| 国产毛片操B| 婷婷色中文| 天天综合色丁香| 思思精品热在线| 99自拍网| 五月丁香综合久久夜夜| 99rewww| 久久婷婷成人综合色怡春院| 婷婷久久网| 操操操91| 婷丁香五月天| 丁香五月婷婷啪啪啪| 91九色最新视频| 激情丁香九九五月综合网| 五月天婷婷色播综合在线| 九九婷婷网五月天| 亚洲无AV在线中文字幕 | 五月丁香六月激情欧美综合| 天天拍天天操| 亚洲综合婷婷| 狠狠综合网| 人妻熟人中文字幕一区二区| www久| 五月丁香淫淫婷婷婷| 色五月五月婷婷| 国产综合丁香五月天| 婷五月天在线草| 九九热99熟女| www亚洲无码| 极品 少妇 内射| 91爱啪啪| 色情五月婷| 五月丁香无码| 丁香香蕉射射射| 丁香五月婷婷狠狠色| 国产这里只有精品| 国产91在线视频| 综合xx网| 五月天色综合| 婷婷激情伍月网| 激情六月婷婷| 成年视频免费观看| 五月花综合视频| XX色综合| www.操逼comm| 精品久久久久成人码免费动漫| 五月婷婷深深的爱| 天天激情站| 爆乳熟妇一区二区三区爆乳| 亚洲在线资源| 中文AV在线播放| 97操碰在线视频| 成人视频免费观看高清完整版在线观看| 五月丁香婷婷婷婷综合网| 久久天天| 久久黄色免费视频| 亚洲亚洲人成综合网络| 嫩草综合网| 涩涩五月天| 伊人青草成人| 人人色人人弄人人操| 狠狠88综合久久久久噜噜噜| 亚洲人妻av伦理| 五月天五月色婷婷综合| 久热免费视频| 全国最新疫情| 五月丁香六月停停停| 天天日婷婷| www。五月,com| 国产精品久久7777777精品无码| 婷婷五月激情四射手| 五月天婷婷五月| 国产av网| 激情综合网激情五月天| 亚洲天堂99| 99热这里只有精品中文字幕| 五月视频日本免费观看| www.金莲av| xx人人xx| 激情综合色网| 亚洲精品又粗又大又爽A片 | 婷婷成人AV| 日韩成人中文字幕| 成人精品视频99在线观看免费| 天天干天天干天天干天天干天天干天天| 夜夜操加勒比| 看片视频在线免费日产在线看| 96精品久久久久久久久| 婷婷五月花| 丁香五月婷婷骚视屏| 色色五月激情| 日本丁香五月| 国产精品成人av在线观看春天| 9视频1在线| www.色五月| 日韩六十路91性交电影| 涩涩婷婷五月| 亚洲va综合va国产va中文| 五月婷婷我| 超级碰碰91| 亚洲五月天激情| 丁香五月开心五月激情| 亚洲精品亚洲人成人网| 久99久视频精品| 狠狠爱五月婷婷| 久久五月天合网| 伊人超碰在线| 久久激情网| 婷婷五月丁香在线视频| 99热精品少| 久热爱大香蕉在线蜜臀悦色 | 五月天婷婷在线视频| 五月天堂在线| 五月天激情四射| av在线婷婷| 色啪影院| 夜夜夜夜撸夜夜操| 好好日激情五月天| 久操福利| 激情五月婷婷色色| 国产AV一区二区三区最新精品| 久久人妻视频| 五月婷婷啪啪网| AV九九| 天天艹| 成人无码精品1区2区3区免费看| 啪啪色区| 日日日天天干| 色五月婷婷、老熟女| 激情av在线| 色综合77777| 九九99久久| 国产精品国产| 播四月婷婷六月丁香| 日本www五月婷婷| 日本女人久久| 日韩成人综合| 色亭亭九月| 色婷婷丁香五月| 超碰在线国产| 午夜婷婷久久 | 婷婷五月天综合小说网| 婷婷五月天,影院| 丁香五月亚洲AV| 久热91精品| 日韩大片艹艹| www.色色com| 激情五月天。| 五月天社区婷婷| 丁香五月天社区| www.国产色| 99热人人| 91日韩在线| 久久久91| 4399成人黄A片| 色婷| 色99视频| 日本99热| 婷婷激情五月天综合| 色人久久| 国产VA播放| 女人露出p毛视频www网站| 丁香婷婷五月天激情四射| A1片久久久| 91九色 婷婷| 69久久99精品久久久久婷婷| 无码髙清| 97九色| 99re在线观看| 深爱丁香网| 五月天激情站| 婷婷五月丁香激情色情| 婷婷开心激情综合五月天| 五月丁香伊人网| 人人操人av| 精品色色色| 天天摸夜夜夜| 久久99热免费最新版| 大婷婷色呦呦噜噜色呦呦噜噜| 五月婷婷激情网| 97人人搞| 久久五月婷| 狠狠精品干练久久久无码中文字幕| 国产婷婷色综合AV蜜臀AV| 人妻日日日| 婷婷97C| 欧美在线视频免费播放| 五月婷婷综合网| 思思视频精品| 另类综合婷婷五月天欧美视频| 人人操av| 色五月婷婷基地| 激情五月婷婷| 丁香五月天婷婷91| 婷婷亚洲天堂| 婷婷五月丁香伊人网| 五月色色激情网| 超碰二区| 风流少妇A片一区二区蜜桃| 久久探花91swag| 天天综合久久| 婷婷在线五月天观看| 色婷婷激情五月天| 丁香五月激情婷婷| 丁香五月天成人| 午夜丁香综合婷婷| 日韩成人网站精品久久大全| 国产精品色婷婷AV综合色色| 涩五月婷婷| 五月丁香花成人社区| 丁香六月婷婷色播| 丁香婷婷免费| 色五月大| 丁香五月欧美婷婷综合| 国产ava| 中文字幕 久久9999| 色色综合激情| 激情综合丁香六| 色婷婷综合久久久久| 五月开心啪啪| 综合激情站| 香蕉色色网| 丁香五月天激情五月天激情五月天激情网 | 9l视频自拍9l九色9l成人| 性一交一乱一交A片久| 十区AV| 欧美成人网婷婷综合在线| 激情綜合網址| www。五月,com| 99热九九这里只有精品| 五月天四色房丁香亭亭| 少妇性按摩无码中文A片| 久99久热| 五月婷婷,六月丁香| 99精品成人无码A片观看金桔| 国产激情在线| 女人天堂 AV| 九九99精品| 大香蕉久热| 99九九精品视频| 丁香五月久久| 色五月综合激情| 亚洲视频99| 婷婷五月综合国产精品| 五月激情丁香久久综合网| 色色色婷| 久婷婷色| 五月天综合视频| 丁香色婷婷色手机免费在线| 人妻射精AV| 丁香五月色色| 操碰久| 综合网视频| 91久久久久| renre人人操国产超碰在线| 婷婷五月在线视频| 色噜噜狠狠色综合日日| 久久婷婷啪啪视频| 影音先锋91| 五月天成人综合| 婷婷丁香黄色| 《蜘蛛女》梁铮1995| www五月婷婷88导航| 91热er| 大学生高潮无套内谢视频| 九九热只有这里精品| 丁香啪啪| 9.1综合网| 亚洲第一综合| 精品久久人妻热| 久久婷婷五月综合| 热久久99视频| 极品人妻VIDEOSSS人妻| 婷婷五月开心中文字幕在线| 亚洲网站观看视频| 极品五月天| 亚洲综合视频八| 开心色五月天久久久久久久| 区啪精品| 9久热免费视频99| 人妻激情综合| 激情五月天婷婷五月天| 亚洲丁香五月综合| 无人区码一码二码三码医生系列| 五月丁香婷中文字幕 | 丁香五月天视频| 六月婷伊人| 少妇水多A片太爽了| 欧美性爱5月天天天看| 丁香五月熟女| 激情亭亭五月| 九九黄色网| 色色99| 99热在线观看这里只有精品| 怡红院91a√| wuyuedingxiang99| 超碰免费观看| 五月婷婷丁香综合| 五月亭亭激情综合| 色噜噜五月天| 可以看的AV| 婷婷情色五月天| 久久久精品色| 在线观看免费人成视频无码| 五月丁香狠狠爱婷婷综合| 六月丁香激情| 欧美色婷婷| 亚洲色婷婷99一9|| 丁香五月综合在线视频| 99在线免费视频| av在线资源| 久久R激情| WWW99视频| 成人做爰A片免费看网站找不到了| 婷婷五月天,影院| 五月丁香欧美综合| 成人AV在线电影| 嫩BBB搡BBBB榛BBBB| 激情五月婷色| 日日噜狠狠| 99视频在线观看欧| 天天爽天天| 天天干天天干天天干| 天天干天天日蜜臀av| 色偷偷色婷婷| 六月五月久久丁香| 丁香婷婷激情| 麻豆AV一区二区三区| 色色五月丁香婷婷综合| 26uuu欧美日韩| 丁香五月激情婷婷| 九九热欧美| 婷婷五月天桃花网| 激情综合九月| 99热精品9| 色五月超碰| 亚洲中文字幕在线观看| 91综合色| 丁香五月综合亚洲| 中文字幕 码精品视频网站| 久久se 综合网| 欧美日本国产欧美日本韩国99| 很操日本7| www.婷婷六月天| 涩丁香| 日韩综合网络男女香蕉a片| 66精品成人免费网站在线观看| 人妻熟妇国产精品| 色爱爱综合网| 狠狠艹狠狠艹| 色九月婷婷丁香| 蜜桃婷婷丁香综合久久开心亚洲| 丝袜人妻| 久久婷婷综合五月趴| 免费观看的av| 超碰91人人操| 国产玖玖资源| 国产欧美熟妇另类久久久| 99精品一二三四视频| 玖玖资源天天无码| 激情综合亚洲| 色综合天堂| 五月丁香六月婷婷开心网| 五月婷色| 久久HD| 日日噜噜夜夜狠狠久久丁香五月| 热91久| 久久只有这里精品免费| 99啪啪网| 开心久久网婷婷| 亚洲女婷婷五月基地综合久久久| 久久久精品色| 欧美激情中文字幕| 六月丁香久久| 婷婷六月激情综合| 热99视频精品| 丁香五月电影| 区美毛片子| 囯产精品久久欠久久久久久九大| 久久性都花花世界成人免费视频| 丁香六月激情综合网| 九九视频在线观看| 天天操无码| 婷婷五月天天爽| 自拍视频99| 99久久久| 免费在线观看av网站| 99热骚货| 99久久66综合| 婷婷激情五月综合基地| 婷婷五月色| 五月激情五月丁香| 色婷婷五月综合| 色五月天丁香| 婷婷午夜激情| 色情丁香五月婷婷精品| 狠狠色噜噜狠狠| 色色日本欧美| 日日夜夜天天| 婷婷久久精品| 色综合久久中文| 色哟哟www| 久久久久亚洲AV无码网影音先锋| 综合伊人久久| 久久色五月| 99在线视频播放| 51XX午夜影福利| 97人人操在线| 天天插天天插天天插天天插| 天天激情5月天亚洲| 丁香婷婷影院| 美女五月天婷婷| 免费观看18视频网站| 婷婷五月开心中文字幕色| 蜜桃成语时李时珍 免费| www,欧美干干干干干干| 久久9热好| 五月激情综合深爱| 麻豆123区| 精品久久这里热66| 欧美日韩成人免费在线| 99超级碰免费视频| 秋霞黄色一级久久| 免费看欧美成人A片无码| 亚洲性图一区二区| 国产亚洲成人综合| 婷婷五月天成人| 丁香五月网址| 成功精品影院| 婷婷五月天com| 久久五月热| 99在线精品视频| 91偷拍视频| 五月丁香六月婷综合成人综合| 狠狠狠狠狠狠草| 精品视频二级九九| 丁香五月偷拍| 91久热| 欧美三级巜人妻互换| 直接看的AV网站| 色偷偷色婷婷| 亚洲超碰在线| 欧美成人精品老美女噜噜噜| 玖玖精品婷婷| 99综合网| 色偷偷狠狠| 97亚洲婷婷| 五月丁香综合网| 中文不卡一二区| 免费看成人747474九号视频在线观看| 五月丁香婷婷色| 天天综合五月| 奇米网大香蕉| 日韩999| 五月天俺去也| 亚洲第一黄网| 免费无码毛片一区二区A片| 天天玩夜夜操| 无码地址| 墨西哥毛片内射精| 深爱五月激情| 欧美天天干天天草| 99re热99| 亚洲色就是色色色| 91综合色| 婷婷婷五月天最新综合你懂的| www.五月天色色色| 日日干日日| 欧美这里只有精品| 久久五月丁香伊人青草| 亚洲AV电影美洲AV电影| 伊人色综合网| 日日噜狠狠色综合久| 亚洲另类婷婷五月丁香在线播放| 超级碰碰碰久久网站| 激情六月综合| WWW,五月| 99色啊| 操日视频| 丁香五月天天久久综合小说| 超碰在线看| 99热这里只要精品免费| 狠狠看狠狠| 在线超碰91| 精品亚洲国产成AV人片传媒| 丁香五月另类色婷婷麻豆| 精品皮股午夜AV| 亚洲综合在线视频| 综合网网欲色| 野战J办公桌椅H| 久操大香蕉| 婷婷五月无码| 狠狠色婷婷丁香六月| 人妻九九九九| 伊人久久大香| 五月色情| 人妻内射视频| 欧美激情综合色综合啪啪五月| 欧美噜一噜| 亚洲婷婷视频| 色色色在线观看| 国产女18毛片多18精品| 五月婷婷综合在线| 92久久| 婷婷五月激情图片| 亚洲狠狠操| 久久小视频免费| 中文字幕av久久爽一区| 久久婷婷草| 97日本操| 日产精品一线二线三线芒果| 五月丁香综合激情| 91操网| 伊人色综合网| 五月天色社区| 色婷婷狠狠久久综合五月| 日本激情ⅩXX免费视频| 欧美婷婷丁香五月社区| 九九99热久久精品66中文字幕| 99热草草| 五月日韩中文字幕| www.夜夜| 久热九九| 99热在线看| 国产成人+综合亚洲+天堂| 97干视频在线| 激情五月影院| 女高怪谈在线观看| 婷婷激情五月天视频在线| 玖玖精品资源| 九九成人精品| 亚洲射激情| 婷久看人爽| 五月久久噜噜| 五月天第四色开心色播| 色婷婷五月天中文字幕| 99久久久久| 久99久视频| 91超碰九色| 亚洲av免费在线| www.91操| 色婷网| 欧亚洲在线高清视频| 超碰99在线观看| 婷婷亚洲日本| 99在线观看视频免费| 激情综合五月婷| 丁香五月香蕉在线| 第四色色六月色综合| 丁香六月色香蕉视频| 天天日日人| 五月人人丁香婷婷五月人人丁香| 九热在线这里有精品6| 色综合爱综合| 五月婷婷综合色啪首页| 五月丁香六月婷婷手机无线| 天堂AV在线看| 久久九九热视频| 99热精品在线在线| 狠狠爱婷婷爱| 九九热视频精品| 97精品综合久久| 中文字幕丰满孑伦无码专区| 91操人人操| 伊人大香蕉爱聚| 色婷婷最新域名| 五月婷婷|欧美| 色色色色五月天| 婷五月天天| 丁香五月激情综合网激情五月| 色天天综合成人网| 五月天另类小说| 激情AV在线| 一本色道久久综合狠狠躁小说| 99热这里只有精品9| 91操人人操| 密视AV综合在线| 91碰| 婷婷六月婷婷| 亚洲A色| 夜夜大香蕉婷婷丁香| 五月婷婷无码| 无码免费人妻A片AAA毛片西瓜 | 色婷婷综合久久久久| 日韩婷婷五月| 2w在线视频| 五月天成人在线播放| 天天干天天色综合| 午夜精品久久久久久久爽| 欧美碰碰| 9久视频| 我爱婷婷五月天综合88| 综合网亚洲| AV大香蕉| www.色多多婷| 182TV亚洲| 亚洲成色综合网站免费观看| 无码网站视频| 五月丁香综合啪啪| 久久综合久色欧美综合狠狠 | 99在线精品视频免费观看20| 成人av在线网站| 一本久久亚洲五月婷婷| 亚洲五月花| 亚洲综合五月| 在线一起草av| 99热精品在线观看| 婷婷五月天在婷| 久99视频在线观看| 欧美性猛交99久久久久99按摩| 激情丁香久久久久久| 丁香五月在线伊人| www.五月.com| 色综合色| 光棍影院日韩精品| 婷婷六月色丁香视频在线观看| 色色性爱视频| 欧美在线视频99| 超碰AV成人| 色必久悠悠影院| 激情婷婷丁香| 成熟妇人A片免费看网站| 亚洲成人在线综合| 欧美另类五月激情| 99在线69| 九月婷婷人人操人人舔人人爱| 99婷婷| 综合在线色婷婷| 一本色道久久88综合日韩精品| 97在线/日本| 99人妻碰碰碰久久久久| 久久五月天综合视频网站| 99精品热| 亚洲精品a成人在线播放| 一逼色综合| 激情五月天激情五月天| 99在线精品免费视频| 久久精品婷婷| 色亚洲激情| 在线观看国产高清视频免费网站| 久久婷婷91| 婷婷五月天在线一区| AA片在线观看视频在线播放| 99啪啪视频| 丁香五月激情五月| 五月丁香久久综合91| 天天色天天爽| 五月丁香六月激情综合| 热婷婷av| 五月丁香啪啪啪啪| 99精品综合| 激情六月天婷婷| 婷婷五月天开心网| 97色五月婷婷在线| 第四色五月激情网| 中文激情网| 婷婷五月天丁香社区| 国产成人+亚洲+欧洲| 五月网网站| 欧美电影在线播放| 亭亭玉立国色天香| 丁香五月综合婷婷| 亚洲色图81p| 六月丁香六月婷婷欧美| 伊人五月婷| 六月香五月婷| 99热久| 伊人春天av| 色婷婷丁香| 日本色99| 99九无网码| 成人资源在线| 欧美黄色韩日网| 狠狠色婷婷丁香五月| 久8色色| 色婷婷丁香女女| 人妻熟妇六区| BBWCUCKOLD精品熟妇 | 91操在线视频| 久久久欧美精品sm网站| 五月婷婷综合丁香视频| 爱狠射| 天天爽天天爽视频| 99碰碰碰| 天天摸色吧天天摸色吧| 婷婷五月天国产性感美女演员久久久久| 九九热思思热| 中文字幕一色哟哟哟哟| www.伊人天堂偷偷婷婷| 欧美性猛交99久久久久99按摩| 开心婷婷五月花| 疯狂做受XXXX高潮A片| 久久婷婷色丁香| 超碰在线日夜| 大香蕉伊在| 天天噜| 丝袜激情网| 日韩操人| 99国产小视频2013| 日韩啪啪视频| 婷婷丁香午夜综合影视| 国产午夜成人免费看片无遮挡| 五月丁婷婷| 99只有精品9| 五月天网站亭亭| 婷婷欧美激情| 五月久久婷婷丁香| 婷婷伊人綜合中文字幕| 99热这里只有精品55| 天天激情综合| 青草视频在线播放| 婷婷五月天干干| 丁香久久九九99| 色私五月婷婷| 国在线激情网| 777精品久无码人妻蜜桃| 欧洲综合色| 97成人超碰免| 99热老网站| 秋霞三级影视资源| www.丁香黄色五月天人与| 五月婷婷丁香俺日污视频| 日本高清久| 人人摸人人| 青青草六月丁香| 97性高潮久久久| 99自拍网| 亚洲熟妇AV综合网五月丁香伊人 | 五月天久久www| 丁香五月婷婷亚洲激情四射| 99久久久久久| 伊人五月婷婷| 久久男人网婷婷| 狠狠色丁香婷婷久久综合| 性色欲情 网站| 99只有精品9| 香蕉婷婷色五月| 五月天免费色| 久热爱大香蕉在线蜜臀悦色| 91成人品| 激情亚洲色图片丁香综合| 丁香婷婷午夜| 天天综合精品| 十月丁香九月婷婷综合| 激情五月综合网最新| 久久久国产精品黄毛片| 天天日综合| 日日噜狠狠色综| 婷婷五月欧美| 思思热在线精品视频| 丁香婷婷成人在线播放| 色欲天天综合| 久久精品凹凸分类| 久婷婷婷| 婷婷婷五月天最新综合你懂的| 夜色综合网| 欧美日韩欧美| 婷婷久久综合| 天天草天天舔| 9婷婷内射| AA片在线观看视频在线播放| 亚洲婷婷五月|