免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

daisy-framework事件監(jiān)聽機(jī)制全解析:定義、注冊(cè)、異步與事務(wù)

daisy-framework事件監(jiān)聽機(jī)制全解析:定義、注冊(cè)、異步與事務(wù) 最近在維護(hù) daisy-framework 的時(shí)候我重新把 event、listener 這套事件監(jiān)聽機(jī)制從源碼到業(yè)務(wù)用整個(gè)過了一遍。說實(shí)話事件監(jiān)聽在任何一個(gè)服務(wù)端框架里都不算新東西但真正能把“事件怎么定義、監(jiān)聽器怎么注冊(cè)、發(fā)布之后是同步還是異步、異常怎么處理”講清楚的文章并不多。daisy-framework 把事件監(jiān)聽作為一個(gè)獨(dú)立模塊放進(jìn)核心包初衷很簡(jiǎn)單把業(yè)務(wù)主流程里的橫切動(dòng)作拆出去讓下單只操心下單庫(kù)存、通知、日志這些事由事件驅(qū)動(dòng)去完成。這篇文章我會(huì)從設(shè)計(jì)思路開始依次講清楚事件對(duì)象的定義規(guī)范、監(jiān)聽器的三種注冊(cè)方式、事件發(fā)布全流程、異步監(jiān)聽和事務(wù)綁定的取舍最后附上我實(shí)際踩坑整理的問題排查表。適合正在用 daisy-framework 做業(yè)務(wù)開發(fā)的伙伴也適合任何想搞懂事件驅(qū)動(dòng)設(shè)計(jì)的人。文章里的代碼都來自一個(gè)我稱之為“模擬項(xiàng)目X”的真實(shí)改造過程很直接不繞彎。1. 為什么 daisy-framework 要內(nèi)置一套事件監(jiān)聽機(jī)制1.1 事件監(jiān)聽解決的是哪個(gè)層面的問題業(yè)務(wù)代碼里最難纏的不是算法而是各種“順便處理”的業(yè)務(wù)。訂單支付成功要減庫(kù)存、發(fā)優(yōu)惠券、更新會(huì)員等級(jí)、寫審計(jì)日志、通知運(yùn)營(yíng)群——如果這些代碼全部寫在支付回調(diào)里一個(gè)方法幾百行是常態(tài)。更要命的是它們之間沒有先后邏輯但因?yàn)閷懺谕粋€(gè)方法里被強(qiáng)制串行執(zhí)行哪天通知服務(wù)變慢了支付主流程也跟著慢。事件監(jiān)聽就是把這堆“順便處理”從主流程里剝離的手段。支付回調(diào)只做一件事發(fā)布一個(gè)訂單支付成功事件。至于誰(shuí)關(guān)心這個(gè)事件由 daisy-framework 的事件調(diào)度器去分發(fā)。事件發(fā)布方和被通知方之間沒有直接依賴這正是事件驅(qū)動(dòng)最核心的價(jià)值。我在實(shí)際項(xiàng)目里最直觀的感受是沒有事件監(jiān)聽時(shí)加一個(gè)新動(dòng)作要改老代碼有了事件監(jiān)聽后加一個(gè)新動(dòng)作只是新增一個(gè)監(jiān)聽器主流程代碼一行不動(dòng)。這個(gè)差別在項(xiàng)目中期特別明顯功能越多優(yōu)勢(shì)越大。1.2 daisy 事件機(jī)制的幾個(gè)關(guān)鍵設(shè)計(jì)約束daisy-framework 的事件模塊在基礎(chǔ)包里實(shí)現(xiàn)API 不大但約束很明確。事件默認(rèn)在進(jìn)程內(nèi)分發(fā)不依賴外部存儲(chǔ)。發(fā)布事件是內(nèi)存操作性能好但同時(shí)也意味著事件不會(huì)持久化進(jìn)程重啟后未處理的事件就沒了。這決定了 daisy 的事件適合做業(yè)務(wù)編排和狀態(tài)通知不適合做需要保證不丟數(shù)據(jù)的消息傳遞。監(jiān)聽器默認(rèn)同步執(zhí)行。同步的好處是事務(wù)、日志上下文、用戶會(huì)話都能天然傳遞。需要異步時(shí)用顯式注解聲明異步是例外而不是默認(rèn)。這個(gè)設(shè)計(jì)我非常認(rèn)可它強(qiáng)迫你先思考“這個(gè)監(jiān)聽器真的需要異步嗎”而不是一股腦把問題丟給線程池。支持優(yōu)先級(jí)排序和條件過濾。同一個(gè)事件可以被多個(gè)監(jiān)聽器按優(yōu)先級(jí)從小到大依次處理?xiàng)l件過濾則通過注解的 condition 屬性實(shí)現(xiàn)避免在監(jiān)聽器方法內(nèi)部寫一堆 if 判斷。1.3 和消息隊(duì)列的區(qū)別先分清楚再動(dòng)手很多初學(xué)者把框架事件監(jiān)聽和消息隊(duì)列混在一起我見過不止一次。daisy 的事件監(jiān)聽強(qiáng)調(diào)的是“進(jìn)程內(nèi)解耦”消息隊(duì)列強(qiáng)調(diào)的是“跨進(jìn)程可靠傳遞”。舉個(gè)例子訂單支付后給用戶發(fā)送 App 推送這件事可以走 daisy 監(jiān)聽器因?yàn)橥扑瓦壿嬙谕粋€(gè)服務(wù)進(jìn)程內(nèi)失敗了大不了記錄日志稍后重試或者接受偶發(fā)失敗。但如果訂單數(shù)據(jù)要同步到大數(shù)據(jù)平臺(tái)那就不能只靠事件監(jiān)聽了應(yīng)該把訂單支付成功事件轉(zhuǎn)成消息投遞到消息中間件由下游服務(wù)消費(fèi)。說白了事件監(jiān)聽解決的是代碼結(jié)構(gòu)問題消息隊(duì)列解決的是系統(tǒng)架構(gòu)問題。判斷用哪套機(jī)制有個(gè)很簡(jiǎn)單的標(biāo)準(zhǔn)監(jiān)聽器和發(fā)布者會(huì)不會(huì)部署在兩個(gè)不同的進(jìn)程里如果會(huì)就不要用 daisy 自帶事件如果不會(huì)優(yōu)先用自帶事件。別一上來就上消息隊(duì)列成本和復(fù)雜度完全不同。2. 事件定義與監(jiān)聽器聲明動(dòng)手前的關(guān)鍵設(shè)計(jì)2.1 先寫事件類好的事件對(duì)象長(zhǎng)什么樣事件類看起來簡(jiǎn)單其實(shí)設(shè)計(jì)不好很影響后續(xù)維護(hù)。先看我常用的寫法以訂單支付成功事件為例public class OrderPaidEvent implements DaisyEvent { private final String orderNo; private final Long userId; private final BigDecimal paidAmount; private final LocalDateTime paidAt; public OrderPaidEvent(String orderNo, Long userId, BigDecimal paidAmount, LocalDateTime paidAt) { this.orderNo orderNo; this.userId userId; this.paidAmount paidAmount; this.paidAt paidAt; } public String getOrderNo() { return orderNo; } public Long getUserId() { return userId; } public BigDecimal getPaidAmount() { return paidAmount; } public LocalDateTime getPaidAt() { return paidAt; } }這里有三條經(jīng)驗(yàn)都是我在真實(shí)項(xiàng)目里付出過代價(jià)換來的。第一事件對(duì)象建議做成不可變字段全用 final只提供 getter。原因很簡(jiǎn)單事件在發(fā)布后可能被多個(gè)監(jiān)聽器讀取如果有人中途改了某個(gè)字段后面的監(jiān)聽器拿到的數(shù)據(jù)就是不一致的這種 bug 極難定位。事件發(fā)布出去之后就把它當(dāng)成一個(gè)只讀快照誰(shuí)都不該碰它的內(nèi)部狀態(tài)。第二事件里傳 ID 而不是傳整個(gè)實(shí)體。傳 Order 對(duì)象雖然方便但監(jiān)聽器處理時(shí)如果去讀 Order 的某個(gè)屬性而這個(gè)對(duì)象已經(jīng)脫離了數(shù)據(jù)庫(kù)狀態(tài)甚至已經(jīng)被后續(xù)流程修改它并不代表真實(shí)數(shù)據(jù)。傳 orderNo、userId 這類 ID監(jiān)聽器在需要完整數(shù)據(jù)時(shí)自己按 ID 去查詢能保證拿到的數(shù)據(jù)是最新的也能避免事件對(duì)象被無意改壞。第三事件命名用過去時(shí)。OrderPaidEvent、StockDeductedEvent 這類完成時(shí)態(tài)名字暗示“已經(jīng)發(fā)生”而 OrderPayEvent 這種命令式勉強(qiáng)能用但語(yǔ)義不清晰。命令式事件容易讓人把監(jiān)聽器寫成“替發(fā)布者執(zhí)行任務(wù)”這就和命令模式混淆了事件模型就變味了。2.2 用注解聲明監(jiān)聽器最常用的方式我在模擬項(xiàng)目X里90% 的監(jiān)聽器都用注解方式寫。代碼看起來是這樣的Component DaisyEventListener public class OrderPaidListener { DaisySubscribe(priority 10) public void deductStock(OrderPaidEvent event) { // 庫(kù)存扣減邏輯 } DaisySubscribe(priority 20) public void grantCoupon(OrderPaidEvent event) { // 發(fā)券邏輯 } }解釋一下 DaisySubscribe 的 priority。值越小越先執(zhí)行默認(rèn)值是 100。業(yè)務(wù)上如果“先扣庫(kù)存后發(fā)券”有嚴(yán)格順序就把優(yōu)先級(jí)拉開。但我一般不建議把太多順序依賴放到優(yōu)先級(jí)上。如果監(jiān)聽器之間存在強(qiáng)順序依賴更好的辦法是合并成一個(gè)監(jiān)聽器或者把這個(gè)順序用注釋寫清楚放在文檔里。DaisySubscribe 可以直接加在普通方法上框架通過反射拿到方法參數(shù)列表的第一個(gè)參數(shù)作為事件類型。方法可以額外接收事件上下文參數(shù)拿到發(fā)布源、時(shí)間戳等信息。這個(gè)細(xì)節(jié)很多文檔沒寫我替大家踩過了后面排查問題時(shí)會(huì)用到。還有一個(gè)值得提的點(diǎn)一個(gè)監(jiān)聽器類可以定義多個(gè)方法分別監(jiān)聽不同類型的事件。這在實(shí)際開發(fā)中很方便比如同一個(gè)類里處理訂單相關(guān)的所有通知?jiǎng)幼鞑挥貌鸬闷吡惆寺洹?.3 接口方式注冊(cè)監(jiān)聽器的適用場(chǎng)景注解不是唯一的注冊(cè)方式daisy 也保留了接口式注冊(cè)例如Component public class StockChangeListener implements DaisyEventListenerStockChangedEvent { Override public void onEvent(StockChangedEvent event) { // 庫(kù)存變化后的處理 } }這種寫法的好處是事件類型通過泛型直接確定不需要反射解析參數(shù)排查起來更加直白。缺點(diǎn)是每個(gè)監(jiān)聽器類只能處理一種事件一個(gè)類要監(jiān)聽多個(gè)事件就得寫多個(gè)類。我看到有些團(tuán)隊(duì)把接口方式和注解方式混用這本身沒問題。但建議在項(xiàng)目規(guī)范里約定同一個(gè)模塊盡量統(tǒng)一用一種方式。我這里的基本約定是單個(gè)事件的復(fù)雜處理邏輯用接口方式一個(gè)監(jiān)聽器里承載多個(gè)相似事件、處理方法很短的用注解方式。兩種方式生成的監(jiān)聽器對(duì)象在注冊(cè)表里是共存的不會(huì)有沖突。2.4 監(jiān)聽器的掃描與注冊(cè)機(jī)制daisy 在應(yīng)用啟動(dòng)時(shí)會(huì)做兩件事掃描加了 DaisyEventListener 的類以及掃描實(shí)現(xiàn) DaisyEventListener 接口的類。掃描到的監(jiān)聽器實(shí)例統(tǒng)一以單例保存在一個(gè)注冊(cè)表里key 是事件類型value 是該事件對(duì)應(yīng)的一組監(jiān)聽器方法包裝對(duì)象。每次 publish 一個(gè)事件調(diào)度器先從注冊(cè)表按事件類型找到候選監(jiān)聽器集合如果事件類型是某個(gè)父類的子類也會(huì)匹配到監(jiān)聽父類的監(jiān)聽器。這個(gè)“父子事件匹配”特性很有用比如所有業(yè)務(wù)事件都繼承同一個(gè)基類事件那只需要寫一個(gè)監(jiān)聽基類的監(jiān)聽器就能統(tǒng)一做埋點(diǎn)或?qū)徲?jì)。注意監(jiān)聽器注冊(cè)發(fā)生在應(yīng)用啟動(dòng)階段。如果你在運(yùn)行期手動(dòng) new 了一個(gè)監(jiān)聽器但沒注冊(cè)進(jìn)容器那它是永遠(yuǎn)不會(huì)被觸發(fā)的。這也是排查“監(jiān)聽器不生效”問題時(shí)要先確認(rèn)的一點(diǎn)。3. 從發(fā)布到觸發(fā)事件監(jiān)聽的完整執(zhí)行鏈路3.1 業(yè)務(wù)代碼里如何發(fā)布事件先給出最直觀的調(diào)用方式RestController public class OrderController { private final EventDispatcher dispatcher; public OrderController(EventDispatcher dispatcher) { this.dispatcher dispatcher; } PostMapping(/pay) public Result pay(RequestBody PayRequest request) { // 1. 支付相關(guān)業(yè)務(wù)處理 OrderPaidResult paidResult paymentService.pay(request); // 2. 發(fā)布事件 dispatcher.publish(new OrderPaidEvent( paidResult.getOrderNo(), request.getUserId(), paidResult.getPaidAmount(), LocalDateTime.now() )); return Result.success(); } }發(fā)布接口很簡(jiǎn)單但有幾個(gè)執(zhí)行細(xì)節(jié)值得注意。EventDispatcher.publish 默認(rèn)是同步的它會(huì)在當(dāng)前線程里依次調(diào)用所有匹配的監(jiān)聽器方法全部執(zhí)行完 publish 方法才返回。如果你的監(jiān)聽器里有耗時(shí)操作發(fā)布這一行也會(huì)跟著變慢。我見過有人因此誤判“事件發(fā)布很慢”實(shí)際上慢的是監(jiān)聽器里的業(yè)務(wù)邏輯。另外發(fā)布事件時(shí)傳入的事件對(duì)象不要重復(fù)使用。publish 之后如果還在同一個(gè)方法里對(duì)它做改動(dòng)監(jiān)聽器看到的可能是改到一半的狀態(tài)。最保險(xiǎn)的做法是發(fā)布后立即丟棄引用或者堅(jiān)持使用不可變對(duì)象。3.2 一個(gè)訂單支付事件實(shí)際執(zhí)行順序還原我在模擬項(xiàng)目X里做過一個(gè)完整測(cè)試當(dāng)時(shí)注冊(cè)了三類監(jiān)聽器第一個(gè)優(yōu)先級(jí)是 10負(fù)責(zé)扣減庫(kù)存第二個(gè)優(yōu)先級(jí)是 20負(fù)責(zé)發(fā)送 App 推送第三個(gè)優(yōu)先級(jí)是 30負(fù)責(zé)寫審計(jì)日志。它們的執(zhí)行順序是嚴(yán)格按 priority 從小到大在同一線程里逐個(gè)執(zhí)行。具體流程可以這樣理解入口是訂單支付接口支付成功后在當(dāng)前線程調(diào)用 dispatcher.publish(event)框架根據(jù) event 的實(shí)際類型找到候選監(jiān)聽器列表框架按 priority 排序依次執(zhí)行扣庫(kù)存、發(fā)推送、寫日志所有監(jiān)聽器返回后publish 方法返回控制器繼續(xù)執(zhí)行。這條鏈路里沒有創(chuàng)建新線程也沒有切換線程上下文。正因?yàn)槎际窃谡{(diào)用線程里跑監(jiān)聽器里的事務(wù)注解、traceId、當(dāng)前登錄用戶都能直接用。這也是同步監(jiān)聽的天然優(yōu)勢(shì)。如果你在監(jiān)聽器方法上加了異步注解情況就變了框架會(huì)把這個(gè)方法包裝成任務(wù)提交到線程池publish 方法不等它執(zhí)行完馬上返回真正的執(zhí)行發(fā)生在線程池的工作線程里。這里必須提醒異步監(jiān)聽器里不要再依賴主線程的事務(wù)和用戶上下文除非你做了顯式傳遞。3.3 監(jiān)聽器拋異常了后面怎么走這個(gè)點(diǎn)每種框架設(shè)計(jì)都不一樣daisy 的默認(rèn)策略是同步監(jiān)聽器執(zhí)行過程中如果拋出異常異常會(huì)沿調(diào)用棧向上拋給 publish 調(diào)用方后續(xù)監(jiān)聽器不再執(zhí)行。也就是說如果扣庫(kù)存的監(jiān)聽器掛了訂單支付接口會(huì)拿到異常發(fā)推送的監(jiān)聽器也不會(huì)執(zhí)行。這個(gè)設(shè)計(jì)在某些場(chǎng)景下合理在某些場(chǎng)景下就很不近人情。比如你只是寫個(gè)審計(jì)日志它失敗了卻把訂單支付接口給打掛了這顯然不合理。解決辦法有兩個(gè)。方案一在監(jiān)聽器方法內(nèi)部捕獲異常并自行處理適合對(duì)異常不敏感的邏輯方案二使用框架提供的忽略異常參數(shù)讓框架捕獲異常并記錄日志不中斷后續(xù)監(jiān)聽器。我的建議是核心業(yè)務(wù)監(jiān)聽器用默認(rèn)的異常上拋策略日志、通知類監(jiān)聽器顯式打開忽略異常別讓輔助邏輯拖垮主流程。4. 異步監(jiān)聽與事務(wù)綁定使用頻率最高也最容易出錯(cuò)的兩塊4.1 異步監(jiān)聽器正確寫法與線程池配置先看代碼Component DaisyEventListener public class NotificationListener { DaisyAsync DaisySubscribe(priority 20) public void sendPush(OrderPaidEvent event) { // 發(fā)送 App 推送 } }異步注解放在 DaisySubscribe 方法上框架檢測(cè)到這個(gè)注解后會(huì)把監(jiān)聽器方法和異步任務(wù)綁定。對(duì)于異步監(jiān)聽我踩過三個(gè)坑逐個(gè)說。第一個(gè)坑是線程池默認(rèn)參數(shù)太小。daisy 默認(rèn)的異步線程池核心線程數(shù)是 CPU 核數(shù)隊(duì)列容量 1024。輕量場(chǎng)景沒問題但如果有大量異步監(jiān)聽任務(wù)一旦隊(duì)列滿了后續(xù)任務(wù)就會(huì)被拒絕。我通常會(huì)在配置里顯式調(diào)大daisy.event.async.core-pool-size8 daisy.event.async.max-pool-size32 daisy.event.async.queue-capacity2048 daisy.event.async.keep-alive-seconds60第二個(gè)坑是異步監(jiān)聽器里的異常不會(huì)被調(diào)用方感知。主流程早就返回了監(jiān)聽器執(zhí)行異常只能靠框架日志和監(jiān)控告警發(fā)現(xiàn)。所以異步監(jiān)聽器內(nèi)部一定要有完善的日志和異常捕獲否則出了問題就是黑盒等用戶來投訴你才知道。第三個(gè)坑是上下文丟失。異步線程里沒有主線程的 ThreadLocaltraceId、當(dāng)前用戶 ID 可能都是空的。我的解法是在發(fā)布前把上下文信息塞進(jìn)事件對(duì)象里比如在事件里加一個(gè) operatorId 字段或者在異步線程池的任務(wù)包裝中顯式傳遞 ThreadLocal。我更推薦前者代碼里清清楚楚出了問題也好查。4.2 事務(wù)提交后再觸發(fā)事件的必要性這個(gè)點(diǎn)特別值得單獨(dú)說。假設(shè)你的監(jiān)聽器做的是“支付成功后給用戶發(fā)權(quán)益”如果監(jiān)聽器在事務(wù)提交前執(zhí)行會(huì)發(fā)生什么看一個(gè)真實(shí)場(chǎng)景主服務(wù)方法開啟了事務(wù)業(yè)務(wù)邏輯更新訂單狀態(tài)發(fā)布訂單支付成功事件隨后事務(wù)提交。發(fā)布時(shí)監(jiān)聽器同步執(zhí)行它去查詢訂單狀態(tài)發(fā)現(xiàn)訂單還是“待支付”因?yàn)槭聞?wù)還沒提交。這就是典型的“事件先于事務(wù)提交”問題。daisy 提供的解法是事務(wù)同步事件讓事件在事務(wù)提交之后才真正觸發(fā)Transactional public void payOrder(String orderNo, Long userId, BigDecimal amount) { // 更新訂單狀態(tài)、扣減余額 orderDao.updateStatus(orderNo, PAID); // 注冊(cè)一個(gè)事務(wù)同步事件真正觸發(fā)是在提交成功后 EventDispatcher.publishAfterTransactionCommit( new OrderPaidEvent(orderNo, userId, amount, LocalDateTime.now()) ); }publishAfterTransactionCommit 的底層是注冊(cè)一個(gè)事務(wù)同步回調(diào)事務(wù)提交成功后由框架回調(diào)觸發(fā)監(jiān)聽器如果事務(wù)回滾了這個(gè)事件根本不會(huì)發(fā)布。這對(duì)一致性非常有價(jià)值狀態(tài)變更真正落庫(kù)后才通知下游做后續(xù)動(dòng)作。注意publishAfterTransactionCommit 依賴當(dāng)前線程存在活躍事務(wù)。如果方法沒有事務(wù)daisy 會(huì)拋出異常提示。這是框架刻意為之防止你誤以為事件一定在提交后觸發(fā)結(jié)果卻立刻被同步執(zhí)行了。4.3 事務(wù)與異步組合時(shí)的執(zhí)行時(shí)序有人會(huì)問事務(wù)提交后再觸發(fā)監(jiān)聽器方法上又加了異步注解這兩個(gè)能組合嗎當(dāng)然可以。組合后的語(yǔ)義是事務(wù)提交成功后再把監(jiān)聽器任務(wù)丟到異步線程池執(zhí)行。這個(gè)組合很適合一個(gè)場(chǎng)景事務(wù)提交后發(fā)通知但不想阻塞主線程。比如支付成功發(fā)推送既要保證訂單狀態(tài)落庫(kù)后才觸發(fā)又不想推送這種耗時(shí)操作拖住接口響應(yīng)。代碼大致長(zhǎng)這樣DaisyAsync DaisySubscribe(priority 20) public void sendPush(OrderPaidEvent event) { // 事務(wù)提交后異步發(fā)送推送 }執(zhí)行順序要理清楚主事務(wù)提交 - 事務(wù)同步回調(diào)觸發(fā) - 框架把 sendPush 放入異步線程池 - 主線程繼續(xù)返回 - 線程池執(zhí)行 sendPush。這三個(gè)環(huán)節(jié)是串行疊加的不是又異步又同步理解這一點(diǎn)就不會(huì)搞混。不過我不建議一個(gè)項(xiàng)目里大量濫用這種組合。每一次異步都是一次追蹤成本異步加事務(wù)組合更是雙重成本。讓費(fèi)用花在刀刃上就行大部分場(chǎng)景用默認(rèn)同步就夠了。5. 實(shí)戰(zhàn)問題排查監(jiān)聽器不觸發(fā)、重復(fù)觸發(fā)與性能瓶頸5.1 監(jiān)聽器不觸發(fā)的排查清單我在使用過程中收集了一些典型問題整理成速查表現(xiàn)象可能原因排查方向監(jiān)聽器完全沒執(zhí)行事件類型不匹配檢查發(fā)布的事件類型與監(jiān)聽器參數(shù)類型是否一致監(jiān)聽器完全沒執(zhí)行監(jiān)聽器未注冊(cè)確認(rèn)類上有注解且被組件掃描監(jiān)聽器完全沒執(zhí)行監(jiān)聽器實(shí)例是手動(dòng) new 的確認(rèn)監(jiān)聽器由框架容器管理監(jiān)聽器執(zhí)行順序不對(duì)優(yōu)先級(jí)沒調(diào)檢查注解的 priority 屬性事件沒觸發(fā)發(fā)布代碼在子線程確認(rèn) publish 調(diào)用線程與事務(wù)線程一致事務(wù)事件沒觸發(fā)事務(wù)回滾查看數(shù)據(jù)庫(kù)是否真的提交成功異步監(jiān)聽沒執(zhí)行線程池被拒絕查看異步線程池拒絕策略與日志第一條“事件類型不匹配”是最高頻問題。很多人發(fā)布一個(gè)子類事件監(jiān)聽器卻寫成監(jiān)聽父類事件如果父子匹配邏輯沒有正確開啟那自然觸發(fā)不了。daisy 默認(rèn)支持子類事件匹配但前提是發(fā)布時(shí)傳入的事件對(duì)象實(shí)際類型是子類不能把子類對(duì)象強(qiáng)轉(zhuǎn)成父類后再發(fā)布?!氨O(jiān)聽器未注冊(cè)”也經(jīng)常出現(xiàn)。排查辦法很簡(jiǎn)單啟動(dòng)日志里會(huì)打印注冊(cè)過的監(jiān)聽器列表先確認(rèn)你的監(jiān)聽器類有沒有出現(xiàn)在里面。沒出現(xiàn)就是掃描路徑的問題出現(xiàn)了但不觸發(fā)再去查事件類型和優(yōu)先級(jí)。5.2 事件重復(fù)觸發(fā)三種常見姿勢(shì)事件重復(fù)觸發(fā)比不觸發(fā)更難排查因?yàn)槿罩究雌饋硪磺姓V皇窍掠螤顟B(tài)亂了。我歸納為三類。第一類是自發(fā)布循環(huán)。監(jiān)聽器處理完業(yè)務(wù)后又發(fā)布了一個(gè)同類事件自己監(jiān)聽自己形成無限循環(huán)。這種問題通常表現(xiàn)為某個(gè)監(jiān)聽器被反復(fù)執(zhí)行甚至打爆線程池。解決方法是約定監(jiān)聽器里不允許發(fā)布它正在監(jiān)聽的那一類事件如果必須發(fā)布要在事件對(duì)象里帶一個(gè)來源標(biāo)記自己判斷后跳過。第二類是事務(wù)重試導(dǎo)致的重復(fù)發(fā)布。業(yè)務(wù)方法里先發(fā)布事件事務(wù)失敗后框架重試同一個(gè)事件就被發(fā)布了兩三次。這種問題最佳解是事件發(fā)布放在事務(wù)提交成功后也就是用發(fā)布事務(wù)同步事件同時(shí)事件對(duì)象里帶上唯一標(biāo)識(shí)監(jiān)聽器消費(fèi)時(shí)做冪等判斷。第三類是監(jiān)聽器注冊(cè)重復(fù)。比如同一個(gè)類既加了 DaisyEventListener又在配置里被手工注冊(cè)了一次注冊(cè)表里就有兩個(gè)相同的監(jiān)聽器副本。排查時(shí)注意看啟動(dòng)日志里是否有重復(fù)注冊(cè)的警告。5.3 同步鏈路太長(zhǎng)怎么優(yōu)化如果你的某個(gè)監(jiān)聽器特別慢慢到主接口超時(shí)別急著把它改成異步。先定位慢的原因可能是它在查詢大量數(shù)據(jù)可能是它在調(diào)外部接口也可能是它在循環(huán)里做復(fù)雜計(jì)算。我的優(yōu)化順序是先給監(jiān)聽器加好日志和耗時(shí)統(tǒng)計(jì)確認(rèn)瓶頸所在能并行處理的多個(gè)監(jiān)聽器可以考慮用框架提供的并行支持允許多個(gè)同級(jí)監(jiān)聽器并發(fā)執(zhí)行最后才考慮異步化。為什么最后才異步因?yàn)楫惒揭肓司€程池、上下文傳遞、異常隔離三層復(fù)雜度能不用就不用。并行執(zhí)行適用于那些彼此之間沒有順序依賴、可以同時(shí)跑的邏輯。但要注意并發(fā)執(zhí)行時(shí)不要共享同一個(gè)可變對(duì)象事件對(duì)象必須是只讀的。否則兩個(gè)線程同時(shí)讀一個(gè)集合一個(gè)改一個(gè)讀很容易出并發(fā)問題。6. 用事件監(jiān)聽重構(gòu)一段支付鏈路的真實(shí)記錄6.1 重構(gòu)前一把梭的支付回調(diào)模擬項(xiàng)目X早期是一段支付回調(diào)寫完所有動(dòng)作的。核心方法大約 180 行里面依次是更新訂單狀態(tài)、扣庫(kù)存、給用戶加積分、寫訂單操作日志、調(diào)用消息服務(wù)發(fā)通知、調(diào)用問卷服務(wù)發(fā)調(diào)查邀請(qǐng)。每次上線加需求都要改這個(gè)方法而且必須小心翼翼不破壞原有順序。那段時(shí)間最痛苦的是日常問題排查用戶反饋說支付成功但沒收到優(yōu)惠券我得打開這段 180 行的老代碼從頭到尾捋還要看是不是前一步異常導(dǎo)致后面的邏輯沒執(zhí)行。問題定位一次可能花一小時(shí)。后來我們把整段邏輯改成事件驅(qū)動(dòng)效果非常明顯。6.2 重構(gòu)后發(fā)布一條事件各取所需重構(gòu)后的支付回調(diào)只有三件事支付服務(wù)處理真實(shí)支付、更新本地訂單狀態(tài)、發(fā)布訂單支付成功事件。后面所有動(dòng)作都變成獨(dú)立的監(jiān)聽器分別監(jiān)聽訂單支付事件。下面是簡(jiǎn)化后的監(jiān)聽器規(guī)劃監(jiān)聽器職責(zé)優(yōu)先級(jí)是否異步庫(kù)存監(jiān)聽器扣減真實(shí)庫(kù)存10否積分監(jiān)聽器增加用戶積分20否訂單日志監(jiān)聽器寫訂單操作日志30否通知監(jiān)聽器發(fā)送 App 推送40是問卷監(jiān)聽器發(fā)送問卷邀請(qǐng)50是扣庫(kù)存、加積分這些和資金資產(chǎn)相關(guān)的動(dòng)作保持同步因?yàn)樗鼈冃枰獜?qiáng)一致性發(fā)推送、發(fā)問卷這些及時(shí)性要求不高的動(dòng)作改成異步。這樣主接口的響應(yīng)時(shí)間立刻降下來而且后續(xù)增加一個(gè)新動(dòng)作只需要新增監(jiān)聽器支付回調(diào)一行不用改。6.3 重構(gòu)過程中的三個(gè)經(jīng)驗(yàn)細(xì)節(jié)第一事件字段不要塞太多。最初我把整個(gè) Order 對(duì)象放進(jìn)事件后來發(fā)現(xiàn)監(jiān)聽器多了某些字段被偷偷修改定位起來非常麻煩。改成只放訂單號(hào)、用戶 ID、金額這幾個(gè)關(guān)鍵字段后數(shù)據(jù)一致性問題大幅減少。第二監(jiān)聽器之間嚴(yán)禁直接調(diào)用。我曾看到有同事在通知監(jiān)聽器里直接調(diào)用庫(kù)存監(jiān)聽器的某個(gè)公共方法理由是“復(fù)用扣減邏輯”。這等于變相把監(jiān)聽器串成了鏈路事件的解耦優(yōu)勢(shì)全沒了。正確做法是把公共邏輯抽到 Service 層監(jiān)聽器只做業(yè)務(wù)流程編排。第三一定要給事件加發(fā)生時(shí)間字段。之前在事件里沒加支付時(shí)間調(diào)試一個(gè)歷史訂單時(shí)根本無法判斷監(jiān)聽器執(zhí)行時(shí)點(diǎn)。后來統(tǒng)一在事件基類里加上 occurredAt用框架的時(shí)鐘填充排查問題方便多了。這個(gè)字段也可以用來做鏈路耗時(shí)統(tǒng)計(jì)一舉兩得。7. 一些值得堅(jiān)持的實(shí)操習(xí)慣7.1 給事件和監(jiān)聽器建立統(tǒng)一規(guī)范我在團(tuán)隊(duì)里定過三條約定事件類統(tǒng)一放在 events 包下命名以 Event 結(jié)尾用過去時(shí)監(jiān)聽器統(tǒng)一放在 listeners 包下一個(gè)監(jiān)聽器類只處理同領(lǐng)域的事件監(jiān)聽器方法命名用動(dòng)詞開頭能一眼看出動(dòng)作含義。這個(gè)看似簡(jiǎn)單的約定讓跨模塊協(xié)作的溝通成本下降了很多。代碼結(jié)構(gòu)上我習(xí)慣把同一個(gè)領(lǐng)域的事件、監(jiān)聽器、發(fā)布入口放在同一個(gè)模塊里。比如訂單模塊內(nèi)部有一個(gè) events 子包包含訂單領(lǐng)域的所有事件和監(jiān)聽器。這樣后來的人接手時(shí)不需要在整個(gè)項(xiàng)目里到處找事件定義直接翻訂單模塊就能看全。7.2 冪等設(shè)計(jì)要提前做事件監(jiān)聽是異步分散的天然會(huì)面臨“同一個(gè)事件被處理兩次”的可能。哪怕你現(xiàn)在用的場(chǎng)景沒有重試也要在監(jiān)聽器入口做冪等判斷。最常見的做法是維護(hù)一張消費(fèi)記錄表以事件唯一 ID 作為去重鍵。這個(gè)放到重構(gòu)后再補(bǔ)會(huì)非常痛苦所以建議項(xiàng)目一開始就帶上。冪等不僅是為了防消息中間件重投本地事件也可能因事務(wù)重試、手動(dòng)補(bǔ)償、定時(shí)任務(wù)兜底而重復(fù)觸發(fā)。我在實(shí)際項(xiàng)目中因?yàn)闆]做冪等出現(xiàn)過用戶被發(fā)放兩次優(yōu)惠券的事故。從那以后所有涉及資金、權(quán)益、庫(kù)存的監(jiān)聽器一律先查消費(fèi)記錄再執(zhí)行。7.3 監(jiān)控和日志別等出問題再補(bǔ)事件鏈路比普通方法調(diào)用難追蹤得多。我踩過多次“用戶說沒收到通知但不知道是事件沒發(fā)、還是監(jiān)聽器沒執(zhí)行、還是執(zhí)行失敗”的坑。后來我在事件基類里加了 eventId在發(fā)布和每個(gè)監(jiān)聽器執(zhí)行時(shí)打印結(jié)構(gòu)化日志再配合一個(gè)簡(jiǎn)單的指標(biāo)統(tǒng)計(jì)事件發(fā)布數(shù)和監(jiān)聽器執(zhí)行結(jié)果問題定位時(shí)間從小時(shí)級(jí)降到了分鐘級(jí)。日志格式我用的是一行 JSON包含 eventId、eventType、listenerClass、method、costMs、result 這幾個(gè)字段。排查問題時(shí)直接按 eventId 過濾日志能看到一個(gè)事件從發(fā)布到所有監(jiān)聽器處理完的完整鏈路。這個(gè)習(xí)慣在線上排查時(shí)幫了大忙強(qiáng)烈建議從項(xiàng)目初期就建立。最后分享一點(diǎn)我個(gè)人的體會(huì)。事件監(jiān)聽這套機(jī)制真正難的不是 API 怎么調(diào)而是設(shè)計(jì)者有沒有克制力。你能很容易地把所有邏輯都塞進(jìn)事件和監(jiān)聽器讓代碼看起來解耦實(shí)際卻把復(fù)雜度轉(zhuǎn)移到了事件鏈路上。我在實(shí)際使用中最受益的一條原則是如果你說不清楚某個(gè)動(dòng)作為什么是事件驅(qū)動(dòng)而不是直接調(diào)用那它大概率就不應(yīng)該寫成事件。只有那些真正“發(fā)生在某個(gè)事實(shí)之后、且和主流程不強(qiáng)耦合”的動(dòng)作才值得放進(jìn)監(jiān)聽器。這個(gè)判斷標(biāo)準(zhǔn)聽起來很虛但它幫我擋住了很多過度設(shè)計(jì)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天在线观看免费| 五月丁花色综合网| 99精品久久| 婷婷五月天伦理| 天天干天天日蜜臀av| 五月丁香淫淫婷婷婷| 激情AV在线| 久9视频| 亚洲综合激情五月天婷婷| 麻豆AV一区二区三区| 色婷婷综合电影| 九九视频在线| 激情婷婷狠狠干| www.色情五月天.com| 26uuu最新地址| 五月丁香欧美综合免费视频| 久久婷婷青草五月天| 九热视频在线伦| AV在线免费网站| 日日夜夜综合| 五月婷婷先锋| 91精品久久久久久77777| 欧美va欧美va差| 婷婷精品视频| 久久久精品视频79| 激情五月丁香五月| 91超级碰碰碰| 成人视频网| 婷婷五月天伊人| 精品婷婷五月天| 91婷婷在线观看| 国产看真人毛片爱做A片| 超碰激情网| 国语精品探花| 丁香婷婷中文字幕| 99爱在线精品视频免费观看| 五月婷婷之美女图片| 亚洲日本激情| 五月丁香激情五月天| 亚洲色色五月天| 亚洲人妻电影| 午夜日日| 久久99免费视屏| 日韩人妻AV在线| 婷婷深爱五月天| 五月天婷婷久久视频| 久热只有这里精品| 香蕉AV777XXX色综合一区| 激情综合网,婷婷| 九九久久五月天综合伊人| 丁香av网| 97超碰在线观看免费| www免费在线视频| 中文字幕人妻熟女在线| 欧美婷婷丁香社区在线播放| 久久天堂女人| 97干视频在线| 婷婷和五月天| 色亚洲色宗合| 停停五月天激情网 | 天天插天天干| 大香蕉AV电影在线| aV欲望人妻中文字幕| 国内在线99视频| 天天综合色99| 日日噜噜夜夜狠狠久久丁香六月| 五月天婷婷色五月天| 婷婷综合| 久热这里只有精品视频6| 怡红院院在线导航网| 亚洲第一色网站| site:hcxsz888.com| 亚洲色碰| 小视频一区| 婷婷涩五月天综合| 伊人网碰碰| 色一情一乱一乱一区91| oVV4WIB3vFi8D| 午夜电影网VA内射| 丁香五月天色| 日屌日日操日日色| 99热手机在线精品| 任你弄在线视频免费| 免看黄大片AA | 一本色道久久88加勒比| 六月久久婷婷| 美女激情婷婷| 91超碰九色| 少妇人妻人伦A片| 97日本操| www.主妇. com| 91人妻视频| 亚洲AV成人片无码网站| 中文字幕丰满孑伦无码专区| 六月婷婷啪啪| 婷婷五月精品在线| 亚洲成人综合在线| 欧美一级a| 婷婷五月精品中文字幕| 色色色综合| 五月天开心色色网| www.天天色综合| 天天操天天操天天操| 玖玖资源在线视频| 色婷婷成人做爰A片免费看网站 | 99精品偷自拍| www.色五月.com| 夜夜噜夜夜奇| 亚洲综合色婷婷| 亚洲精品V天堂中文字幕| 强奸幻女毛片| 热99re| 色5月婷婷色| 亚洲日韩成人三级av| 欧美操综合| 中文字幕永久在线| 玖玖在线视| 五月香六月婷| 色婷婷久久| 人人超碰99| 思思99热在线| 丁香五月婷婷五月| 丁香婷婷性爱| 伊人玖玖精品| 99九九视频精彩在线| 草美女在线观看视频在线播放| 开心婷婷五月天激情网| 丁香五月之久操视频| 久久婷.com| 色婷婷色五月综合| 夫妇交换刺激做爰| 九九热免费观看视频| 蜘蛛女侠2003满天星免费观看| 丁香五月天啪啪| 中文网婷婷字幕婷| 日韩视频99| 五月婷婷激情网| 嫩草视频观看| 五月天激情网站| 日日爱699| 丁香桃色网| 久热亚洲| 九九九九毛片| 欧美97色| 操人无码| 丁香五月瑟瑟| 日韩不卡123| 4399在线观看免费高清电视剧| 五月婷婷深深爱| 亚洲天堂青草| 天天爱天天秀天天做| 亚洲超碰青涩| 五月丁香婷婷激情视频| 一本色道久久88加勒比—| 色欲久久久久| 六月婷婷综合久久| 亚洲色五月婷婷| 国产67194| 五月香婷婷| 五月久久| 综合大香蕉| 五月天伊人| 99热主页日本| 九月丁香婷婷| 亚洲性色XXXXX| 97大香蕉五月天| 99精品无码网站| 亚洲偷| 色婷婷丁香中文在线播放| 久久久99精品免费观看| 开心色五月天久久久久久久| 97色97干| 99热这里有精品| 丁香婷婷激情五月色| 婷婷在线播放| 99久久综合精品五月天| 91在线日本| 99成人| 91丨九色丨熟女丰满| 色色综合激情| 日本成人内射| www999日韩精品| 色婷婷天堂| 亚洲第一黄网| 亚洲综合色丁香婷婷六月| 亚洲熟妇AV乱码在线观看| 天天干天天 亚洲| 五月天啪啪网| 九热视频| 色女伊人| yazhoujiqingav| 久久这里只有欧美| 四月婷婷五月色综合| 婷婷中文字幕| 婷婷色操| 久热这里只有精品66| 五月婷婷,六月婷婷| 日夜操B| 色五月婷婷777| anquye五月| 天堂在线婷婷| 天天插天天干| 成人五月丁香社区| 99热色在线精品| 五月香蕉网| 欧美黄色AA片哗啦啦啦| 五月天com| 激情q青青草在线婷婷| 中文字幕丰满孑伦无码专区| 婷婷丁香五月亚洲| 日韩AAAAA| 2015好吊操| 91九九九九九九| av在线中文| 五月天色婷婷av| enecarbon-materials.com污K127封锁请涟系@wip1688 | 色婷婷五月天av在线| 五月婷婷色播| 思思热精品在线观看| 九九99精品| 久久大大香| 亚洲成人AV在线播放| 亚洲中文AV| 超碰超碰在线| 婷婷刺激综合| 五月天涩涩| 激情六| 婷婷自拍| 夜色.cnm| 99视频啪啪| 成人av免费观看| 热99在线精品| 丁香五月在线播放| 五月天婷婷综合免费| 色97综合婷婷天天色| 97五月婷婷| 影音先锋 萱萱| 欧美日韩99| 日本色色视频| 国产VA亚洲VA96| 婷婷五月天久草在线| 99九九久久| 五月婷婷中文字幕| 综合色五月| 色婷婷成人影片| 亚洲九区| 五月婷色| 狠狠艹狠狠艹| 国产阿姨日皮艹逼内射视频 | 五月天激情国产综合婷婷婷| 天天综合网站| 荫道BBWBBB高潮潮喷| site:pnnrt.com| 久综合色| 国产 码在线成人网站| 五月丁香五月婷婷| 久色激情| 久久婷婷成人综合色怡春院| 开心激情站| 超碰97人人操| 五月婷婷丁香六月| 午夜天堂一区人妻| 国模狼狼| 日本三级日本三级99| 亚洲操b| 婷婷丁香五月高清| 美女精品一级不卡视频| 欧美性爱五月天| 九九热99热| 日本va欧美va国产激情| 色婷婷基地 | 精国产品一区二区三区A片| 久久久婷婷| 人人舔天天| 第四色婷婷五月| 色插综合网| 婷婷的五月天另类视频| 开心五月天激情网站| 99热色在线精品| www.六月丁香看AV| 超碰国产在线观看| 婷婷视频网| 天天日婷婷| 久久这里有精品99| 色色com| 999激情视频| 六月婷婷开心| 99热在线极品极品| 五月丁香福利| 天天日天天日天天搞| 九热视频| 九九aV| 性色九九| 殴美激情综合网| 日韩ac不卡无码| 98毛片| 色六月天| 久久婷综合| 狠狠色综合网| 日韩伊人大香蕉| 超碰在线人妻| 99国产小视频| 亚洲久久激情| 26uuu精品国产| 99热久久这里只有精品| 久久综合色五月| 久久这里都是精品免费| 五月丁香天堂网| 99热网站| 五月婷婷综合影院| 26uuu国产色| 狠狠色噜噜狠狠| 大香蕉婷婷色| 69人人操人人爽| 日韩另类| 五月丁香亭亭| 五月丁香六月综合图| 日本一级| 天天插天天插天天插天天插| 97色吧| 99热线观看9| 蜜桃婷婷丁香五月天狠狠久久综合| 欧美人人草| www.99热| 激情性爱五月天| 伊人九九九久| 婷婷 激情 五月| 另类图片五月天| 久9热| www.久久爱.c n| 久热最新视频| 五月婷丁香| 色伊人啪| 丁香五月成人婷婷| 91亚洲免费片| 色五月亚洲开心网| 涩五月色婷婷| www.91av.com| 婷婷丁香五月激情图片| 激情色色| 五月丁色AV| 五月天伊人久久久久| 婷婷99视频在线| 国产成人综合网| 99热这里有精品| 人妻第九页| 777.色色| 久久小说| 婷婷五月天熟妇| 大香蕉久久| 日本三级黄色大片| 久久综合丁香激情五月| 丁香综合婷婷开心激情网| 99亚洲视频| 久久99日本精品视频免费观看| 久久久久99精品成人片| 激情五月天久久| 五月丁香激情综合网官网| 99热6精品| 97精品综合久久| 91大神操美女| www.婷婷五月| 深爱激情综合| 99在线免费视| 午夜亚洲AV日韩无码| 五月天开心婷婷久久| 亚洲人人操| www。五月天激情| 91超碰在线观看| 久久伊人9| 五月天国产| 丁香五月婷婷婷桃花影院| 婷婷丁香五月综合网上| 亚洲第一av| 五月丁花六月丁香综合| 亚洲成人超碰| 色色亚洲视频| 婷婷色5月天在线。| 天天爽天天| 99在线观看视频蜜臀| 成功精品影院| 综合色激情| 婷五月天| 玖玖资源在线视频| 久久九九99亚洲国产久精综合| 4399无码视频二区| 婷婷综合视频| 丁香五月日本| 2022人人操人人看| 欧美这里只有精品| 五月天社区狠狠| 欧美久久久久久久久中文字幕| 色五月激情网| 色丁香五月天射婷婷爱婷婷| 以及AA大片看看| 婷婷五月天天天| 日本色天堂| 婷婷五月天久久| 色 五月俺去也| 激情色情五月天| 婷婷六月激情| 五区毛片七区毛片| 337p大胆噜噜噜噜噜91Av| 激情丁香五月| 色婷婷天堂| 六月婷婷天天操夜夜爽视频| 婷婷5月久久综合网站| 99精品视频免费观看| 中文字幕在线日亚洲9| 国产亚洲精品AAAAAAA片| 日日夜夜狠狠干| 人妻AV在线观看| 农村熟妇高潮精品A片| 婷婷五月色情天| 亚洲综合色色| 五月天小说激情| 五月婷精品| 婷婷丁香六月激情综合| 亚洲av成人在线| 色婷青青| 五月丁香婷婷综合| 丁香五月婷婷大香蕉| WWW色五月天| 人人操碰| 牛色色碰| 婷婷色播婷婷| 91碰| 婷婷五月天AV| 人妻精品久久久久久| 91久久久久久| 激情人妻综合| 婷婷久久在线| 久久婷婷超碰| 久久小说网| 9久久精品| 婷婷丁香激情综合色情| 亚洲婷婷婷| www.91操| 91大神操美女| 午夜九九九九九九九九九九九九九| 丁香五月五月婷婷欧美大香蕉| 激情久久肏屄视频| 新激情五月天天在线网| 五月激情五月婷婷五月天在线| 激情综合自拍五月婷婷色五月| 伊人色五月| 色婷婷色综合久久精品V| 五月丁香色婷婷| 婷婷五月色惰| 九九这里有精品| 中文不卡一二区| 安息电影在线观看完整版| 成人电影AV在线观看| 超碰人人妻| caop视频| 碰碰人人人| 国产欧美日韩综合精品一区二区| 五月丁香色综合| 五月丁香婷婷基地| 五月丁香婷婷啪啪| 操操啪| 日韩久久视频| 九九99免费理论| 超碰人人99| 草五月| 五月天亚洲最大成人| 狠狠CAO日日穞夜夜穞AV| 狠狠狠狠狠狠狠狠草| 丁香五月婷婷六月婷婷| 看婷婷五月天网| 久久伊人婷婷| 婷婷丁香五月天哟啪| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 26UUU精品一区二区c〇m| oumeisesewang| 久久婷婷成人视频| 婷婷五月天六月综合| 亚洲小说五月婷婷| 色视五月天婷婷| 开心五月丁香综合久久| 国产成人va在线| 丁香婷婷久久综合在线| 91久久综合亚洲鲁鲁五月天| 色色狼人综合| 国产欧美婷婷| 蜜臀嫩草| 99色| 九九亚洲| 欧美日韩成卜| 五月亭亭色| 九九色之九九色之88| 爽极品色| 黄色99网| 天天做天天爱天天爽| 久久五月网| 99色网站| 色五月噜噜| 狠狠色五月| 久久之人妻| 内射激情在线| 日韩一级网站| 最近韩国日本免费高清观看| www.久操| 九玖视频这里只有精品| 丁香五月婷婷俺也要去| 亚洲av成人在线| 婷婷中文字幕| 天堂网色色| 天天做天天爱天天爽夜夜揉| 婷婷六月激情在线视频| 色九九综合| 男女啪啪做爰高潮无遮挡| 98热精品| 五月色在线| 丁香五月婷婷成人网| 日本丁香五月| 欧美69久成人做爰视频| 91九色熟女| 精品国产va久久久久久久| 色亚洲欧洲| 日本色道视频网站| 啪啪五月婷婷| 激情综合网,婷婷| 久久天天| 新激情五月天| 九九视频免费| 荷兰av一级| 少妇性BBB搡BBB爽爽爽视頻| 丁香五月六月综合激情| 婷婷五月天亚洲综合| 亚洲永久免费| 久久婷婷草| 亚洲舔观看| 天堂中文国产| 久久婷婷五| 五月人人丁香婷婷五月人人丁香| 香蕉综合在线| 日韩精品电影| 五月亭亭综合五码| 国产精品人人做人人爽人人添| www.婷婷,com| 婷婷五月色播放| 疯狂做受XXXX高潮A片| 中文字幕精品在线观看| 丁香婷婷成人网| 全部老头和老太XXXXX| 九九狠狠干| 国产精品色婷婷AV综合色色| 黄色网址五月婷婷| 六月丁香五月亭亭| www.狠狠| 99在线观看视频免费| 狠狠狠狠狠狠色| 色婷婷成人久久| 欧美婷| 天天做天天爽| 色天天综合天天综合频道。 | 欧美日韩99| www综合久久| 欧美狠狠地| 国产精自产拍久久久久久蜜| 天堂婷婷五月在线| 激情五月天影院| 婷婷97碰碰| 狠狠狠狠狠干| WWW.久久久久久久| 99玖玖免费视频| 任你干嘛免费视频播放| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 婷婷五月香蕉| 成人av在线网站| 中文成人在线| 国产精品日日躁夜夜躁| 久久婷婷啪啪视频| 五月开心婷婷极品激情| 色婷婷电影网| 嫩草综合网| 欧美成人精品A片免费一区99| 99这里有精品久久97| 六月丁香深深爱| 亚洲精品久久久久久久久久吃药 | 久久这里只有精品8| 九九99九九精品视频| 涩五月色婷婷| 99精品高潮| 日韩超碰在线| 26UUU一区二区| 九九久久综合| 日韩乱玛久久| 99色久| 丁香五月六月综合激情| 欧美成人猛片AAAAAAA| 丁香激情合作五月| 久热久re| www.精品99| 五月天激情综合网俺也去| 九九这里有精品| WWW五月天| 人操综合| 久99久热| 激情伊人五月婷婷久久| 色欲色香综合网站| 亚洲AV成人在线| 精品九九在线观看| 久久综合影院 | 色五月婷婷色| 99精彩视频在线观看| av在线免费播放观看| 天天久| 影视av久久久噜噜噜噜噜三级| 丁香六月婷婷| 丁香五月开心婷婷| 色婷婷综合久久久久| 高清无码网址| 久久久久人妻| 中文无码精品一区二区三区| 視频福利乱色| 婷婷色导航| Www.激情| 久久这有这里精品| 亚洲无码黄色| 亚洲国产精品VA在线看黑人| 久9热视频| 五月天婷婷六月| 天天肏天天肏天天肏| 五月天色综合| 丁香六月狠狠干| 亚洲人人干| 2020日日干| 免费无码毛片一区二区A片| 精品人妻一区二区三区四区不卡在| 丁香六月婷婷综合| 五月深情久久| 久久久99精品免费观看| 激情久久久久久久久久久| 丁香亚洲婷婷五月| 色久女| 五月丁香婷久久| 深爱激情五月网| www.婷婷五月| 婷婷五月噜噜| 成人久久天天x资源站| 婷婷五月天午夜激情影院| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 久久婷婷激情| 99性色| 丁香五月综合亚洲| WWW、日本色丁香co m| 五月丁香在线观看99| 91男人操女人视频| 久久婷婷六月综合| 91日韩在线| 五月婷在线| 这里只有精品视频在线看| 丁香五月天欧洲在线| 偷拍91九色| 九九中文色色| 97爱艹婷婷开心丁香激情综合| 99色在线| 激情四射五月天| 五月久视频| 伊人五月成人| www.五月丁香av| 亚洲视频色色| 综合综合色色| 99re最新地址视频| 午夜天堂啪啪| 天天肏视频| 欧美性爱一区| 影音先锋91| 秋霞丝袜啪啪啪| 精品视频网| 99精品丰满| 黄色网址五月婷婷| 五六月婷婷久久| 久久大香蕉丁香| 精品欧美一区二区三区久久久| 五月综合视频| 国产3p露脸普通话对白| 96精品成人无码A片观看金桔| 九九久久99| 九九综合久久| 国产做爰视频免费播放| 亚洲宗合激情| 超碰无码老师| www.激情com| 婷色视频| 九九99免费理论| 99操逼| 五月天天丁香婷婷在线中| 99这里只有精品视频免费| 五月丁香六月在线欧美| 国产五月丁香在线| 99aese| 日本激情五月天‘| 成年人最刺激的综合网| 成人 在线 日韩| 久久激情网| 极品人妻VIDEOSSS人妻| 九九艹女| aaa久久| 丁香五月精品视频| 欧美日本一区二区三区| 色五月婷婷影院| 久9免费视频| 思思精品视频| 天天日天天肏天天奸| 激情综合九| 婷婷五月天亚洲综合| 激情五月天色网站| 五月丁香AV、伊人业余、性色熟妇 | 久草五月天| 婷婷操久久| 丁香五月天啪啪| 人人操婷婷| 91操片| 五月丁香 久久久| 骚。com| 久久久18| 色www99| 9999三级片| 久久久月丁香| 色五月欧美| 另类小说色婷婷| 五月丁香婷婷激情图片| 婷婷丁香成人| 五月丁香婷婷开心| 婷婷色综合| 婷婷丁香大香蕉| 丁香九月激情| 婷婷十月激情综合网| 91丨九色丨熟女高潮| 狠狠色 综合色区| 美女激情综合| 韩国三级五月天婷婷。| 激情五月天婷婷| 91xxxx九色| 色婷婷五月天激情在线播放| 亚洲色五月| 黄色三级毛片中字| 91久久久久久| 丁香婷婷影院| 婷婷不干网| 97久久超碰| 26uuu亚洲| 熟女少妇内射日韩亚洲| 人妻av在线| 五月丁香色| 香蕉AV777XXX色综合一区 | 日本精品99网站| 五月 婷 久| 丁香婷婷免费| 五月婷婷中文字幕| 成人中文字幕在线| 国产色99| 国产精品久久久久久久久久| 久久五月婷| EEUSS鲁片一区二区三区| 岛国在线观看91| 秋霞黄色一级久久| 激情综合自拍五月婷婷色五月| www.99情趣网| 五月婷婷影视| 五月丁香五月激情综合色综合| 国产熟女一区二区三区五月婷| Www.se.久久| 99热这里有精品24| 国产又粗又大又爽又黄| 九九日本视频| 一起草性爱不卡视频| 91久久精品无码一区二区三区| 天天干狠狠| 视频一区二区在线| 天天天天天天天操| 激情综合网激情五月婷婷| 午夜 外网 精品 在线| 久久综合五月| 只有精品视频在线观看| www99热| 狠狠色婷婷777| 97操操操| 开心五月婷婷激情| 五月丁香六月激情欧美综合| 九九激情综合| 狠狠干五月天| av在线超清中文| 大香蕉伊人久久| 天天日夜夜高潮| 99精品热| 极品 少妇 内射| ..真实国产乱子伦对白在线_欧| 思思久久精品视频| 六月丁香婷| www.日日日.com| 国产熟妇的荡欲午夜视频| 日日夜夜青青草| 全部老头和老太XXXXX| 激情五月婷婷在线区| 少妇出轨做爰高潮A片| 第四色婷婷色五月| 九九婷婷激情综合网| 5月丁香六月婷婷| 伊人久久大香线蕉亚洲五月天,| 婷婷激情五月综合| 日韩在线99| www.超碰在线| 99在线观看视频免费| 99精品久久| 思思w99| 丁香婷婷午夜| 日韩成人av在线| 丁香六月婷婷综情欧美| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 综合五月丁香六月婷婷| 亚洲精品国产成人AV在线| 婷婷综合视频| 五月天五月婷五月激情网| 五月丁香婷婷老司机| 婷婷狠狠18禁久久| 激情五月开心五月在线视频| 久久艹 五月天| 天天爽天天爽视频| 天天色丁香| 五月丁香六月激情| 激情五月色播五月| 狠狠综合| 婷婷激情久久| 色综合久久中文| 秋霞电影一级黄| 刘玥精品一区| 激情九月综合| 性爱五月婷| 久久久com| 激情综合网亚洲色图| 色月丁| 亚洲精品成人| 色婷婷丁香五月在线观看| 婷婷五月亚洲综合| 婷婷五月色综合香五月| 国产免费AV网站| 丁香婷停五月激情综合深爱| 超碰不卡在线| 久热婷婷综合| 99ri国产| www.深爱激情| 久久婷婷六月天| 狠狠色噜噜色狠狠狠综合色| 五月婷婷天| 天天色综合网1| 99视频在线| 九九热青青草| 色情综合| 五月丁香六月成人| 天天色综合综合| 丁香五月激情宗合| 99久精品| 91九色PORNY大屁股| 丁香五月色情| 5五月综合网亚洲| 色综合五月在线| 婷婷五月天激情综合| 婷婷六久久| 麻豆AV一区二区三区| 丁香五月激情网| 天天操天天日天天操| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 色拍九九九| 国产69久久久欧美黑人A片| 天天射综合网站| 亚洲欧洲中文日韩久久AV乱码| 狠狠干总合| 99re6热在线精品视频播放速度| 97在线日本| 色色综合网www| 最近中文字幕大全免费版在线| 99热亚洲| 亚洲人人操| 亚洲色激情| 99综合99| 熟女五月天久久综合| 五六月婷婷| 国产精品成人AV在线| 婷婷欧美激情| 91AV视频| 91色欲综合| 99久99久| 超碰免费观看| 六六久久黄色| 狠狠操狠狠色| 欧美性生交XXXXX无码小说| 九九aV| 五月色婷婷综合| 伊人久久艹| 色欲婷婷五月天| 久色网址| 精品五月天| 99热这里只有精品2| 另类图片色五月| 色色色国产| 丁香五月另类色婷婷麻豆| 色哟哟www| 性欧美日本| 人妻熟妇国产精品| 99精品久久| 综合色播| 婷婷中文字幕| 国产精品久久久爽爽爽麻豆色哟哟| 国产FREESEXVIDEOS性中国| 99精品网| 亚洲午夜成人av电影网| 播丁香五月婷婷欧美| 激情五月丁香五月色| 伊人九热| 亚洲热久| 丁香六月综合| 99超级碰免费视频| 日本乱子人伦在线视频| 91人妻九色大屁股| 人人操人人添人人摸97| 丁香五月AV| 久久性爱视频| 中文人妻主播久久| 五月婷婷免费在线观看| www.亭亭五月天| 99re6久热只有精品6在线直播| 超碰在线超碰| 开心激情网五月天| 亚洲亚洲人成综合网络| 韩日AV片| 99日精品视频| 亚洲丁香婷婷五月天综合色| 五月天五月色| 五月天啪啪啪| 婷婷天堂综合| 国色天香成人网| 热久免费视频9| 伊人网碰碰| www.91.com处女在线直播| 五月丁香六月婷婷在线播放| 操一操干一干| 综合网五月| 琪琪色五月婷婷老师| 综合色吧| caopeng超碰| 99操逼| 九九热99热| 狠狠婷婷综合| 综合另类视频| 五月丁香 啪啪啪| 婷婷五月色| 97精品综合| 五月丁香婷婷99| 日本综合色图| 人人看人人摸人人| 97人人超| 色情激情五月婷婷| 色婷婷手机在线| 色婷婷视频综合| 成人片在线播放| 国av网| 免费AAAAA网| 天天日,天天射,天天舔| 囯产精品久久欠久久久久久九大| 丁香五月玖玖| 五月噜噜噜色综合| 激情综合五月开心狠狠| 99免费在线视频| 五夜丁香| www色中色综合| 天天日,天天插| 色吧99| 成人久久天天x资源站| 性色天| 色99综合色88| 六月丁香婷婷视频综合在线观看| 天天婷婷色六月| 精品一二三区久久AAA片| 99热精品观看| 丁香五月婷婷激情蜜桃| 九九在线视频| 色色色国产| 逼里香不卡| 国外亚洲成AV人片在线观看| 欧美精品99| 六月丁香五月天| 三级片AAA久久久AAA久久久AAA| 五月停亭六月,六月停亭的英语| 夜夜夜夜夜操| av一级棒av| 五月丁香爱婷婷深深| 欧美激情综合色综合啪啪五月| 九九无毛| 婷婷五月天成人影片| 成AV人片一区二区三区久久| 色色色色色色色色五月先| 高清无码视频网址| www超碰com| 丰满人妻一区三区三区| 日本综合色图| 色色综合色视频| 久久久91| 久大香蕉| 射区导航| 丁香五月天狠狠操| 久久久久人妻网址| 亚洲精品另类| 狠色色狠网| 五月婷婷 婷婷五月 一区二区 久久久| 热久久成人| 婷婷五月天影院| 99re在线视频精品,这里只有精品18,| 色五月婷婷91| 久久婷婷五月综合成人d啪| 26uuu亚洲| 色色五月激情| www.五月天| www.刺激色网站www.| 五月婷亚洲精品| 一本狠婷婷综合| 99免费热视频在线| 人操人人| 五月丁香六月婷婷成人电影| 丁香五月婷婷99| 99热只有这里有精品| 激情久久丁香| 狠狠爱婷婷爱| 九九色影视| 99这里| 色99视| 精品二区| 色婷婷色五月天| 在线91日韩| 天天插天天干| 91尤物九色在线| 久久久久er热| 亚洲舔观看| 激情都市另类| 九九婷婷五月天| 日韩日比视频| 人人爱操| 五五月五月| 欧美三级韩国三级日本三斤| 5月婷婷6月六月丁香| 99精品久久久久久久| 婷婷激情五月| 777丁香六月青青草婷婷综合久月| 搡BBBB搡BBB搡五十| 久久 视频这里只有精总| 青青草原爱爱网| www.色五月.com| 熟女重口味αV| 97人碰人操| 五月丁香六月婷婷姐| 粉嫩av蜜桃av蜜臀av| 蜜桃人妻无码AV天堂三区| 久热只有这里精品| 99熟女啪啪视频| 天天干一干| 五月天深爱激情网| 久久与婷婷| 国产精自产拍久久久久久蜜 | 久久婷婷内射| 电影《战争与艾拉》免费观看| 色婷婷成人色网| 国产97色在线| 激情综合网,婷婷五月天| 欧美久久久久久久久中文字幕| 日本天天操| aaa丁香五月天| 天天日日| 99日本在线| 秋霞电影理论| 丁香婷婷色九月| 激情综合五月| 五月婷婷在线免费观看 | 欧美精品在线观看| 日韩精品一区二区亚洲AV观看 | 激情视频91| 久热在线中文字幕色999舞| 五月婷婷丁香五月婷婷丁香| WWW丁香五月| 婷婷伊人綜合| JAPANRCEP老熟妇乱子伦视频 | 夜丁香五月婷婷| 欧美激情丁香五月| 在线成人av播放| JAPANRCEP老熟妇乱子伦视频 | 久久这里只有精品热在99| 成人综合伍月天| 成人精品一区二区三区四区五区| 99热99| 影音先锋91在线资源站| 久久综合干| 综合色色色色色色| 99re这里只有精品国产99| 日韩高清久久| 天堂久久丁香| 久久婷婷亚洲| 五月婷婷深深爱| 伊人五月丁香| 丁香激情合作五月| 色色色色五月天| 婷婷丁香91| 在线播放 精品| 激情婷婷六月| 精热在线综合网| 无码yw| 亚洲国产黄色电影| 怎么样可以看免费的一级av| 狠狠插狠狠操| 五月婷婷色影院| 99热这里只有精品青草| 五月丁香亭亭天天舔| 综合激情网五月激情| 日韩欧美一级大黄网站| 五月天停婷基地| 久久久亚洲成人无码A片| 老师的粉嫩小又紧水又多A片视频| 激情综合无码| 天堂综合久| 五月六月伦理| www.五月天激情| 丁香五月冃欧美| 91啪级电影| 99极品视频| 婷婷五月丁香六月伊人网| 激情综合网五月婷婷| 久操激情| 超碰在线9| 啪精品| 色婷婷四色| 久久九九婷婷| 91人人爽人人操| 免费播放AV| 4399精品一区二区| 91女人18毛片水多国产| 五月天另类小说久久小说网| 熟女少妇内射日韩亚洲| 青草视频在线观看视频| ..真实国产乱子伦对白在线_欧| 精品婷婷| 丁香六月亚洲综合| 婷婷涩涩网| 五月丁香啪啪啪啪| 婷婷五月免费在线| 色婷五月| 26uuuuuuuu国产| 丁香五月六月婷婷怡红院| 婷婷丁香色五月| 婷婷伊人网| 91无码高清| 大香蕉婷婷五月天| 婷婷大香蕉| 婷婷五月天基地| 黄色片久久| 国产精品成av人在线视午夜片| 五月丁香婷婷狠狠操| 九九久久精品國產| 中文字幕丰满人妻无码专区| 日韩一级A片黄色| 男人的天堂999| 色婷婷五月基地在线| 79色色免费| 伊人五月天在线| 99啪| 九九色综合| Aaa久久| 夜色综合网| 成人色五月天婷婷| 色婷婷五月网| 日日杆天天| 超碰在线99| 影音先锋91网站在线观看| 婷婷五月综合丁香久久| 色九月婷婷丁香| 天天插天天插天天操| 五月婷在线色视频| 狠狠xx| 97人人干人人操| 一本道在线电影| 婷婷色一二三区波多野结衣| 亚洲精品国产成人AV在线| 天天人人天天爽| 激情五月,色播五月| 99久久综合网| AV在线不卡播放| 色欲影香| 天天操天天操| 色五月婷婷网| 能看的av| 91视频综合网| 夜夜躁狠狠 | 色综合九九色综合88| 这里只有视频精品| AV操操操| 亚洲激情综合| 午夜日韩久久久网站| 激情综合五月激情| 日婷婷久久开心| 色五月五月婷婷| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 丁香五月婷婷日本| 激情小说在线视频| 色婷婷另类| 欧洲永久精品| 亚洲中文乱字字幕在线永久| 婷婷综合久久| 狠狠爱五月婷婷| 99热在线这里只有精品| 超碰色综合| 亚洲免费综合一区| 综合激情五月丁香| 婷婷天天日婷婷| 亚洲精品V天堂中文字幕| 五月丁香综合在线| 婷婷五月天第四色| 天天插天天爱| 我去色色网五雨天| 午夜无码精品色综合久久| 一级性爱视频| 婷婷激情五月视频| 色婷婷五月天激情综合| 色婷婷久久| 99热99天堂| 一级A片天天操夜夜操| 九九热精品| 成人五月天丁香| 亚洲六月色| 美女久久婷婷| 色五月丁香五月五月婷婷| 婷婷五月丁香91| 免费在线a| 综合深爱五月| 公的粗大挺进了我的密道| 亚洲精品亚洲人成人网| 激情五月天婷婷| 人操91在线| 丁香激情六月天婷婷| 五月色网| 激情五月天婷婷直播| 97影院一级片| 日韩情色在线观看| 99亚洲日韩| 99热亚洲只有色| 婷婷开心青青草| 激情五月婷| 精品色情一区二区三区四区| 120分钟婬片免费看| www.久久久久久| 六月综合婷婷开心伊人| 中文字幕av久久爽| 狠狠操狠狠干综合| 日韩专区五月天婷婷丁香| 六月丁香综合999| 国产乱人偷精品人妻A片| 婷香五月网在线| 日日噜噜夜夜狠狠久久丁香六月| 色色免费网站| 色一情一乱一乱一区91| 成人永久免费视频在线观看| 五月丁香啪啪| 伊人久久中文网| A久久| 99热热这里只精品996小说| 99热精品观看| 婷婷五月天久久|