免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

JVM內(nèi)存溢出排查:數(shù)據(jù)庫連接對象堆積與連接池泄漏實(shí)戰(zhàn)

JVM內(nèi)存溢出排查:數(shù)據(jù)庫連接對象堆積與連接池泄漏實(shí)戰(zhàn) 某個(gè)線上服務(wù)在凌晨開始陸續(xù)出現(xiàn)接口超時(shí)堆內(nèi)存監(jiān)控曲線一路向上從2GB爬到3.8GB只用了幾個(gè)小時(shí)隨后接連拋出OutOfMemoryError: Java heap space。容器重啟后過了一會(huì)兒又反復(fù)。打開GC日志和堆轉(zhuǎn)儲(chǔ)一看老年代里堆滿了同一個(gè)類名com.mysql.cj.jdbc.ConnectionImpl對象數(shù)量達(dá)到六位數(shù)。這就是典型的“JVM內(nèi)存溢出-數(shù)據(jù)庫連接對象大量累積”問題。數(shù)據(jù)庫連接本身不算龐然大物但成千上萬個(gè)連接對象疊加在一起足以把堆內(nèi)存榨干。真正有價(jià)值的不只是知道“發(fā)生了什么”而是搞清楚連接對象為什么只增不減、怎樣在不影響線上業(yè)務(wù)的情況下把它定位出來、修完之后又怎么防止同類問題再次出現(xiàn)。這篇文章就按這個(gè)脈絡(luò)寫給同樣被內(nèi)存溢出和連接池問題折磨的人一份可復(fù)用的排查手冊。1. 先搞清楚連接對象累積與堆溢出是什么關(guān)系在動(dòng)手抓堆轉(zhuǎn)儲(chǔ)之前一定要先把問題定性。很多人一看到內(nèi)存溢出第一反應(yīng)是堆太小或者GC參數(shù)不對實(shí)際上連接對象累積類的問題根因往往藏在業(yè)務(wù)代碼和連接池策略里??梢园堰@類故障從兩個(gè)層面拆開看一個(gè)是單條連接在JVM里到底占多少內(nèi)存一個(gè)是這些連接究竟是怎么積累起來的。1.1 一條數(shù)據(jù)庫連接在JVM里到底占多大地方“一條Connection能占多大頂多幾百字節(jié)”這是對數(shù)據(jù)庫連接對象的典型誤解。連接在JVM堆里的內(nèi)存占用遠(yuǎn)不止接口對象本身。以最常見的MySQL客戶端連接器為例一個(gè)Connection對象背后至少包含這樣幾塊內(nèi)容Socket通道的輸入緩沖區(qū)和輸出緩沖區(qū)每塊默認(rèn)就是8KB到16KB兩個(gè)加起來已經(jīng)有十幾KB協(xié)議解析層、編碼轉(zhuǎn)換層、事務(wù)狀態(tài)機(jī)等內(nèi)部對象預(yù)編譯Statement緩存如果打開useServerPrepStmts每條SQL對應(yīng)一個(gè)對象連接上下文、字符集元數(shù)據(jù)、用戶權(quán)限相關(guān)的緩存把這些疊加起來一條空閑連接在MySQL 8.x連接器下實(shí)測常常是150KB往上。要是連接上執(zhí)行過較多SQL產(chǎn)生了較多預(yù)編譯緩存單條連接突破200KB到300KB也不奇怪。做道算術(shù)題堆內(nèi)存設(shè)4GB按單條連接200KB估算累積到2萬條連接就是4GB左右。也就是說堆里躺上2萬個(gè)連接對象整個(gè)堆就基本廢了。而且連接數(shù)量越多GC掃描這些對象的時(shí)間越長Full GC停頓會(huì)越來越明顯服務(wù)表現(xiàn)為周期性卡頓一直到OOM徹底爆發(fā)。1.2 兩類累積泄漏型累積與池容量型累積“大量連接對象”這個(gè)描述太籠統(tǒng)實(shí)際要分成兩類來看排查方向完全不同。第一類是泄漏型累積。連接從池里借出來之后關(guān)閉動(dòng)作因?yàn)楫惓?、提前return、分支遺漏等原因沒有執(zhí)行連接對象就一直被某個(gè)線程?;蛘哽o態(tài)容器引用著永遠(yuǎn)回不到池里。池本身有上限但借出的連接只要還沒有歸還池的數(shù)據(jù)結(jié)構(gòu)里就一直持有它的狀態(tài)記錄。于是連接對象數(shù)量只增不減堆內(nèi)存持續(xù)爬升。這種在堆轉(zhuǎn)儲(chǔ)里的特征是連接對象被某條業(yè)務(wù)線程的棧幀、或者某個(gè)全局容器持久引用而不是掛在連接池的空閑隊(duì)列上。第二類是池容量型累積。這種更隱蔽代碼沒有泄漏但連接池配置的maximumPoolSize本身極大池策略又允許大量空閑連接長期存活。比如把池上限設(shè)成500系統(tǒng)實(shí)際日常只需要20個(gè)連接剩下的480個(gè)連接一直活著堆里躺著大量空閑連接純屬浪費(fèi)。每個(gè)空閑連接的內(nèi)存雖然不如活躍連接那么高但架不住數(shù)量多。更麻煩的是池創(chuàng)建連接的速度遠(yuǎn)大于釋放速度高峰期內(nèi)存占用會(huì)迅速膨脹。兩類問題都會(huì)讓你在堆轉(zhuǎn)儲(chǔ)里看到大量ConnectionImpl對象但前者要改代碼后者改配置加監(jiān)控就能解決。如果在第一步就把問題歸錯(cuò)類后面所有的排查動(dòng)作都會(huì)跑偏。2. 根因在哪里常見的連接對象累積路徑把這些年遇到過的線上事故疊在一起看連接對象累積基本逃不出下面幾種模式。2.1 手動(dòng)管理連接關(guān)閉路徑被異常跳過有些老項(xiàng)目里存在不少手寫JDBC的場景開發(fā)對連接池的理解停留在“調(diào)用getConnection就能拿連接”但關(guān)閉邏輯寫得非常隨意。Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql); ResultSet rs ps.executeQuery(); while (rs.next()) { // 業(yè)務(wù)處理 } // 這里沒有close連接池里永遠(yuǎn)少一個(gè)連接這種代碼在低并發(fā)下長期不炸因?yàn)檫B接池會(huì)自動(dòng)擴(kuò)容你總覺得連接夠用??闪髁恳坏┥蟻沓乩锏倪B接被借光新請求就開始排隊(duì)超時(shí)。同時(shí)泄漏一直在發(fā)生池在擴(kuò)容到上限之后也無法滿足需求堆內(nèi)存被新連接和等待隊(duì)列不斷撐大量變積累成質(zhì)變OOM就來了。還有一種更容易被忽視的寫法明明寫了finally塊做close但方法里catch塊把異常吞了而close操作又依賴前面某個(gè)資源的中間狀態(tài)。比如在try里初始化PreparedStatement時(shí)就拋了異常對象還是nullfinally卻直接調(diào)用ps.close()空指針把關(guān)閉動(dòng)作徹底打斷。這種問題在代碼評審時(shí)極易漏掉因?yàn)檎B窂娇雌饋硎峭暾P(guān)閉的只有異常路徑才露餡。2.2 連接池參數(shù)配置與業(yè)務(wù)容量嚴(yán)重失配另一類常見情況是代碼邏輯沒有明顯泄漏問題出在連接池容量規(guī)劃上。我見過有團(tuán)隊(duì)一遇到“連接池耗盡”的報(bào)錯(cuò)就簡單粗暴把maxPoolSize從10改成1000。從工程角度講這不是在解決問題而是給數(shù)據(jù)庫下毒。連接池的上限不只是內(nèi)存問題1000個(gè)連接同時(shí)建到數(shù)據(jù)庫實(shí)例上數(shù)據(jù)庫端的線程、內(nèi)存、鎖全都會(huì)被拖垮整體吞吐量不升反降。更合理的做法是估算連接需求。經(jīng)驗(yàn)公式大概是需要連接數(shù) 接口QPS × 單次操作持有連接的平均秒數(shù)舉個(gè)例子某接口QPS是200每次請求大約占用連接200毫秒那么需要的連接數(shù)就是200 × 0.2 40再留20%到30%余量設(shè)置50就非常寬裕。如果QPS和平均耗時(shí)不變硬把池上限設(shè)成500大部分時(shí)間池里躺著450條空閑連接對JVM堆是純浪費(fèi)對數(shù)據(jù)庫是無謂壓力。2.3 Spring事務(wù)與MyBatis會(huì)話的隱性持有還有一類比顯式泄漏更隱蔽的問題連接并沒有丟失但被長時(shí)間占用數(shù)量一多效果等同于泄漏。Spring的Transactional會(huì)把數(shù)據(jù)庫連接綁定到當(dāng)前線程的ThreadLocal資源管理器只有事務(wù)提交或回滾之后才釋放綁定。如果方法內(nèi)部嵌套了耗時(shí)很長的本地緩存操作、大批量文件處理、或者一次外部HTTP調(diào)用連接就會(huì)一直被線程攥著不放。消息隊(duì)列消費(fèi)邏輯套事務(wù)注解是重災(zāi)區(qū)。一條消息被消費(fèi)時(shí)觸發(fā)了復(fù)雜的業(yè)務(wù)鏈路處理10秒連接就被綁定10秒。消費(fèi)線程池32個(gè)連接池上限30瞬時(shí)并發(fā)上來池里可用連接直接歸零。這類問題的特征是堆轉(zhuǎn)儲(chǔ)里的連接對象數(shù)量可能并不夸張但連接池的active指標(biāo)一直頂滿pending指標(biāo)持續(xù)上漲。修復(fù)方向不是調(diào)大連接池而是收縮事務(wù)邊界把遠(yuǎn)程調(diào)用、耗時(shí)操作全部挪到事務(wù)方法外面去。2.4 多數(shù)據(jù)源場景下的DataSource重復(fù)創(chuàng)建動(dòng)態(tài)數(shù)據(jù)源也是一個(gè)高頻坑位。為了做讀寫分離或者多租戶隔離有些項(xiàng)目用Map緩存了多個(gè)DataSource實(shí)例每次切換數(shù)據(jù)源就new一個(gè)舊的實(shí)例卻沒有關(guān)閉。HikariDataSource創(chuàng)建后池后臺(tái)線程會(huì)一直存活。堆轉(zhuǎn)儲(chǔ)里不只是ConnectionImpl數(shù)量多還能看到多個(gè)HikariPool實(shí)例以及成倍增長的池控制線程。這種場景下連接對象是被多個(gè)連接池對象分開持有的單看數(shù)量可能沒到嚇人的程度但加上線程對象、隊(duì)列對象、緩沖區(qū)對象以后內(nèi)存占用依然非常可觀。定位后處理方式也很明確要么統(tǒng)一走路由層整個(gè)JVM只保留真正在用的數(shù)據(jù)源實(shí)例要么為動(dòng)態(tài)數(shù)據(jù)源設(shè)計(jì)完整的生命周期管理確保切換后舊實(shí)例能被正常關(guān)閉和回收。3. 從現(xiàn)象到定位一次完整的在線排查這一章是整個(gè)排查過程最實(shí)操的部分按我當(dāng)時(shí)處理事故的順序?qū)憽?.1 第一步用jstat觀察GC與堆內(nèi)存趨勢定位JVM內(nèi)存問題最忌諱一上來就抓堆轉(zhuǎn)儲(chǔ)。正確的第一步是先看趨勢。登錄到報(bào)警機(jī)器先通過jps找到進(jìn)程PID然后執(zhí)行jstat -gcutil pid 1000 2000這條命令每秒采樣一次持續(xù)2000秒。輸出里重點(diǎn)看E、O、FGC這三列。E代表Eden區(qū)使用率O代表老年代使用率FGC是Full GC次數(shù)。如果你看到O列持續(xù)上漲Full GC之后O列也不回落說明確實(shí)有對象在老年代不斷累積。再配合系統(tǒng)負(fù)載和接口監(jiān)控就能把問題范圍先從“整臺(tái)JVM內(nèi)存溢出”壓縮到“某類對象只增不減”。這一步的目的有兩個(gè)一是確認(rèn)堆轉(zhuǎn)儲(chǔ)有沒有必要抓二是為后續(xù)分析提供內(nèi)存使用基線。如果老年代穩(wěn)定不動(dòng)Full GC正常單純是堆參數(shù)設(shè)太小那調(diào)整-Xmx就行跟連接對象沒關(guān)系。如果像當(dāng)時(shí)那樣O列一路爬升就可以放心進(jìn)入下一步了。3.2 第二步抓堆轉(zhuǎn)儲(chǔ)確認(rèn)對象構(gòu)成確認(rèn)老年代在持續(xù)上漲后需要抓一份堆轉(zhuǎn)儲(chǔ)jcmd pid GC.heap_dump /tmp/heap-pid.hprof用jcmd而不是jmap -dump抓是因?yàn)閖cmd默認(rèn)不帶live參數(shù)不會(huì)先觸發(fā)一次Full GC能保留堆現(xiàn)場的原始狀態(tài)。抓堆之前先確認(rèn)磁盤剩余空間堆如果配置4GBhprof文件通常也會(huì)有接近4GB的大小別把磁盤寫爆了。抓完堆之后先用快速命令看對象分布jmap -histo pid | head -40這段輸出的價(jià)值在于給出對象數(shù)量的Top N。在連接泄漏事故里你經(jīng)常會(huì)在最前面看到這樣幾個(gè)類名com.mysql.cj.jdbc.ConnectionImplMySQL 8.x連接器com.zaxxer.hikari.pool.PoolEntryHikariCP池條目com.alibaba.druid.pool.DruidPooledConnectionDruid池包裝連接當(dāng)ConnectionImpl的對象數(shù)量達(dá)到幾十萬級時(shí)基本可以確定方向。但我必須提醒一句對象數(shù)量多只是信號(hào)不直接等于泄漏。繼續(xù)往下看引用鏈才是真正的判定依據(jù)。3.3 第三步用MAT定位GC Root持有鏈路把hprof文件下載到本地用Eclipse MAT打開。操作步驟是先看Histogram按對象個(gè)數(shù)排序過濾出ConnectionImpl這類類名右鍵選擇List objects - with outgoing references看這些連接都引用了什么再右鍵選擇Path to GC Roots - exclude weak references把GC Root路徑完整顯示出來。CG Root路徑通常會(huì)呈現(xiàn)三種典型情況連接被HikariPool內(nèi)部的ConcurrentBag引用這是連接池自己在持有的正常連接。如果數(shù)量已經(jīng)明顯超過池配置的上限說明池被撐爆需要回到池配置審查。連接被某條線程棧的局部變量引用這是正在使用中的連接算不上異常。但如果這些線程都停留在同一個(gè)業(yè)務(wù)方法里而且數(shù)量持續(xù)上漲說明這條方法大概率在泄漏連接。連接被某個(gè)實(shí)例字段或靜態(tài)容器引用這是最典型的泄漏實(shí)錘。代碼把Connection對象塞進(jìn)了數(shù)組、Map、ThreadLocal之類容器里使用完沒有清理導(dǎo)致GC Root能一路找到它。通過MAT的引用路徑可以直接對應(yīng)到具體類名和字段名再結(jié)合源碼倉庫就能定位到方法行號(hào)比在代碼里瞎搜快得多。3.4 第四步結(jié)合業(yè)務(wù)代碼確認(rèn)泄漏點(diǎn)拿到MAT的結(jié)論后回到代碼倉庫打開對應(yīng)的類。我在實(shí)際項(xiàng)目里遇到的漏法主要有三種catch分支里沒有釋放連接只有正常try路徑執(zhí)行了close方法返回前提前return跳過了統(tǒng)一釋放邏輯在循環(huán)體里多次調(diào)getConnection最后只關(guān)閉了一個(gè)前面的全部漏掉修好泄漏點(diǎn)之后先別急著擴(kuò)堆。部署新版本觀察連接池的活躍連接數(shù)和JVM內(nèi)存曲線。如果active數(shù)能隨著流量回落內(nèi)存曲線走平才算真正修好。這里還要提個(gè)建議修復(fù)一個(gè)泄漏點(diǎn)往往不夠建議在代碼庫全局搜索getConnection的調(diào)用點(diǎn)把所有手工獲取連接的代碼統(tǒng)一審一遍把同類型的隱患一次性清理掉。4. 修復(fù)方案與參數(shù)調(diào)優(yōu)落地定位到根因之后修復(fù)方案要落在三個(gè)層面代碼寫法、連接池配置、監(jiān)控告警。缺一不可。4.1 代碼層修復(fù)連接獲取與釋放的規(guī)范寫法如果項(xiàng)目還在使用原生JDBC或者裸連接管理務(wù)必統(tǒng)一成try-with-resources寫法try (Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql); ResultSet rs ps.executeQuery()) { while (rs.next()) { // 業(yè)務(wù)處理 } } catch (SQLException e) { log.error(query failed, e); }這種寫法的好處是資源關(guān)閉順序由語言層面保證無論正常執(zhí)行還是拋出異常都會(huì)按逆序調(diào)用close方法。對于從連接池取出的代理Connection這個(gè)close的語義是“歸還連接池”并不是真正斷開物理連接所以不用擔(dān)心頻繁開關(guān)連接帶來的性能損耗。如果項(xiàng)目Java版本受限無法用try-with-resources也要遵守一個(gè)原則close動(dòng)作只寫在finally里不要分散到try和catch的多個(gè)位置否則極易漏掉分支。還有一個(gè)實(shí)用技巧是給連接操作寫一個(gè)統(tǒng)一的工具方法把連接獲取、關(guān)閉邏輯收斂到一處。業(yè)務(wù)代碼只調(diào)用工具方法從源頭杜絕寫法混亂。4.2 連接池參數(shù)調(diào)整以HikariCP為例Spring Boot默認(rèn)使用的連接池是HikariCP配置文件可以這樣調(diào)整spring: datasource: hikari: maximum-pool-size: 50 minimum-idle: 10 connection-timeout: 30000 max-lifetime: 1800000 idle-timeout: 600000 leak-detection-threshold: 60000每個(gè)參數(shù)為什么要這樣設(shè)背后都有邏輯maximum-pool-size池上限。不要拍腦袋設(shè)一個(gè)整數(shù)按前面說的QPS × 平均連接占用時(shí)間估算留20%到30%余量。連接數(shù)過大對數(shù)據(jù)庫本身也是一種壓力。minimum-idle池保持的最小空閑連接數(shù)。如果服務(wù)空閑期不想保留太多空閑連接可以把值調(diào)低配合idle-timeout使用如果日常流量波動(dòng)大建議設(shè)置成與maximum-pool-size一致避免池頻繁擴(kuò)縮容導(dǎo)致性能抖動(dòng)。connection-timeout客戶端等待連接的時(shí)間線上建議30秒。設(shè)太短突發(fā)流量時(shí)大量請求直接超時(shí)設(shè)太長用戶側(cè)等待感過強(qiáng)。max-lifetime連接最大存活時(shí)間必須小于數(shù)據(jù)庫的wait_timeout。MySQL默認(rèn)wait_timeout是28800秒HikariCP默認(rèn)30分鐘。保持默認(rèn)值是安全的只要低于數(shù)據(jù)庫端即可。idle-timeout空閑連接最大存活時(shí)間。注意它只在池中連接數(shù)超過minimumIdle時(shí)才生效如果minimumIdle和maximumPoolSize相等空閑連接不會(huì)被銷毀。leak-detection-threshold連接被借出超過這個(gè)時(shí)間沒有歸還HikariCP會(huì)輸出警告日志。設(shè)成60000毫秒可以較早捕獲泄漏點(diǎn)。前提是它必須小于max-lifetime否則配置會(huì)沖突。這組參數(shù)改完后連接數(shù)曲線通常兩三個(gè)發(fā)布周期就能看到明顯收斂。參數(shù)本身不是越多越好而是要和業(yè)務(wù)容量的真實(shí)需求匹配。4.3 Druid的特殊兜底手段removeAbandoned如果你用的是Druid連接池它提供了一套針對連接泄漏的兜底配置spring: datasource: druid: initial-size: 5 min-idle: 5 max-active: 50 max-wait: 30000 remove-abandoned: true remove-abandoned-timeout-millis: 300000 log-abandoned: trueremove-abandoned的意思是連接被借出超過remove-abandoned-timeout-millis指定的毫秒數(shù)后還沒歸還Druid會(huì)從代碼里強(qiáng)制回收這個(gè)連接。log-abandoned打開后Druid會(huì)打印包含調(diào)用棧的告警日志定位泄漏非常方便。但這把雙刃劍要用得謹(jǐn)慎。如果業(yè)務(wù)里存在合法的長事務(wù)比如一個(gè)20分鐘的大批量導(dǎo)入任務(wù)而你設(shè)置的回收閾值是300秒事務(wù)后段的數(shù)據(jù)操作會(huì)被強(qiáng)制回收打斷引發(fā)數(shù)據(jù)一致性問題。因此這類兜底配置只建議在確實(shí)存在泄漏、且業(yè)務(wù)里沒有超過閾值的正常長任務(wù)時(shí)才啟用。更穩(wěn)妥的順序是先用log-abandoned定位泄漏分支修復(fù)代碼再?zèng)Q定是否保留remove-abandoned作為最后防線。4.4 建立三層監(jiān)控防線排查和修復(fù)都完成后最后一步是把防線建立起來避免同類問題在無人值守的深夜再次爆發(fā)。我一般分三層來做第一層JVM內(nèi)存層。使用Spring Boot Actuator加Micrometer把指標(biāo)暴露給Prometheus重點(diǎn)監(jiān)控jvm_memory_used_bytes和Full GC次數(shù)。一旦老年代內(nèi)存持續(xù)增長連續(xù)多個(gè)采集周期環(huán)比為正立刻告警。第二層連接池層。HikariCP會(huì)輸出hikaricp_connections_active、hikaricp_connections_idle、hikaricp_connections_pending這幾個(gè)關(guān)鍵指標(biāo)。建議給active占總?cè)萘勘壤O(shè)置80%閾值pending持續(xù)大于0且維持5分鐘以上就觸發(fā)告警。Druid也可以打開監(jiān)控頁但生產(chǎn)環(huán)境一定要做訪問鑒權(quán)。第三層SQL與事務(wù)層。開啟數(shù)據(jù)庫慢查詢?nèi)罩景殉^1秒的SQL記錄下來。應(yīng)用側(cè)記錄每個(gè)事務(wù)方法的耗時(shí)超過閾值就預(yù)警。一條慢SQL執(zhí)行5秒就有一個(gè)連接被占用5秒。慢SQL一旦集中出現(xiàn)連接池很快見底。三層指標(biāo)互相配合連接對象的任何異常累積都能在早期被捕捉到。5. 常見問題排查與避坑記錄這一路排查下來有些錯(cuò)誤和坑值得單獨(dú)記錄下來以后遇到類似問題能少走彎路?,F(xiàn)象可能原因排查或處理建議堆內(nèi)存持續(xù)上漲連接對象數(shù)量龐大連接泄漏或池配置過大先看GC Root引用鏈區(qū)分泄漏型還是容量型HikariCP連接池請求超時(shí)池耗盡多與慢SQL或長事務(wù)有關(guān)查數(shù)據(jù)庫慢日志收縮事務(wù)邊界日志顯示連接一直未歸還方法提前return或異常分支漏close用try-with-resources重寫復(fù)查catch分支連接池頻繁擴(kuò)縮容minimumIdle與maximumPoolSize差距過大把minimum-idle調(diào)高接近maximum-pool-sizeDruid強(qiáng)制回收后事務(wù)中斷長任務(wù)超過回收閾值調(diào)大回收時(shí)間或去掉兜底優(yōu)先修代碼再分享三個(gè)實(shí)際踩過的坑第一個(gè)坑不要在業(yè)務(wù)高峰期直接抓dump并立刻重啟實(shí)例。抓dump本身會(huì)給服務(wù)增加一次內(nèi)存快照和磁盤寫入如果堆已經(jīng)接近裝滿可能直接觸發(fā)又一次Full GC。更穩(wěn)妥的順序是先記錄現(xiàn)場指標(biāo)把實(shí)例從負(fù)載均衡上摘掉流量再抓dump最后重啟。先留證據(jù)再補(bǔ)救否則重啟完現(xiàn)場沒了根因也找不到了。第二個(gè)坑不要只盯著ConnectionImpl類名就下結(jié)論。之前看一個(gè)案例dump里ConnectionImpl數(shù)量非常多我差點(diǎn)判定是代碼泄漏。但順著GC Root追下去發(fā)現(xiàn)這些連接幾乎全部被HikariPool自己持有原來是某次擴(kuò)容把maximumPoolSize沖到了800代碼本身反而沒問題。引用鏈才是判官類名數(shù)量只是線索。第三個(gè)坑連接池參數(shù)修完之后不要直接撒手。一個(gè)泄漏點(diǎn)往往只在一類流量場景下才觸發(fā)比如某個(gè)爬蟲任務(wù)、某個(gè)特殊的對賬流程。修完連接池配置把內(nèi)存壓下來不代表所有場景都安全了。只要代碼庫里還存在手工獲取連接的調(diào)用點(diǎn)建議花時(shí)間統(tǒng)一改造讓連接回收路徑經(jīng)得起評審。我個(gè)人在處理這類問題時(shí)的習(xí)慣是一開始就拒絕調(diào)堆參數(shù)。加大-Xmx只是把癥狀往后推不會(huì)讓泄漏消失。正確路徑永遠(yuǎn)是把GC趨勢、堆轉(zhuǎn)儲(chǔ)、GC Root引用鏈走完讓證據(jù)說話。如果你也被JVM內(nèi)存溢出和連接池累積問題纏住按這套流程走一遍大部分事故都能在幾小時(shí)內(nèi)鎖定根因。最后送一句實(shí)操口訣連接泄漏看GC Root連接池容量看指標(biāo)修復(fù)之后看曲線。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情另类综合| 这里只有精品在线播放| 超喷97免费在线视频| 五月婷婷综合潮喷| 久久在这里有精品| 亚洲成人一区| 91亚洲天堂| 99热只有| 色五月婷婷av| 久久亚洲天堂| 五月婷婷第四色| 久热婷婷| 色射影院| 婷婷99热| 色五婷婷| 99热这里有精品首页10| 久久 无毛。| 99热综合| 精品一二三区久久AAA片| 可以免费观看的AV| 天天爱天天吃狠天天透| 丁香社区婷婷五月| 人人操人人爱丁香五月| 深爱激情网综合| 九九热只有这里精品| 天天干天天操| 五月天色婷婷小说| 久久激情综合| 妻久久久久| 玖玖婷婷五月| 男人的天堂五月丁香| 婷婷色情 | 天天色亚洲| 久久亚洲激情五码| 激情五月天婷婷在线网址发给我| 色五月丁香伊人五月| 五月丁香六月婷婷中文版| 久久精品99久久久久久| 51成人| 欧美超碰亚洲| 色日本综合| 2018夜夜草| 婷婷五月丁香五月| 超PEN精品在线| 婷婷六月天| 久久免片| AA片在线观看视频在线播放| 97大香蕉五月天| 熟妇无码乱子成人精品| 五月丁小婷婷激情四射| 精品动漫 无码av| 国产激情一区| 久久99网址| 97性视频| 思思热久在线观看视频| 碰碰碰97国产| 婷婷色五月开心五月| 色婷婷四色| 狠狠色噜噜狠狠亚洲A∨| 99re视频在线精品| 超碰93在线观看| 99九九热视频免费| 婷婷久久亚洲| 欧美综合激情五月丁香| 五月丁香在线婷婷美女| 大香蕉大香蕉在线影院| 久久色亭亭五月天| 色色色9| 超碰在线人人| 超碰在线日夜| 欧美日韩成人一区二区| wwxx日本| 丁香五月天在线观看| 久草热在线视频| 天天干天天干天天干| 丁香婷婷色情| 激情五月婷婷| 丁香婷婷色色| 五月婷丁香久久久| 99在线精品视频| 91九色熟女| 亚洲a色| 狠狠狠狠狠| 538在线精品| 婷婷综合久久综合| 美女天天久久| 操九色| 成人看片网站| 超碰啪啪网| 99热这里有精品首页10| 五月丁香婷婷婷婷综合网| ss99热| 免费不卡狠操美女视频网| 人妻九九九九| 热99.com婷婷| 深爱激情小说五月婷婷| 激情婷婷丁香五月天| 久久综合丁香激情五月| 99啪视频在线观看| 亚洲综合丁香五月| 狠狠色丁香| 在线18av | 激情国产综合| 这里只有精彩亚洲视频推荐| 丁香六月欧美| 日韩99视频| 人妻熟妇六区| 91精品丝袜久久久久久| aaa久久| 丁香五月六月婷婷自拍| 丁香六月婷婷综合| 免费在线a| 丁香六月婷婷综情欧美| 成人电影在线免费试看| 欧美三级级99久久| 丁香五月天BBw| 九九婷婷综合| 九九这里是免费的视频5| 婷婷五月天激情综合网| 国产精品国产成人国产三级| 99er日韩| 婷婷大香蕉| 免费视频1区| 激情小说婷婷小说| 丁香五月婷婷六月| 天堂A∨在线| 亚洲国产va| 色色色色色色色色网站| 精品成人久久久久久久_一二三四视| 79色色免费| 久久久久人妻网址| 亚洲色五月| 综合伊人久久| 991精品在线视频| 99热在线观看免费| www.婷婷五月.com| 激情欧美五月丁香| 色九月国产| 欧美婷| 超碰v| www色婷婷| 九九视屏| 五月天开心色情网| 日韩无码色色| 99er6| 大香蕉520| 五月天综合网| 欧美激情综合| 色五月激情基地| 精品一二三区久久AAA片| 黄网免费看| 九九视屏| 久热这里只有精品6官网亚洲| 日本高清久| 久久中国毛毛片爱久久| 国产激情在线| 99精品热视频只有精品10| 99九九热在线观看| 亚洲美女婷婷五月天| 九九RE视频在线精品| 97人人搞| 欧美槡BBBB槡BBB少妇| 人妻av在线| 深爱综合网| 人人草公开操| 一区二区三区四日本| 激情综合网激情五月网| 五月丁香狠狠爱婷婷综合| 伊人色综在线| 精品99视频| 久久丝袜婷婷| 天天色爽| 日韩无码91| 九九干视频| 91成人视频| 五月丁香综合啪啪| 丁香五月久久综合| 天天综合色丁香| 婷婷五月AV| 性爱综合网| 五月天综合网| 天天干 夜夜爽| 五月丁香九九| 天堂成人A片永久免费网站 | 天久久久久| 五月天综合色| 丁香 婷婷五月| 人五月天婷婷喷水| 五月天啪啪| 亚洲激情丁香五月基地| 久久婷婷综合国产| 日本强伦片中文字幕免费看| 婷婷色五月开心五月| 婷婷中文字幕| 久久久久久18| 国产人妻777人伦精品HD| 日本在线噜噜| 婷婷五月天成人导航| AV在线不卡播放| 99热在线精品观看| 婷婷六月色丁香视频在线观看| 狠狠色丁香乆乆| 六月丁香五月天| 日本啪啪网| 国产精品久久久久久久久久 | 在线只有精品| 棕合影院色色| 色婷婷狠狠| 激情五月综合网| 99热热热99精品丁香| 色五月在线播放| 另类激情五月天。| 激情宗合 激情宗合| 天天爽天天日| 丁香九九九九| 五月婷六月| 激情五婷精品网在线观看网址| 日韩野外 无套| 久久9精品| 五月婷婷六月奇米网丁香| 婷婷六月综合| 99热在线网站| 久久九九激情五月天| 色婷婷免费视频| 人人摸人人干人人做| 久热这里只有国产| 啪啪综合网| 99精品综合在线| 免费AV播放| 丰满人妻一区二区三区| 婷婷狠狠操| 密乳视频| 深爱激情网噜噜色| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 国产古装妇女野外A片| 五月天激情网站| 伊人9草在线观看| 中文字幕精品无码一区二区| 婷婷五月天激情小说| 精品成人a v无码内射| 激情婷婷五六月天| 这里只有精品日韩精品| 丁香婷婷五月天网站| www.婷婷,com| 伊人www22综合色| 久久精彩视频99| 久久激情中文| 激情五月婷婷色综合| 六月丁香网| 深爱激情六月天| 97人人操| 五月婷伊人| 97啪啪| 狠狠色大香蕉| 久久久ww| 狠狠舔| 99久在线精品| 日韩欧美一区二区三区四区| 五月丁香六月婷婷中文版| 激情99热| 久久这里只有欧美| 色五月婷婷一二| 色综合色色色色色| 狠狠色狠狠操| 五月丁香香蕉| 国产精品人人做人人爽人人添| 婷婷五月天激情网| 99五月香婷婷丁香在线视频| YW无码| 色色丁香色五月| 欧美日本97| 玖玖玖婷婷婷| 欧美色99| 五月激激网w'w'w| 色色网站日本91| 91碰碰视频在线观看| 草榴视频黄色网| 99情色五月天| 五月丁香亭亭操逼| 狠狠干2007| 五月丁香六月花| 99热精地址| 五月丁香六月在线| 四色五月婷婷| 人妻视频一区而且二区| 狠狠爱婷婷| 久久五月综合| 思思热在线免费视频| 亚洲99精品欧美一区| 久久久久婷| 天天做夜夜爽| 日本人妻久久| 亚洲激情99| 久久精品亚洲热| 久久婷婷五月综合激情国产 | 五月天另类激情在线| 夜夜夜叫天天天做| www..999热久| 婷婷婷婷婷婷婷婷婷婷丁香| 影音先锋四区| 射久久丁香五月| 婷婷五月情| 九九黄色网| 国产亚洲成AV人片在线观黄桃 | 婷婷丁香社区网| 天天综合色综合| av色色国产| www.婷婷.com| 中文字幕不卡视频| 五月天小说激情| 色色色图| 影音先锋男人女人| 色婷婷香蕉| 激情婷婷综合五月少妇| 精品久久人妻| 91日韩美女被插视频| 色五月丁香六月资源站| 99爱视频在线观看| 97伦乱| 亚洲另类在线观看| 无码一区二区三区四区五区91c| 人人97碰| 国产美女视频久| 国产肥白大熟妇BBBB视频| 激情婷婷视频在线| 五月婷婷开心亚州在线| 激情综合色| 激情婷婷视频在线| 色五月婷婷久久大| 国产成人精品亚洲线观看| 九九av在线| 亚州日本欧州韩美高青高潮一| 99热99极品观看| 国产亚洲精品久久久久久久久动漫| 色9月| 亚洲女婷婷五月基地综合久久久 | 丁香六月丁香婷婷激情| 影音先锋女人av鲁色资源网小说免费| 五月婷婷与六月丁香图片激情| 成人做爰黄A片免费看直播室男男| 婷婷色丁香五月| 五月婷天天搞视频| 色久综合| 五月天色欧美| 国产玖玖资源| 久久密臀婷婷| 五月丁香婷婷开心| 久久月天堂| 丁香 婷婷五月| 久久婷.com| 9色免费网| 99热这里只有精品一区| 色色色色丁香| 五月婷婷人妻| 亚洲精品网址| 99爱在线视频| 干一干xxxx| 久久偷拍综合五月天| 丁香网五月天| 这里只有精品视频在线看| 国产精品天天狠天天看| 天天碰天天插天天操| 亚洲成人免费电影| www.色窝| 九一九九黄色| 五月丁香激| 91疯狂操操操操| 成人五月天丁香婷| 久久丁香| 亚洲avjiujiur91| 91一起操| 天天碰天天插天天操| 五月婷婷影院| 亚洲最大五月天成人网| A1片久久| 97啪啪| 97人人超| 强辱丰满人妻HD中文字幕| 天天日日天天| 超碰永久在线| 日韩久热| 2020久久婷婷五月| 九九Y精品热播| 亚洲最大视频| www.激情.com.| 91九九| www.91有码.com| 久久六月婷婷| 中文字幕成人影视| WWW色五月天| 国产伦亲子伦亲子视频观看| 婷婷五月天成人基地| 欲求不满的人妻| 天堂久久婷婷| wwwxxx五月婷婷小说| ai97re99一本| 六月丁香久久| 99亚洲色| 东京热免费视频| 国产成人精品123区免费视频| 这里只有精品在线免费视频| 五月丁香六月成人| 2018夜夜草| 色综合五月| 另类在线| 淫视馆AV在线| 婷婷综合五月色播| 色色综合网站| 爱iii做iiii日日| 久久网日本| 激情伊人六| 熟美女麻豆| 六月丁丁香| 99热在线观看亚洲区| 丁香五月婷婷激情四射| 国产毛片精品一区二区色欲黄A片 99国产在线精品视频 | 日韩狠狠色| 天天在线久久综合 | 婷婷丁香六月天| 色99热| 五月天婷婷丁香花| 4399在线日本A片| 曰韩少妇内射免费播放| 91精品久久久久久77777| 噜色精品| 少妇激情基地| 思思久久99热只有频精品66| 久久久er热| 婷婷色导航| 五月天婷婷深深爱| 婷婷五月丁香青青草在线| 久草大| www.狠狠| 色综合视频| 99caobi| www。五月天激情| 六月色色综合| 亚洲成人综合在线| 亚洲色色香蕉| 亚洲女婷婷五月基地综合久久久 | 国产精品18久久久| 伊人婷婷五月天| 五月婷婷六月少妇激情| 人人摸人人射| 99热这是里只有精品| 97色在线观看视频| 婷婷激情四射五月天| 极品人妻VIDEOSSS人妻| 中文字幕日产A片在线看| 青青草原伊人网| 丁香五月激情图片| 伊人午夜综合色啪| 99.色| 激情五月黄色小说| 思思热久久阴99| 亚洲无码yw| 开心五月婷婷综合在线精品素人| 日本婷婷色| 国外亚洲成AV人片在线观看| 少妇性按摩无码中文A片| 日本99久久| 五月激情综合网| 思思精品热在线| 只有久久精品免费| 激情色情五月天| 五月伊人91| 婷婷婷狠狠| 亚洲亚洲人成综合网络| 亚洲国产精品二二三三区| 久久激情网| 日日干天天爽| 丁香五月激情综合| 91久久久久久久久久18| 日本偷拍九九九| 玖玖婷婷免费| 热久69| 久久99看免费| 亚洲AV成人在线| 色婷婷影院| 99色色热热| 人妻爽爽爽久久久久久久久| 天天天天天操| 激情五月婷婷色| 激情综合五月婷婷六月丁香| 国产成人高清| 婷婷丁香在线| 极骚大香蕉伊人| 香蕉视频性爱BB做爱| 激情综合九| 性色综合网| 久久久久激情网| 98色花堂98t.R| 色欲丁香| 丁香五月天堂亚洲社区| 亚洲乱码w在线观看| 欧美天堂久久| 99热20| 这里只有精品在线免费视频| 99视频这里有精品| 五月色亚洲| 少妇高潮呻吟A片免费看软件| 精品人妻在线免费观看| www,com,五月色色| 五月天激情网图片 - 百度| 26UUU精品一区二区Com| 久久99精品久久久久久三级| 色区久久| 在线99精品| 99热精品在线观看| 99愛国产| 色婷婷小说| 伊久大香蕉| 91色吧网| 丁香五月丁香伊人| 久久在这里99| 色婷丁香91| 婷婷五月精品中文字幕| 久久奄也去色色网站| 天天干天天操天天爽| 五月天婷婷色| 九九美女视频| 五月天小说激情| 丁香婷婷五月激情| 97色婷婷五月天| 大香蕉婷婷丁香天堂AV| 91啦丨九色丨刺激中文| 可以免费看av网站| 一级二级色大片| 国产69精品久久久久999小说| 91 九色 入口| 五月天久久成人| 色婷婷超碰| 五月婷婷丁香91| 婷婷五月深情丁香深爱日韩| 激情六月婷婷| 国产毛片操B| 99啪啪视频| 五月丁香亚洲婷婷| 性一交一乱一交A片久| 久久精品系列| www色婷婷com| 亚洲午夜在线视频| 五月激情丁香六月狠狠干| 99成人在线观看| 亚洲午夜成人av电影网| 激情com| 婷婷亚洲综合| 天天肏高清在线| 丁香五月天啪啪激情综合网| 无码人妻少妇色欲AV一区二区| 99精品热| 丁香五月婷婷黑人妻黄色电影院| 丁香婷婷月| 欧美日韩成人综合9| 五月开心婷婷网| 成功精品影院| www.无码com| 色色色国产| 少妇真实被内射视频三四区| 丁香六月婷婷激情综合| 狠狠狠狠狠狠狠狠| 婷婷丁香五另类网站| 天天色天天操天天射| 97久久婷婷色| 欧洲免费视频色| 97精品人人A片免费看| 色婷婷基地在线| 99热网站| 欧洲婷婷五月天| 五月天综合视频| 大香蕉婷婷丁香视频在线| 五月天成人免费视频| 五月天婷婷丁香人人操91| 日撸夜撸日操| 激情五月九九九| 久久婷婷综合五月趴| 九月色婷婷婷| 久热这里只有| 色碰碰| 玖玖综合色| www.色综合| 五月丁色AV| 色情综合| 婷婷综合网伊人| 精品视频二级九九| 激情六月天婷婷| 91操在线观看| 色色丁香婷婷| WWW·天天操·视频?| 国产成人网| 亚洲欧洲自拍图片专区五月天| 狠狠CAO日日穞夜夜穞AV| 99热这里只有精品96| 久99在线| 婷婷久久精品| 《诡秘之主》在线观看| AA片在线观看视频在线播放| 五月丁香六月香综合激情| 超碰丁香五月| 五月天婷婷色色| 玖玖资源站国产| 99国产精品久久久久久久久久久| 狠狠五月激情婷婷直播片| 奇米色大香蕉| 啊V视频在线观看| WWW,色五月| 天天日中文| 亚洲综合99| 久九色| 疯狂做受XXXX高潮A片动画| 丁香婷婷伊人| 色婷婷97| 1024人妻无码中文字幕| 亚洲综合五月天婷婷丁香| 六月婷婷成人| 综合一啪| 99爱在线视频| 人人操人人干AV| av婷婷丁香 六月| 抽插特写| 99精品视频免费观看| 狠狠狠五月婷婷六月丁香| 婷婷99狠狠躁天天躁中文| 99无码精品| 99热这| 思思久久99热| 久久狠婷婷| 粉嫩AV久久一区二区三区| 这里只有精品免费视频| 另类图片五月天婷婷| 久久六月综合| 欧美黑人巨大性生话| 这里只有精品在线视频在线观看| 激情五月深爱五月| 亚洲色图81p| 国产偷人爽久久久久久老妇APP | 激情五月视频| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 大地9中文在线观看免费高清| 久狠狠| 色。 婷婷婷| 99色视频在线观看最新| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 狼友视频在线观看18| 狠狠操在线视频| 开心婷婷五月天综合| 日韩精品电影| 亚洲AV无码电影| 搡BBBB搡BBB搡18| 91色噜噜狠狠狠狠色综合| 激情综合五月色丁香婷婷| 久青青久| 丁香六月婷婷综合| 亚洲免费观看高清完整版AV线| 欧美三9久九观看| 久热免费| 丁香五月激情综合| 五月婷婷色播| 色婷婷丁香五月| 婷婷五月天堂一本在线| 婷婷五月丁香成人| 99这里只有精品视频在线| 日本久久高清| 91玖玖| www91精品| 伊人久热91| 91久久久久| 天天碰夜夜操| 一二线视频 另类| 精品一二三区久久AAA片| 婷婷激情社区| 99视频这里有精品| 五月激情小说| 9999久久久久| 五月婷婷大香蕉| 丁香六月激情综合| 日韩色色视频| 97色碰| 色婷婷小说| 99国产精品白浆在线观看免费 | 色综合色色色色色色综合| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月婷婷啪啪网| 日本婷久久| 91婷婷搞| 亚洲综合九九| 国产成人精品一区二三区熟女在线| 激情五月天色色| 国产人妻777人伦精品HD| 久久久久人妻| 色婷丁香91| 丁香五月亚洲综合| 激情婷婷综合网| 久久婷婷东京热| 日本久久爽| 激情婷婷丁香五月天小说| 婷激情五月天视频导航| 亚洲婷婷丁香五月亚洲| 精品51XX| 色婷婷五月色| 国产亚洲成AV人片在线观黄桃| 久久久一级AAA| 91n网站cad入口在线观看| 婷婷五月激情综合啪啪| 东京热伊人| 狠狠色性| 五月婷综合| 新97人人上人人| 丁香五月婷婷基地| www网站在线观看| 97人人做| 久热这里精品免费| 婷婷五月天成人网| 久久久人妻| 色吧网91| 99视频自拍| 婷婷五月天伊人网在线观看视频| 99热一区| 国自产拍偷拍精品啪啪一区二区| 色色色色色日韩午夜激情 | 开心激情色婷婷五月天| 俺去也五月天婷婷| 狠狠88综合久久久久噜噜噜| 丁香五月激情棕合| 亚州视频九九99| 色爱综合网| 开心五月天激情网| 在线超碰91| 26uuu色噜噜精品一区| 婷婷噜噜| 爱射综合| 亚洲AV无码影院| 99热思思在线观看| 99九九玖玖| 91性交在线播放| 日良久久| 婷婷婷婷色| 99精品在线播放| 婷婷趴趴| 新激情五月天色播| 青青草激情网| 色色婷婷丁香五月天| 五月丁香激情综合六月涩涩爱| 99久久精品国产色欲| 中字幕视频在线永久在线观看免费| 久色激情| 色狠狠色综合| 国产精品99久久久久久久女警| 激情亚洲婷婷| 欧美色爱五月天| 老师的粉嫩小又紧水又多A片视频| 91九色大屁股| 精a品a| 91av传媒高清在线视频网| 色久影院| 亚洲色网址| 丁香花社区av| 天天操九九插| www五月| 成人丁香五月| 色五月五月婷婷| 五月天激情图片网| 婷婷射婷婷舔| 亚洲综合色婷| 色综合久久88色综合天天人守婷| 热久久99热欧美国产亚洲| 综合伊人久久| 人人色婷婷| 狠狠综合久久综合| 女力报到正好爱上你| 大战熟女丰满人妻AV| 欧美五月丁香啪啪响视频| 91久久1118| 丁香五月色五月| 激情五月天视频| av在线不卡播放| 直接看的AV网站| 婷婷激情久久| 亚洲人人操BD| 亚洲成人av中文| 丁香六月无码| 五月婷九月| 久久久精品人妻录| 特级西西4444www无码| 91在线视频观看午夜福利| 五月天性色| 日本精品人妻无码77777| 深爱五月天婷综合| 秋霞av吧| 国产精品视频久久99| 久热A片| 婷婷色爱| 在线成人视频免费| 超碰9| 99久久婷婷国产综合| 国产亚洲99久久精品| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 99色五月| 亚洲AV成人在线| 99这里有精品久久97| 激情四射五月天| 国产Va视频| 欧美日韩成卜| 啪到高潮激情丁香五月| 91天堂网综合| 91久久久久久久久久久| 九九九精品视频免费观看| 久热这里| 有哪些A片网站| 99热久97| 日韩无码色色| 99热精这里只有精品| 久久婷婷五月综合色和| 中文成人在线| 欧美日本VA| 最近中文字幕2019视频1| 草做免费在线观看| 91精品国产日韩91久久久久久国模| 婷婷久久综| 婷婷色五月偷拍| 97伦乱| www.色婷婷.com| 精品视频这里只有精品| www.99精品日操伊人乱碰在线| 婷婷五月天堂| 婷婷色激情网| 综合五月激情| 精品久久久人妻| 久久成人精品视频| 99日精品视频| 国产成人精品亚洲线观看| 色色色色色网站| 中美日韩成人在线| 一起草AV入口| 激情婷婷久久| 亚洲色a| www.色色五月天.com| 极品少妇高潮啪啪AV无码| 五月婷婷丁香社区| 国产伊人五月天| 亚洲成人AV电影网| 五月天成人免费视频| 啪到高潮激情丁香五月| 天天曰夜夜爽| 丁香色影院| 99∨VTV| 九九青草热| 国产丁香五月天婷婷| 婷婷丁香成人五月天| 亚洲妇女熟BBW| 2017狠狠干| 婷婷射图五月天| 亚洲sesesese| 9久久网| 国产精品第一国产精品| www.久久爱| 五月色婷婷综合| 亚洲综合丁香婷婷六月天| 欧美超级视频97| 九九热狼人| 久色| 伦乱天堂| 狠狠干在线| 亚洲小说欧美激情| 天天日天天舔天天摸| 久久99精品久久久| 五月婷婷久草| 伊人综合网站| 人妻久久久久久久 | 亚洲夜五月| 色玖玖综合网| www色婷婷com| 97涩婷婷| 色噜噜丁香| 九九色色| 夜夜爱网站| 伊人久久五月天| 俺去婷婷 丁香| 最近免费中文字幕大全高清大全1| 人人操91| 丁香六月激情| 天天综合五月天| 色情五月婷婷| 婷婷播5月| 激情五月天激情综合网| 涩涩婷婷五月| 丁香五月婷婷精品视频| 深爱五月天婷综合| 欧洲亚洲免费视频区| ay2区| 99re熱| 亚洲激情网| 啊V视频在线观看| 亚洲无码成人| 色久九| 99自拍网| 国产99久久久| 操97| 国产1区2区3区在线观| 色热久| 久久人人看| 婷婷久草| 色情五月天视频网| 色色色九九九五月婷婷| 日本强伦片中文字幕免费看| 无码少妇高潮喷水A片免费| 夜精品无码A片一区二区蜜桃| 99久久综合| 五月日韩中文字幕| 97久久综合网| 丁香操逼| 国产视频福利| 色综合色综合网| 天天做天天视天天谢| 婷婷五月天成人动漫 | 六月婷婷久久大全| www.操.com| 婷婷射综合| 色五月婷婷综合| 久久免费精彩视频| 久久R激情| 中文字幕+中文在线| 色色五月婷婷久久| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月婷婷丁香六月| 99视频自拍| 国产亚洲成AV人片在线观黄桃| 久久婷婷五月天激情新地址| 国产女人十八水真多1| 伊人综合色干| 99久久亚洲精品视频| 国产综合激情五月久久| 丁香五月激情图片| 大香蕉欧美在线| 久久99精品视频| 99精品丁香五月| 色婷婷精品视频| 五月丁香综合啪啪| 五月婷色啪| 丁香婷婷五月综合| 亚洲高清在线| 五月婷婷亚洲综合在线 | 操逼在线视频| 亚欧州精品视频| 另类的婷婷| 日韩操逼小电影| 久99视频在线观看| 免费无码毛片一区二区A片| 婷婷不卡基地| 日夜操B| 5月丁香六月情| 五月丁香色综合| 99热这里只有精| 五月天久久激情| 欧日韩AV| 五月天开心网| 免费看欧美成人A片无码| 免费AV在线网址| 99热6这里只有精品6| 婷婷久久色| 欧美搡BBBBB摔BBBBB| 久操人| 丁香五月第九色| 丁香五月影院| 激情婷婷狠狠干综合| 五月丁香久人妻中文| renre人人操国产超碰在线| 亚洲婷婷久久综合| 婷婷香蕉精品| 丁香五月婷婷狠狠色| 99精在线| 校花娇喘呻吟校长陈若雪视频| 99久久久久久www| 色五月六月婷婷| 色播五月婷婷| 91日精品| 超级碰91| 婷婷丁香五月天小说| 五月丁香六月香香蕉| 99久久人人| 亚洲五月天天| 天天做夜夜爽| 久久天堂| 五月的色婷婷高潮| 91se精品国产| 美女亚洲五月丁香| 丝袜人妻| 人妻操日日| 激情九九综合网| 深爱五月天| 精品久热| 超级碰碰碰97免费| 综合网色综合| 久久这里只有国产视频| 桃色五月天| 色综合网上班开心婷婷久久| 婷婷的色色五月天| 五月天激情日色在线| 久久机热这里只有| 五月天激情综合网| 九九久久精品| 五月天社区| 亚洲不卡欧洲| 九月综合| 夜夜久久综合网| 色狠狠婷婷| 色啪久 | 五月丁香免费视频| 97热精品| 99人人操人人爱久久久| 青青草成人网| 一区二区三区四区牛| 狠狠干思思热| 丁香八月综合激情| 五月丁香狠狠| 人人妖人人97| 99热99干| 亚洲无码猫咪| 六月丁AV| 人人爽欧美婷婷久久久五月丁香| 综合久久人妻| 9一精品视频观看| 五月丁香激情综合网| 婷婷五月激情五月丁香五月| 丁香五月成人av| 色婷婷色综合激情91| 五月综合激情网| 色情五月天丁香社区| 成人一级片| 四虎成人精品永久免费AV九九| 色欲丁香| 久久66er久久| 丰满少妇猛烈A片免费看观看| 综合狠狠五月婷婷| 激情综合网激情五月婷婷| 亚洲行行色色| 先锋男人91资源| 久久婷婷综合国产| 97干在线视频| 午夜性做爰电影| 久久深爱激情网| 成人片在线免费看| 任你爽精品免费视频6| 99热欧美| 一本大道熟女人妻中文字幕在线| 亚洲综合色五月| 日韩AV中文字幕在线| 91久久精品无码一区二区三区| 深夜男女福利刺激影院一区| 丁香六月婷婷| 综合九九| 超碰在线9| 亚洲五月婷婷| 亚洲狠狠操| 天天综合91入口| 婷婷综合激情| 亚洲天堂AAA| 婷婷激情啪啪| A久久| 色欲五月婷婷| 欧美日本国产欧美日本韩国99 | 琪琪色网在线| 五月婷婷六月激情| 婷婷激情五月天7| 99热在线极品极品| 色热久| 伊人超碰| 色综合丁香婷婷| 少妇性BBB搡BBB爽爽爽视頻| 婷婷五月天成人小说| 丁香五月自拍| 一本色道久久综合狠狠躁一二三| 久久色五月天| 色婷婷六月综合| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色五月亚洲五月天| 婷婷玖玖丁香| 男女啪啪做爰高潮无遮挡| 成人五月天视频| 婷丁五月| 免费人人操| 国自产拍偷拍精品啪啪一区二区| 色噜噜狠噜噜视频| 天天爽天天弄| 97在线/亚洲| 丁香五月之久操视频| 丁香六月久久| 夜丁香综合| 亚洲夜五月| www.久久久久久| 欧美五月停| 青青草激情网| 色五月涩涩婷婷| 天天 日综合| 婷婷五月丁香久久| Caoub青青超碰| 九热视频| 久久九色| 亚洲婷婷五月天激情| 热无码A∨| 日韩欧洲亚洲| 99热99草97| 激情九月丁香婷婷| 五月天激情网图片| 激情亚洲婷婷| 日日.c| xfplayav在线| 久久99热免费| 婷婷综合网| 七七色色综合| 亚洲视频码| 熟女少妇内射日韩亚洲| 五月婷婷丁香五月| 97婷婷狠狠| 丁香综合婷婷五月天| 99热这里只有精品官网| 狠狠狠狠狠狠草| 久鲁鲁色网 | 超碰97在线操| 亚洲中文字幕网| 成人丁香五月| 欧美三级欧美一级| 99.N在线视频| 五月天网站免费欧美| 五月婷色激情五月| 五月婷婷激情中心| 99热这里只有精品13| 欧美日韩大黄| 色黑鬼导航| www.婷婷网| 欧美天天爽| 色色无码日韩| 亚洲色精彩| 丁香婷婷激情综合五月激情| 亚洲激情在线| 久久激情综合| 69热在线| 九九热99re8热免费观看| 丁香五月影院| 激情婷婷丁香色情五月天| 狠狠色狠狠干| 秋霞午夜理论| 久久综合热17c| 婷婷五月天无码熟女| 99 频99热国里只有精品| 亚州激情在线视频| 日日天天操| 婷婷五月天首页| 精品草原久久视频| 色五月激情五月天| 激情图片五月天| 五月天社区婷婷丁香社区| 伊人网大香| 伊人啪啪网| 天天干天天拍| 91 影音先锋| 亚洲 成人 电影av在线观看| 涩五月丝袜婷婷| 九九人人自拍| 丁香五月久久| 激情99热| 思思久久青草热| 色五月丁香婷婷| 五月天丁香综合| 99精品视频在线观看| 欧美三级巜人妻互换| 91久久网站| 五月丁香成年黄色| 另类图片色五月| 九月婷婷综合八月丁香在线观看| 五月丁香婷婷激情在线| 婷婷丁香五月综合激情视频| 亚洲精品色| 97热这里只有精品| 九九婷| 久re热视频| 亚洲综合字幕色色| 开心五月深爱五月婷| 激情五月天婷婷五月天| 97天堂| 亚洲AV在线免费看| 色欲久久久久久综合网综合网| 91综合在线| 五月婷婷激情69| 99爱视频| 免费做A爰片77777| 在线sebiav精品视频| 99ri在线| 互月天综合| 久婷久婷| 少妇搡BBBB搡BBB搡毛茸茸| 九九久99免费视频| 影音先锋按摩| 99热久久这里只有精品2010| 爱射综合| 国产99久| 色婷婷影院| 色五月第四色| 婷婷五月天av| 97日日碰碰| av 一区三区四区| 婷婷五月丁香综合激情| 国产成人亚洲综合A∨婷婷| 狠狠爱五月婷婷综合六月| 综合婷婷| 天天综合在线网| 欧美激情综合色综合啪啪五月| 欧美色色日韩| 色播五月丁香婷婷| 99视频网址| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 日本狠狠干| 极品人妻VIDEOSSS人妻| 激情五月天啪啪| 激情黄色小说五月天| 9999久久久久| 久久久久久久久久久久久久久久久精典| 婷婷午夜| 五月精品| 超碰婷婷五月| 十月丁香婷婷| 在线色色| 99色.com| 亚洲婷婷五月天激情综合| 亚洲热热视频| 大香av| 五月婷婷丁香在线| 777精品久无码人妻蜜桃| 91日本在线| 天天操天天插| 国产操逼视频网站| 丁香亚洲婷婷五月| 九色婷婷| 五月婷婷黄色| 美国十月色婷婷在线观看| 97人人干视频| 人人人人人人人人人草| 激情综合婷婷| 4399在线观看免费高清黄色视频| 丁香九月婷婷色| 99热网精品| 久久这里只有精品07| 欧美日韩成人| 五月天婷婷香蕉狠狠超碰综合| 婷婷五月激情五月激情| 我淫我色婷婷五月天激情四射| 欧洲亚洲免费视频9| 色婷婷影院| 色99在线视频| 99a级片| 无码动漫av| 欧美狠狠色| 日韩综合久| 五月天色五月| 大香AV| AVDV久久| av线电影| 殴美综合激情五月天免费视频| 91久草五月天婷婷| 99精品视频网站| 91精品综合久久久久久五月天| 久久丁香久久| 在线播放成人| 五月婷婷免费在线视频| 9久操| 色婷婷丁香五月|