免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

用pgbadger分析PostgreSQL日志,快速定位慢查詢與性能瓶頸

用pgbadger分析PostgreSQL日志,快速定位慢查詢與性能瓶頸 1. 日志分析不是沒有工具而是缺一份能直接拍板的報(bào)告先說(shuō)我遇到的實(shí)際場(chǎng)景。一套跑著 PostgreSQL 的業(yè)務(wù)系統(tǒng)某天下午接口延遲曲線突然抬頭后臺(tái)能看到的只有 postgresql.log 里幾萬(wàn)行“duration: xxx ms statement: ...”。用 grep 把 duration 超過(guò) 1 秒的行撈出來(lái)能得到一批候選慢查詢但也就到此為止了哪些語(yǔ)句出現(xiàn)頻率最高、哪些用戶和數(shù)據(jù)庫(kù)貢獻(xiàn)了最多的慢語(yǔ)句、慢查詢集中在哪個(gè)時(shí)間段、有沒有臨時(shí)文件落盤、有沒有鎖等待單靠 grep 很難拼出完整畫面。后來(lái)我把 pgbadger 引入排查流程情況就變了。它是個(gè)純 Perl 寫成的 PostgreSQL 日志分析工具不連接數(shù)據(jù)庫(kù)、不改線上參數(shù)、只吃日志文件輸出一份結(jié)構(gòu)完整的 HTML 報(bào)告。跑完一條命令慢查詢 TopN、按庫(kù)按用戶的分布、臨時(shí)文件、鎖事件、checkpoint、autovacuum 全部整理成圖表直接就能看出系統(tǒng)瓶頸在哪。對(duì)專職 DBA 來(lái)說(shuō)它可以當(dāng)日常巡檢的報(bào)表生成器對(duì)后端工程師來(lái)說(shuō)它是排查“為什么接口慢了”的第一手證據(jù)。1.1 原始排查手段的局限我最早排查慢查詢靠的是 grep 加 sort。比如把日志里所有 “duration:” 開頭的行撈出來(lái)按耗時(shí)排序看最頂上那幾條。這個(gè)方法不是沒用但問(wèn)題也很明顯grep 只能回答“哪條語(yǔ)句慢”回答不了“整個(gè)系統(tǒng)慢在哪里”。一次故障背后往往是一類語(yǔ)句的高頻出現(xiàn)單次耗時(shí)不算特別夸張但總耗時(shí)在服務(wù)端堆了一大截。這種數(shù)量級(jí)的特征靠人眼掃日志是發(fā)現(xiàn)不了的。我也寫過(guò)臨時(shí) awk 腳本按數(shù)據(jù)庫(kù)、用戶、小時(shí)維度統(tǒng)計(jì)慢查詢次數(shù)和平均耗時(shí)。腳本本身不難難在每次需求一變就要改一遍今天要統(tǒng)計(jì)鎖等待明天要統(tǒng)計(jì)臨時(shí)文件后天要按客戶端 IP 拆分改來(lái)改去最后變成一份只有自己能看懂的 sh 文件維護(hù)成本比收益還高。更麻煩的是這類臨時(shí)腳本沒有統(tǒng)一的輸出格式報(bào)告放在一起無(wú)法縱向?qū)Ρ茸匀灰矝]法形成長(zhǎng)期的性能趨勢(shì)記錄。1.2 pgbadger 的定位pgbadger 解決的就是這個(gè)“從日志到結(jié)論”的最后一公里。它把 PostgreSQL 日志當(dāng)作輸入自動(dòng)識(shí)別語(yǔ)句開始和結(jié)束的位置關(guān)聯(lián)上時(shí)間、數(shù)據(jù)庫(kù)、用戶、客戶端等上下文再聚合出各種維度的統(tǒng)計(jì)報(bào)告。你不需要在日志里反復(fù)跳來(lái)跳去也不需要維護(hù)一堆臨時(shí)腳本。這個(gè)工具的核心優(yōu)勢(shì)有幾個(gè)一是純?nèi)罩痉治鲞\(yùn)行時(shí)不和數(shù)據(jù)庫(kù)建立連接對(duì)生產(chǎn)實(shí)例零侵入二是輸出格式標(biāo)準(zhǔn)HTML 給人看json 給程序用text 給終端快速預(yù)覽三是它對(duì)日志格式的兼容面比較廣常見的 stderr、syslog、csvlog、jsonlog 都能處理。下面這套用法是我在實(shí)際運(yùn)維里反復(fù)試出來(lái)的包含安裝配置、命令參數(shù)、報(bào)告閱讀和避坑經(jīng)驗(yàn)照著做基本能覆蓋日常需求。2. 安裝選型與 PostgreSQL 日志配置報(bào)告質(zhì)量的源頭在數(shù)據(jù)庫(kù)側(cè)2.1 兩種安裝方式怎么選pgbadger 的安裝沒有太多門檻。最省事的是走系統(tǒng)自帶的包管理器裝一個(gè)叫 pgbadger 的軟件包裝完直接pgbadger --version就能看到版本號(hào)。這種方式勝在依賴被自動(dòng)處理好升級(jí)也方便缺點(diǎn)是倉(cāng)庫(kù)里的版本可能滯后一些遇到新版 PostgreSQL 的日志格式變化時(shí)會(huì)比較被動(dòng)。另一種方式是從官方發(fā)布渠道拿最新源碼。因?yàn)樗举|(zhì)是一個(gè) Perl 腳本不需要編譯解壓之后就可以直接運(yùn)行依賴的 Perl 模塊通常系統(tǒng)里都已經(jīng)具備。我一般把腳本放到 /usr/local/bin 下配一個(gè)軟鏈接使用。兩種方式本質(zhì)上不影響功能關(guān)鍵是版本別太舊。我的原則很簡(jiǎn)單需要解析的 PostgreSQL 版本如果比較新就盡量用最新版 pgbadger舊版本對(duì)新增日志字段的兼容性往往要等下一個(gè) release 才修復(fù)。2.2 日志參數(shù)設(shè)置決定分析粒度很多人第一次跑 pgbadger出來(lái)的報(bào)告數(shù)據(jù)稀稀落落問(wèn)題多半不在工具而在 PostgreSQL 本身的日志配置。日志里根本沒有的信息工具再聰明也分析不出來(lái)。所以先要把幾個(gè)核心參數(shù)擺正。log_min_duration_statement 是慢查詢分析的地基它控制哪些 SQL 會(huì)被記進(jìn)日志。設(shè)成 0 表示記錄所有語(yǔ)句日志量會(huì)大到很快撐滿磁盤設(shè)得太大比如 5 秒一批耗時(shí) 2 秒但頻繁觸發(fā)的查詢就徹底消失了。我的建議是從 1000毫秒起步先觀察一天日志體積如果一天只有幾十 MB再往下調(diào)到 500 或 250。反之如果日志已經(jīng)大到影響排查就把閾值調(diào)回去。log_line_prefix 直接決定 pgbadger 能不能把日志拆出“時(shí)間、進(jìn)程號(hào)、用戶、數(shù)據(jù)庫(kù)、客戶端 IP”這些維度。很多默認(rèn)配置只有時(shí)間戳和進(jìn)程號(hào)這樣報(bào)告里的用戶維度和數(shù)據(jù)庫(kù)維度會(huì)全部缺失。推薦改成下面這種格式既能看日志時(shí)一眼認(rèn)出語(yǔ)句來(lái)源也正好是 pgbadger 最容易解析的格式log_line_prefix %t [%p]: user%u,db%d,app%a,client%h 此外還有幾個(gè)默認(rèn)關(guān)閉但建議打開的開關(guān)log_checkpoints 記錄檢查點(diǎn)信息log_connections 和 log_disconnections 記錄連接建立與斷開log_lock_waits 記錄鎖等待超過(guò) deadlock_timeout 的事件log_temp_files 記錄臨時(shí)文件創(chuàng)建log_autovacuum_min_duration 記錄 autovacuum 執(zhí)行情況。這些參數(shù)并不直接影響業(yè)務(wù)卻能讓報(bào)告里的故障線索完整不少。2.3 一份可以直接抄的配置片段把上面這些組合起來(lái)我在 PostgreSQL 側(cè)的配置大概是這樣的logging_collector on log_destination stderr log_directory log log_filename postgresql-%Y%m%d.log log_min_duration_statement 1000 log_line_prefix %t [%p]: user%u,db%d,app%a,client%h log_checkpoints on log_connections on log_disconnections on log_lock_waits on log_temp_files 0 log_autovacuum_min_duration 0log_destination 用默認(rèn)的 stderr 即可pgbadger 對(duì)這種格式支持最成熟。按天切分的 log_filename 方便后續(xù)按日期做增量分析和歸檔。修改完成之后不需要重啟實(shí)例執(zhí)行一次SELECT pg_reload_conf();或者pg_ctl reload就能生效。這里提醒一下如果是在已有業(yè)務(wù)系統(tǒng)上臨時(shí)加這些參數(shù)先確認(rèn)磁盤空間是否足夠。我給過(guò)的經(jīng)驗(yàn)值是慢查詢閾值 1 秒時(shí)單實(shí)例一天日志大約占幾百 MB 到 2 GB具體取決于業(yè)務(wù)負(fù)載提前做好預(yù)估能避免把生產(chǎn)磁盤寫滿。3. 命令實(shí)操?gòu)膯未紊傻皆隽孔詣?dòng)化3.1 最基礎(chǔ)的一條命令假設(shè)日志文件在 /var/lib/postgresql/15/main/log/ 下生成一份 HTML 報(bào)告只需要pgbadger -o report.html /var/lib/postgresql/15/main/log/postgresql-20240101.log運(yùn)行結(jié)束后會(huì)在當(dāng)前目錄得到 report.html瀏覽器打開就能看到整份分析。如果日志文件是 gzip 壓縮過(guò)的比如 postgresql-20240101.log.gzpgbadger 也能直接讀不用先手動(dòng)解壓。多個(gè)日志文件直接并列傳進(jìn)去pgbadger -o weekly.html /var/lib/postgresql/15/main/log/postgresql-20240101.log /var/lib/postgresql/15/main/log/postgresql-20240102.log還可以用通配符把某個(gè)時(shí)間段的文件一次性傳進(jìn)去也很方便。要注意的是通配符展開后文件順序是 shell 按文件名排序的只要文件名里帶日期且格式統(tǒng)一順序就不會(huì)亂。3.2 指定日志前綴參數(shù)如果使用了我上面推薦的 log_line_prefixpgbadger 通常能自動(dòng)識(shí)別。但不是所有環(huán)境都由你控制有時(shí)接手別人維護(hù)的實(shí)例日志前綴是自定義的自動(dòng)識(shí)別就會(huì)失手報(bào)告里出現(xiàn)大量“無(wú)法解析的行”。這時(shí)需要把真實(shí)的前綴格式用 --prefix 告訴它pgbadger --prefix %t [%p]: user%u,db%d,app%a,client%h -o report.html postgresql.log注意 --prefix 里的占位符要和 postgresql.conf 中 log_line_prefix 完全一致。比如你配置里用的是 %m帶毫秒的時(shí)間戳--prefix 里也要用 %m用成 %t 就會(huì)導(dǎo)致時(shí)間解析錯(cuò)位。我接手新環(huán)境的第一件事就是先看配置文件確認(rèn)這個(gè)參數(shù)再?zèng)Q定要不要把 --prefix 寫死在腳本里。3.3 只分析故障時(shí)間窗生產(chǎn)系統(tǒng)排查問(wèn)題時(shí)全量日志里大部分信息都是噪音。pgbadger 支持按時(shí)間范圍過(guò)濾我只分析故障發(fā)生的那個(gè)小時(shí)pgbadger -b 2024-03-12 10:00:00 -e 2024-03-12 10:30:00 -o crash.html postgresql-2024031*.log-b 是開始時(shí)間-e 是結(jié)束時(shí)間日志里在這個(gè)范圍之外的行會(huì)被忽略。這個(gè)參數(shù)在排障場(chǎng)景里特別有用一是報(bào)告聚焦Top 慢查詢不再被其它時(shí)段的不相關(guān)語(yǔ)句干擾二是解析量小出結(jié)果快。建議時(shí)間字符串里帶上前導(dǎo) 0避免排序和匹配上的歧義。3.4 增量分析每天只解析新增日志日志按天滾動(dòng)后第二天再跑全量會(huì)越來(lái)越慢這時(shí)用增量模式。pgbadger 用 --last-parsed 參數(shù)指定一個(gè)狀態(tài)文件每次運(yùn)行會(huì)把已經(jīng)解析到的日志時(shí)間位置記錄下來(lái)下一次運(yùn)行從上次打斷的地方繼續(xù)pgbadger --last-parsed /var/lib/pgbadger/state.txt -o report_20240312.html postgresql-202403*.log第一次運(yùn)行時(shí)它會(huì)先把當(dāng)天已有日志都解析完并把最新時(shí)間寫入 state.txt之后每次運(yùn)行只處理新增部分。需要說(shuō)明的是--last-parsed 的工作方式依賴日志輪轉(zhuǎn)規(guī)律如果某天文件名順序亂了比如補(bǔ)跑了一天的舊日志增量結(jié)果可能會(huì)缺一段。所以文件夾里文件名規(guī)律要保持好補(bǔ)跑舊日志時(shí)最好單獨(dú)指定文件名不要混進(jìn)常規(guī)任務(wù)。3.5 并行解析與報(bào)告格式日志文件很大的時(shí)候單進(jìn)程解析會(huì)比較慢。pgbadger 支持用 -j 參數(shù)開啟并行pgbadger -j 4 -o report_weekly.html /var/lib/postgresql/15/main/log/postgresql-202403*.log這個(gè)數(shù)字一般和 CPU 核數(shù)對(duì)齊我常用 4 到 8。另外輸出格式除了默認(rèn)的 HTML還有 text、json、csv 可選pgbadger -f text /var/lib/postgresql/15/main/log/postgresql-20240301.logtext 格式適合在終端快速掃一眼整體情況json 格式則方便接入自建的監(jiān)控面板做二次展示。如果日志來(lái)自 csvlog 或 jsonlog 格式可以在命令里用 --log-format 明確指定 stderr、csvlog、jsonlog 之一避免自動(dòng)識(shí)別在特殊字符下抽風(fēng)。3.6 按庫(kù)或按用戶過(guò)濾共享實(shí)例上會(huì)有多個(gè)庫(kù)、多個(gè)應(yīng)用賬號(hào)混在一起看容易掩蓋問(wèn)題。pgbadger 提供了按數(shù)據(jù)庫(kù)和用戶過(guò)濾的參數(shù)可以單獨(dú)為某個(gè)庫(kù)出報(bào)告。比如某個(gè)業(yè)務(wù)庫(kù)最近抖得厲害其他庫(kù)正常我就只對(duì)它生成報(bào)告避免把無(wú)關(guān)查詢混進(jìn) Top 榜。具體參數(shù)名可以用pgbadger --help查詢長(zhǎng)選項(xiàng)是 --dbname 和 --user 這一組。這類過(guò)濾不改變?nèi)罩疚募?nèi)容只是在分析階段做裁剪非常適合多租戶實(shí)例的運(yùn)維場(chǎng)景。4. 報(bào)告閱讀把圖表數(shù)據(jù)翻譯成優(yōu)化動(dòng)作4.1 報(bào)告結(jié)構(gòu)速覽第一次打開 HTML 報(bào)告可能會(huì)有點(diǎn)懵區(qū)塊很多但核心是幾塊。我用表格整理一下大體用途報(bào)告區(qū)塊主要用途Global Statistics整體查詢量、慢查詢數(shù)量和占比、平均耗時(shí)先看這里判斷有沒有系統(tǒng)性惡化Top Slowest / Most Frequent Queries單條最慢、單條最高頻兩個(gè)維度相互印證Queries by Time / per Database / per User查詢耗時(shí)隨時(shí)間的分布按庫(kù)按用戶拆分定位范圍Temporary Files臨時(shí)文件數(shù)量和大小判斷是否存在大量排序落盤Locks / Deadlocks鎖等待與死鎖事件排查并發(fā)沖突Checkpoints / Autovacuum檢查點(diǎn)與自動(dòng)清理活動(dòng)解釋 IO 集中尖峰不同版本的 pgbadger 區(qū)塊名會(huì)有差異但觀察順序是一樣的先看整體是否有異常再看慢查詢具體是誰(shuí)然后用臨時(shí)文件、鎖、checkpoint 等維度解釋“為什么慢”。4.2 一次調(diào)優(yōu)的完整鏈路用一個(gè)我實(shí)際處理過(guò)的場(chǎng)景來(lái)說(shuō)明報(bào)告怎么讀。某系統(tǒng)每天上午 10 點(diǎn)到 10 點(diǎn)半接口超時(shí)告警業(yè)務(wù)方懷疑數(shù)據(jù)庫(kù)被打滿。我用 30 分鐘窗口生成了報(bào)告命令就是 3.3 節(jié)里的寫法。報(bào)告給出的關(guān)鍵信息很明確Global Statistics 顯示該時(shí)段內(nèi)平均查詢耗時(shí)從日常的 20 毫秒漲到 800 毫秒Top 慢查詢第一名是一條關(guān)聯(lián)了 8 張表的匯總查詢單次平均 980 毫秒Temporary Files 區(qū)塊出現(xiàn)了單次超 400MB 的排序落盤記錄Lock 區(qū)塊顯示這條查詢與高頻寫事務(wù)存在鎖等待關(guān)聯(lián)。這三個(gè)線索拼到一起基本可以判定不是數(shù)據(jù)庫(kù)整體資源不足而是某條查詢?nèi)焙线m的索引導(dǎo)致查詢計(jì)劃選擇順序掃描并觸發(fā)大排序同時(shí)與寫事務(wù)爭(zhēng)用鎖。我針對(duì)該查詢關(guān)聯(lián)最多的一張表的過(guò)濾字段加了復(fù)合索引并把實(shí)例的 work_mem 從 4MB 提到 16MB。第二天再看監(jiān)控接口超時(shí)消失同一時(shí)段的查詢平均耗時(shí)降到 120 毫秒左右。用同一天的日志重新生成報(bào)告這條查詢已經(jīng)從 Top 10 里消失Temporary Files 區(qū)塊也沒有大文件了。這次排查從接到告警到確認(rèn)目標(biāo)半天都沒用到。如果沒有 pgbadger我需要先在日志里撈慢查詢?cè)俳y(tǒng)計(jì)臨時(shí)文件再翻鎖等待日志三個(gè)動(dòng)作要分頭做還不能保證時(shí)間戳對(duì)得上。4.3 從報(bào)告到優(yōu)化清單的固定套路我習(xí)慣把報(bào)告閱讀變成一個(gè)固定流程避免漏項(xiàng)。第一輪只看 Global Statistics確認(rèn)慢查詢總量是持平、上升還是下降這是系統(tǒng)整體健康的體溫計(jì)。第二輪進(jìn) Top 慢查詢關(guān)注每條語(yǔ)句的平均耗時(shí)和總耗時(shí)。總耗時(shí)高往往比單次峰值更值得處理因?yàn)楦纳扑苤苯咏档拖到y(tǒng)整體壓力。第三輪看 Temporary Files 和 Locks這兩個(gè)指標(biāo)能解釋慢查詢背后的資源原因也決定優(yōu)化方向是加索引、調(diào) work_mem 還是處理事務(wù)沖突。最后一輪看 Checkpoints 和 Autovacuum確認(rèn)有沒有維護(hù)任務(wù)和業(yè)務(wù)高峰重疊。優(yōu)化動(dòng)作做完之后別忘了把優(yōu)化前后的報(bào)告放一起對(duì)比。我每周都會(huì)把當(dāng)天報(bào)告歸檔到一個(gè)固定目錄文件名帶日期復(fù)盤時(shí)就拿上一周同一天的報(bào)告做對(duì)照量化結(jié)果既直觀又能沉淀成團(tuán)隊(duì)的優(yōu)化記錄。5. 實(shí)操中的踩坑點(diǎn)前綴失配、時(shí)區(qū)錯(cuò)位、大文件與版本適配5.1 日志前綴不匹配報(bào)告里全是“未解析行”我第一次把 pgbadger 用到生產(chǎn)環(huán)境時(shí)就在這里栽過(guò)。之前的同事自定義過(guò) log_line_prefix但配置文件和實(shí)際日志時(shí)間戳對(duì)不上生成的報(bào)告大量行被跳過(guò)Global Statistics 顯示的總查詢數(shù)明顯少于真實(shí)值。后來(lái)我逐個(gè)比對(duì)后發(fā)現(xiàn)日志里前綴用的是 %m帶毫秒而我傳的 --prefix 里寫的是 %t毫秒部分導(dǎo)致整體匹配失敗。處理辦法很簡(jiǎn)單傳遞和配置完全一致的 --prefix并且在腳本里寫死之前先取一條真實(shí)日志行手工驗(yàn)證。也可以準(zhǔn)備一個(gè)只有幾行日志的測(cè)試文件先跑一次看輸出里還有沒有警告確認(rèn)無(wú)誤再對(duì)全量文件運(yùn)行。這一步檢查成本很低但能省掉很多無(wú)效等待。5.2 時(shí)區(qū)不一致導(dǎo)致時(shí)間窗口偏差PostgreSQL 日志時(shí)間默認(rèn)是實(shí)例所在機(jī)器的本地時(shí)間而 pgbadger 的 -b/-e 參數(shù)如果不帶時(shí)區(qū)會(huì)按運(yùn)行命令的那臺(tái)機(jī)器來(lái)理解。如果兩者時(shí)區(qū)不同比如分析機(jī)是 UTC數(shù)據(jù)庫(kù)機(jī)是東八區(qū)過(guò)濾出來(lái)的時(shí)間窗口就會(huì)整體偏移 8 個(gè)小時(shí)。我現(xiàn)在的做法是要么保證分析機(jī)和數(shù)據(jù)庫(kù)機(jī)時(shí)區(qū)一致要么在 -b/-e 里顯式寫帶時(shí)區(qū)的字符串例如 2024-03-12 10:00:0008。只要日志時(shí)間、過(guò)濾條件、報(bào)告閱讀三方面都能對(duì)上時(shí)間維度就不會(huì)出錯(cuò)。這個(gè)問(wèn)題在跨地域、跨機(jī)房維護(hù)場(chǎng)景里尤其容易碰到別想當(dāng)然。5.3 超大日志下的性能問(wèn)題日志文件單日好幾個(gè) GB 的情況并不少見。pgbadger 雖然高效但默認(rèn)單進(jìn)程解析大文件也要等一陣。遇到這種情況我優(yōu)先做三件事第一用 -j 并行參數(shù)把解析任務(wù)分給多核第二能縮小時(shí)間范圍就先縮小別讓無(wú)關(guān)日志拖慢分析第三拆文件。按天的文件名規(guī)則就是為了方便按需挑選如果某天文件特別大可以先按小時(shí)用 sed 切出片段單獨(dú)生成一個(gè)臨時(shí)日志文件再喂給 pgbadger。另外解析前粗看一眼日志里有沒有被應(yīng)用程序打印出來(lái)的超長(zhǎng) SQL極端長(zhǎng)的行會(huì)顯著拉高解析開銷必要時(shí)先在應(yīng)用側(cè)控制日志輸出長(zhǎng)度。5.4 慢查詢閾值的高低之爭(zhēng)log_min_duration_statement 設(shè)置不合理會(huì)導(dǎo)致報(bào)告看起來(lái)“正?!钡珜?shí)際系統(tǒng)已經(jīng)很難受。閾值太高時(shí)一些高頻次、平均 900 毫秒的查詢不會(huì)被記錄報(bào)告頂部全是幾條巨慢語(yǔ)句反而掩蓋了拖垮系統(tǒng)的主要負(fù)載閾值太低時(shí)日志文件膨脹速度驚人一晚上撐滿磁盤的教訓(xùn)我也見過(guò)。我的建議是分階段調(diào)試先按 1000ms 采集一周看日志增長(zhǎng)速度如果報(bào)告里 Top 慢查詢以秒級(jí)語(yǔ)句為主同時(shí)業(yè)務(wù)對(duì)響應(yīng)時(shí)間敏感就把閾值降到 500ms 甚至 250ms再觀察一周。整個(gè)過(guò)程要配合磁盤監(jiān)控不要讓日志先成為新的故障源。5.5 PostgreSQL 版本升級(jí)后的格式適配PostgreSQL 升級(jí)后日志格式可能微調(diào)舊版 pgbadger 會(huì)出現(xiàn)解析率驟降的情況尤其是啟用了新日志格式之后。我處理升級(jí)時(shí)的固定動(dòng)作是先在測(cè)試環(huán)境用新版本導(dǎo)出一份覆蓋各類日志事件的樣本用最新版 pgbadger 試跑確認(rèn)報(bào)告里各項(xiàng)統(tǒng)計(jì)正常再讓生產(chǎn)環(huán)境的日常巡檢切到新版本工具。寧可多花十分鐘驗(yàn)證也不要在故障當(dāng)天發(fā)現(xiàn)工具讀不懂日志。5.6 字符集與特殊字符的小提醒日志內(nèi)容里如果混入了非 UTF-8 編碼的 SQLHTML 報(bào)告展示時(shí)可能出現(xiàn)亂碼嚴(yán)重時(shí)還會(huì)讓個(gè)別解析結(jié)果錯(cuò)位。這個(gè)問(wèn)題不算高頻但碰到一次就很頭疼。我現(xiàn)在的約定是應(yīng)用側(cè)連接參數(shù)統(tǒng)一用 UTF-8從源頭避免如果已經(jīng)產(chǎn)生了歷史日志可以先用 iconv 做編碼轉(zhuǎn)換再交給 pgbadger雖然多一步但能保住報(bào)告的可讀性。這些坑單個(gè)看都不復(fù)雜但每一項(xiàng)都可能讓一份報(bào)告失去參考價(jià)值。我現(xiàn)在每次接入新環(huán)境都會(huì)走一遍同樣的檢查確認(rèn)日志前綴、確認(rèn)時(shí)區(qū)、確認(rèn)版本、跑一次小樣本驗(yàn)證。這套流程用熟了之后pgbadger 基本不會(huì)辜負(fù)期望。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
一级韩国产精品毛| 黑人无码一区| 精品女人九九九| 天天爽成人综合网站| 桃色成人网| 99热免费看| 影音先锋色婷婷| 超碰免费人| 亭亭五月丁香五月天激情| 精品激情| 日本一毛片| 丁香五月激情月| 色婷婷综合网| 超碰色综合| 日韩av干| 久色姿源| 色99视| 97香蕉人人在线观看| 九九这里都是精品| 婷婷综合网| 天天做天天爱综合| 婷婷六月久久综合导航| 五月婷婷伊人久久| 另类国产综合| 天天干天天射综合网| 九九色图| 丁香六月综合激情| 中文字幕在线日亚州9| 欧美色欲色欲天天天www| 日韩情色在线观看| 久婷首页| 日本丁香久在线| 色噜噜狠狠色综无码久久合欧美| 超碰人人色| 99久久五月婷婷| 人人做人人看人人摸| 婷婷五月深情丁香深爱日韩| 狠狠狠婷婷五月综合| 九九色播五月丁香| 在线成人网站| 色婷婷成人丁香| 99热国产精品| 色视频2025| 婷婷综合色色| 亚洲精品va| 色色色区| 色色婷婷丁香| 色色色99韩| 婷婷久久综合| 国内裸舞二区| 婷婷涩涩网| 天天久久66xxx| 国产激情在线| 色婷网| 丁香六月啪啪啪| 色五月婷婷伊人| √天堂资源在线人妻熟女| 色欲天天综合网| 丁香六月婷婷综合缴| 亚洲九九在线| 无套内射极品大美女| 五月丁香六月婷婷在线观看| 国产激情在线| 丁香九月激情| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 91九色网| 精品操逼一区二区| 99久.| 97色97干| 99热20| 五月色丁香婷婷中文字幕| 99视频精品视频| 99热6这里只有精品6| 伊人青草成人| 五月丁香婷婷AV| 亚洲激情综合| 另类少妇人与禽zOZZ0性伦| 久热免费视频| 五月婷婷丁香综合,亚洲天堂| 在线超碰精品| 大香蕉九九| se色99| 久久久五月激| 国产成人综合网| 色五月婷婷基地| 久久久99精品免费观看| 亚洲婷婷91丁香| 一区色色色色网| 久久五月婷综合网| 五月丁香琪琪| 99热在线观看| 色色色区| 日本va欧美va欧美va| 99视频只有精品| 五月丁香六月香香蕉| 噜噜视频| 《久久综合九色综合97婷婷| 婷婷中文字幕版| 久热免费| 欧美大片免费观看| 噜噜噜噜婷婷五月天| 婷婷五月天免费| 久久精品系列| 婷婷五月丁香综合瑟瑟| 5月婷婷综合| 天天天天爽爽天干| 久久小说网| 五月色丁香婷婷综合| 婷婷激情九月| 天天射影院| 性一交一乱一交A片久| 91se视频| va婷婷在线| 六月丁香五月婷婷| 草榴视频黄色网| 四色五月婷婷在线观看| AV性爱网| 激情六月丁香| 狠狠爱五月婷婷| 国产看真人毛片爱做A片| 亚洲成人中文字幕| 天天夜夜爽| 婷婷丁香18| 日韩AV在线电影| 婷久看人爽| 无码99| 亚洲国产精品二二三三区| 色婷婷文字幕| 99精品视频免费观看| 人与禽A片啪啪| 久久久中文| 日本色视| 操婷婷久久| 色情·com| 123草逼网| 玖玖九九超碰| 色婷婷综合网站| 婷婷亚洲综合| 五月天天天开心激情网| 欧美性色A片免费免费观看的| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 丁香激情五月天| 91色干| 这里只有精品免费视频在线观看| 国产精产国品一二三在观看| 26uuu激情五月天| 九九碰九九爱97超碰| 99久热精品在线| 久久丁香久久| 九九精品亚洲| 九热视频| 天天噜天天插| 久久99热这里只频精品6学生| 中美日韩成人在线| 天天干,天天日| 色99在线视频| 五月天综合久久| 天天综合网网欲色| 97人操| 天天干天天色综合| 懂色av蜜臀av粉嫩av永陈冠希| 五月婷婷狠狠干| 成人午夜视频精品一区| 日本激情五月天‘| Www.狠狠| 性色五月天| 99在线观看视频免费| 午夜丁香婷婷| 狠狠狠五月婷婷六月丁香| 亚洲精品无AMM毛片| 第2色五月婷| 玖玖婷婷五月天| 爱之国产色情综合| 综合久久十| 日本五月天一页| 久久丁香综合精品综合| 久99在线视频| 婷婷丁香五月天欧美| JAPANRCEP老熟妇乱子伦视频 | 色9999日韩国产| 99热免| 亚洲色五月| 久久精彩视频| 色亚洲欧洲| 婷婷综合九月| 97精品人人A片免费看| 丁香六月激情蜜桃| 日韩啪啪视频| 182tv992tv人之初午夜免费观看| 人妻激情综合| 婷婷五月天伦理| 99日热在线视频| 天天综合五月天| 午夜大香蕉| 无码激情AAAAA片-区区| www.色婷婷.com| 99久久久国产大片| 九九综合88| 99热新网址| 亚洲色色爱| 影音先锋男人女人| 久久99精品九九久久久婷婷| 中国激情网| 久久久久久性爱视频| 青青草轻轻操| 啪啪五月婷婷| 激情丁香五月婷婷| 97色色综合| 九九av| 五月天丁香久久综合 | 韩国激情五月天综合网| 亚洲avjiujiur91| 曰本久久女| 婷婷五月综合体验看| 爱射综合| 98永久精品| 五月激情天| 国产精品五月天婷婷| 五月天成人综合| W色综合| 久热这里只有精品6| 六月五月婷婷| 丁香六月中文| 性爱动图国产麻豆一区二区三区| 亚洲无线视频| 大香蕉人人人| 中文字幕精品推荐免费在线观| 色婷婷视频在线| www色综合| 五月天无码| 亚洲视频1区| 国产精品久久久久久久久久免费| 婷婷爱五月天| 无码激情| 久99热| 182tv992tv人之初午夜免费观看| 99热这里只有精品在线| 久久九九网| 丰满熟女人妻一区二区三| 成人羞羞啪啪 全 视频| 伊人婷婷青青cao| 伊人久久大香线蕉综合网站| ww超碰在线| 伊人在线视频| 在线中文AV| 五月丁香啪啪啪| 99热这里只有精品首页| 日本社区五月天激情| 五月丁香狠狠爱婷婷综合| 六月丁香婷婷视频综合在线观看| 91超级碰| 91久久久久久| 人人亚洲| 五月丁香婷色| 6080av| 熟女乱论网| 五月天大香蕉| 婷婷五月综合色中文字幕| 丁香五月天在线观看视频| 99热综合在线| 日本怕怕视频| 亚洲精品小视频| 五月婷婷综合网在线播放| 99久在线精品99re8热| av久热| 久久丁香五月| 深爱丁香网| 婷婷激情五月吧| 伍月婷丁香婷| 狠狠五月激情婷婷直播片| 色婷婷色久综| 色中色综合| 日日操天天| 亚洲激情.com| 亚洲六月婷婷| 图片区 小说区 区 亚洲五月| 中文字幕按摩做爰| 岛国资源站| 97在线视频 欧美| 国内久久久精品99| www,8050,午夜三级| 色色色在线免费视频| 激情五月丁香色婷婷| 人妻 性久久久久久| 国产精品蜜臀99| 亚洲色亚洲精品| 色色色色色色网站| 婷婷五月天综合在线| 天天日天天爽夜夜爽| 五月天色不卡| 九色综合五月天婷五月| 97婷婷狠狠| 入口五月婷婷六月香| 婷婷激情综合| 69热91天堂| 婷婷色片| 五月婷婷六月爱| 色色色色色色色色色999| 少妇达人正片在线播放_ikun_福利吧| 337p大胆噜噜噜噜噜91Av| 婷婷五月天激情网| 色五月婷婷青娱乐| 久久伊人日日夜夜| 丁香综合网| 超碰免费人人| 4399人妻无码久久久| 激情五月天黄色小说| 怡红院院久久| 色啪影院| 国产av第一专区| 8区视频在线| 免費亭亭成人| 色综合色| 九热视频精品| 亚洲国产精品综合色区| 99热精品中文字幕| 久操干| 丁香五月第九色| 综合色五月| 色色色网站| 婷婷五月欧美| 色色色.com| 99热99精品| 亚洲欧美在线观看| 婷婷久久午夜网| 五月天色社区| 欧美日韩成卜| 久久国产性爱A V| 思思热99热| 丁香五月天激情综合| 日韩精品无码AV| 人妻操逼| 久久久久人妻| 五月婷婷另类| 高清不卡一区| 久久久久98| 甈你aaaaa| 啪啪综合网| 日韩婷久| 天天干狠狠| 国产精品涩涩涩视频网站| 怡春院久操| 色偷偷狠狠| 色色婷婷五月| 九九这里有精品视频| 丝袜激情网| 墨西哥毛片内射精| 伊人啪啪网| av高清无码| 五月婷婷xxx| 九九亚洲| 婷婷色在线播放| 99r这里| 青草视频在线观看视频| 99热久只有| 99精品在这里| 26uuu.| 欧美丁香婷婷五月| 婷婷丁香五月天色播网站| 91久久| 色九月婷婷丁香| 青青草激情网| 91精品91久久久中77777久久玖玖九九 | 日韩人妻在线观看| 中美日韩成人在线| 夜夜骑夜夜撸| 久色成人| 97干在线视频精品店| www天天干| 亚洲精品V天堂中文字幕| 五月丁香999| 内射综合网| 丁香婷婷六月天| 五月丁香婷草| 激情五月天啪啪视频| 97婷婷色| 激情综合亚洲色婷婷五月| 亚洲精品无码99热| 五月婷婷 激情五月| 东京热人妻一区二区三区在线| 丁香五月激情无码视频| 久热婷婷在线视频| 五月激情六月宗合| 成人网丁香五月| 国产婷伊人| 丁香综合网| 七月激情六月婷婷综合在线播放| 开心五月综合激情网| 亚洲1区| 丁香六月婷婷久久综合| 伊人色欲五月天| 色色综合五月| 五月丁香婷婷六月| 天堂AV在线看| 51成人| 色色五月天激情| 激情五月综合免费| 99热色婷婷| 99热这里只| 欧美日韩大黄| www,com,五月色色| 99在线精品免费视频| 久久这里只有欧美| 激情五月天婷婷直播| 欧美性生交XXXXX无码小说| 啪到高潮激情丁香五月| 婷婷色色五月天| 亚洲愉拍99热成人精品| 色婷婷五月综合在线| 亚洲VA欧美VA| 99草视频在线观看| 色五月婷婷7777| 五月天激情婷婷| 99热精品少| 另类图片五月天激情| 亚洲欧洲国产精品| 五月开心深爱激情网| 激情五月天色婷婷综合| 婷婷五月图片小说视频| 丁香五月婷婷激情97| www.婷婷.com| 婷婷激情蜜桃玖玖丁香| 99热91| 国内熟女黄色系列| 91精品综合久久久久久五月丁香| 婷婷色情六月| 五月天色婷婷av| 婷婷的色色五月天| 久热一区| 五月婷婷五月| 超碰在线9| 婷婷基地五月色| 亚洲另类婷婷综合| 67194中文字幕| 99在线精品免费视频| WWW.17C亚洲精品| 狠狠狠狠狠狠草| 久久久婷婷五月亚洲97号色| 99热 日韩| 夜夜夜夜夜操| 99自拍网| 欧美啪啪9| 噜噜色com| 久久视频这里都是精品| 97久久视频| 激情五月综合第一页| 丁香六月成人| 国产精产国品一二三在观看| 婷婷综合五月| 色婷婷97| 99热久97| www.久久色.com| 精品夜夜澡人妻无码AV| 色色色99| 色综合色色| 97性视频| 97碰久久| 99在线免费视频| 天天综合社区| 天天狠狠干| 婷婷中文字幕版| 99热热九九| 色综合夜夜| 日日噜噜夜夜狠狠久久丁香六月| 人人综合久| 99视频久久久| 久久色五月| 中文字幕成人影视| 日韩一级A片黄色| 丁香五月开心亚洲| 97干欧美| 综合狠狠伊人| 天天做天天爱天天爽在| 九九热这里只有精品12| 婷婷激情五月综合丁香社| 丁香五月天殴美激情| 5月丁香婷婷| 99 频99热国里只有精品| 天天综合色丁香| 青青操绿aaa一区日v| 天天色天天爱天天舔| 安息电影在线观看完整版| 亚洲婷婷五月天综合| 色婷婷五月天激情在线播放| www五月天激情com| 色婷婷a| 色域五月婷婷丁香| 久久丁香五月天| 99热啪啪| 日本久碰| 国产五月天婷婷| 丁香婷婷啪啪| 婷婷久久六月天| 青青草原福利在线| 亚洲旡码| 少妇AB又爽又紧无码网站| XX色综合| 97干视频在线| 2023天天日夜夜爽| 99视频在线精品| 人人97碰| 艹B高清无码| 五月婷婷丁香网| www.99久| 九九久久视频| 午夜天堂啪啪| 五月婷婷香蕉视频| 一本久道综合99| 第四色五月激情网| 激情五月婷婷五月丁香五月开心五月| 色情综合| 玖玖婷婷五月天毛片| 色综合色婷色基地| 色婷婷国色天香综合| 婷婷五月天激情五月天深爱五月天| 婷婷五月天小说| 婷婷丁香六月天| 97碰精品| 色婷婷婷av| 婷婷五月天激情五月天深爱五月天| 97香蕉久久超级碰碰高清版| 色婷婷激情Av久久久| 色色五月天丁香婷婷| 97色色色视屏| 丁香六月啪啪啪| 久久小说网| 91视频一起草| 五月天婷婷在线播放| 开心深爱激情网| 欧美久久久中文字幕| 激情五月婷婷综合| 99热在线观看免费精品| 变态 另类 在线 | 国产精品成av人在线视午夜片| 久久精品系列| 中文字幕性爱丰满| 九九久久99| 丁香五月婷婷天堂大香蕉| 五月婷婷丁香伦理网| 97干视频在线| 激情五月瑟瑟| 人妻 性久久久久久| 九九伊人网| 欧美123区免| 婷婷伊人激情婷婷| 亚洲激情五月天| 久久九精品| www国产亚洲色婷婷com| 免费视频WWW在线观看网站| www.婷婷六月天| 婷婷五月天免费视频| 色狠狠色噜噜AV天堂五区| 成人在线网| 99视频网址| 亚洲a片免费观看| 无码G高清天| 99热在线观看免费精品| 91超级碰碰| 久热91精品| 色婷婷在线影院| 久久色五月天综合网| 精品无码久久久久久久久| 激情图片亚洲| 综合网五月| 91成人电影| 激情六月色| 国内久久婷婷| 婷婷五月综合视频免费播放| 美女爆乳18禁www久久久久久| 99热日| 色婷婷电影网| ri电影在线| 99热这里只有精品55| 婷婷五月天黄色| 色五月超碰| 九九这里是免费的视频5| 婷婷五月综合啪| 五月天婷综合| 久久婷婷视频| 综合五月天亚洲婷婷| 超碰在线成人| 色亚洲婷婷| 激情网 久久| anquye五月| www.婷婷久久五月天| 99国产小视频| 伊人五月综合网| 亚洲啪啪网| 激情五月天视频| 五月丁香婷婷基地| 亚洲99视频| 天堂久热| 九九综合| 亭亭五月丁香综合欧美| 99国产在线精品视频| 色婷婷香蕉丁丁网| 日韩黄色电影| 欧美成人精品A片免费一区99| 五月婷婷久久开心网| 成人五月丁香花| 日日爽日日| 色五月激情| 丁香五月电影| 99免费| av色婷婷| 亚洲最大成人综合网720P| 26uuu亚洲欧美日本| 九色 在线| 9色在线| av免费人人| www.色九月| 99激情| 综合伊人狠狠| 丁香六月婷婷综合激情欧美| 人人人操 超碰| 播五月开心婷婷欧美综合| av中文在线| www.久99| 99热激情| 久久美女五月天| 五月婷婷激情综合在线| 91热手机在线| 色五月激情五月| 色五月涩涩婷婷| 九九这里只这里只有精品| 五月婷视频在线观看| 精品色| 婷婷色丁香六月| 97在线精品| 久婷婷久草| 六月婷婷中文字幕| 五月天最新网| 草AV9999| 九九热这里只有精品556| 婷婷丁香六月天激情四射网| www久| 久久五月天网| 五月天电影网| 草美女在线观看视频在线播放| WWW.久久久久久久久久久久久| 啪啪91| 九九这里是免费的视频5| 婷婷成人丁香色情基地30| 综合AV在线| 日本三级片片| 潘金莲AAAAAAAAAA| 2018国产大陆天天弄| 欧洲一区二区| 色五婷婷开心缴| 色综合久久伊伊婷婷五月| 99精品久久久久久久婷婷| 中文字幕高清av| 第九色区av天堂| 91丨九色丨熟女高潮| 丁香五月欧美| 日日爽日日| 久久丁香五月婷婷| 精品人妻久久久| 国产亚洲精品人人| AA丁香综合激情| 欧美色宗和激情| 停停综合色色| 伊人玖玖综合| 亚洲视频在线观看区| 精品成人在线| 久久综合久色欧美综合狠狠 | 国产精品久久久久久久久久| 九九热在线观看视频| 伊人久久婷| 激情婷婷久久| 99九九热在线观看| 色婷婷导航| 丁香婷婷五月色成人网站| 五月丁香六月激情在线| 草综合14| 五月婷婷九| 性色天| 久久婷婷五月综合色丁香| 欧美五月丁香| 久操97| 亚洲无码成人| 97人人操人人爽| 日本人妻A片成人免费看片| 中文字幕在线播放视频| 久久婷婷六月综合| 99热精品在线| 97日韩无套内| 婷婷综合玖玖五月| 开心五月婷婷综合在线精品素人| enecarbon-materials.com污K127封锁请涟系@wip1688 | 久久久久久久久久久97| 日本系列_4页_777FP| 秋霞成人毛片一级A片| 欧美久久婷婷| 99色色网站| 久久五月天黄色五月天色网址| 99久久思思| 深爱1激情网| 九九热在线视频观看| 天天日天天色| 97人人干| 高清资源站日A美A欧亚…| 97午夜一区二区| 色噜久| 九九热这里只有精品23| 婷婷六月网| 五月天综合激情网| 久久人操| 少妇高潮呻吟A片免费看软件| 激情综合文学| 日韩不卡DvD| 人人色性网| 99热这里全是精品| 久99| 99在线看视频| 日本一道久久| 丁香婷在线| 日本精品99网站| 少妇高潮呻吟A片免费看软件| 五月婷婷欧洲| 天天日天天舔天天摸| 99热这里只有精品2016| 亚洲成人网站在线播放| 777精品久无码人妻蜜桃| 五月丁香婷婷激情图片| 久久婷婷五月天懂色| 思思热在线精品视频网站| 婷婷爱五月| 欧洲色区| 超碰在线9| 激情婷婷丁香色情五月天| 91se在线观看| 成人做爰黄A片免费看直播室男男| 97婷婷丁香五月天激情图片| 天天爽—爽| 欧美在线视频免费播放| 日韩一级一片内射视频4K| 99爽视频| 五月婷视屏在线观看| 99热8| 亚洲色图在线视频| 色视五月天婷婷| 色情久久久| 日本成人内射| 色久婷婷网| 五月丁香激| 久久丁香婷| 777久久综合视频| 国产avapp 网| 五月色婷婷夜色| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 婷婷久热| 天天操天天干天天日| 欧美槡BBBB槡BBB少妇| 婷婷五月色| 日熟女| 亚洲综合碰| 天天更新天天亚洲| 色噜噜狠狠一区二区三区| 色婷婷91| 十月色综合| 久综合4| 天天日人人| 五月亭亭直播| 99热偷拍| 日韩人妻无码精品| 国产操肏网站| 久久精品视频在这里有| 1024成人免费看| 亚洲激情视频网| 五月天综合网| 色情五月丁香婷婷网| 午夜五月天| 九九99免费视频| 亚洲AV日韩无码| 蜜桃婷婷狠狠久久| 另类激情五月在线视频欧美| 日本偷拍九九九| 婷婷五月天激情AV影院| 丁香五月婷婷天激情| 亚洲欧洲自拍图片专区五月天| 九九精品免费| 狠狠艹狠狠艹| 日日夜夜狠狠| 天天激情视频| 国产亚洲精品AAAAAAA片| 五月情丁香色| 内射人妻视频国内| 九九久久99| 美女久久婷婷| 丁香 婷婷 亚洲 熟女| 久久曰9| 五月宗合激情网| 五月丁香色色色| 日韩精品二三区| 97艹| 五月丁香六月香香蕉| 色久九| www.婷婷五月| WWW色五月天| 欧美日韩精品人妻狠狠躁免费视频| 6080av| 色99欧洲色19| 天天日天天插| 丁香婷婷黄网站| 大香蕉伊人久久| 三级成人网站| 婷婷六月天| 五月婷婷综合久久| 凹凸7777操操操| av中文字幕免费观看| 婷婷五月天在线综合| 欧美激情中文字幕| 免费亚洲婷婷| 五月丁香六月婷婷久久久综合| 日逼影音先锋AV男人资源站| 91人碰| 天天搞夜夜叫| 日B日潘金莲BB| 五月天激情小说网| 激情综合4月| 综合五月激情| 色色色婷婷五月天| 亚洲色情一区二区三区四区| 狠狠色狠狠色综合日日91| 99riAv1国产在线观看| 99热精品少| 丁香五月色色婷| 超碰免费人妻| 婷婷丁香五另类网站| 精品一区二区三区三区| 色色色色综合| 五月色网| 玖玖国产视频一区| 国产av网| 激情六月综合| 五月天天爽| 五月天激情国产综合婷婷婷就去爱| 99ER热精品视频| 婷婷五月激情网| 五月婷成人网| 97碰成超视频免费视频| 大香蕉九九| 五月天国产| 色五月激情五月丁香五月婷婷啪啪综合 | 久久久精品色| 婷婷四月 成人 狠狠干| 97人人操人| 五月激情视频| 五月天久久网站| 欧美综合激情五月| 99,色| 欧美啪啪五月天| 国产做A爰片毛片A片美国| 丁香五月激情网| 五月丁香 啪啪啪| 九九aV| 中文字幕婷婷在线| 丁香五月花| 色爱亚洲| 麻豆雪千夏| 激情小说五月欧美亚洲丁香| 麻豆科斗777| 五月综合丁香婷婷| 日本nghangse中文字幕| BBWCUCKOLD精品熟妇| 久久久www| 五月激情六月综合| 俺去也在线www色官网| 涩涩涩,com| 色色激情网| 国产综合81p| 天天综合网~91| 国产精品99久久久久久久女警| 色九网| 97极品在线| 中文在线视频久1| 丁香久久五月天视频在线观看| av中文在线| 在线另类视频| 91精品又长又大又粗又爽又猛| 任你爽在线视频| 精品人妻伦九区久久AAA片| 九九热99热| 欧美日韩99| 另类综合激情| 五月天丁香综合久久国产| 5月婷婷6月六月丁香| 色性五月天| 五月天成人在线| 国产探花AV在线| 操逼福利视频| 色婷婷五月婷婷五月婷婷五月| 亚洲欧洲色色| 五月婷婷亚洲综合网| 五月色丁香综合| 五月婷婷五月天激情视频| 亚洲综合字幕色色| 五月婷婷激情综合在线| 狠狠操.com| 天天日夜夜高潮| 久久杏爱视频| 五月天色综合服务平台| 婷婷在线午夜| 婷婷五月六月激情| 激情亚洲网| 日本婷婷| 日韩在线视频网站| 婷婷99| 五月天激情小说| 91碰碰碰| 色哟呦av| 亚洲啪啪自拍| AAA久久久AAA久久久AAA| 97热精品| www.激情五月天。com| 五月丁香久久网| 天天做天天要天天爽| 国产精品久久久久久五月天加勒比| 天天爱天天做天天爽| 国产精品成人av在线观看春天| www.henhengan| 成人网在线视频| 婷婷丁香久久| 99热久久这里只有精品| 97操资源婷婷| 99精品久久久久久久| 91日韩在线| 亚洲色欲欧美一区二区三区| 日日狠狠久久偷偷四色综合免费| 久久婷婷五月| 免费AV播放| 婷婷丁香社区| AV六月丁香| 99欧州偷拍视频| 久久国产性爱A V| 五月天婷婷人妻| 丁香五月激情网| 五月丁香激情啪啪| 婷婷丁香五月社区亚洲| 九九这里是免费的视频5| tingtingjiqingwuyue| 夜夜爽天操| 99色色网| 超碰九热| 色5月婷婷色| 色欲香综合网| 婷婷午夜精品久久久| 人妻丰满精品一区二区A片| 久久女人九九| 99在线观看亚洲| 99re鈥哸鈥唙| 欧美日综合| 性爱激情小说AV五月丁香花| 婷婷伊在线| 久久99热在线观看| 五月天色色网站| 综合网色综合| 99热这里只有精品亚洲| 激情五月天开心| 嫩草AV久久伊人妇女超级A| 99五月婷| 操日本人妻视频| 婷婷午夜丁香| 婷婷五月天渟渟| 思思久久99热| 久久a热| 国产日产亚系列精品版优势| 91互操| 色区域网站视频| 99综合网| 色九九七七| 色六月天| 久久99热这里只频精品6学生| 久久天堂婷婷五月| 99热日本| 日本天天操| 激情久久 婷婷| 深爱激情av| 激情五月综合网| 色五月丁香五月| 天天爽天天摸天天爱| 亚洲婷婷六月天| 人妻内射视频| 九九综合网色全集 | 色五月综合| 天天肏高清在线| va亚洲中文在线| 国产AV国片偷人妻麻豆| 九九色色| 91要啪| 日韩AV中文字幕在线| 天天拍夜夜爽| 噼里啪啦在线观看免费完整版视频| 99婷婷国产最新视频| 亚亚州久久高潮| 狠狠色丁香乆乆| 精品婷婷五月视| 99久在线精品99re8| 五月综合激情| 久久精彩视频| 激情五月瑟瑟| 99re热免费观看视频精品| 国产古装妇女野外A片| 六月丁香婷婷视频综合在线观看| 综激情网| 99热精品99| 大香蕉久久婷婷精品综合| 成人VAV视频在线观看| 天天操综合网站| 久婷狼色诱惑在线| 五月婷丁香亚洲| 五月婷婷爽爽爽| 五月在在观看| 大陆极品少妇内射AAAAAA| 99国产小视频免费观看| 97干在线视频| 激情丁香久久| 亚洲中文字幕在线观看| 色婷婷在线综合色播网| 亚洲欧洲中文日韩久久AV乱码| 欧美日韩大黄| 国产偷人爽久久久久久老妇APP| 色婷婷丁香五月观看| 国产在线aaa片一区二区99| 五月婷婷开心激情六月蜜桃| 国产AV一区二区三区最新精品| 日韩无码人妻一区二区三区综合| 51精品国自产在线| 丁香婷婷色五月天| 99资源人人| 色色五月天婷婷丁香| 激情综合网址| 欧美成人精品A片免费一区99| 天天操夜夜夜夜爽| 三十熟女| 五月花在线观看视频| 操日本三片99| 日本九九九九| 伊人丁香五月| 九九伦子片| 色婷婷色99国产综合精品| 色天堂A| 六月婷婷综合| 亚洲一区二区无码蜜乳av| 超碰在线94| 99视频在线| 俺五月| 色涩影院六月丁香| 97超碰综合| 亚洲婷婷六月天| 婷婷色基地在线看| 五月天社区| 激情合网婷婷| 综合色婷婷| 激情小说婷婷| 热成人网| 国产熟女一区二区三区五月婷| 欧美激情综合| 免费不卡狠操美女视频网 | 超PEN精品在线| 丁香激情网| 六月丁香成人| 五月丁香综合久久夜夜| 99综合网| 五月激情婷婷开心| 激情丁香九九五月综合网| 九九成人视频| 日日杆天天| 亚洲一色色色色色色色色| 九九九AAA热视频| caop在线| 婷婷丁香综合成人| 在线不卡视频| 大香蕉视频婷| 99精彩视频| 日本色色色| 激情综合5月| 久久九精品| 色狠狠色噜噜AV天堂五区| 色爽九九| 激情五月婷婷综合色播小说| 91九色国产| 国产三级在线播放| 狼人久草| 婷婷五月综激情| 特级片神马电影| 26uuu欧美日韩| 色五月中文字幕| 亚洲精品一区中文字幕乱码| 91人人操人人| 欧美啄木乌丝袜人妻系列| 天天玩夜夜操天天爽| 啪啪东京热| 51精品国自产在线| 99在线精品观看99| 日本高清综合网五月丁香| caobi四区| 99综合在线| 九草性爱| 91午夜婷婷狠狠久久综合9色| 婷婷99| 天天综合五月天| 综合五月天婷婷色| 五月天色婷婷av| 国产成人网| 免费看成人747474九号视频在线观看| 中文字幕网伦射乱中文| 99热这里是精品| 亚洲综合草草| 六月综合婷婷开心伊人| 色情播放| 26uuu美女三级视频| 欧美精品999| 991精品在线视频| 人人草碰| 久久38视频| 婷婷五月丁香第四色超碰在线| 能看的AV| 丁香五月婷婷基地| 99热手机在线精品| 五月天丁香网| 色色丁香婷婷综合| 国产性爱一级| 丁香婷婷性久久| 五月天亚洲色| 热思思| 天天综合天综合| 久久婷婷五月天激情唯美| 亚洲 小说 欧美 激情 另类| 色97综合婷婷天天色| 久久只有精品| 色99视| 色五月 激情婷婷 综合五月天| 天天天久久久| 国产99热在线看| 熟女激情网| 草美女在线观看视频在线播放| 国产五月丁香在线| 欧美日韩大黄| 六月五月久久丁香| 色婷婷影音| 婷婷激情六月天视频| 天天干天天操| 天天干狠狠| 婷婷五月综合啪| 99热久草| 久草五月天| 在线另类| AAA级久久久精品| 国产精品电| 丁香九色不卡aaa| 狠狠爱婷婷丁香| 久久婷婷五月综合色奶水99啪| 噜噜噜狠狠色综| 丁香五月天激情网址| 99热国产这里只有| VA婷婷亚洲| 婷婷五月天激情免费在线观看| 精品人妻久久久久久| 91碰在线| 超碰成人免费| 色狠狠色综合久久久绯色aⅴ影视| 色综合久久久综合久久网| 色五月美女| 五月丁香亭亭AV女优| 久久婷婷色综合| 超碰在线91| 九九热在线视频,| 色婷婷社区| 亚洲无码成人| www.婷婷| 丁香五月熟女| 久久人人超| 天天干天天日天天插 | 五月天天综合| 色色综合网站| 久久精彩视频18| 99色五月| 婷婷五月激情热播| 五月天色裸体视频| 五月婷婷狠狠干| 亚洲五月天激情| 久草视频大香蕉99| 中文字幕在线免费观看视频| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 久久婷婷网| 一本到不卡高清DVD| 碰碰碰91| 欧美欧盟性爱网| 美英法精品无码免费视频| 狼友超碰| 国产成人精品一区二三区熟女在线| 婷婷久久欧美| 99久久亚洲精品视频| 五月丁香婷婷激激激综合网色播| 婷婷婷久久久| 双性美人被调教到喷水A片| 婷婷色六月| 色五月之第四色| 五月天网站亭亭| 大香蕉啪啪啪| 91岛国片| 丁香六月天婷婷色| 亚洲AV网址| 99只有精品9| 日本精品在线噜噜噜| 色五月在线视频观看| 九九在线视频| 99视频91| 五月婷婷色情| 久久综合九九| 91九色无码内射| 日韩狠狠色婷婷| 97碰久久| www色哟哟| 777.色色| 99久在线观看| 五月色婷丁香| 六月香五月婷| 婷婷视频网| 自拍视频99| 色婷婷丁香五月丁香| 综合啪啪| 超碰伊人碰婷婷五月| www.com操| 97色色色| 色色爽爽天天| 久久a热| 国产毛片操B| 婷婷五月丁香五月丁香| 激情床戏| 888久久久| 深爱五月最新网址| 最近韩国日本免费高清观看| 九九激情综合| 五月婷婷影| 热996精品在线观看| 人人看人人摸人人| 办公室少妇激情呻吟A片在线观看| 99久久久免费| www.97碰碰com| 伊人久久综合| 中文在线视频久1| 97久久综合网| 草婷婷在线| 免费无码毛片一区二区A片| 女人露出p毛视频www网站| 久久激情综合| 六月婷久久| 无码髙清| 无码A片一区二区免费| 激情丁香图片| 1024在线视频| 久久少妇视频| 墨西哥毛片内射精| 可以免费看AV网站| av操B网站| 丁香婷婷色五月天| 九月丁香很很色| 狠狠操.COM| 丁香综合| 亚洲国产色色| 婷婷综合干| 婷婷六月激情| 婷婷激情人妻|