免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
大香蕉Av在线| 超碰三级秋霞| 日本女天天爽| 九九成年视频| 99热在线观看| 亚洲人人操| 色~性~乱~伦~噜| 国产看真人毛片爱做A片| 99热只有国产在线精品| 九九99免费理论| 610018岁成人视频| 九九热精品| 国产无套精品一区二区| 狠狠色狠狠色综合日日91| 91在线操| 美国天天操无码| 天天综合色| www色综合| 亚洲九区| 欧美性猛交99久久久久99按摩| 欧美VA在线| 婷婷五月激情网站| 97人妻碰碰碰久久香蕉| 另类图片五月天激情| 五月婷婷官网色| 免费99情趣网视频| 国产精品久久99| 96色婷婷| 久久久五月天婷婷成人网| 26uuu精品一区二区| 综合久久五| 91综合色| 五月丁香自拍| 丁香五月色欲| 亚洲激情综合免费| 99热无码| 黄色AAAAA| 超碰人人射| 嘿嘿视频免费看9| 26UUU精品一区二区| 影音先锋天天日| 天天爽天天日天天舔| 久99视频在线观看| 婷婷激情五月| 久思思热视频在线观看| 激情综合青草| 天天色天天爱天天舔| 婷婷综合五月天| 久久婷婷综合拍| 密着浓厚中出乚交尾GvG935| 狠狠噪| 色色a| 婷婷五月激情在线视频| 婷婷六月丁| 草婷婷在线| 狠狠色婷婷丁香六月| 超碰在线观看9| 超碰人人在线观看| 99资源在线| 日本在线观看aaa 99| 99丁香婷婷综合网| 激情婷婷。| 婷婷五月精品| 亚洲av成人一区二区电影在线| 婷婷爱五月| 青草五月天| 欧美激情综合| 99热这里都是精品| 中文字幕av网站| 无毒黄色网址| 99这里有精品视频| 色玖玖导航| 久9无码视频| 无码动漫AV| 中文字幕网站在线观看| 欧美色狠婷久| 热99这就是精品视频| 久久久免费精彩视频| 久久精品人妻| 国产精品久久久久久久久久| 超碰免费电影| 婷婷在线视频| 伊人狠狠操| 日本婷婷综合精品| www.99热| 亚洲精品国产熟女久久久| 性av| www.91久久| 五月激情丁香五月| 96五月丁香熟女| 婷婷五月天美女视频| 美妞av| 五月婷无码| 久久精品爱爱| 青草五月天| www.色婷婷.com| 偷拍99在线视频观看| 第四色五月婷婷| 91丨九色丨东北熟女| 色色色精品无码区| 99毛片| 日本高清久久| 五月婷婷影| 大香蕉狼人久久| 五月天伊人久久久久| 玖玖婷婷婷丁香五月| 丁香五月激情婷婷视频| 激情五月天色婷婷| 99综合| 中文字幕欧美精品久久| 久久久久妻| 五月丁香婷中文字幕| 丁香五月欧美| 五月婷婷六月丁香| 久久人人九| 婷婷四月 成人 狠狠干| 婷婷五月激情欧美大胆视频| 色色A| 亚洲综合色网| 激情丁香久久| 开心五月综合激情综合五月| 夜夜爽天天爽| 嫩草视频在线观看| 九九无码| 色五月婷婷影视| 激情丁香五月天综合| 男人天堂亚洲综合| 午夜五月天| 精品一区二区三区三区| 婷婷丁香成人网址| 少妇人妻丰满做爰XXX| 欧美色99| www九九| 九九九AAA热视频| 91精品熟女| 91九色中文| 超碰狠狠干99| 国产美女最新VA在线免费观看| 久久五月网| 人妻免费网站| 色 五月婷婷基地| 婷婷五月色| 久久五月激情综合| 久久久性爱视频| 99久在线观看| av久热| 久久色亭亭五月天| 九九综舍久久| 99热综合在线| 91|九色|动漫| 天堂在线9| 伊人大香蕉综合在线| 99热精品一区| 性爱激情久久| 另类小说五月天综合网| 岛国av网站| 伊人激情网| 五月婷婷综合潮喷| 成人在线免费网址| 久热这里| 九九久久五月天综合伊人| 五月丁香婷婷免费视频| 五月丁香色综合| 高清无码入口| 97se在线视频| 97超碰在线免费观看| 精品一区二区三区三区| 久久综合首页| 9久久精品| 五月丁香激情婷婷| www.久久久.com| 五月婷激情影院| www久久艹| 综合99视频| 色5月婷婷| 五月丁香久久呀| 久久久久网站| 99热热九九| 五月天丁香成人| 五月婷婷色综图片| 天天爽天天操| 成人丁香五月| 99啪在线视频| 很很干天天干| 五月丁香另类网| 超级碰碰碰久久网站| 久久久精品色| 久久丁香五月综合六月激情红杏视频| 久久精品国产AV一区二区三区 | 视频色色色色色色| 激情综合五月天| 91啪啪视频| site:901-07.com| 国产成人网站在线观看| 深爱激情网综合| 色婷婷无吗| 丁香五月婷婷大香蕉| 色婷天天| 婷婷色综合网日韩国产| 另类小说五月天| 婷婷成人综合| 久久婷婷的综合色丁香五月| 99热这里只有精品66| 涩涩涩,com| 丁香婷婷五月香蕉91| 色五月婷婷一二| 97人人看| 午夜天堂一区人妻| 色一情一乱一乱一区91| 婷婷涩五月天综合| WWW色综合| 天天日天天操心| 五月天另类图片| 9在线9在线婷婷在线国产| 色婷久九| 亚洲综合视频一下| 综合激情婷婷| 日本人妻伦在线中文字幕| 久久丁香久久| 九九九午夜影院成人| 秋霞丝袜啪啪啪| 丁香五月婷婷AV在线| 91狠狠综合久久| 男女激情久久| 乱乱av| 久99热在线观看| 亚洲综合九九| 中文字幕成人版| 久久9久| 激情久久综合网| 日本色超碰| 久久这里有精品| 日本99热| 97人人操在线| 丁香婷婷五月色成人网站| 国产精品日本一区二区在线播放| 五月花激情| 五月色天情| 欧美成人无码一区二区三区| 久草天堂| www.五月婷婷| 亚洲欧美成人在线观看| 无码少妇高潮喷水A片免费| 激情综合色婷婷啪啪六月天| 婷婷伊人五月天| 丁香午月AV中文字幕| 亚洲正能量欧美| 六月婷婷综合| 99热这里| 9 1超碰九色| 99热97| 丁香五月婷婷欧美成人色图| 久热最新视频| 综合热无码| 欧美激情五月天婷婷| 成人av播放| 国产超碰人人| 婷婷激情六月综合| 成人短视频在线| 六月色激情| 9热久久在线| 日本综合九九| 综合激情五月丁香| 国产黄大片在线观看画质优化| 99这里只有精品视频| 成人在线精品| 六月婷婷综合| 五月婷婷,六月丁香| 五月开心网| 女高怪谈在线观看| 久久色9| 五月 婷婷 成人| 可以直接看的AV网站| 丁香五月丁香伊人| 久久五月激情网| 九九热九九热精品| 日本AAAAAAAAAAAAAA片| 日本高清综合网五月丁香| 五月婷婷AV| 色综合99| 五月天色区| 99热这里有精力| 99热97| 99热日韩| 亚洲字幕AV一区二区三区四区| 99热这里有精品| 婷婷五月天AV| 狠狠操狠狠操| 9久热| 亚洲无AV在线中文字幕| se99视频| 岛国AV网| 99色人| 久久日本wwww色| 亚洲免费av观看| 大香蕉久久草| 天天色五月| 色婷婷狠狠久久综合五月| 天天舔天天插天天干| av中文网站| 激情综合五月婷婷丁香| 天天综合精品| 婷婷五月a| 五月天天天色| 果冻传媒A片一二三区| 202丰满熟女妇大| 亚洲情综合五月天| 91亚洲免费片| 亚洲中文丁香| 久久免费婷婷视频| 天天干,天天日| 成人片黄网站色大片免费毛片| 久久香蕉网| 久久无码成人| 天天情天天狠天天透| 丁香五月婷婷成人综合| 五月天成人在线播放| 六月激情婷婷| 婷婷五月天丁香久久| 久久久五月五丁香| A久网| 五月丁香亭亭操逼| 色婷婷精| 日 日干 日日做| 天天摸天天舔天天天天爽| 五月婷婷婷婷| 色五月大| 色色色国产| 青青草五月天| 超碰免费大香蕉| 婷婷玉月丁香五月在线视频| av九九| 色综合中文综合网| 五月色无码| 激情丁香五月婷婷| 琪琪色网址| 婷婷六月激情小说网| 天天舔天天操| 91|疯狂丨高潮丨对白| 最新国产AV| 色情久久久| 无码婷婷五月天| 玖玖综合色| 五月丁香色欲| 99热这里只有精品2024| 亚洲亚洲人成综合网络| 亚洲思思热久| 91狠狠综合久久| 五月丁香婷色| 5月婷婷性视频| 天天爽夜爽| 婷婷色九月| 五月丁香六月色| 97超级操操| 91精品久久久久久综合五月天| 国产AV一区二区三区最新精品 | 九色PORNY在线精品酒店| 久热2025无码| 男妓跪趴把舌头伸进我的嘴巴| 综合久久综合久久| 大香蕉婷婷丁香天堂AV| 99久久婷| 久久婷婷精品| 99ri国产在线| 久操婷婷| 五月天婷婷久久日| 激情五月婷| 欧美在线视频99| 综激情网| 五月婷婷六月丁香激情深爱| 99色网站| 人妻乱码久久久| 九九热精品视频| 九九九日本熟女| 97九色视频| 看全色黄大色大片| 久久久99久久| 五月色情婷婷开心五月天| 东京热免费视频| 激情综合五月激情17| www.久久久久| 五月天久久综合婷婷丁香| 五月色婷婷夜色| 丁香婷婷成人网站| 国产1区2区3区在线观| 三级三久久线久久99久目本WW| 日韩三级片一区二区| 亚洲V国产V欧美V久久久久久| 热99这里只有精品视频| 激情五月天综合网| 日韩精品AV一区二区三区| 五月婷丁香亚洲| 538任你爽视频不一样的| 久久曰曰| 狠狠操婷婷| 免费亚洲成人电影AV| 婷婷亚洲天堂| 丁香五月婷在线| 大香蕉Av在线| 精品亚洲国产成AV人片传媒| 色丁香五月| 激情综合网之激情五月| 日韩视频女神99| 日本人妻A片成人免费看片| 丁香婷婷啪啪啪| 色吊丝永久访问网址| 能看的av网站| 天天爱综合网| 日在线V视频在线播放| www.色情五月天.com| 日本一级一级一级一级| 亚洲综合色色色| 99久久精彩视频。| 91操屁股| 婷婷五月久久| 五月综合激情网| 五月天亭亭俺也| 婷婷丁香五月天哟啪| 精品国婬伦V无码久久久| 99热老网站| 能直接看的AV网站| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 国自产拍偷拍精品啪啪一区二区| 久久综合丁香| 天天婷婷| 婷婷香五月综合激情| 久久曰曰| 久久久久网站| 丁香五月婷婷久久久| 激情99| 玖玖婷婷五月天| 5月婷婷激情6月| 色五月综合在线| 激情文学 综合 九月| 激情五月婷婷| 丁香婷婷啪啪| AV九九| 99re热在线视频观看| 99亚洲欧洲| 久久精彩免费视频精彩免费视频| 97色97干| 一级二级色大片| 日本在线观看aaa 99| 伊人综合网站| 北京熟妇搡BBBB搡BBBB| 欧美槡BBBB槡BBB少妇| 国产激情久久| 99热久| 五月天婷婷网站888| 噜噜网免费视频| 淫水导航| 五月丁香六月婷婷综合| 婷婷五月天成人网站| 成人狠狠成人狠狠成人狠狠成人狠狠 | 激情亭亭五月| 亚洲AV第二区国产精品| 成人免费在线电影| 五月丁香花激情综合网| 超碰在线观看9| 激情五月色婷婷| 激情丁香久久| 久久精品婷婷五月丁香| 久久五月视频| 伊人五月天男人的天堂在线| 亚洲激情网站无码| 99热日| 深爱婷婷色| 99热这里有精品6| 亚洲色婷婷色| 99人人操人人摸| 五月天激情无码高清| 97色色色色色色色色色色色色色| 日韩人妻操逼视频| 婷婷丁香五月婷婷| 丁香六月婷婷久久综合| 五月天婷婷成人网| 五月丁香六月激情| 婷婷综合在线播放| 丁香婷最新动态| av婷婷丁香 六月| 高清激情av在线观看| 密臀久久| 久久人妻久久| 色色五月天激情| www五月| 国产做爰视频免费播放| 免费观看日韩成人av| 视频久久9| 亚洲综合婷婷五月| 丁香六月天色婷婷| 久久婷婷五月综合激情国产| 亚洲综合婷婷| cao视频,现在观看| 色五月色五天色情网| 人妻久久做| 亚洲看av的网站| 99亚洲日韩| 伊人五月婷婷| 婷婷五月天 丁香五月天 裸体| 色综合色综合色综合| 久久激情五月网| 丁香六月色婷婷欧美| 狠狠色狠狠色综合日日91| 五月六月婷| 五月丁香五月综合欧美| 丁香av网| 色情·com| 六月丁香激情网| 久久激情网| 99热人人艹| 五月天丁香综合久久国产| 色黑鬼导航| 99热在这里只有精品| 色爱亚洲| 高清成人综合| 五月婷六月丁香| 日本久热| 久久99免费视频| 丁香五月天色综合| 91视频五月丁香| 中文字幕丰满孑伦无码专区| 伊久久婷婷| 婷婷五月中文字幕国产| 久久久这里有精品| 久操干| 久热中文字幕在线线观看| 玖玖99免费视频| 91嫩草国产线观看亚洲一区二区| 丁香五月婷婷狠狠色| 这里只有精品免费观看网占| 欧美色色色| 99九九在线视频| 久久人妻情侣| 色99在线| 天天爽成人综合网站| 五月婷婷亚洲色视频| 黄网在线免费观| 色色日韩网| 人人操AV| 天天综合网~91| 人妻精品久久久久久| 狠狠干综合| 久久久精品AV| 天天干一干| 丁香五月天91| 五月天激情综合10p| 欧美性爱五月天| 激情六月婷婷| 玖玖无码中文| 中文资源在线a | 亚洲另类婷婷综合| 91碰超| 热99这就是精品视频| 色婷婷网大全在线| 亚洲综合色丁香婷婷六月| 第五色婷婷| 五月婷婷综合久久| 婷婷色播婷婷| 久久99免费视屏| 色色五月天激情| 91碰碰视频| 9热在线观看| www.99热这里精品| 丁香六月成人网| 婷婷日日夜夜| 国产99久9在线| 欧美成人色婷婷| 97久久超级| 天天久| 欧美啪啪网| 欧美婷婷五月天| 丁香花操逼| 五月丁香激情综合久久| 五月久久婷婷天堂视频| 97香蕉碰碰人妻国产欧美| 91色在线/日韩| 五月天婷婷色综合| 色99亚洲| 黄色高清无码| 99人妻碰碰碰久久久久视| www.99热这里精品| 九月婷婷久久| 婷久看人爽| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | www.开心激情| 激情啪啪五月| 99热| 色五月首页| 热九九九九| 人妻AV在线观看| 97色婷婷| 久久这里只有精品视频15| 99免费在线| 久综合| 99九九精品| 天天干肏夜夜| 色99自拍| 综合天堂AV久久久久久久| 九九亚洲视频| 这里只有精品视频222| 国产精品美女久久久久AV超清| 深爱五月亚洲| 中文字幕综合| 青青草免费公开视频| 天天操夜夜肏| 综合色播| 97操女视频| 狠狠综合久久| 欧美激情-区二区三区| 先锋资源91| 天天操综合网| 丁香五月婷婷六月丁香| wwW天天干| 亚洲99一级无嗎特制在线| 99re免费精品视频| 深爱五月最新网址| 丁香五月自拍| 五月天停停日日| 99在线免费视频| 丁香六月综合激情| 色五月五月天| 久久色情| 综合网狠狠| 婷婷综合五月| 丁香伊人网| 天堂AV在线看| 久热这里这里有精品| 欧美婷婷九月| 大香蕉久久视频久久视频 | 丁香婷婷浪潮AV久久综合| 99无码| Va另类视频| 日本3级片偷拍网站| 99热8在线| 丁香婷婷色五月激情综合| 激情开心五月天婷婷基地丁香社区| 狠狠爱综合网| 99热插| 色五月 婷婷, 大香蕉| 久操人妻| 丁香五月婷婷综合精品素人| 夜夜爽天天日| 嫩草综合网| 91在线日| 超碰93在线观看| 黄色短视频在线观看| 北京熟妇搡BBBB搡BBBB| 99热97| 欧美久久婷婷| 六月久久婷婷| 噜啊噜在线| 五月丁香六月婷婷视频| 人人干AV| 五月婷综合网| 热久久视频99| 婷婷五月天激情综合网| 日本在线免费中文com.| site:hcxsz888.com| www.91九色| 91性人人| 97操碰在线视频| 超碰啪啪网| 波多野结衣不卡AV| 一级内射毛片| 久色大香蕉| 五月激情久久| 婷婷伊人五月丁香天堂网| 天天干天天av天天射| 久久精品一区二区三区四区| 国产欧美日韩综合精品一区二区| 中文字幕在线免费看线人| 婷婷久久久| 激情五月综合网| 公的粗大挺进了我的密道| 91人妻PORNY九色大屁股| 六月婷婷色综合| 99精彩视频| 疯狂做受XXXX高潮A片动画| 久久久久久人妻| 午夜不卡久久精品无码免费| 欧美成人猛片AAAAAAA| 日日躁夜夜躁狠狠久久AV| 亚洲精品久久久久AV无码| 99热在线观看| 玖久久网站| 久久婷婷桃花五月天| www综合久久| 激情爱爱网站超大免费| 久久久99久久| 五月婷婷久久开心网| 玖玖精品资源| 色久丁香五| 色色色国产| 丁香五月偷拍| 欧在线一区| 蜜桃婷婷狠狠久久| 亚洲丁香婷婷五月天综合色| 草婷婷在线| 欧美婷婷成人| 色婷婷五月天偷拍| 丁香五月婷中字在线| 停停六月 综合| 五月天成人综合| 丁香婷婷免费| 99热这里只有精品4| 99热这里| 日本久久激情| 五月丁香婷婷久久| 嫩BBB槡BBBB搡BBBB视频| 99热这里只有精品5| 99在线精品观看99| 99天堂在线观看免费视频| 99噜噜噜| 精品福利911| 国产精品色| 六月丁丁香| 久草丁香婷婷五月天婷| 99er6| 婷婷亚洲五月| 夜精品无码A片一区二区蜜桃| 亚洲影院婷婷色| 另类在线| 亚洲激情另类| 少妇人妻偷人精品无码视频新浪| 超碰97久久| 2020夜夜操天天爽| 久热9| 激情婷婷五月在线合集| 色频玖玖五月天| 婷婷深爱五月丁香| 久久精品99国产精品日本| 久久婷综合网| 26UUU精品一区二区Com| 狠狠色综合网站久久久久| 99福利视频导航| AV色五月婷婷| 久超超碰| 亚洲成人无码片| 亚洲欧洲自拍图片专区五月天| 天天色天天操天天射| 少妇伦子伦精品无吗| 99热这里只有精品3| 97综合视频在线| 综合五月草| 久热免费视频| 婷婷丁香色女人| 激情纯色婷婷五月天在线不卡视频| 亚洲AV日韩无码| 久热精彩视频98| 婷婷五月天日逼| 久热9| 青青草轻轻操| 五月婷婷啪啪| 艹色18p| 99人人操人人摸| 热久久这里只有精品| 亚洲国产成人在线| 五月丁香激情婷婷| 亚洲一级AV在线免费播放| 天天色天天爱天天爽| 免费看欧美成人A片无码 | 国产毛片精品一区二区色欲黄A片| 国产精品涩涩涩视频网站| 色啪网| 97色婷婷成人综合在线观看| 碰人人操| 久久久无码精品成人A片小说 | 久9热在线视频| 亚洲婷婷五月| 国产性爱一级| 精品99在线看| 久久婷婷青青| WWW99热| 国产激情综合五月久久| 国产综合丁香五月天| 婷婷色亚洲| 啪精品| 第四色五月婷婷| 九九色区| 六月丁香大香蕉| 最新色色五月天| 婷婷综合五月天| 久久婷婷色| 亚洲sesesese| 五月丁香综合激情在线观看| Av性爱网站| 五月情四婷婷| 五月丁香六月停停| 26uuu欧美宗合| 五月丁香人妻| www.色婷婷| 丁香五月区| 婷婷导航| 欧美经典片免费观看大全| 乱精品一区字幕二区| 日本乱子人伦在线视频| 亚洲无码影音| 人人操人人看97干| 97久久精品| 婷婷五月中文在线| 色五月激情综合| 狠狠色噜噜| 色婷婷国产精品综合在线观看| 99玖玖免费视频| 人人摸人人| 亚洲网站观看视频| 五月天久草| 大香蕉五月天婷婷丁香91| 中文字幕黄色片| 天天日狠狠| 免费观看欧美成人AA片爱我多深 | 精品夜夜澡人妻无码AV| 狠狠色婷婷综合开心影视| 中文字幕第四色.999| av国产精品偷| 天天爱天天做天天舔| 97好吊操| 色婷婷888| 99精彩视频| 丁香五月婷婷香| 成人Av在线大片| 日韩无码一区二区三区四区| 深爱激情网综合| 99riAV国产精品视频| 九色婷婷| 午夜福利成人AV91| 天天爽人人综合免费7799| 婷婷六月天精品| 成人在线99| 五月丁香六月婷| 中文字幕操比影片| 丁香五月大香蕉| 欧类av怡春院| 五月丁香少妇| 亚洲综合网激情小说| 五月天色丁香| 99综合网| 高清国产一级婬片a免费| 思思久久99热| 狠狠草狠狠草| 五月天婷婷综合网| 啪啪夜久久| 五月丁香婷婷国产精品综合| 婷婷激情五月| 激情文学综合婷婷五月天丁香花| www.五月丁香| 很很干五月天| 婷婷天堂综合| 日韩无码亚欧无码| 激情五月天综合网站网站网站| 亚洲日韩欧美综合VA| 天天干夜晚夜操| www,99色| 欧美丁香六月激情视频| 婷婷丁香五月天操逼| 婷婷天天日婷婷| 97人人操com| 九九热只有精品6| 五月丁香激| 中文婷婷狠狠| 婷婷天天舔| 亚欧州精品视频| 337久久| 丁香婷婷精品视频| 五月天丁香久久| 婷婷五月天久草在线| 亚洲另类在线观看| 久久久久久久人妻| 久久看九九90| 狠狠色狠狠干| 丁香五月首页| 五月天色站| 久久综合天天综合| 国产毛片精品一区二区色欲黄A片| 国产AV不卡福利| www色五月天| 丁香五月激情网| 狠狠操综合| 9热在线观看| 色约约视频一区二区三区四区五区| 99久久国产宗和精品1上映| 丁香色五月 97干| av第一二区| 天天摸天天日天天舔| 国色天香成人网| 国产中文亚洲欧美日韩性交| 久久人人九九| 丁香久月| www91在线| 丁香五月亚综合图片| 成人.在线日韩| 久久精品国产色| 天天干天天日天天操| 天天久综合网永久入口17v| 六月丁香综合| 葵花AV在线| 五月网在线| 九九热9| 五月丁香婷在线| 国产69久久久欧美黑人A片| 丁香五月花婷婷开心| 婷婷中文在线| 久月婷婷| 色五月婷婷影院| 五月丁香六月婷综合成人综合| 9久热免费视频99| 大香蕉免费9| 激情五月天开心| 99热狠狠操| 色欧美影院| 97日在线视频| 99热| 五月丁香婷婷综合久久| 超碰超碰在线| 五月婷在线观看| 五月天婷婷基地| aaaaa不卡| 九九黄色网| 狠狠另类视频| 婷婷伊人久久无码色五月| 夜夜夜叫天天天做| 国内精品免费一区二区2009| 亚洲综合激情五月| 日韩无码人妻一区二区| 人妻视频在线| 在线成人网站| 色婷婷丁香| www.人人操人人看人人想人人摸 人人人人操,COM | 五月婷婷天天色| 亚洲无AV在线中文字幕| 婷婷丁香基地在线| 国产超碰av| www.99热在线| 91丨九色丨43老版熟女| 五月婷婷基地| 四色女婷婷| 玖玖九九9999在线观看视频精品| 欧美色性色好| 婷婷五月电影院| 大香蕉人妻| 久久综合天天综合| 男人天堂 久久| 婷婷视频网| 欧美色色色色色色色色色色影视| 91 影音先锋| 婷婷五月天开心激情网| WWW.99视频| 婷婷色播婷婷| 色色丁香激情五月| 日本久久精品18| 99无码精品| 人妻精品久久久久久| 久久婷婷五月综合色丁香| 久久激情网| 亚洲AAA| 色色影院黄大片| 这里只有精品在线观看视频| www.狠狠色.com| 一起操 91N.com| 午夜一区| 综合图区激情| AV五月丁香| 成人综合网站| 色婷婷五月天久久| 噜一噜免费视频| 狠狠婷婷日韩| 婷婷天堂站| 五月天激情开心网| 91九色精品女同系列| 少妇搡BBBB搡BBB搡毛茸茸| 久久激情五月婷婷| 夜夜爽天天| 久久艹网| 久久思思热| 日日噜噜夜夜狠狠久久丁香六月| 婷婷色五月综合丁香| 1囯产午夜仑鲁鲁| 五月丁香偷拍| 色婷婷五月天激情在线观看| 久久综合激情五月天| 九九热青青草| 五月天激情国产综合婷婷婷| 婷婷久久草| 激情深爱综合| 亚洲无码成人网| 国产AV一区二区三区最新精品| 婷婷五月天激情小说| 五月婷婷开心爱| 久婷首页| 五月婷婷丁香日韩在线| 天天操人人干| 婷婷五月六月丁香| 亚洲AAA| 精品久久99| 九九热91| wwwav大香蕉| 激情五月天综合| 精品久久这里热66| 色婷婷六月精品| 欧美A级网站| 超碰色女人| 婷婷婷婷婷婷婷婷婷婷丁香| 婷婷五月激情五月激情| 天天噜噜| 欧美色色色| 六月丁香视频网站| 久久久ww| 国产精品岛国片在线观看免费| 狠狠操狠狠插| 99色热| 激情网五月天| 婷婷中文字暮| 婷婷 亚洲图片 丁香| 色婷婷丁香五月天| 另类视屏| 吾爱AV导航| 成人国产网| 欧美成人AAA片一区国产精品| 激情伊人五月天| 九九热免费视频| 99热费观看| www国产亚洲色婷婷com| 202丰满熟女妇大| 天天色视频| 色五月天激情| 我去色色网五雨天| 欧美α√| 婷婷开心久久| 情涩婷婷五月天| 精品九九视频| 丁香五月婷婷成人综合| 婷婷色五月综合丁香| av九九| 激情五月天色网站| 伊人狠狠丁香婷婷综合尤物| 71在线精品视频一区| 天堂在线婷婷| 九一牛视频探花| 日本wwww在线| 欧美,日韩成人在线| 婷婷综合中文字幕| 播丁香五月婷婷欧美| 国产精品日本一区二区在线播放| 俺也去色| 国产看真人毛片爱做A片| 99精彩视频| 色婷婷丁香五月| 国产精品18久久久| 被男人添B超爽视频| 国产毛片精品一区二区色欲黄A片| 国产色色视频| 99色在线视频| 婷婷视频网| 丰满人妻一区二区三区| 国产午夜精品AV一区二区麻豆| 九九色逼| 亚洲情综合五月天| 激情性爱五月天网页| 欧美十二区| av人人操| www.久久婷婷| 色噜噜狠狠色综合成人网| 天天噜日日噜综合无码| 色综合婷婷| 99热这里只有99| 五月情四婷婷| 九九热短视频在线观看| 欧美激情凹凸丁香网| 激情五月五月婷婷| 激情六月婷婷| 九九婷婷网五月天| 精品一区二区三区免费毛片爱| 久久9热好| 五月婷婷性爱网| 综合激情专区| www.色综合| 九九热视频首页/这里只有精品| 激情综合激情五月| 79色色| 丁香五月综合激情啪啪| 五月婷婷,六月丁香| 中文字幕乱码亚洲精品一区| 九月停停| 丁香婷婷五月色成人网站| 天天做天天爱高潮片| 色婷婷国色天香综合| 日韩色色视频www| 丁香五月天堂网| 久色网| 国产乱子轮XXX农村| 韩国不卡AC视频| 久久99网址| 激情播丁香| 久久人妻伦理| 婷婷综合激情| 夜夜操加勒比| 啪啪操操| 五月丁香激情五月天| 五月天成人在线| 久99久在线观看| WWW.桔色成人.COM| www.色色com| 亚洲国产婷婷色五月| 99久久综合精品五月天| 丁香五月综合激情啪啪| 婷婷五月花| 久操人| 午夜色色色极品视频| 亚洲色 视频| 99操久久| 69热91天堂| 五月婷婷三级| 草婷婷在线| 色99热| 伊人高清无码| 激情床戏| 996热re视频精品视频这里| 久久总和99| 欧美亚洲色色色色| 色玖玖综合网| 六月狠狠综合| 五月天综合视频| 国产原创视频91九色| 玖玖国产视频一区| 婷婷干五月综合在线播放| 九九视频在线观看| 大香蕉啪啪啪啪啪啪| 26uuu.| 性爱久久| 久久婷婷青青草| 欧美色五月| 色五月天婷婷| 做爰丰满少妇1313| 色域五月婷婷丁香| 丁香五月欧美色综合| www.夜夜操| 六月婷基地| 天天夜夜六月丁香五月婷婷老师| 婷婷激情社区| 91pornav在线| 天天模,夜夜模夜夜爽| 激情性爱五月天| 色护士综合| 日本色婷婷久久99精品91| 青青.com| 人妻少妇色综合| 丁香五月综合狠狠| 激情五月第四色| 久久9精品视频| 色播色丁香五月| 天天操夜夜夜拍拍拍| 操91| 爆乳熟女一区二区三区爆乳| 日日肏夜夜干| 色婷婷丁香五月| 99综合视频| 日韩黄色电影| 一区操| 狠狠色综合网站| 日产精品一线二线三线芒果| 色婷婷久久综合| 开心婷婷中文字幕| 4399精品一区二区| 情涩婷婷五月天| 免费看欧美成人A片无码| 亚洲小视频免费播放| 欧美啪啪9| 超碰色女| 丁香五月激情婷婷婷婷在线观看| 色综合视频在线| 五月激情婷婷色| 人妻少妇色综合| 深爱五月激情综合| 日韩视频99| 五月停亭六月,六月停亭的英语| 九九视屏| 五月丁香综合成人社区| 激情小说视频图片| 五月婷婷综合成人| 婷婷深爱网| 狠狠婷婷色| 婷婷五月丁香成人| 五月开心播播网| 精品人妻久久久| 国产高潮A片羞羞视频涩涩| 熟女激情网| 99热91| 99热香港| 国产精品18久久久| 99在线观看免费精品视频| 91丨九色丨熟女高潮| 综合亚洲色色| 久久人妻视频| 深爱五月婷婷开心中文字幕| 亭亭玉月丁香| 天天日天天肏天天奸| 亚洲第一成人无码A片| 六月婷婷狠狠| 亚洲人妻av伦理| 婷婷五月免费观看| 午夜精品人妻无码一区二区三区| 亚洲激情高潮| 免费视频WWW在线观看网站| 综合狠狠五月婷婷| 久久久久久久11111111111| 国产精品国产VA片国产| 国产精品电| 激情五月视频在线婷婷| 久热爱大香蕉在线蜜臀悦色 | 被强行糟蹋的女人A片| 亚洲五月婷婷在线| 五月婷婷色欲| 婷婷丁香五月天中文字幕| 91碰碰碰久久久久| 天天综合中文| 碰碰人人漕| 亲子乱AV一区二区三区下载| 五月婷婷大香蕉| 五月丁香| 狠狠干思思热| 五月天丁香综合在线| 激情综合网五月丁香| 99色6爱9热| 国产午夜成人免费看片无遮挡| 天天操天天日天天操| 99免费偷拍视频| 亚洲午夜av| 开心五月激情| 激情6月| 99热综合网| 中文字幕成人| 欧美电影在线观看| 婷婷丁香色无五月| 婷久久| 99色色网| 天天做天天摸| 五月婷婷六月天| 无码人妻精品一区二区蜜桃色欲 | 视频这里只有精品| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 天天干天天操天天拍| 天天摸夜夜爽天天做| 婷婷五月六月| 五月丁香在线观看| 色五月成人在线| 久久久久网站| 无码99| 熟女激情五月天 | 这里只有在线精品| 99综合入口| 婷婷色播婷婷| 国产美女最新VA在线免费观看| 丁香五月大香蕉AV| 天天爽天天爽| 婷婷五月花丁香| 色噜噜狠狠色综合无码久久欧美| 无码 av电影| 综合色影院| 开心四月婷婷在线色播播| 久久aaaaa| 婷婷九月| 天天爱天天爽| WWW五月天| 国产成人高清| 婷婷五月天天| 综合网色|