免费国产精品自在自线-91精品国产色综合久久久浪潮-99热久久免费频精品-国产精品国模在线观看-久久亚洲国产精品成人?V秋霞-久久国产一级A片免费播放-亚洲国产欧洲综合97久久-久久国产白嫩美女呻吟高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南 如果你手頭有一臺(tái)跑著生產(chǎn)業(yè)務(wù)的 Linux 服務(wù)器上面部署了 Tomcat那你大概率經(jīng)歷過這種時(shí)刻機(jī)房斷電、服務(wù)器自動(dòng)重啟或者運(yùn)維例行升級內(nèi)核 reboot 之后同事過來說“網(wǎng)站打不開了”。SSH 上去一看MySQL、Nginx 都活著唯獨(dú) Java 進(jìn)程沒了——Tomcat 沒有開機(jī)自啟。后來我專門整理過一套在 linux 上設(shè)置 tomcat 開機(jī)啟動(dòng)的完整方法才把這件回頭看并不復(fù)雜、踩坑時(shí)卻相當(dāng)折磨人的事徹底理順。這篇內(nèi)容適合手里有 Linux 服務(wù)器、用 Tomcat 跑著 Java Web 項(xiàng)目、且經(jīng)受不起下次重啟后服務(wù)靜默消失的開發(fā)或運(yùn)維朋友。文章不會(huì)只給你一段能用的配置我會(huì)把方案選型、單元文件每個(gè)參數(shù)的作用、驗(yàn)證方式、常見坑的完整排查鏈路以及配套的 JVM 參數(shù)、日志切割、多實(shí)例部署這些細(xì)節(jié)一并講清楚。1. 為什么 Linux 服務(wù)器上的 Tomcat 必須配置開機(jī)自啟1.1 先說一個(gè)讓我凌晨爬起來加班的場景我印象特別深有一年某個(gè)測試環(huán)境因?yàn)闄C(jī)房變更要重啟一臺(tái)老應(yīng)用服務(wù)器上面跑著 Tomcat 8.5 和幾個(gè)客戶對接用的 JSP 系統(tǒng)。重啟完成、網(wǎng)絡(luò)通了之后用客戶端工具一連——接口直接報(bào)連接超時(shí)。SSH 上去看Memcached 是起的Nginx 是起的唯獨(dú)java進(jìn)程一個(gè)都看不到Tomcat 壓根沒有跟著系統(tǒng)起來。當(dāng)時(shí)這臺(tái)機(jī)器的 Tomcat 是同事手動(dòng)startup.sh拉起來的配置里也沒有任何開機(jī)自啟的邏輯。更要命的是沒人記得具體配置細(xì)節(jié)JAVA_HOME、CATALINA_BASE 全靠/etc/profile里的環(huán)境變量撐腰。我后來花了大半夜把環(huán)境全部摸了一遍才意識(shí)到配置 Tomcat 開機(jī)啟動(dòng)這件事不只是寫一行命令那么簡單它需要把啟動(dòng)方式、環(huán)境變量、用戶權(quán)限、服務(wù)依賴全部理順。從那以后我在任何一臺(tái)要長期跑 Tomcat 的 Linux 機(jī)器上做的第一件事就是先把開機(jī)自啟搞定。1.2 開機(jī)自啟的三種主流方案先做個(gè)了斷到目前為止我在不同年代、不同發(fā)行版的機(jī)器上實(shí)際用過的方案主要有三種方案原理適用場景維護(hù)成本systemd 服務(wù)單元通過/etc/systemd/system/tomcat.service聲明服務(wù)由 systemd 托管生命周期當(dāng)前幾乎所有主流發(fā)行版CentOS 7、Debian 8、Ubuntu 15低管理命令統(tǒng)一SysV init 腳本在/etc/init.d/放腳本通過update-rc.d或chkconfig注冊老系統(tǒng)、最小化容器、嵌入式環(huán)境中依賴順序全手動(dòng)crontab reboot用戶 crontab 里寫reboot /path/startup.sh臨時(shí)性、實(shí)驗(yàn)性環(huán)境低但服務(wù)狀態(tài)和重啟策略幾乎沒有我見過不少生產(chǎn)環(huán)境的服務(wù)器還在用第三種方式就是reboot掛一條啟動(dòng)命令。你說它不行它確實(shí)能在重啟后把 Tomcat 拉起來。但問題在于沒有服務(wù)狀態(tài)管理如果想用systemctl查狀態(tài)、自動(dòng)重啟、看失敗次數(shù)、做資源隔離它什么都給不了。而且reboot的 cron 任務(wù)經(jīng)常踩環(huán)境變量坑——crontab 的執(zhí)行環(huán)境不是登錄式 Shell/etc/profile里定義的 JAVA_HOME 它根本讀不到啟動(dòng)一個(gè)失敗一個(gè)。SysV init 腳本在 CentOS 6 時(shí)代是絕對主力我現(xiàn)在也還會(huì)遇到基于老鏡像的機(jī)器。它的邏輯就是啟動(dòng)時(shí)按 rc.d 里的腳本順序調(diào)用#!/bin/sh從頭寫一套 start/stop/restart 邏輯還要考慮鎖文件、PID 文件。能用但確實(shí)繁瑣而且很多長期沒人維護(hù)的 init 腳本里連注釋都過期了。1.3 為什么我最終把生產(chǎn)環(huán)境的 Tomcat 全部切到 systemd如果機(jī)器發(fā)行版支持 systemd我的建議非常直接別折騰其他方案直接用 systemd。理由不復(fù)雜就三條。第一服務(wù)狀態(tài)可觀測。systemctl status tomcat看到的是active (running)、activating、failed這些明確狀態(tài)結(jié)合journalctl -u tomcat能看到服務(wù)日志定位速度比在/var/log/tomcat/里翻半天快得多。第二依賴和資源控制原生支持。我可以聲明Afternetwork.target等網(wǎng)絡(luò)就緒也可以設(shè)置MemoryLimit、CPUQuota對 Tomcat 這種占內(nèi)存大頭、容易出現(xiàn)內(nèi)存泄漏的 Java 進(jìn)程這是實(shí)實(shí)在在的護(hù)欄。第三失敗重啟策略。Restarton-failure加上RestartSec讓 Tomcat 意外退出后自動(dòng)拉起。相比在 crontab 里反復(fù)跑pgrep去判斷進(jìn)程存在與否systemd 的處理方式又干凈又可靠。現(xiàn)在主流發(fā)行版幾乎都跑 systemd所以下面的配置全部圍繞 systemd 展開同時(shí)穿插說明一些老方案里的對應(yīng)做法。2. 手把手把 Tomcat 配成 systemd 開機(jī)自啟服務(wù)2.1 動(dòng)手前先體檢目錄、賬號(hào)、路徑這三個(gè)事別跳過配置前我會(huì)先確認(rèn)三件事任何一件沒確認(rèn)清楚后面都會(huì)回來找麻煩。第一JDK 的真實(shí)路徑。在命令行里執(zhí)行which java readlink -f $(which java)后一條命令會(huì)把/usr/bin/java這類軟鏈接一路解析到真實(shí)路徑比如/usr/local/java/jdk-17/bin/java那 JAVA_HOME 就是/usr/local/java/jdk-17。千萬別想當(dāng)然寫成/usr/lib/jvm/...以readlink解析出來的為準(zhǔn)。第二Tomcat 安裝目錄和版本。通常我會(huì)用/usr/local/tomcat作為 CATALINA_HOME。要注意目錄里有沒有完整的bin、conf、lib結(jié)構(gòu)缺少文件大概率是以前解壓到一半或者路徑被改過??梢詧?zhí)行/usr/local/tomcat/bin/version.sh看版本前提是 JAVA_HOME 已經(jīng)在當(dāng)前 Shell 導(dǎo)出。第三運(yùn)行賬號(hào)。強(qiáng)烈建議不要用 root 直接跑 Tomcat。一旦進(jìn)程被利用或者 war 包出問題root 權(quán)限的 Java 進(jìn)程會(huì)造成更大的麻煩。我通常新建一個(gè)系統(tǒng)用戶useradd -r -s /bin/false tomcat chown -R tomcat:tomcat /usr/local/tomcat-r表示系統(tǒng)賬戶-s /bin/false讓它無法交互登錄對 Tomcat 運(yùn)行來說足夠。大家常問的“Tomcat 啟動(dòng)閃退”有相當(dāng)一部分就是目錄權(quán)限不對啟動(dòng)腳本寫不了日志或 PID 文件導(dǎo)致進(jìn)程退出。2.2 寫一個(gè)能打的 tomcat.service 單元文件在/etc/systemd/system/tomcat.service創(chuàng)建文件這是 systemd 管理 Tomcat 的入口。我先把一份經(jīng)過生產(chǎn)驗(yàn)證的配置完整貼出來再做逐行解釋。[Unit] DescriptionApache Tomcat 9 Web Application Container Afternetwork.target Wantsnetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentJAVA_HOME/usr/local/java/jdk-17 EnvironmentCATALINA_HOME/usr/local/tomcat EnvironmentCATALINA_BASE/usr/local/tomcat EnvironmentCATALINA_PID/usr/local/tomcat/logs/tomcat.pid PIDFile/usr/local/tomcat/logs/tomcat.pid ExecStart/usr/local/tomcat/bin/startup.sh ExecStop/usr/local/tomcat/bin/shutdown.sh Restarton-failure RestartSec10 TimeoutStartSec60 TimeoutStopSec30 [Install] WantedBymulti-user.target這個(gè)文件里的[Unit]部分描述服務(wù)是什么、啟動(dòng)順序上的依賴[Service]部分是核心定義了進(jìn)程類型、用哪個(gè)用戶運(yùn)行、執(zhí)行什么腳本[Install]段決定了它掛載到哪個(gè)啟動(dòng)目標(biāo)multi-user.target表示這臺(tái)機(jī)器進(jìn)入正常的非圖形化運(yùn)行級別時(shí)啟動(dòng)。2.3 單元文件里這些參數(shù)每一行都在解決什么問題很多人習(xí)慣網(wǎng)上復(fù)制一份配置能用就行出了問題就完全不知道往哪里看。我建議把幾個(gè)關(guān)鍵參數(shù)吃透。Typeforking。Tomcat 的startup.sh啟動(dòng) Java 進(jìn)程后會(huì)立即返回退出真正的 Tomcat 主進(jìn)程是被 fork 出來的子進(jìn)程所以對 systemd 來說必須聲明Typeforking。如果不聲明或聲成simplesystemd 會(huì)把短暫駐留的啟動(dòng) Shell 當(dāng)成主服務(wù)導(dǎo)致狀態(tài)判斷完全錯(cuò)亂。PIDFile 與 CATALINA_PID。systemd 需要跟蹤 Tomcat 實(shí)際主進(jìn)程的 PID 來管理它。Tomcat 自身通過 CATALINA_PID 來寫 PID 文件。單元文件里我把 PID 指向/usr/local/tomcat/logs/tomcat.pid。這里有一個(gè)非常典型的坑很多發(fā)行版默認(rèn) Tomcat 配置里沒有導(dǎo)出 CATALINA_PID啟動(dòng)時(shí)根本沒有 PID 文件可讀systemd 在 stop 和 status 時(shí)的判斷會(huì)對不上。解決辦法就是顯式在服務(wù)里設(shè)置同時(shí)寫上PIDFile讓 systemd 知道去哪里讀。Environment。這一步我要特別強(qiáng)調(diào)。systemd 通過ExecStart啟動(dòng)的服務(wù)不會(huì)讀取/etc/profile、~/.bashrc這些 Shell 初始化文件。不少人的 Tomcat 平時(shí)手動(dòng)啟動(dòng)沒問題一配 systemd 就報(bào)JAVA_HOME is not defined correctly十有八九是這個(gè)原因。所以我把 JAVA_HOME、CATALINA_HOME、CATALINA_PID 統(tǒng)統(tǒng)用 Environment 寫進(jìn)去不依賴任何全局 Shell 變量。After / Wants。Afternetwork.target表示網(wǎng)絡(luò)目標(biāo)完成后才會(huì)啟動(dòng) Tomcat避免在網(wǎng)絡(luò)接口沒有就緒時(shí)就去綁定端口。如果你的項(xiàng)目強(qiáng)依賴數(shù)據(jù)庫或 Redis也可以追加Aftermysql.service之類的聲明。注意After不產(chǎn)生啟動(dòng)依賴它只是順序約束要用Requires或Wants來真正拉起依賴服務(wù)最常見的組合就是Wants...加After...。Restart 策略。Restarton-failure搭配RestartSec10進(jìn)程異常退出時(shí) 10 秒后自動(dòng)重試。on-failure只處理非正常狀態(tài)如果你自己調(diào)systemctl stop tomcat它不會(huì)去重啟這也是我推薦這個(gè)值的原因。TimeoutStopSec。Tomcat 關(guān)閉時(shí)可能要優(yōu)雅停掉應(yīng)用和連接池時(shí)間給太短會(huì)被 systemd 強(qiáng)殺。我設(shè)了 30 秒大多數(shù) Web 應(yīng)用足夠。如果線上應(yīng)用有長事務(wù)、連接池回收慢可以再調(diào)大一點(diǎn)。2.4 啟用自啟、驗(yàn)證生效一次做過配置寫完以后執(zhí)行systemctl daemon-reload systemctl enable tomcat systemctl start tomcat每次修改 service 文件必須重新執(zhí)行daemon-reload這是新手最容易漏掉的動(dòng)作。enable會(huì)在/etc/systemd/system/multi-user.target.wants/下生成符號(hào)鏈接下次開機(jī)時(shí)自動(dòng)啟動(dòng)start是立即啟動(dòng)并不是必須和enable一起執(zhí)行但先手動(dòng)啟動(dòng)一次能盡早發(fā)現(xiàn)配置錯(cuò)誤。啟動(dòng)后一定要做到驗(yàn)證閉環(huán)systemctl status tomcat systemctl is-enabled tomcat ss -lntp | grep 8080 curl -sI http://127.0.0.1:8080 | head -n 3如果看到enabled、狀態(tài)是active (running)、8080 端口監(jiān)聽正常這一步就完成了。我自己的習(xí)慣還會(huì)再補(bǔ)一句journalctl -u tomcat -n 50 --no-pager確認(rèn)日志沒有異常然后找個(gè)時(shí)間真正 reboot 一次驗(yàn)證自啟——這一步必須有下面會(huì)解釋為什么。3. 配置自啟途中踩過的坑和完整排查鏈路3.1 環(huán)境變量丟失systemd 說這不是它的鍋癥狀很典型手動(dòng)執(zhí)行startup.sh一切正常systemctl start tomcat后過幾秒狀態(tài)變成failedjournalctl -u tomcat里能看到類似Neither the JAVA_HOME nor the JRE_HOME environment variable is defined At least one of these environment variable is required to run this program原因就是我前面說的systemd 啟動(dòng)的進(jìn)程不加載 Shell 環(huán)境文件。很多教程讓你把 JAVA_HOME 寫進(jìn)/etc/profile這只會(huì)影響交互式 Shell不會(huì)影響 systemd。排查鏈路按順序走systemctl show tomcat -p Environment看 systemd 實(shí)際傳給進(jìn)程的環(huán)境變量。如果沒有 JAVA_HOME去單元文件里補(bǔ)上EnvironmentJAVA_HOME...絕對路徑以readlink -f $(which java)解析出來的為準(zhǔn)。XShell 里敲的java -version能用不代表 Tomcat 腳本能用腳本看的是 JAVA_HOME/JRE_HOME不是 PATH 里的 java 命令。3.2 PID 文件缺失狀態(tài)一直卡在 activating有一個(gè)場景我遇到不止一次Tomcat 其實(shí)已經(jīng)起來了8080 端口也在監(jiān)聽業(yè)務(wù)能通但systemctl status顯示的卻是activating (start-pre)或者反復(fù)failed用systemctl stop還停不下來。根因基本可以鎖定在 PID 文件上。Typeforking加 PIDFile 時(shí)systemd 會(huì)用 PID 文件里的主進(jìn)程號(hào)來判斷服務(wù)是否成功啟動(dòng)。如果 CATALINA_PID 沒有導(dǎo)出startup.sh 不寫 PID 文件或者寫的路徑進(jìn)程沒權(quán)限寫就會(huì)卡在狀態(tài)判斷上。排查方式ls -l /usr/local/tomcat/logs/tomcat.pid cat /usr/local/tomcat/logs/tomcat.pid如果沒有這個(gè)文件檢查單元文件里 CATALINA_PID 是否配置如果文件存在但權(quán)限是 root檢查chown -R tomcat:tomcat /usr/local/tomcat因?yàn)?Tomcat 運(yùn)行用戶寫不了這個(gè)文件同樣會(huì)導(dǎo)致 systemd 狀態(tài)不對。SELinux 開啟時(shí)如果目錄上下文不對也可能拒絕寫權(quán)限這個(gè)下面單獨(dú)說。3.3 啟動(dòng)閃退排查先在前臺(tái)跑一次 catalina.sh配了自啟之后閃退日志往往被 systemd 收走反而不如直接前臺(tái)啟動(dòng)看得快。排查閃退我最順手的動(dòng)作是把 Tomcat 開到前臺(tái)sudo -u tomcat /usr/local/tomcat/bin/catalina.sh runcatalina.sh run是前臺(tái)運(yùn)行日志直接打到終端報(bào)錯(cuò)一眼能看到。常見閃退原因端口被占用。ss -lntp | grep 8080看是不是別的服務(wù)占著或上一次啟動(dòng)的殘留進(jìn)程占著端口。war 包解壓失敗、webapps 下的應(yīng)用啟動(dòng)異常導(dǎo)致線程啟動(dòng)時(shí)報(bào)錯(cuò)退出。內(nèi)存不足或 JVM 參數(shù)非法比如-Xmx設(shè)置超出物理內(nèi)存啟動(dòng)直接報(bào)Could not reserve enough bytes for object heap。系統(tǒng)服務(wù)對進(jìn)程數(shù)量、文件句柄有限制journalctl -u tomcat里能看到句柄耗盡的跡象。定位到根因后按對應(yīng)的方式改配置改完再systemctl start tomcat驗(yàn)證。不要反復(fù)無腦重啟日志不會(huì)騙人。3.4 端口能通但外網(wǎng)訪問不了防火墻與 SELinux 兩個(gè)兄弟自啟配好了本機(jī) curl 127.0.0.1:8080 有響應(yīng)外面怎么都訪問不到這時(shí)候要懷疑防火墻和 SELinux。firewalld 在 CentOS/RHEL 系機(jī)器上默認(rèn)可能攔截了外部到 8080 的訪問firewall-cmd --permanent --add-port8080/tcp firewall-cmd --reloadSELinux 則是另一個(gè)容易忽略的環(huán)節(jié)。Tomcat 安裝到非標(biāo)準(zhǔn)目錄后進(jìn)程寫日志、寫臨時(shí)文件可能被 SELinux 策略擋住。先看當(dāng)前模式getenforce如果是Enforcing可以用restorecon -RF /usr/local/tomcat恢復(fù)目錄的 SELinux 上下文如果 Tomcat 確實(shí)需要連接外部網(wǎng)絡(luò)或端口可能需要設(shè)置對應(yīng)的 boolean。這里不展開講 SELinux 策略撰寫但要記住遇到進(jìn)程行為異常、日志中帶著Permission denied又說不清權(quán)限問題時(shí)八成和 SELinux 有關(guān)。注意不建議圖省事直接在生產(chǎn)上永久關(guān)閉 SELinux。造成的問題應(yīng)該用策略去解決頂多臨時(shí)setenforce 0驗(yàn)證確認(rèn)后再定位是哪條策略。3.5 journalctl 里最值得記住的五類關(guān)鍵線索配自啟的排查基本繞不開journalctl -u tomcat我總結(jié)過幾類最常出現(xiàn)的日志線索看到就知道往哪里查日志線索指向的問題JAVA_HOME is not defined環(huán)境變量沒配置或路徑不對去 [Service] 段補(bǔ) Environmentpid file write failedPID 文件路徑不可寫檢查目錄權(quán)限、SELinux 上下文Address already in use端口被占用找占用進(jìn)程或改 server.xml 端口Broken pipe、Connection reset通常是反向代理/防火墻/長連接資源問題優(yōu)先看 Nginx 和網(wǎng)絡(luò)側(cè)OutOfMemoryError、GC overhead limit exceededJVM 或堆內(nèi)存不足調(diào) CATALINA_OPTS每次排查都從日志入手按鏈路一層層往下通常能比東翻西找快一半時(shí)間。4. 開機(jī)自啟配好之后順手把這些運(yùn)維細(xì)節(jié)也安排上4.1 JVM 參數(shù)放哪最干凈用 setenv.sh 而不是硬塞 service設(shè)置好自啟之后很多人會(huì)問我想調(diào) JVM 堆內(nèi)存、GC 參數(shù)怎么辦兩個(gè)選擇一是全部懟在 service 文件的 Environment 里二是在/usr/local/tomcat/bin/下創(chuàng)建setenv.sh。Tomcat 每次啟動(dòng)都會(huì)自動(dòng)加載bin/setenv.sh里導(dǎo)出的環(huán)境變量。這是官方預(yù)留的擴(kuò)展機(jī)制比在 systemd 單元文件里寫一長串 Environment 干凈得多也更方便維護(hù)。我通常在 setenv.sh 里寫export CATALINA_OPTS-Xms512m -Xmx2048m -XX:MetaspaceSize256m -XX:UseG1GC -XX:HeapDumpOnOutOfMemoryError注意兩個(gè)變量的區(qū)別CATALINA_OPTS只作用于 Tomcat 啟動(dòng)的 JVM不影響它內(nèi)部的輔助工具JAVA_OPTS會(huì)作用于所有基于 Java 的進(jìn)程包括啟動(dòng)腳本里的輔助程序。針對 Tomcat 的堆和 GC 配置優(yōu)先用 CATALINA_OPTS。修改 setenv.sh 后不用重寫 servicesystemctl restart tomcat即可生效這個(gè)先后順序建議固定下來。4.2 catalina.out 無限增長一個(gè) logrotate 配置解決Tomcat 的catalina.out會(huì)越滾越大尤其線上打了大量訪問日志或異常棧時(shí)一個(gè)季度漲到幾個(gè) GB 很常見。有些項(xiàng)目把日志輸出在 catalina.out 里不處理遲早拖垮磁盤。我在生產(chǎn)上通常用 logrotate 做每日切割配置放在/etc/logrotate.d/tomcat/usr/local/tomcat/logs/catalina.out { daily rotate 7 copytruncate compress missingok notifempty }這里最需要注意的參數(shù)是copytruncate。因?yàn)?Java 進(jìn)程一直持有 catalina.out 這個(gè)文件句柄直接mv重命名會(huì)導(dǎo)致 Tomcat 繼續(xù)寫舊句柄肉眼看到的是日志“消失”實(shí)際磁盤空間沒釋放。copytruncate先復(fù)制再清空原文件雖然極端情況下會(huì)丟一點(diǎn)點(diǎn)新日志但比重啟 Tomcat 去切日志劃算得多。4.3 多實(shí)例部署用模板化 service 文件省一半配置如果一臺(tái)服務(wù)器上要跑多個(gè) Tomcat 實(shí)例比如按項(xiàng)目名隔離的web1、web2完全不需要為每個(gè)實(shí)例各寫一份 service 文件。systemd 支持模板單元tomcat.service通過%i引用實(shí)例名[Unit] DescriptionTomcat instance %i Afternetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentCATALINA_HOME/opt/tomcat-appserver EnvironmentCATALINA_BASE/opt/tomcat-%i EnvironmentCATALINA_PID/opt/tomcat-%i/logs/tomcat.pid PIDFile/opt/tomcat-%i/logs/tomcat.pid ExecStart/opt/tomcat-appserver/bin/startup.sh ExecStop/opt/tomcat-appserver/bin/shutdown.sh Restarton-failure [Install] WantedBymulti-user.target然后一行命令注冊并啟動(dòng)對應(yīng)實(shí)例systemctl enable tomcatweb1 systemctl start tomcatweb1需要注意多實(shí)例場景里CATALINA_HOME可以共用一份 Tomcat 程序但CATALINA_BASE必須每個(gè)實(shí)例各自獨(dú)立conf/、webapps/、logs/、temp/放在各自的 BASE 目錄下。這會(huì)讓自啟配置的復(fù)雜度大大下降也方便后續(xù)單獨(dú)重啟某個(gè)實(shí)例而不影響其他應(yīng)用。4.4 升級 Tomcat 版本時(shí)自啟配置怎么平滑過渡Tomcat 大版本升級時(shí)最容易踩的雷就是解壓新版到新目錄然后忘了改自啟單元文件里指向 CATALINA_HOME 的路徑重啟回來發(fā)現(xiàn)啟動(dòng)的還是老版本。我的做法一般是先用軟鏈接固定路徑ln -s /usr/local/tomcat-9.0.85 /usr/local/tomcatservice 文件里始終只寫/usr/local/tomcat升級時(shí)解壓新版目錄停服務(wù)換軟鏈接指向再啟動(dòng)。如果出問題就回退軟鏈接整個(gè)過程可逆可控。升級前記得備份conf/server.xml、conf/web.xml和webapps下需要保留的業(yè)務(wù)應(yīng)用。Tomcat 10 把javax.*換成jakarta.*的兼容差異比較大升級時(shí)要么代碼同步遷移要么先確認(rèn)業(yè)務(wù)是否接受這個(gè)改動(dòng)。4.5 順便提一句安全加固manager 后臺(tái)別裸奔很多網(wǎng)站在 Tomcat 配置完成后conf/tomcat-users.xml里寫死了一個(gè)manager-gui角色賬號(hào)用于后臺(tái)部署 war 包。我的建議是兩步走一是 manager 相關(guān)角色盡量不開放公網(wǎng)訪問至少在防火墻層或 Nginx 層限制來源 IP二是如果確實(shí)需要遠(yuǎn)程管理配合 Tomcat 的 Valve 配置做來源地址白名單而不要只靠一個(gè)弱口令頂著。這個(gè)不屬于自啟范圍但既然聊到線上的 Tomcat順手提醒總比出了安全事件再補(bǔ)要省心。5. 我總結(jié)的幾個(gè)實(shí)操習(xí)慣照著做能少走很多彎路配置和排障都講完了最后分享幾個(gè)我自己養(yǎng)成的習(xí)慣都是踩過坑后留下的。第一配置完自啟后一定要找時(shí)間重啟一次機(jī)器驗(yàn)證。很多人配完enable就覺得萬事大吉等真重啟才發(fā)現(xiàn)某個(gè)依賴順序或環(huán)境變量在純引導(dǎo)環(huán)境里根本不生效。重啟后確認(rèn)進(jìn)程在、端口在、systemctl status是 active才算完成閉環(huán)。第二每次都先daemon-reload再改狀態(tài)。改 service 文件卻不 reloadsystemd 仍在用舊配置這會(huì)浪費(fèi)大量時(shí)間。我自己的流程是改完文件 →systemctl daemon-reload→systemctl restart tomcat→journalctl -u tomcat -n 30收尾。第三寫文檔比記憶可靠。Tomcat 版本、JAVA_HOME 路徑、實(shí)例名、端口、依賴關(guān)系這些信息散落在不同人腦子里最危險(xiǎn)。我會(huì)在機(jī)器上放一個(gè)/etc/systemd/system/README-tomcat.txt或者同步到私有維基記錄每次變更前后的狀態(tài)和原因下次不管誰接手都能快速接上。第四盡量用 systemd 統(tǒng)一管理減少“手藝人腳本”。手寫 shell 腳本輪詢進(jìn)程、在 rc.local 里追加啟動(dòng)命令這些方式應(yīng)急時(shí)可以但長期維護(hù)下來狀態(tài)不可觀測、失敗不自愈的代價(jià)會(huì)越來越高。把 Tomcat、Nginx、MySQL 這些服務(wù)通通納入 systemd 視角后一條命令就能看清整臺(tái)機(jī)器的服務(wù)圖譜排障思路也會(huì)清晰很多。配置 Tomcat 開機(jī)自啟本質(zhì)上并不難難的是把方案選對、把細(xì)節(jié)做扎實(shí)。希望這篇實(shí)踐筆記能讓你下次面對“重啟后服務(wù)消失”的時(shí)候不再手忙腳亂。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亭亭五月丁香五月天激情| 色婷婷先锋| 色综合久| 丁香婷婷综合精品六月初| 色久综合| 超碰人人操人人干| 丁香六月五月婷婷| 九九视频这里是精品五月| 伊人久久丁香五月91| 天天狠狠夜夜狠狠2023| 五月天色导航| 久9热| 精品亚洲国产成AV人片传媒| 久热这里| 日日爽日日| 丁香九月婷婷| 天堂资源欧日浪女在线播放| 丁香五月激情网| 中文在线视频久1| 五月丁香婷婷色| 天天干一干| 久久性爱视频这里只有精品| 激情五月天之六月婷婷| 亚洲国产精品五月天| 天天射色五月天| 极品少妇高潮啪啪AV无码| 色欧美影院| 26uuu国产精品| 99精品高潮| 狠狠色综合网| 99操碰| 五月天久久婷婷| WWW夜夜| 日韩AV中文字幕在线| 国产激情综合五月久久| 欧美日韩成人在线| 五月色网| 狠狠干狠狠色| 91综合在线| 天天日天天爽夜夜爽| 亚洲五月丁| 久久一品区| 欧美成人AAA片一区国产精品 | 色五月婷婷激情综合网| 久久婷五月综合| 伊人狼人干| 婷婷香蕉| 超碰婷婷色| 天天日天天干天天操| 丁香五月第四色88| 草综合14| 日本WWW九九九| 丁香六月无码| 国产五月天欧美色| 五月天社区婷婷丁香社区| 99爱最新免费视频在线观看| 天天爽夜夜爽天天爽夜夜爽| 亚洲无码99| 特级西西4444www无码| 夜夜撸天天日| www.9797国产| 开心五月婷婷激情| 97婷婷五月| 久草丁香婷婷1024| 激情文学第四色婷婷丁香五月| 婷婷丁香综合| 欧美成人无码高清一区二区三区| 久久机只有这里精品| 日日操夜夜爽天天天| 成人久久天天x资源站| 天天日夜夜夜操操操操| 婷婷五月精品中文字幕| 色五月综合网| 婷婷色六月| 国产.亚洲.欧洲视频在线| 色欲天天综合| 欧美综合五月丁香六月婷| 九九亚洲视频| 色色色色色色网站| 色婷婷综合电影| 大香蕉伊人爱在线| 九热视频这里只有精品| 丁香六月婷婷综合激情欧美| 国产视频色色色色色色色| 国产AV不卡福利| 丁香六月婷婷综合激情欧美| 婷婷五月天亚洲精品| 开心激情播播五月天| 亚洲丁香五月天视频| 九九AV| 国产午夜精品AV一区二区麻豆| 丁香五月天天久久综合小说| 久久五月婷| 欧美日韩大黄| 99热老网站| 激情五月天色播| 久热精彩视频98| 思思99久久| 五月天播播综合| 天天日综合| 亚洲另类电影| 99色免费观看全部| AV在线不卡播放| 五月婷婷深深爱| 欧美亚洲999| 激情五月天在线视频| 91热在线| 97干综合网| 99热久久这里只有精品| www.超碰在线| 婷婷综合97| 婷婷黄色五月天在线视频| 五月丁花六月丁香综合| 色综合综合综合| 九月婷婷久久久| 色婷婷狠狠干芒果TV| 大香蕉520| 日操夜操天天操不卡| 久热久| 97人人妻人人艹| 六月丁香婷| 色播播五月| 国产欧美熟妇另类久久久| 丁香五月网| 丁香五月深爱五月婷婷| 五月天激情小说网| 五月情丁香色| 成人精品视频99在线观看免费 | 丰滿爆乳一区二区三区| 天天日夜夜夜操操操操| 大地9中文在线观看免费高清| 99久久新视频| 久婷婷色| 大香蕉综合在线| 色婷婷小说网| 色www.con| 五月婷精品| 亚洲春色奇米影视| 狠狠狠狠狠草| 69人人操人人爽| 婷婷久久国产视频| 热91久| 狠狠香婷婷五月| 欧美 日韩 成人在线| 婷综合六月| 色婷婷视频综合| 欧美情色电影一区二区| 日日日日操| 天堂伊人干| 91免费在线视频6| 超碰九色| 99热精品9| 亚洲精品久久久无码| 国产超碰在线| 风流少妇A片一区二区蜜桃 | 色婷婷五月天| 婷婷丁香人妻| 中文字幕av久久爽| 婷婷激情视频| 色婷丁香五月| 男女啪啪做爰高潮无遮挡| 色小说婷婷五月天天天| 婷婷九月久久| 九九热大香蕉| 五月激情网五月综合网| 日韩无码性爱| 99热九九热| 国产激情综合五月久久| 亚洲精品V天堂中文字幕| 六月婷婷色五月| 色综合久久久综合久久网 | 五月丁香婷婷综合| 五月色婷婷影视在线电影| 国产美女无遮挡裸体毛片A片| 婷婷五月丁香基| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 狠狠五月激情丁香六月| 欧美激情五月综合| 97碰 在线视频观看| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色噜噜狠狠色综无码久久合欧美 | 五月丁香大香蕉| 久久丁香五月| 日日夜夜久| 天天综合 99久久婷婷| 丁香五月在线自慰| 人人做人人看人人摸| 69人人操人人爽| 五月丁香婷婷综合网| 日本啪啪网| 深爱激情综合| 99热这里只有精品9| 丁香六月婷婷| 9 9 9色色| 丁香五月婷婷色| 婷婷丁香成人在线视频| 日本精品干| 丁香六月婷婷| 色色日本欧美| 久久性爱视频久久性爱视频| 五月丁香六月在线欧美| 色五月,婷婷大香蕉| 日本五月婷婷| 性色天| 九九热亚洲中文在线观看免费| www.97视频| 五月婷婷69| 色婷婷五月天亚洲| 婷婷综合色网| 丁香熟女乱| 操人91| 26uuu国产激情视频| 狠狠色婷婷7777久| 午夜爱爱网站| 亚洲蜜乳AV| 99色视频| 狠狠久久婷五月| 日韩AAA| www99久久| 久久99热网| 五月天社区| 亚洲色A| 五月色婷婷在线观看| 韩日AV片| 西西4r午夜剧场| 久热这里只有精品99re| Av九九| 99国产这里只有精品| 丁香五月天偷拍| 综合一区二区三区| 激情五月天的婷婷| 亚洲超级碰| 九九爱激情| 丁香五月天社区| 色停停五月,在线观看| 开心日韩丁香婷婷五月| 秋霞电影理论| 亭亭五月激情亚洲在线| 思思热再线视频| 亚洲色情免费网| 丁香五月婷婷色| 五月天伊人久久久久| 亚洲av综合在线| 久久综合九九| av亚洲国产小电影| aV直接看| 中文不卡av| 午夜天堂一区人妻| 五月天丁香色色| 中国女人做爰A片| 五月天色色网站| 丁香成人五月天| 97在线视频观看| 97婷婷狠狠| 六月份天丁香婷婷| 粉嫩av懂色av蜜臀av熟妇| AV性爱网| 狠狠综合网| 精品人人操| 九九色影院| 9久久久久久久久久久| 大婷婷色呦呦噜噜色呦呦噜噜| 婷婷五月激情六月| 五月天久久久| 中文字幕丰满孑伦无码专区| 色婷婷亚洲综合网站| 综合在线观看99| 天天碰夜夜操| 伊人久久综合| 大香蕉九九| 99er这里只有精品| 九九在线免费观看| 99热这里只有精品在线| 婷婷欧美| 91碰人人| 婷婷欧美综合| 婷婷性爱无码视频| 色老久久| 99re在线播放| 久久久五月天网站| 激情99热| 五月婷婷亚洲色视频| 97干婷婷| 黑人巨粗进入警花疼哭A片| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 第四色婷婷五月| 欧美成人精品一区二区 | 99热这里只有精品一| 丁香五月综合在线播放| 欧美大道不卡| 久草热久草在线视频| 亚洲日韩成人三级av| 99久久久精品| 立川无码av| 99思思热只有在这里看| 精品久久99码| 午夜成人av在线| 啪啪黄页网| 色色成人網| 成人电影丁香六月天| 91丁香五月| 五月婷婷影院| 中文在线成人| 99亚洲大片精品永久在线观看| 五月婷婷在线播放| 搡BBBB搡BBB搡18| 久久33视频| 97人妻碰碰中文无码久热丝袜| 99视频精品视频| 天天摸色吧天天摸色吧| 午夜性做爰电影| 精品久9| 日韩成人无码人妻| 五月婷婷在线综合| 激情玖玖sh| 亚洲午夜视频| 开心婷婷丁香五月| 丁香六月婷婷激情| 天天爽夜夜爽夜夜爽精| 成人看片网站| 色私五月婷婷| 九九99热久久精品66中文字幕| 国产超碰在线| 婷婷五月天成人导航| 天天插综合| 白人荫道BBWBBB大荫道| 伊人五月天综合网| 婷婷亚洲天堂| 久久9久| 色女伊人| 99在线资源视频| 婷婷欧美激情综合| 99热91| 丁香五月最新网址| 五月婷婷综合丁香视频| 色色六月| 五月丁香六月婷婷综合网缴情| 日本va欧美va国产激情| 丁香五月色色| 久久婷婷五月丁香网| 9l视频自拍九色9l黑人| 婷婷五月精品中文字幕| 久久婷婷原创视频| 激情综合五月色丁香婷婷| 热久精品| 99精品色色| 久久激情网| 五月天婷婷色色网| 成人一级片| 丁香五月网| 久久视频这里有精品99| 激情性爱婷婷| 六月份天丁香婷婷| 亚洲午夜电影| 婷婷五月天色色| 夜夜爱伊人| 99热免费观看| 午夜成人天堂久久无码日韩久久| 色五月激情综合网| 激情五月深爱五月观看| 婷婷五月天av| 九九机热| 久久激情天堂| 人人摸人人搞| 日日想日日夜日日操| 无码AV免费精品一区二区三区| 五月天婷五月天综合网在线观| 免费精品99| 99思思在线视频| 五月丁香六月色| sesesesezonghe| 九九在线精品| α久久| 婷婷色色欧美综合网| 五月综合缴情网| 丁香五月综合激情久久潮喷| www.91在线观看| 九九九九毛片| 久久精品国产精品| 婷婷午夜综合| 热久久77777| 91紱請| 99热色在线精品| 五月婷婷黄色毛片| 五月天婷婷综合| 色婷婷视频| 日本成人内射| 免费亚洲婷婷中文字幕| 狠狠人妻久久久久久综合丁香| 久久艹 五月天| 人人爽欧美婷婷久久久五月丁香| 美女黄频aⅴ视频| 久久久性爱视频| 丁香伊人综合| 97干免费视频| 久热A片| 色色色综合| 丁香五月香蕉在线| 91啦丨九色丨刺激中文| 五月丁香六月激情欧美综合| 无码色色| 99热只有精品在线播放| 色开心五月丁香| 综合AV在线| 五月人人丁香婷婷五月人人丁香| 亚洲免费av观看| 六月激情综合| 成人va视频| 丁香激情五月综合网| 丁香五月天日韩无码| 激情av在线| 久久五月激情网| 婷婷狠狠狠爱| 精品久久久91久久影视网| 五月开心久久| 蜜乳国产网站| 色色色综合视频| 综合www色| 色情成人五月天| 狠狠干无码| 天天在线天天综合网色| 色伊人婷婷| 99人人爽| 青青草国产亚洲精品久久| 久久久无码精品成人A片小说 | 日本色色色| 久热网站| 丁香五月天激情小说| 任你爽视频| 婷婷五月精品中文| 日本大人久久| 天天碰夜夜操| 五月婷婷丁香| 五月综合色| 婷婷五月色惰| 激情综合网五月天| 国产午夜精品久久久观看| site:jszngf.com| 99热新网址| 激情熟女网| 婷婷伊人欧美| 熟女强人妻一区二区三区四区无| 亚洲无AV在线中文字幕| 91精品久久久久久综合五月天| 色婷婷亚洲| www.minyis.com【JT】实力收量可预付QQ2101460746 | 久久久久er热| 91碰碰碰| 六月综合婷婷开心伊人| 超碰久热| 日日夜夜干| 国产午夜成人免费看片无遮挡| 丁香五月网| 亚洲永久四色| 五月天婷婷网站888| 性爱五月婷| 亚洲精品**不卡在线播he| 九九视频在线观看视频6 | 日日色综合| 97色婷婷成人综合在线观看| 欧美丁香五月97色| 91九色在线| 久操激情| 五月激情婷婷丁香| 激情六月婷婷| 99国产精品久久久久久久久久久 | 日韩无码成人电影| 无码AV久久久久久久久| 丁香网五月天| 五月丁香A∨在线| 七七久久综合| 9 99免费视频| 欧美色狠婷久| 五月婷婷中文网| 婷婷六月丁香色| 婷婷五月天无码熟女| 天天草婷婷五月| 五月丁香六月欧美综合| 婷婷五月婷婷五月| 婷婷激情图片| 日韩一级片| 日本色色色| 大香蕉伊人久久| 免费无码毛片一区二区A片| 激情又色又爽又黄的A片| 亚洲12p| 99精品久久久久久久久| 色婷婷中文在线| 婷婷五月黄色激情在线| 婷婷五月丁香久久| 99狠狠操一| 日韩啪啪视频| 日韩色色色色| A级毛片高清免费不卡播放谢谢谢谢| 熟女91九色| 日本久久婷| 美女婷婷六月色| 狠狠干五码| 色99视频| 日韩免费视频| 伊人五月天97| 操人妻90p| 99热这里只有精品搜| 美国十月色婷婷在线观看| 超碰在线人妻| 日韩av免费版| 色墦五月丁香| se99视频| 六月激情综合| 婷婷五月丁香综合桃花色网| 无码九九| 久色婷婷200| 午夜免费试看| 三日本无码| 任你爽免费视频| 丁香五月激情六月| 丁香五月中文字幕| 最新婷婷五月丁香| 蜜臀A∨在线水帘洞| 五月婷婷在线播放| http:色情日本com| 激情五月天视频| 五月激情婷婷女| 色色激情| www.99热在线| 婷婷五月天男人影院色色网| AV性爱在线| 丁香婷婷综合喷| AV伊人青草丁香六月| 五月激激激情综合网| 99免费在线视频| 777久久久| 色 五月俺去也| 九九黄色网| 亚洲性爱AV| 婷婷六月婷婷| 99热这里是精品| 五月丁香毛片| 激情五月天激情小说| 双性美人被调教到喷水A片| 97久人人| 五月激情小说| 久久99精品久久久久久青青AR| 天天综合天天做天天综合| 91人人爽狠狠狠| 1024你懂的欧美曰韩| 天天插轮理| 天天插天天爽| 九九热a| AV操逼网| 色综合狠狠色| 夜夜爽天天爽| 99re热在线视频观看| 丁香五月天网友自拍啪啪啪视频| 婷婷五月激情四射手| 色婷婷成人在线| 深爱激情五月天| 99无码视频| 激情五月天丁香| AAA久久久| 激情视频综合| 久久99久久99精品免观看粉嫩| 丁香色婷婷| .肏屄视频一区二区| 99青青草| 大香婷婷| 91视频一起草| 超碰九色| 狠狠综合网| 色综久久久| 成人精品视频99在线观看免费| 国产色色网站网址| 日本视频不卡123区| 777精品成人a v久久| 99国产精品白浆在线观看免费 | 亚洲永久免费| 五月天无码| 99久久久久| 99区视频| 亚洲色99综合天堂| 中文字幕激情综合| ay2区| 亚洲亚洲人成综合网络| 天天综合网亚洲网站| 99热在线网站| 九月婷婷久久久| 色久婷婷五月| 五月丁香六月综合图| 色五月天综合网| 在线网黄| 四川女人毛多水多A片| 丁香六月亚洲综合| 五月天激情四射网站| 午夜爱爱网站| 色五月aV| 色综合色色色色色色综合| 欧美激情综合色综合啪啪五月| 欧美人人女女精品综合五月天| 另类图片激情五月| 五月天婷婷六月| 一本久久婷婷| 99在线精品观看99| 六月婷婷狠狠色在线观看| 欧美五月停| www五月| 九九Av| 婷婷99综合| 综合久久五月天| 婷婷五月色影视先锋| 日本久久99| 亚洲色色色色| 精品激情| 超碰在线50| 五月天偷拍| 色色影院aaaav| 久久久日韩特色特黄AAAA| 网色99| 中文字幕日韩无码制服诱或| 七七色色综合| 五月天开心色色网| 激情床戏| 久久思思精品| 99视频超级精品| 99热这里只有精品55| 五月草视频| 天天爱天天做天天日| 色yeye欧美| 六月丁香激情网| 天天婷婷天天| 九九人人操| 噢美99| 九九热在线视频| 婷婷五月激情图片| 色婷婷在线视频综合| 91黄址| 色呦呦在线| 五月天综合在线| 99色色视频| 久久网思思| 99久久综合网| 久久久久久久久久久月丁| 激情内射人妻1区2区3区| 婷婷五月丁香五月| 色色网五月激情| 激情桃色网| 亚洲成人AV在线观看| 一本到不卡高清DVD| 色色亚洲视频| 色婷婷www| 狠狠色五月天| 色色色色网站| 五月婷在线视频免费播放| 色五月婷婷婷婷婷婷婷婷婷婷| 天天肏高清在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 色婷婷先锋| 天天色亚洲| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 婷婷99视频全集高清| 啪啪91| 91Chinese在线| 我爱va亚洲va52| 狠狠色丁香99| 电影爱拉战争免费观看| 欧美激情五月天婷婷| 非洲一级AV| 五月婷婷深深爱| 五月婷婷97| 67194中文在线| 99久久综合狠狠综合久久| 婷婷97狠狠成人网站| 久热九九| 国产精品一区在线观看你懂的| 婷婷丁香五月色| 婷婷六月丁香五月| 婷婷婷婷婷婷婷婷| 激情综合网址| 丁香六月婷婷综合| 天天综合网站| 九九碰九九爱97| 五月丁香 啪啪| 久久久婷| 日本狠狠色| 成人精品在线观看| 欧美搡BBBBB摔BBBBB| 国产黄色在线观看| 91中文狠狠综合| www.丁香六月婷婷久久天堂影院.con| 伊大人久久| 色色综合网。| www.五月婷婷.com| 18av天堂| 日韩色色视频www| 久久综合激情婷婷激情| 久久久精品色| 天天综合五月| 亚洲第一第二网站| 色一色综合| 久久3级片| 婷婷色中文| 色五月综合在线| 六月色婷婷欧美| 久久这里99| 五月天婷婷丁香导航| 久久精品4| 五月色丁香| 丁香花社区av| 91精产一区三区免费观看| 91碰碰| 婷婷五月天深爱| 色99在线观看| 精品久久人妻| 五月天丁香婷婷视频网址 | 激情综合区| 三年高清大片免费观看国语| 亚洲国产另类av| 五月婷在线| 逼逼AV| 大香蕉久久久| 婷婷97狠狠成人网站| 日本123区日韩欧美不卡在线看| 99热e| 天天操天天操综合| 99九九热在线观看| 一二线视频 另类| 國語久久婷| 丰满人妻一区三区三区| 91人人操.COM| 国产操B| 婷婷她六月天| 丁香六月情| 国产精品久久久久久亚洲毛片| 伊人青涩网| 99视频色在线观看| 激情开心五月天| 欧洲第一无人区观看| 女操碰| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 久久伊人婷| 色爱99| 天天干天天射色综合| 色五月丁香婷婷| 91视频久久久| 久久网思思| 99色| 久热99热| 激情五婷网| AA片在线观看视频在线播放| 黄网免费观看| 婷婷五月花| 久久婷婷老| 热久久99视频| 国产91视频| 色一情一乱一乱一区9| 亚洲天堂AAA| www.久久久久| 色色爽爽天天| 久久免费操| 极品五月天| 一级片sese片.COM| 丁香九月激情| 人橾人| 五月丁香偷拍| 五月丁香 狠狠爱| 婷婷五月色丁香在线看| 91久久久久久| 《战争与艾拉》完整版| 伊人99热| 久久婷五月| www.99精品在线| 国产精品岛国片在线观看免费| www,婷婷五月天777me,com| 伊人激情AV一区二区三区| 爱射综合| 日日操日日撸| 五月激情啪啪啪| 91九色精品熟女内射| 超碰国产av| 激情五月天 婷婷| 9999热在线观看| 丁香婷婷色情社区成人小说| 97人人操com| va亚洲中文在线| 4438全国最大视频成人网站在线观看 | 极品另类| 色五月婷婷操逼| 久久人操| 免费九九热| 亚洲色综合| 亚洲小说五月婷婷| 国产成人精品一区二区三区视频 | 五月丁香好婷婷A片网| www,色婷婷| www.91操| www.婷婷.com| 亭亭色天香| 婷婷婷婷婷婷婷婷婷婷丁香| 激情综合网 激情五月天| 在线看片h站| 激情综合5月| 97在线观视频免费观看| 五月丁香六月激情综合在线| 人人操碰| 99热日| 热99精品视频在线观看| 丁香五月成人| 在线1青婷| 超碰97久久| 色五月亚洲| 婷婷五月天影视| 综合99在线| 日韩在线观看亚洲| 99热这里只有精品手机在线观看| 成人无码髙潮喷水A片| 超碰熟女拍拍| 九九精品综合| 免费看欧美成人A片无码| 精品一区二区三区木瓜| 激情五月份婷婷| 大香蕉综合在线| 亚洲激情视频网| 激情性爱婷婷| 五月天综合色| 99热只有国产在线精品| 91在线视频综合| 五月婷婷无码| 夜夜做夜夜愛| 秋霞成人毛片一级A片| 精品香蕉99久久久久网站| 日韩视频99| 思思久久99热| 91在线人| 色色亚洲| 激情五月天婷婷在线网址发给我| 久久精品爱爱| av人人操| 伊人无码高清| 色五月五月天色婷婷色五月| 欧洲激情五月天| 97日在线视频| 大香蕉福利导航| 日夜操B| 婷婷五月在线播放| 五月丁香激情片| 99热欧美偷拍| 老师的粉嫩小又紧水又多A片视频| 天天综合精品| 9久热这里只有精品视频| 亚洲六月婷婷| 色噜噜狠狠狠狠色综合久欧美| 六月丁香五月天| 伊人五月丁香| 26uuu亚洲色| 综合另类视频| 4438国产免费看| 丁香五月综合| 亚洲午夜AV| 婷婷五月在线播放| 亚洲 在线 性爱 | 99在线精品视频免费观看20| 五月色情婷婷| www.五月天色色.com| 热99视频精品在线| 国产精品第一国产精品| 大香蕉久久久久| 久狠狠狠| 狠狠狠狠狠草| 亚洲九九九九| 日本a片网址| 丁香色五月 97干| 啪啪东京热| 色婷婷精| 丁香五月天成人| 嫩草AV久久伊人妇女超级A| 久久久999精品| 久9视频免费播放| 日操夜撸| 婷婷色网站| 五月丁香婷婷激情在线| 丁香五月婷婷六月婷| 久热超碰| 五月丁香综合啪啪| 啪啪五月综合| 婷婷色五月天色色| 日本色色影院| 婷婷久久爱| 丁香婷婷五月天成人| 四川BBB搡BBB搡多人乱亂| 99热精品在线观看| 欧洲色色| 色99视频| 色五月婷婷五月天| 深爱五月婷婷| 日本婷婷| 日日夜夜干| 六月激情婷婷| 99re6在线视频精品免费| 天天日夜夜| 99爱视频| 久久最新色| 99在线69| 久久久97| 99色综合| 伊人九热| 九九Y精品热播| 激情国产综合| 五月丁香少妇| 噜噜噜狠狠色综合| 99在线观看视频免费| 六月婷伊人| 激情综合网激情五月欧美| 丁香美女主播视频在线观看| 九九热思思| 99热这里只有精品9| 97香蕉久久超级碰碰高清版 | 天天干天天干天天干天天干天| 橾逼网| 天天谢天天操| 69色婷婷| 狠狠穞A片一區二區三區| 婷婷五月天基地| 三级毛片视频| 国产精品A片在线| 大香线蕉伊人| 热99国产精品| 综合久久影院| 色婷婷狠狠干| 亚洲色激情| 九九99热| 在线观看国产高清视频免费网站 | 婷婷五月天综合在线 | 亚洲乱码精品久久久久..| 五月丁香六月激情| 日韩久综合| 色综合色综合婷婷热| 开心五月色婷| 久久看婷婷| 久99热| 亚洲AV永久无码影院黑人| 日韩青青| 色五月天丁香| 久久婷婷五月天激情唯美| 亚洲成人五月| 99热久久这里只有精品| 婷婷狠狠爱| 思思99热热热99| 婷婷涩五月天综合| 色婷婷久久久| 免费无码毛片一区二区A片| 精品导航在线x不卡| 在线国产精品色| 激情色视频| 久久免片| 一本到不卡高清DVD| 久久婷婷五月综合| 俺去啦综合网| 狠狠色噜噜狠狠狠888| 99热久久日本| 色欲Av五月天| 欧美日韩成人在线网| 开心激情站| 成人 视频免费观看网站| 色人五月婷婷| 免费黄色视频网址| 国产精品成人网站| 性爱在线播放av| 成人版视频在线观看| 欧美日本免费一道免费视频| 色五月色五天色情网| 人人人va亚洲视频在线| 丁香五月激情综合| www.韩日视频| 色婷婷五月天天天天天天天天天| 玖玖在线视| 秋霞九九无码| 国熟女视频| 大香蕉综合在线| 先锋资源婷婷| 色五月影视| 九九综合| 99免费成人网| 色噜噜狠狠色综合成人网| 婷五月天| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久新地此| 开心五月深爱五月丁香五月激情五月| 五月丁香五月综合欧美| 久碰婷婷视频| 天天天天天操| 婷婷五月天在线观看| 亚洲另类在线观看| 九月婷婷色色| 涩涩婷婷五月| 色婷婷AV久久久久久久| 超碰婷婷五月| 深爱五月亚洲| 国产国产乱老熟女视频网站97| 丁香婷婷六月婷婷六月婷婷六月婷婷| 97碰碰在线观看视频| 绿色小导航AV| 五月天啪啪啪| 日韩久操婷婷| 六月丁香六月婷婷欧美| 九月激情婷婷丁香| 婷婷激情五月综合丁香社| 国产黄色在线| 99热最新| 天天插天天插天天插天天插| 99热在线观看成人| 五月婷婷丁香狠狠撸久久| 黑人巨粗进入警花疼哭A片| 亚洲性图一区二区三区| 少妇被下春药玩弄A片| 日日操夜夜操狠狠操| 久青草影院| 5月婷婷视频网站综合| www.久久久久| 日日操夜夜爽天天天| 九色视频91| 婷婷丁香久久五月综合| 五月天伊人| 天天干狠狠操| www99精品日韩| 五月婷婷大香蕉| 99精品小视频| 五月久久| 最新日韩久热免费视频看看| 69色婷婷| 色碰干| 天天操综合网| 天天日天天插天天操| 被强行糟蹋的女人A片| 久久96热| 亚洲综合视频八| 能看的AV| 丁香五月天激情四射网| www.色九月| 激情综合网五月在线播放| 婷婷五月天视频| 激情亚洲婷婷六月| 激情丁香久久| 91avse| 99re思思精品视频在线观看| 另类少妇人与禽zOZZ0性伦| 夜夜撸天天日| 人人干99| 婷婷五月天福利| 五月天六月婷婷电影| 五月丁香自拍| 开心激情婷婷| www.深爱激情| 亚洲六月色婷婷| 大地资源色婷婷视频在线| 色欲一二三| 日韩性视频| 婷婷五月天VI| 99精品色| 立川无码av| 青草青草久9视频在线视频| www.射伊蕉婷婷| 婷婷爱综合| 久七香蕉| 国产激情视频在线观看| www,99热| 亚洲精品视频在线| 婷婷九九色| 性色五月天| 日本五月视频| 婷婷成人综合| 久久婷婷六月综合综合| 99热这里只有精品22| 六月婷婷九月丁香亚洲综合| 婷婷中文无码| 国产特黄色精品一区二区三区精品无广告| www.五月婷婷.com| 午夜丁香六月婷| 久久久久8888| 欧美日韩色色| 丁香六月情| 99热九九热| 97碰久久| 九九九九无码| 日韩中文字幕| 天天日天天舔| 丁香五月色情| 色六月天天激情综合网| 九九精品碰| 亚洲V国产V欧美V久久久久久| 色99日韩| 99小视频网站| 色播播之激情五月婷婷| 色婷婷大香蕉| 99精品综合在线| 亚洲经典三级| 97AV在线视频| 婷婷欧美| 丁香婷婷色| 亚洲婷婷开心五月| 99精品国产在热久久| 97碰人人操| 大香蕉在线99热| 久久久国产精品黄毛片| 九九视频这里只有精品| 五月天桃色深爱网| 色五XX| 人人看人人草人人摸| 久久综合这里只有精品1| 大香蕉伊人99| 五月丁香婷婷激情影院欧美| 久久大国产香蕉| 97精品人人A片免费看| 亚洲操B| 亚洲视频操| 久久天天| 五月婷婷丁香色吧网| 99 频99热国里只有精品| 久久黄A片| 婷婷成人av| 狠狠干最新地址| 无遮挡国产高潮视频免费观看| 日韩性视频| 九月丁香婷婷综合| 婷婷五月丁香综合激情| 婷婷射丁香| 五月丁香五月婷婷在线观看| 激情五月婷婷色| 五月婷婷婷婷婷婷艺术| 能看的AV网站| 丁香六月毛片| 情情五月天色| 影音先锋 婷婷| 日日做夜夜爱| 丁香五月在线视频黑人| 婷婷五月天首页| 五月天激情子轮| 激情综合网 激情五月天| 可以直接看的AV网站| 青青草原精品久久| 色欲资源网| 色 五月俺去也| 激情五月六月丁香| 久久色五月天综合网| 久久国产色| 99热只有| 色五月天丁香| 成人片在线播放| 天天弄天天操| 色五月婷婷7777| 天天日天天干天天操| 偷偷操99| 免费观看亚洲AV片| 五月丁香六月在线欧美| 99热伊人| 色婷婷激情小说网| 99爱在线视频观看| 日韩在线aaa| 丁香婷婷色色| 欧美成人va| 白人荫道BBWBBB大荫道| 亚洲成人日韩无码精品| 色狠狠综合入口| 五月天天堂久久| 最新午夜理论片| 五月婷婷婷婷婷| 亚洲成人黄色网| 六月撸婷婷| 狠狠色综合网| 99精品热| 日比网免费国产| av操一操| 色丁香五月婷婷婷| 婷婷六月激情丁香| 久久亚洲天堂| 成人短视频在线观看| 久热婷婷综合| 九九热re99re6在线精品| 天天色情站| 欧美天天干天天草| 婷婷九月综合| 青青草视频免费观看| 五月丁香色色色| 九九99免费视频| 五月色婷婷AV| 99久久九九| 丁香五月天堂网| 欧美日本国产| 色色综合网站| 人人干Av| 大香蕉婷婷丁香天堂AV| 色色网站毛片| 色色丁香五月| 久久五月丁香激情综合| 色色色在线观看| 婷婷婷婷婷婷婷五月丁香| http://www.com久久久精品一区| AV动漫不卡无码免费| 天天操夜夜夜拍拍拍| 久久机热/这里只有精品| 亚洲综合成人网| 五月丁香888| 婷婷五月蜜桃成人桃色丁香| 九九在线精点品| 欧美成人精品三区综合A片| 欧美色色色色色色| 久久视频这里都是精品| 玖玖午夜视频| 人五月天婷婷喷水| 成人五月天丁香| 亚艹艹| 五月婷在线| 色色丁香五月天社区| 色五月天天| 日本五月婷| 婷婷伊人75| 亚洲人妻一区二区| 天天日天天插| 97色婷婷五月天| 这里只有精品免费视频| 禁欲电影完整版在线播放| 亚洲激情婷婷| 久久怕怕视频| 日韩艹比| 激情小说五月丁香在线视频观看视频| 停停五月色宗合| 9精品国产在热久久| 99热无码精品| 色999亚洲人成色| 久热99热| 综合五月丁香六月婷婷| 久久小说网| 亚洲五月天第一综合干| 超碰激情网| 色婷婷综合电影| 丁香六月天之亚州热女| 日韩少妇内射免费播放| 色婷婷基地| 99色干| 色综合中文| 69色婷婷| 色五月色情| 可以免费看AV网站| 婷婷五月丁香青青草在线| 南京搡BBBB搡BBBB| 婷婷深爱五月| 少妇高潮一区二区三区99欧美| 综合激情在线| 激情婷婷网| 99久久网站| www.com.色色| 久久99热这里只有精品| 亚州成人综合在线| 午夜电影网VA内射| 99热最新国内| 五月天综合影院| 久久大国产香蕉| 岛国av电影网站| 91精品刘玥| 热思思| 久9热插入| 亚洲色五月婷婷| 无码髙清| 男女99免费视频| 亚洲精品国产setv| 激情婷婷五月天| 99久99热| 婷婷在线网|