程生命周期詳解：從fork、exec到僵尸進(jìn)程回收)
在 Linux 上你每敲下一個(gè)命令、每打開一個(gè)程序背后都有一套完整的生命周期在運(yùn)轉(zhuǎn)。從 bash 收到你的命令到 fork 出一個(gè)新進(jìn)程再到 exec 加載可執(zhí)行文件然后進(jìn)入運(yùn)行、睡眠、停止、退出等狀態(tài)最后被父進(jìn)程回收這個(gè)過程就是 Linux 程序的進(jìn)程生命周期。我最早對(duì)生命周期有實(shí)感是在排查一個(gè)不起眼的服務(wù)進(jìn)程時(shí)。程序明明已經(jīng)退出了ps 里卻還能看到一條記錄狀態(tài)是 Z也就是僵尸。后來才明白程序退出和進(jìn)程被回收是兩回事這正好對(duì)應(yīng)生命周期的一頭一尾。這篇文章就把這套過程拆開講起點(diǎn)在哪、中間狀態(tài)怎么切、結(jié)尾怎么收以及實(shí)際排查時(shí)該按什么順序看。如果你平時(shí)只寫代碼、不關(guān)心進(jìn)程狀態(tài)可能覺得生命周期是操作系統(tǒng)課程里才需要背的東西。但真到了線上服務(wù)卡住、進(jìn)程被反復(fù)重啟、明明退出了卻還在列表里時(shí)這套知識(shí)就是排查的第一條線索。下面按實(shí)際落地順序拆一遍。1. 生命周期起點(diǎn)一條命令是怎么變成一個(gè)進(jìn)程的1.1 先分清“程序”和“進(jìn)程”很多人會(huì)把“程序”和“進(jìn)程”混著說但在 Linux 里它們是兩個(gè)完全不同的東西。程序是磁盤上的靜態(tài)文件比如 /usr/bin/nginx、你自己編譯的 demo_server一堆二進(jìn)制指令和元數(shù)據(jù)躺在那里。進(jìn)程是程序被加載到內(nèi)存之后的運(yùn)行實(shí)體它有獨(dú)立的虛擬內(nèi)存、PID、文件描述符、環(huán)境變量、工作目錄、資源統(tǒng)計(jì)信息。一個(gè)程序可以被多次啟動(dòng)變成多個(gè)進(jìn)程。比如同一個(gè) nginx 二進(jìn)制在 master 和 worker 模型下會(huì)產(chǎn)生多個(gè)進(jìn)程同一個(gè) Java 應(yīng)用啟動(dòng)兩遍就是兩個(gè) JVM 進(jìn)程。理解生命周期首先得把“程序文件存在”和“進(jìn)程在運(yùn)行”分開看因?yàn)楹芏嗯挪閱栴}都發(fā)生在兩者之間的過渡階段。1.2 fork execLinux 創(chuàng)建進(jìn)程的標(biāo)準(zhǔn)路線Linux 里絕大多數(shù)進(jìn)程不是“憑空創(chuàng)建”的而是由一個(gè)已有進(jìn)程復(fù)制出來的。復(fù)制動(dòng)作叫 fork復(fù)制之后再換成新程序的鏡像叫 exec。這段可以理解成兩步父進(jìn)程調(diào)用 fork內(nèi)核創(chuàng)建一個(gè)幾乎一模一樣的子進(jìn)程。子進(jìn)程繼承父進(jìn)程的環(huán)境變量、文件描述符、信號(hào)設(shè)置、內(nèi)存內(nèi)容副本。子進(jìn)程調(diào)用 exec 族函數(shù)把當(dāng)前進(jìn)程的代碼段、數(shù)據(jù)段、堆棧整體替換成目標(biāo)程序的文件內(nèi)容并從新程序的入口點(diǎn)開始執(zhí)行。為什么設(shè)計(jì)成兩步因?yàn)?fork 階段可以方便地繼承父進(jìn)程的上下文比如當(dāng)前工作目錄、環(huán)境變量、標(biāo)準(zhǔn)輸入輸出。exec 階段則負(fù)責(zé)把進(jìn)程改造成目標(biāo)程序。bash 啟動(dòng)一個(gè)外部命令時(shí)用的就是這條標(biāo)準(zhǔn)路線。下面是一個(gè)最小示例可以直接編譯觀察#include unistd.h #include sys/wait.h #include stdio.h int main(void) { pid_t pid fork(); if (pid 0) { perror(fork); return 1; } if (pid 0) { execl(/bin/echo, echo, child running, NULL); _exit(127); } wait(NULL); return 0; }fork 返回 0 表示當(dāng)前在子進(jìn)程里返回正整數(shù)表示在父進(jìn)程里、這個(gè)數(shù)字是子進(jìn)程的 PID。exec 成功后不會(huì)返回如果執(zhí)行不到說明 exec 失敗。父進(jìn)程最后調(diào)用 wait就是在等子進(jìn)程結(jié)束這一步和生命周期結(jié)尾直接相關(guān)。1.3 前臺(tái)運(yùn)行和后臺(tái)運(yùn)行的第一個(gè)分岔點(diǎn)在終端里直接執(zhí)行 ./demo這個(gè)進(jìn)程是前臺(tái)進(jìn)程終端會(huì)被它占用CtrlC 會(huì)通過 SIGINT 信號(hào)終止它。如果執(zhí)行 ./demo 進(jìn)程進(jìn)入后臺(tái)它不占用終端輸入但 stdout 和 stderr 通常還是往終端輸出只是你可以在同一終端繼續(xù)打命令。這個(gè)差異對(duì)生命周期影響很大。后臺(tái)進(jìn)程如果在脫離終端的管理下繼續(xù)運(yùn)行可能變成孤兒進(jìn)程或守護(hù)進(jìn)程前臺(tái)進(jìn)程則會(huì)因?yàn)榻K端關(guān)閉而收到 SIGHUP很多程序如果沒有處理這個(gè)信號(hào)就直接退出了。實(shí)際使用中我一般會(huì)先用前臺(tái)方式跑一次確認(rèn)日志和退出碼正常再考慮用 nohup 或者 systemd 把它放到更穩(wěn)定的生命周期管理里。不要一上來就搞后臺(tái)運(yùn)行否則輸出、日志、狀態(tài)入口都會(huì)變得分散排查起來很被動(dòng)。2. 進(jìn)程運(yùn)行中的狀態(tài)流轉(zhuǎn)你可以在 ps 輸出里看到一切2.1 R、S、D、T、Z 這幾個(gè)狀態(tài)分別代表什么程序進(jìn)入進(jìn)程后生命周期不會(huì)一直停在“運(yùn)行中”。Linux 會(huì)不停切換進(jìn)程狀態(tài)給每個(gè) CPU 核分配最值得運(yùn)行的任務(wù)。ps 的 STAT 列就是生命周期最直觀的窗口。R運(yùn)行態(tài)或者可運(yùn)行態(tài)表示進(jìn)程在 CPU 執(zhí)行隊(duì)列里隨時(shí)可能被調(diào)度。S可中斷睡眠態(tài)表示進(jìn)程在等待某個(gè)事件或資源比如等待網(wǎng)絡(luò)包、等待磁盤 I/O、等待用戶輸入、sleep 中。D不可中斷睡眠態(tài)通常是等待內(nèi)核態(tài) I/O 完成比如磁盤寫回。這種狀態(tài)不能隨便用信號(hào)殺掉因?yàn)閮?nèi)核正在操作某個(gè)關(guān)鍵資源。T停止態(tài)一般是收到了 SIGSTOP、SIGTSTP比如終端里按 CtrlZ進(jìn)程會(huì)被暫停。Z僵尸態(tài)進(jìn)程已經(jīng)退出但父進(jìn)程還沒有調(diào)用 wait 獲取退出狀態(tài)。如果你看到某個(gè)進(jìn)程長(zhǎng)時(shí)間停在 S 狀態(tài)不代表它出問題它可能只是在等一個(gè)合適的喚醒條件。如果大量進(jìn)程長(zhǎng)時(shí)間停在 D 狀態(tài)就要重點(diǎn)關(guān)注磁盤、NFS、I/O 子系統(tǒng)是否異常了。很多人一看到 RUNNING 就覺得資源占用高其實(shí)嚴(yán)格說 R 隊(duì)列長(zhǎng)度才能反映 CPU 競(jìng)爭(zhēng)情況。2.2 為什么進(jìn)程會(huì)從運(yùn)行態(tài)切到睡眠態(tài)進(jìn)程不會(huì)永遠(yuǎn)占用 CPU。當(dāng)它執(zhí)行到 read、recv、sleep、等待鎖、等待條件變量時(shí)內(nèi)核會(huì)把它放到對(duì)應(yīng)資源的等待隊(duì)列里CPU 就不調(diào)度它了。這就是從 R 到 S 的過程。等到數(shù)據(jù)包到達(dá)、超時(shí)時(shí)間到、鎖被釋放時(shí)內(nèi)核會(huì)給這個(gè)進(jìn)程一個(gè)喚醒信號(hào)把它重新放回運(yùn)行隊(duì)列狀態(tài)又變回 R。這個(gè)來回切換是生命周期里占比最大的一段。如果進(jìn)程在生命周期內(nèi)長(zhǎng)時(shí)間不切換狀態(tài)反而不正常。我在排查“進(jìn)程卡住”時(shí)第一動(dòng)作不是看 CPU 占用而是用 ps 確認(rèn)它到底停在哪個(gè)狀態(tài)。如果停在 S再用 strace 掛上去看它卡在哪個(gè)系統(tǒng)調(diào)用順藤摸瓜找到阻塞點(diǎn)。2.3 線程生命周期與進(jìn)程生命周期有什么關(guān)系線程是進(jìn)程內(nèi)部的執(zhí)行流。同一個(gè)進(jìn)程的多個(gè)線程共享地址空間、堆、文件描述符但各自有獨(dú)立的棧和寄存器上下文。線程生命周期不會(huì)長(zhǎng)于進(jìn)程生命周期進(jìn)程一旦退出所有線程都會(huì)被內(nèi)核回收。但線程的狀態(tài)切換和進(jìn)程類似也有運(yùn)行、睡眠、停止等狀態(tài)。top 里按 H 鍵或者執(zhí)行 top -H -p PID可以看到某個(gè)進(jìn)程內(nèi)部各個(gè)線程的狀態(tài)。Java 進(jìn)程尤其明顯一個(gè) JVM 進(jìn)程里往往有主線程、GC 線程、業(yè)務(wù)線程、日志線程任何一個(gè)長(zhǎng)時(shí)間卡住都可能拖累整個(gè)進(jìn)程。如果你管理過 Java 應(yīng)用應(yīng)該見過 jstack 輸出的線程堆棧。jstack 列出的狀態(tài)其實(shí)是 JVM 層面的線程生命周期跟操作系統(tǒng)線程狀態(tài)不完全等同但兩者有對(duì)應(yīng)關(guān)系。遇到進(jìn)程整體不退出、連接數(shù)異常時(shí)先分清是線程阻塞還是進(jìn)程狀態(tài)問題能少走很多彎路。3. 進(jìn)程結(jié)束不是瞬間完成的退出碼、信號(hào)與僵尸進(jìn)程3.1 程序正常退出時(shí)發(fā)生了什么程序正常結(jié)束有三種常見形式main 函數(shù)里 return 0直接返回。調(diào)用 exit(0) 結(jié)束當(dāng)前進(jìn)程。調(diào)用 _exit(0) 或 _Exit(0) 直接進(jìn)入內(nèi)核退出邏輯。exit 和 return 不一樣。exit 會(huì)先刷新標(biāo)準(zhǔn) I/O 緩沖區(qū)執(zhí)行 atexit 注冊(cè)的函數(shù)然后才進(jìn)入內(nèi)核退出流程。_exit 不會(huì)刷新緩沖也不執(zhí)行清理函數(shù)直接退出。所以在寫后端程序時(shí)如果要清理某個(gè)臨時(shí)文件、寫入日志、釋放自定義鎖盡量不要在 main 的 return 里依賴 _exit。正確做法是先用 exit 或正常 return 讓清理邏輯走完。父進(jìn)程拿到子進(jìn)程退出狀態(tài)后可以用 shell 的方式看./demo echo $?0 通常表示成功非 0 表示失敗。$? 就是前一個(gè)命令的生命周期“結(jié)賬單”。3.2 被信號(hào)終止和正常退出有什么不同進(jìn)程生命周期并不總是自然走完。CtrlC、kill 命令、系統(tǒng) OOM Killer、服務(wù)管理工具停止服務(wù)本質(zhì)上都是發(fā)送信號(hào)。SIGINT終端 CtrlC 產(chǎn)生默認(rèn)終止進(jìn)程可捕獲。SIGTERMkill 默認(rèn)發(fā)送請(qǐng)求進(jìn)程優(yōu)雅退出可捕獲。SIGKILLkill -9 發(fā)送不可捕獲、不可忽略、不可阻塞進(jìn)程被內(nèi)核強(qiáng)制終止。SIGHUP終端關(guān)閉或掛斷時(shí)產(chǎn)生默認(rèn)終止進(jìn)程。SIGSTOP暫停進(jìn)程不可捕獲。被信號(hào)終止時(shí)進(jìn)程生命周期的結(jié)果表現(xiàn)為“被信號(hào) N 殺死”。在 wait 狀態(tài)里父進(jìn)程能觀察到子進(jìn)程是因?yàn)槟膫€(gè)信號(hào)結(jié)束的shell 里可以這樣看./demo echo $?常見輸出是 137也就是 128 9表示進(jìn)程被 SIGKILL 殺死。這個(gè)規(guī)律在排查“進(jìn)程突然沒了”時(shí)很好用。不要一開始就 kill -9。先試 SIGTERM讓程序有機(jī)會(huì)保存狀態(tài)、清理資源。反復(fù)用 SIGKILL 會(huì)導(dǎo)致臨時(shí)文件堆積、數(shù)據(jù)庫(kù)連接泄漏、心跳消息沒發(fā)完生命周期收尾收不干凈。3.3 僵尸進(jìn)程是怎么產(chǎn)生的為什么必須回收子進(jìn)程退出后內(nèi)核并不會(huì)把它的所有信息都清掉。它要保留最少量的記錄比如 PID、退出狀態(tài)、資源使用量直到父進(jìn)程調(diào)用 wait/waitpid 來讀取。如果父進(jìn)程沒有調(diào)用 wait子進(jìn)程就會(huì)停留在 Z 狀態(tài)也就是僵尸進(jìn)程。僵尸進(jìn)程不占 CPU也不占實(shí)際內(nèi)存但它仍然占著一個(gè) PID且不會(huì)被調(diào)度。如果父進(jìn)程從不回收子進(jìn)程而子進(jìn)程又不斷產(chǎn)生PID 資源會(huì)被耗盡最終可能出現(xiàn) fork 失敗。更麻煩的是很多人看到 Z 狀態(tài)會(huì)以為進(jìn)程還在運(yùn)行實(shí)際它已經(jīng)退出只是“身份證”還沒注銷。所以判斷生命周期是否真的結(jié)束不能只看進(jìn)程在不在還要看它是不是 Z 狀態(tài)。3.4 用 wait/waitpid 回收子進(jìn)程父進(jìn)程想要正確回收子進(jìn)程就必須在合適時(shí)機(jī)調(diào)用 wait 或 waitpid。wait 會(huì)阻塞等待任意一個(gè)子進(jìn)程退出waitpid 可以指定等待某個(gè) PID還支持 WNOHANG 選項(xiàng)表示沒有子進(jìn)程退出時(shí)立即返回。這在多進(jìn)程服務(wù)里尤其重要。比如一個(gè)網(wǎng)絡(luò)服務(wù)用 fork 給每個(gè)連接創(chuàng)建子進(jìn)程如果主進(jìn)程只管 fork不管 wait一段時(shí)間后系統(tǒng)里就會(huì)出現(xiàn)大量僵尸進(jìn)程。常見的管理方式是在主進(jìn)程的循環(huán)里配合 SIGCHLD 信號(hào)處理子進(jìn)程退出時(shí)內(nèi)核給父進(jìn)程發(fā) SIGCHLD父進(jìn)程在信號(hào)處理函數(shù)里調(diào)用 waitpid配合 WNOHANG 把已經(jīng)退出的子進(jìn)程全部回收。這樣既能及時(shí)收尾又不會(huì)阻塞主流程。如果是一個(gè)簡(jiǎn)單的父子進(jìn)程示例直接 wait(NULL) 就夠了。生產(chǎn)環(huán)境里的進(jìn)程池、任務(wù)隊(duì)列則需要更精細(xì)的回收策略。4. 守護(hù)進(jìn)程與服務(wù)管理生命周期被“外部化”的程序4.1 守護(hù)進(jìn)程和普通前臺(tái)進(jìn)程有什么差別普通前臺(tái)進(jìn)程跟終端綁定。終端一旦關(guān)閉內(nèi)核會(huì)給進(jìn)程發(fā)送 SIGHUP很多進(jìn)程就會(huì)退出。守護(hù)進(jìn)程要做的是徹底脫離這個(gè)生命周期牽制。守護(hù)進(jìn)程一般會(huì)調(diào)用 fork 一次或兩次讓自身不再作為會(huì)話首進(jìn)程。調(diào)用 setsid 創(chuàng)建新的會(huì)話脫離原終端控制。把工作目錄改成 /避免占用某個(gè)掛載點(diǎn)導(dǎo)致卸載失敗。關(guān)閉標(biāo)準(zhǔn)輸入輸出、錯(cuò)誤輸出或者把它們重定向到日志文件。屏蔽或處理 SIGHUP 信號(hào)防止終端掛斷誤殺進(jìn)程。自己手動(dòng)寫守護(hù)進(jìn)程時(shí)這些步驟容易踩坑。比如忘記 setsid進(jìn)程可能還掛著原終端忘記重定向標(biāo)準(zhǔn)輸入輸出某些庫(kù)讀終端或?qū)懡K端時(shí)會(huì)出問題。更穩(wěn)妥的做法是寫普通程序再交給 systemd 管理由 systemd 負(fù)責(zé)守護(hù)化和重啟。4.2 systemd 如何接管服務(wù)生命周期現(xiàn)代 Linux 發(fā)行版基本都用 systemd 管理服務(wù)。服務(wù)不再需要自己處理守護(hù)化systemd 會(huì)直接創(chuàng)建進(jìn)程、管理狀態(tài)、記錄日志并在進(jìn)程退出后根據(jù)策略決定是否重啟。一個(gè)最小服務(wù)單元文件類似[Unit] DescriptionDemo Service [Service] Typesimple ExecStart/opt/demo/demo_server Restarton-failure RestartSec3 [Install] WantedBymulti-user.target寫好后執(zhí)行sudo systemctl daemon-reload sudo systemctl start demo_server sudo systemctl status demo_server這個(gè)模型把生命周期從程序內(nèi)部移到了外部。程序只需要做好 SIGTERM 的優(yōu)雅退出處理運(yùn)行、退出、失敗重啟的判斷全部交給 systemd。服務(wù)被 kill 掉后systemd 發(fā)現(xiàn)進(jìn)程退出再按 Restart 策略拉起新進(jìn)程。系統(tǒng)里很多服務(wù)都是這么管理的。MySQL、nginx、Redis 這些程序在 Linux 上之所以推薦用 systemd 啟停不是因?yàn)樗芴嵘阅芏巧芷诟?guī)范崩潰恢復(fù)、開機(jī)自啟、日志收集都能統(tǒng)一處理。4.3 進(jìn)程池和任務(wù)隊(duì)列帶來的生命周期問題熱詞里有“進(jìn)程池”它和生命周期關(guān)系很緊。進(jìn)程池的本質(zhì)是預(yù)先創(chuàng)建一批工作進(jìn)程重復(fù)處理任務(wù)而不是每個(gè)任務(wù)都現(xiàn) fork 一個(gè)進(jìn)程。這樣可以省掉反復(fù)創(chuàng)建、銷毀進(jìn)程的開銷提高吞吐。但進(jìn)程池也有生命周期管理問題工作進(jìn)程在處理任務(wù)時(shí)退出池管理器要能發(fā)現(xiàn)并補(bǔ)充新進(jìn)程。任務(wù)進(jìn)來時(shí)如何把工作量均勻分給空閑進(jìn)程。工作進(jìn)程僵死時(shí)是否會(huì)自動(dòng)重新拉起。進(jìn)程退出時(shí)任務(wù)隊(duì)列里的數(shù)據(jù)會(huì)不會(huì)丟。設(shè)計(jì)這類系統(tǒng)時(shí)我的建議是給每個(gè)工作進(jìn)程加一個(gè)心跳或進(jìn)程狀態(tài)標(biāo)記并在主流程里維護(hù)一份任務(wù)分配表。工作進(jìn)程結(jié)束后由池管理器統(tǒng)一回收和重啟而不是讓每個(gè)任務(wù)自己處理進(jìn)程退出。這一類場(chǎng)景里“進(jìn)程生命周期”已經(jīng)不只是單條進(jìn)程自己的事而是一個(gè)管理單元里多個(gè)進(jìn)程互相配合、互相回收的問題。排查時(shí)看 ps 只能知道單個(gè)狀態(tài)真正要看的還有父進(jìn)程是誰(shuí)、誰(shuí)在負(fù)責(zé)回收、任務(wù)是否重新入隊(duì)。5. 用命令觀察程序的完整生命周期從出生到回收的排查鏈路5.1 ps 和 top看當(dāng)前狀態(tài)想觀察一個(gè)程序的生命周期第一步就是看進(jìn)程列表。常用命令不多但每個(gè)都有側(cè)重點(diǎn)ps -ef ps aux ps -ef --forest pgrep -a demo_server top -p PID pidstat -p PID 1ps -ef 適合看 PID、PPID 和命令完整參數(shù)ps aux 會(huì)多出 CPU、內(nèi)存、狀態(tài) STATps -ef --forest 可以輸出進(jìn)程樹一眼看出誰(shuí)是誰(shuí)的子進(jìn)程pgrep 適合按名字找 PID。top 是實(shí)時(shí)視圖適合觀察進(jìn)程狀態(tài)變化和 CPU 使用波動(dòng)。pidstat 可以按固定間隔輸出指定進(jìn)程的 CPU、內(nèi)存、線程數(shù)量方便記錄一段時(shí)間內(nèi)的生命周期數(shù)據(jù)。判斷進(jìn)程處于哪個(gè)階段時(shí)我一般先看 STAT 列。R 表示正在或等待調(diào)度S 表示等待某類事件D 表示內(nèi)核態(tài) I/O 等待T 表示暫停Z 表示僵尸。這一列基本能告訴你生命周期走到了哪一步。5.2 strace從系統(tǒng)調(diào)用層面跟蹤生命周期事件ps 只能看到切片strace 能看到過程。比如跟蹤一個(gè)程序的 fork、exec、exit 系統(tǒng)調(diào)用可以用strace -f -e traceprocess ./demo_server-f 表示同時(shí)跟蹤子進(jìn)程traceprocess 表示只看進(jìn)程相關(guān)的系統(tǒng)調(diào)用包括 fork、clone、execve、exit_group、wait4 等。輸出里能看到子進(jìn)程什么時(shí)候創(chuàng)建、什么時(shí)候執(zhí)行新程序、什么時(shí)候退出、父進(jìn)程什么時(shí)候回收。生產(chǎn)環(huán)境不建議隨便對(duì)繁忙服務(wù)用 strace它會(huì)明顯拖慢性能。更穩(wěn)妥的方式是先用 strace -p PID 短暫掛幾秒采集到卡住時(shí)的系統(tǒng)調(diào)用棧再立即分離。很多“進(jìn)程狀態(tài)異?！钡膯栴}靠這一步就能定位到是 read、write、recvfrom、poll、nanosleep 中的哪一個(gè)。5.3 讀 /proc 目錄直接看進(jìn)程自己的“檔案”Linux 的 /proc 文件系統(tǒng)會(huì)把每個(gè)進(jìn)程的信息暴露成一個(gè)目錄。目錄名就是 PID里面有很多關(guān)鍵文件。常用的包括/proc/PID/status進(jìn)程狀態(tài)、PPID、線程數(shù)。/proc/PID/cmdline啟動(dòng)命令。/proc/PID/fd已打開的文件描述符。/proc/PID/stat內(nèi)核統(tǒng)計(jì)信息。比如快速看某個(gè)進(jìn)程的實(shí)時(shí)狀態(tài)cat /proc/1234/status輸出里 State 一欄就是生命周期狀態(tài)PPid 表示父進(jìn)程 PIDThreads 表示線程數(shù)量。如果發(fā)現(xiàn)進(jìn)程是 zombiestate 會(huì)明確寫成 Z。如果想知道它打開了哪些文件可以 ls 一下 /proc/1234/fd這在排查文件占用、日志刪除、連接斷開時(shí)非常有用。5.4 一個(gè)可靠的排查順序當(dāng)你發(fā)現(xiàn)某個(gè) Linux 程序生命周期異常時(shí)我推薦的順序是先確認(rèn)進(jìn)程還在不在ps -ef | grep 程序名 或者 pgrep -a 程序名。再看狀態(tài)ps -o pid,ppid,stat,cmd -p PID?？锤高M(jìn)程是誰(shuí)如果 PPID 是 1說明它已經(jīng)被 systemd 收養(yǎng)成孤兒進(jìn)程了。如果是 Z 狀態(tài)找它的父進(jìn)程為什么不回收。是父進(jìn)程自己卡住了還是沒寫 wait 邏輯。如果是 S 狀態(tài)且一直不動(dòng)用 strace 掛上去看阻塞在哪個(gè)系統(tǒng)調(diào)用。最后看系統(tǒng)日志dmesg 或 journalctl -u 服務(wù)名確認(rèn)有沒有被 OOM Killer 殺死、有沒有 crash report。這套順序可以避免很多誤判。比如進(jìn)程看起來“沒反應(yīng)”但實(shí)際可能是正在等待網(wǎng)絡(luò)連接進(jìn)程看起來“消失了”但可能只是后臺(tái)運(yùn)行、輸出被重定向了進(jìn)程看起來“還在”但可能是僵尸記錄沒清掉。6. 生命周期相關(guān)的常見問題與排查清單6.1 程序啟動(dòng)了但沒有輸出可能是生命周期和終端綁定“脫鉤”了常見場(chǎng)景在終端執(zhí)行 ./demo_server程序起來后沒有任何輸出終端也能繼續(xù)敲命令。這時(shí)可能程序已經(jīng)進(jìn)入后臺(tái)或者啟動(dòng)過程被重定向到了文件。先用 ps 確認(rèn)進(jìn)程是否真的存在ps -ef | grep demo_server pgrep -a demo_server進(jìn)程存在但沒有輸出到終端要看 stdout 是否被重定向。用 ls -l /proc/PID/fd/1 能看到進(jìn)程的標(biāo)準(zhǔn)輸出指向哪里。如果指向某個(gè)日志文件說明輸出被重定向了不是程序卡死。還有一種情況是程序有緩沖區(qū)printf 之后沒有立即 flush。如果進(jìn)程被 SIGKILL 殺掉緩沖區(qū)的數(shù)據(jù)就丟了。這也是生命周期收尾的一部分正常退出時(shí) exit 會(huì)刷新緩沖強(qiáng)殺則不會(huì)。6.2 進(jìn)程不退出先檢查是不是子進(jìn)程沒有回收完服務(wù)進(jìn)程收到停止命令后一直不退常見原因不是主進(jìn)程不想退而是它有子進(jìn)程或后臺(tái)線程沒有結(jié)束。排查步驟用 ps -ef --forest 看進(jìn)程樹確認(rèn)有沒有子進(jìn)程還活著。用 top -H -p PID 看線程狀態(tài)。用 strace -p PID 看到底卡在什么系統(tǒng)調(diào)用上。如果是網(wǎng)絡(luò)服務(wù)檢查監(jiān)聽 socket 是否還有 ESTABLISHED 連接未關(guān)閉。如果是 Java 服務(wù)用 jstack 看線程整體狀態(tài)是否有鎖等待。不要因?yàn)橹鬟M(jìn)程不退出就立刻 kill -9。先弄清楚它為什么不愿意結(jié)束可能是清理邏輯在做最后的工作可能是在等待某個(gè)遠(yuǎn)端響應(yīng)超時(shí)正確地給 SIGTERM 并等待一段時(shí)間通常能保留更多有效信息。6.3 信號(hào)導(dǎo)致生命周期異常終止時(shí)怎么判斷誰(shuí)干的進(jìn)程被信號(hào)終止后從系統(tǒng)層面看沒有“程序員視角”的異常棧只能靠線索反推。優(yōu)先看這些dmesg 或 /var/log/messages 里有沒有 OOM Killer 記錄常見表現(xiàn)是進(jìn)程被 SIGKILL。journalctl -u 服務(wù)名 里有沒有服務(wù)管理器記錄的退出狀態(tài)。shell 里 echo $? 如果輸出 137說明被 SIGKILL143 是 12815說明被 SIGTERM。如果是自己寫的腳本或守護(hù)進(jìn)程檢查是否有 kill 命令誤匹配到了進(jìn)程名。我之前踩過一個(gè)坑腳本里用 pkill -f demo 想停掉舊版本結(jié)果把同名的新版本也殺了。原因就是 -f 匹配到了命令行里包含 demo 字符串的所有進(jìn)程包括剛拉起來的新進(jìn)程。生命周期里最怕這種“關(guān)聯(lián)誤殺”排查信號(hào)來源時(shí)要特別注意。6.4 一張快速定位狀態(tài)表觀察結(jié)果可能原因優(yōu)先處理方式STAT 為 R正在運(yùn)行或等待 CPU結(jié)合 CPU 占用判斷是否正常STAT 為 S等待事件或資源用 strace 看阻塞點(diǎn)STAT 為 D等待內(nèi)核 I/O 完成檢查磁盤、NFS、存儲(chǔ)STAT 為 T被 SIGSTOP 或 CtrlZ 暫停用 kill -SIGCONT 恢復(fù)STAT 為 Z子進(jìn)程退出父進(jìn)程未回收檢查父進(jìn)程 wait 邏輯PPID 變成 1原父進(jìn)程已退出進(jìn)程被收養(yǎng)確認(rèn)是否期望的后臺(tái)服務(wù)退出碼 137被 SIGKILL 殺死查 OOM、日志、外部 kill退出碼 143被 SIGTERM 殺死查服務(wù)停止邏輯和信號(hào)處理6.5 真正理解生命周期能解決什么問題生命周期不是一個(gè)需要背的概念它是一根把“程序文件、進(jìn)程、終端、信號(hào)、父進(jìn)程、系統(tǒng)服務(wù)”串起來的線。遇到問題時(shí)從這條線上定位大多數(shù) Linux 進(jìn)程異常都能找到入口。如果只是學(xué)習(xí)階段先把 ps 的 STAT 列、fork/exec 創(chuàng)建流程、exit/wait 回收流程看明白就夠用了。如果要長(zhǎng)期維護(hù)服務(wù)就把 systemd、守護(hù)進(jìn)程、優(yōu)雅退出、進(jìn)程池回收一起納入考慮你會(huì)發(fā)現(xiàn)很多“莫名其妙”的問題其實(shí)都發(fā)生在生命周期的某個(gè)特定階段。我個(gè)人更建議先拿一個(gè)簡(jiǎn)單的 demo 程序做實(shí)驗(yàn)前臺(tái)跑、加 跑、用 nohup 跑、放進(jìn) systemd 跑每一步都用 ps 和 strace 觀察一次。跑過一輪之后比看十篇理論文章都有用。 Linux進(jìn)程生命周期詳解：從fork、exec到僵尸進(jìn)程回收
在 Linux 上你每敲下一個(gè)命令、每打開一個(gè)程序背后都有一套完整的生命周期在運(yùn)轉(zhuǎn)。從 bash 收到你的命令到 fork 出一個(gè)新進(jìn)程再到 exec 加載可執(zhí)行文件然后進(jìn)入運(yùn)行、睡眠、停止、退出等狀態(tài)最后被父進(jìn)程回收這個(gè)過程就是 Linux 程序的進(jìn)程生命周期。我最早對(duì)生命周期有實(shí)感是在排查一個(gè)不起眼的服務(wù)進(jìn)程時(shí)。程序明明已經(jīng)退出了ps 里卻還能看到一條記錄狀態(tài)是 Z也就是僵尸。后來才明白程序退出和進(jìn)程被回收是兩回事這正好對(duì)應(yīng)生命周期的一頭一尾。這篇文章就把這套過程拆開講起點(diǎn)在哪、中間狀態(tài)怎么切、結(jié)尾怎么收以及實(shí)際排查時(shí)該按什么順序看。如果你平時(shí)只寫代碼、不關(guān)心進(jìn)程狀態(tài)可能覺得生命周期是操作系統(tǒng)課程里才需要背的東西。但真到了線上服務(wù)卡住、進(jìn)程被反復(fù)重啟、明明退出了卻還在列表里時(shí)這套知識(shí)就是排查的第一條線索。下面按實(shí)際落地順序拆一遍。1. 生命周期起點(diǎn)一條命令是怎么變成一個(gè)進(jìn)程的1.1 先分清“程序”和“進(jìn)程”很多人會(huì)把“程序”和“進(jìn)程”混著說但在 Linux 里它們是兩個(gè)完全不同的東西。程序是磁盤上的靜態(tài)文件比如 /usr/bin/nginx、你自己編譯的 demo_server一堆二進(jìn)制指令和元數(shù)據(jù)躺在那里。進(jìn)程是程序被加載到內(nèi)存之后的運(yùn)行實(shí)體它有獨(dú)立的虛擬內(nèi)存、PID、文件描述符、環(huán)境變量、工作目錄、資源統(tǒng)計(jì)信息。一個(gè)程序可以被多次啟動(dòng)變成多個(gè)進(jìn)程。比如同一個(gè) nginx 二進(jìn)制在 master 和 worker 模型下會(huì)產(chǎn)生多個(gè)進(jìn)程同一個(gè) Java 應(yīng)用啟動(dòng)兩遍就是兩個(gè) JVM 進(jìn)程。理解生命周期首先得把“程序文件存在”和“進(jìn)程在運(yùn)行”分開看因?yàn)楹芏嗯挪閱栴}都發(fā)生在兩者之間的過渡階段。1.2 fork execLinux 創(chuàng)建進(jìn)程的標(biāo)準(zhǔn)路線Linux 里絕大多數(shù)進(jìn)程不是“憑空創(chuàng)建”的而是由一個(gè)已有進(jìn)程復(fù)制出來的。復(fù)制動(dòng)作叫 fork復(fù)制之后再換成新程序的鏡像叫 exec。這段可以理解成兩步父進(jìn)程調(diào)用 fork內(nèi)核創(chuàng)建一個(gè)幾乎一模一樣的子進(jìn)程。子進(jìn)程繼承父進(jìn)程的環(huán)境變量、文件描述符、信號(hào)設(shè)置、內(nèi)存內(nèi)容副本。子進(jìn)程調(diào)用 exec 族函數(shù)把當(dāng)前進(jìn)程的代碼段、數(shù)據(jù)段、堆棧整體替換成目標(biāo)程序的文件內(nèi)容并從新程序的入口點(diǎn)開始執(zhí)行。為什么設(shè)計(jì)成兩步因?yàn)?fork 階段可以方便地繼承父進(jìn)程的上下文比如當(dāng)前工作目錄、環(huán)境變量、標(biāo)準(zhǔn)輸入輸出。exec 階段則負(fù)責(zé)把進(jìn)程改造成目標(biāo)程序。bash 啟動(dòng)一個(gè)外部命令時(shí)用的就是這條標(biāo)準(zhǔn)路線。下面是一個(gè)最小示例可以直接編譯觀察#include unistd.h #include sys/wait.h #include stdio.h int main(void) { pid_t pid fork(); if (pid 0) { perror(fork); return 1; } if (pid 0) { execl(/bin/echo, echo, child running, NULL); _exit(127); } wait(NULL); return 0; }fork 返回 0 表示當(dāng)前在子進(jìn)程里返回正整數(shù)表示在父進(jìn)程里、這個(gè)數(shù)字是子進(jìn)程的 PID。exec 成功后不會(huì)返回如果執(zhí)行不到說明 exec 失敗。父進(jìn)程最后調(diào)用 wait就是在等子進(jìn)程結(jié)束這一步和生命周期結(jié)尾直接相關(guān)。1.3 前臺(tái)運(yùn)行和后臺(tái)運(yùn)行的第一個(gè)分岔點(diǎn)在終端里直接執(zhí)行 ./demo這個(gè)進(jìn)程是前臺(tái)進(jìn)程終端會(huì)被它占用CtrlC 會(huì)通過 SIGINT 信號(hào)終止它。如果執(zhí)行 ./demo 進(jìn)程進(jìn)入后臺(tái)它不占用終端輸入但 stdout 和 stderr 通常還是往終端輸出只是你可以在同一終端繼續(xù)打命令。這個(gè)差異對(duì)生命周期影響很大。后臺(tái)進(jìn)程如果在脫離終端的管理下繼續(xù)運(yùn)行可能變成孤兒進(jìn)程或守護(hù)進(jìn)程前臺(tái)進(jìn)程則會(huì)因?yàn)榻K端關(guān)閉而收到 SIGHUP很多程序如果沒有處理這個(gè)信號(hào)就直接退出了。實(shí)際使用中我一般會(huì)先用前臺(tái)方式跑一次確認(rèn)日志和退出碼正常再考慮用 nohup 或者 systemd 把它放到更穩(wěn)定的生命周期管理里。不要一上來就搞后臺(tái)運(yùn)行否則輸出、日志、狀態(tài)入口都會(huì)變得分散排查起來很被動(dòng)。2. 進(jìn)程運(yùn)行中的狀態(tài)流轉(zhuǎn)你可以在 ps 輸出里看到一切2.1 R、S、D、T、Z 這幾個(gè)狀態(tài)分別代表什么程序進(jìn)入進(jìn)程后生命周期不會(huì)一直停在“運(yùn)行中”。Linux 會(huì)不停切換進(jìn)程狀態(tài)給每個(gè) CPU 核分配最值得運(yùn)行的任務(wù)。ps 的 STAT 列就是生命周期最直觀的窗口。R運(yùn)行態(tài)或者可運(yùn)行態(tài)表示進(jìn)程在 CPU 執(zhí)行隊(duì)列里隨時(shí)可能被調(diào)度。S可中斷睡眠態(tài)表示進(jìn)程在等待某個(gè)事件或資源比如等待網(wǎng)絡(luò)包、等待磁盤 I/O、等待用戶輸入、sleep 中。D不可中斷睡眠態(tài)通常是等待內(nèi)核態(tài) I/O 完成比如磁盤寫回。這種狀態(tài)不能隨便用信號(hào)殺掉因?yàn)閮?nèi)核正在操作某個(gè)關(guān)鍵資源。T停止態(tài)一般是收到了 SIGSTOP、SIGTSTP比如終端里按 CtrlZ進(jìn)程會(huì)被暫停。Z僵尸態(tài)進(jìn)程已經(jīng)退出但父進(jìn)程還沒有調(diào)用 wait 獲取退出狀態(tài)。如果你看到某個(gè)進(jìn)程長(zhǎng)時(shí)間停在 S 狀態(tài)不代表它出問題它可能只是在等一個(gè)合適的喚醒條件。如果大量進(jìn)程長(zhǎng)時(shí)間停在 D 狀態(tài)就要重點(diǎn)關(guān)注磁盤、NFS、I/O 子系統(tǒng)是否異常了。很多人一看到 RUNNING 就覺得資源占用高其實(shí)嚴(yán)格說 R 隊(duì)列長(zhǎng)度才能反映 CPU 競(jìng)爭(zhēng)情況。2.2 為什么進(jìn)程會(huì)從運(yùn)行態(tài)切到睡眠態(tài)進(jìn)程不會(huì)永遠(yuǎn)占用 CPU。當(dāng)它執(zhí)行到 read、recv、sleep、等待鎖、等待條件變量時(shí)內(nèi)核會(huì)把它放到對(duì)應(yīng)資源的等待隊(duì)列里CPU 就不調(diào)度它了。這就是從 R 到 S 的過程。等到數(shù)據(jù)包到達(dá)、超時(shí)時(shí)間到、鎖被釋放時(shí)內(nèi)核會(huì)給這個(gè)進(jìn)程一個(gè)喚醒信號(hào)把它重新放回運(yùn)行隊(duì)列狀態(tài)又變回 R。這個(gè)來回切換是生命周期里占比最大的一段。如果進(jìn)程在生命周期內(nèi)長(zhǎng)時(shí)間不切換狀態(tài)反而不正常。我在排查“進(jìn)程卡住”時(shí)第一動(dòng)作不是看 CPU 占用而是用 ps 確認(rèn)它到底停在哪個(gè)狀態(tài)。如果停在 S再用 strace 掛上去看它卡在哪個(gè)系統(tǒng)調(diào)用順藤摸瓜找到阻塞點(diǎn)。2.3 線程生命周期與進(jìn)程生命周期有什么關(guān)系線程是進(jìn)程內(nèi)部的執(zhí)行流。同一個(gè)進(jìn)程的多個(gè)線程共享地址空間、堆、文件描述符但各自有獨(dú)立的棧和寄存器上下文。線程生命周期不會(huì)長(zhǎng)于進(jìn)程生命周期進(jìn)程一旦退出所有線程都會(huì)被內(nèi)核回收。但線程的狀態(tài)切換和進(jìn)程類似也有運(yùn)行、睡眠、停止等狀態(tài)。top 里按 H 鍵或者執(zhí)行 top -H -p PID可以看到某個(gè)進(jìn)程內(nèi)部各個(gè)線程的狀態(tài)。Java 進(jìn)程尤其明顯一個(gè) JVM 進(jìn)程里往往有主線程、GC 線程、業(yè)務(wù)線程、日志線程任何一個(gè)長(zhǎng)時(shí)間卡住都可能拖累整個(gè)進(jìn)程。如果你管理過 Java 應(yīng)用應(yīng)該見過 jstack 輸出的線程堆棧。jstack 列出的狀態(tài)其實(shí)是 JVM 層面的線程生命周期跟操作系統(tǒng)線程狀態(tài)不完全等同但兩者有對(duì)應(yīng)關(guān)系。遇到進(jìn)程整體不退出、連接數(shù)異常時(shí)先分清是線程阻塞還是進(jìn)程狀態(tài)問題能少走很多彎路。3. 進(jìn)程結(jié)束不是瞬間完成的退出碼、信號(hào)與僵尸進(jìn)程3.1 程序正常退出時(shí)發(fā)生了什么程序正常結(jié)束有三種常見形式main 函數(shù)里 return 0直接返回。調(diào)用 exit(0) 結(jié)束當(dāng)前進(jìn)程。調(diào)用 _exit(0) 或 _Exit(0) 直接進(jìn)入內(nèi)核退出邏輯。exit 和 return 不一樣。exit 會(huì)先刷新標(biāo)準(zhǔn) I/O 緩沖區(qū)執(zhí)行 atexit 注冊(cè)的函數(shù)然后才進(jìn)入內(nèi)核退出流程。_exit 不會(huì)刷新緩沖也不執(zhí)行清理函數(shù)直接退出。所以在寫后端程序時(shí)如果要清理某個(gè)臨時(shí)文件、寫入日志、釋放自定義鎖盡量不要在 main 的 return 里依賴 _exit。正確做法是先用 exit 或正常 return 讓清理邏輯走完。父進(jìn)程拿到子進(jìn)程退出狀態(tài)后可以用 shell 的方式看./demo echo $?0 通常表示成功非 0 表示失敗。$? 就是前一個(gè)命令的生命周期“結(jié)賬單”。3.2 被信號(hào)終止和正常退出有什么不同進(jìn)程生命周期并不總是自然走完。CtrlC、kill 命令、系統(tǒng) OOM Killer、服務(wù)管理工具停止服務(wù)本質(zhì)上都是發(fā)送信號(hào)。SIGINT終端 CtrlC 產(chǎn)生默認(rèn)終止進(jìn)程可捕獲。SIGTERMkill 默認(rèn)發(fā)送請(qǐng)求進(jìn)程優(yōu)雅退出可捕獲。SIGKILLkill -9 發(fā)送不可捕獲、不可忽略、不可阻塞進(jìn)程被內(nèi)核強(qiáng)制終止。SIGHUP終端關(guān)閉或掛斷時(shí)產(chǎn)生默認(rèn)終止進(jìn)程。SIGSTOP暫停進(jìn)程不可捕獲。被信號(hào)終止時(shí)進(jìn)程生命周期的結(jié)果表現(xiàn)為“被信號(hào) N 殺死”。在 wait 狀態(tài)里父進(jìn)程能觀察到子進(jìn)程是因?yàn)槟膫€(gè)信號(hào)結(jié)束的shell 里可以這樣看./demo echo $?常見輸出是 137也就是 128 9表示進(jìn)程被 SIGKILL 殺死。這個(gè)規(guī)律在排查“進(jìn)程突然沒了”時(shí)很好用。不要一開始就 kill -9。先試 SIGTERM讓程序有機(jī)會(huì)保存狀態(tài)、清理資源。反復(fù)用 SIGKILL 會(huì)導(dǎo)致臨時(shí)文件堆積、數(shù)據(jù)庫(kù)連接泄漏、心跳消息沒發(fā)完生命周期收尾收不干凈。3.3 僵尸進(jìn)程是怎么產(chǎn)生的為什么必須回收子進(jìn)程退出后內(nèi)核并不會(huì)把它的所有信息都清掉。它要保留最少量的記錄比如 PID、退出狀態(tài)、資源使用量直到父進(jìn)程調(diào)用 wait/waitpid 來讀取。如果父進(jìn)程沒有調(diào)用 wait子進(jìn)程就會(huì)停留在 Z 狀態(tài)也就是僵尸進(jìn)程。僵尸進(jìn)程不占 CPU也不占實(shí)際內(nèi)存但它仍然占著一個(gè) PID且不會(huì)被調(diào)度。如果父進(jìn)程從不回收子進(jìn)程而子進(jìn)程又不斷產(chǎn)生PID 資源會(huì)被耗盡最終可能出現(xiàn) fork 失敗。更麻煩的是很多人看到 Z 狀態(tài)會(huì)以為進(jìn)程還在運(yùn)行實(shí)際它已經(jīng)退出只是“身份證”還沒注銷。所以判斷生命周期是否真的結(jié)束不能只看進(jìn)程在不在還要看它是不是 Z 狀態(tài)。3.4 用 wait/waitpid 回收子進(jìn)程父進(jìn)程想要正確回收子進(jìn)程就必須在合適時(shí)機(jī)調(diào)用 wait 或 waitpid。wait 會(huì)阻塞等待任意一個(gè)子進(jìn)程退出waitpid 可以指定等待某個(gè) PID還支持 WNOHANG 選項(xiàng)表示沒有子進(jìn)程退出時(shí)立即返回。這在多進(jìn)程服務(wù)里尤其重要。比如一個(gè)網(wǎng)絡(luò)服務(wù)用 fork 給每個(gè)連接創(chuàng)建子進(jìn)程如果主進(jìn)程只管 fork不管 wait一段時(shí)間后系統(tǒng)里就會(huì)出現(xiàn)大量僵尸進(jìn)程。常見的管理方式是在主進(jìn)程的循環(huán)里配合 SIGCHLD 信號(hào)處理子進(jìn)程退出時(shí)內(nèi)核給父進(jìn)程發(fā) SIGCHLD父進(jìn)程在信號(hào)處理函數(shù)里調(diào)用 waitpid配合 WNOHANG 把已經(jīng)退出的子進(jìn)程全部回收。這樣既能及時(shí)收尾又不會(huì)阻塞主流程。如果是一個(gè)簡(jiǎn)單的父子進(jìn)程示例直接 wait(NULL) 就夠了。生產(chǎn)環(huán)境里的進(jìn)程池、任務(wù)隊(duì)列則需要更精細(xì)的回收策略。4. 守護(hù)進(jìn)程與服務(wù)管理生命周期被“外部化”的程序4.1 守護(hù)進(jìn)程和普通前臺(tái)進(jìn)程有什么差別普通前臺(tái)進(jìn)程跟終端綁定。終端一旦關(guān)閉內(nèi)核會(huì)給進(jìn)程發(fā)送 SIGHUP很多進(jìn)程就會(huì)退出。守護(hù)進(jìn)程要做的是徹底脫離這個(gè)生命周期牽制。守護(hù)進(jìn)程一般會(huì)調(diào)用 fork 一次或兩次讓自身不再作為會(huì)話首進(jìn)程。調(diào)用 setsid 創(chuàng)建新的會(huì)話脫離原終端控制。把工作目錄改成 /避免占用某個(gè)掛載點(diǎn)導(dǎo)致卸載失敗。關(guān)閉標(biāo)準(zhǔn)輸入輸出、錯(cuò)誤輸出或者把它們重定向到日志文件。屏蔽或處理 SIGHUP 信號(hào)防止終端掛斷誤殺進(jìn)程。自己手動(dòng)寫守護(hù)進(jìn)程時(shí)這些步驟容易踩坑。比如忘記 setsid進(jìn)程可能還掛著原終端忘記重定向標(biāo)準(zhǔn)輸入輸出某些庫(kù)讀終端或?qū)懡K端時(shí)會(huì)出問題。更穩(wěn)妥的做法是寫普通程序再交給 systemd 管理由 systemd 負(fù)責(zé)守護(hù)化和重啟。4.2 systemd 如何接管服務(wù)生命周期現(xiàn)代 Linux 發(fā)行版基本都用 systemd 管理服務(wù)。服務(wù)不再需要自己處理守護(hù)化systemd 會(huì)直接創(chuàng)建進(jìn)程、管理狀態(tài)、記錄日志并在進(jìn)程退出后根據(jù)策略決定是否重啟。一個(gè)最小服務(wù)單元文件類似[Unit] DescriptionDemo Service [Service] Typesimple ExecStart/opt/demo/demo_server Restarton-failure RestartSec3 [Install] WantedBymulti-user.target寫好后執(zhí)行sudo systemctl daemon-reload sudo systemctl start demo_server sudo systemctl status demo_server這個(gè)模型把生命周期從程序內(nèi)部移到了外部。程序只需要做好 SIGTERM 的優(yōu)雅退出處理運(yùn)行、退出、失敗重啟的判斷全部交給 systemd。服務(wù)被 kill 掉后systemd 發(fā)現(xiàn)進(jìn)程退出再按 Restart 策略拉起新進(jìn)程。系統(tǒng)里很多服務(wù)都是這么管理的。MySQL、nginx、Redis 這些程序在 Linux 上之所以推薦用 systemd 啟停不是因?yàn)樗芴嵘阅芏巧芷诟?guī)范崩潰恢復(fù)、開機(jī)自啟、日志收集都能統(tǒng)一處理。4.3 進(jìn)程池和任務(wù)隊(duì)列帶來的生命周期問題熱詞里有“進(jìn)程池”它和生命周期關(guān)系很緊。進(jìn)程池的本質(zhì)是預(yù)先創(chuàng)建一批工作進(jìn)程重復(fù)處理任務(wù)而不是每個(gè)任務(wù)都現(xiàn) fork 一個(gè)進(jìn)程。這樣可以省掉反復(fù)創(chuàng)建、銷毀進(jìn)程的開銷提高吞吐。但進(jìn)程池也有生命周期管理問題工作進(jìn)程在處理任務(wù)時(shí)退出池管理器要能發(fā)現(xiàn)并補(bǔ)充新進(jìn)程。任務(wù)進(jìn)來時(shí)如何把工作量均勻分給空閑進(jìn)程。工作進(jìn)程僵死時(shí)是否會(huì)自動(dòng)重新拉起。進(jìn)程退出時(shí)任務(wù)隊(duì)列里的數(shù)據(jù)會(huì)不會(huì)丟。設(shè)計(jì)這類系統(tǒng)時(shí)我的建議是給每個(gè)工作進(jìn)程加一個(gè)心跳或進(jìn)程狀態(tài)標(biāo)記并在主流程里維護(hù)一份任務(wù)分配表。工作進(jìn)程結(jié)束后由池管理器統(tǒng)一回收和重啟而不是讓每個(gè)任務(wù)自己處理進(jìn)程退出。這一類場(chǎng)景里“進(jìn)程生命周期”已經(jīng)不只是單條進(jìn)程自己的事而是一個(gè)管理單元里多個(gè)進(jìn)程互相配合、互相回收的問題。排查時(shí)看 ps 只能知道單個(gè)狀態(tài)真正要看的還有父進(jìn)程是誰(shuí)、誰(shuí)在負(fù)責(zé)回收、任務(wù)是否重新入隊(duì)。5. 用命令觀察程序的完整生命周期從出生到回收的排查鏈路5.1 ps 和 top看當(dāng)前狀態(tài)想觀察一個(gè)程序的生命周期第一步就是看進(jìn)程列表。常用命令不多但每個(gè)都有側(cè)重點(diǎn)ps -ef ps aux ps -ef --forest pgrep -a demo_server top -p PID pidstat -p PID 1ps -ef 適合看 PID、PPID 和命令完整參數(shù)ps aux 會(huì)多出 CPU、內(nèi)存、狀態(tài) STATps -ef --forest 可以輸出進(jìn)程樹一眼看出誰(shuí)是誰(shuí)的子進(jìn)程pgrep 適合按名字找 PID。top 是實(shí)時(shí)視圖適合觀察進(jìn)程狀態(tài)變化和 CPU 使用波動(dòng)。pidstat 可以按固定間隔輸出指定進(jìn)程的 CPU、內(nèi)存、線程數(shù)量方便記錄一段時(shí)間內(nèi)的生命周期數(shù)據(jù)。判斷進(jìn)程處于哪個(gè)階段時(shí)我一般先看 STAT 列。R 表示正在或等待調(diào)度S 表示等待某類事件D 表示內(nèi)核態(tài) I/O 等待T 表示暫停Z 表示僵尸。這一列基本能告訴你生命周期走到了哪一步。5.2 strace從系統(tǒng)調(diào)用層面跟蹤生命周期事件ps 只能看到切片strace 能看到過程。比如跟蹤一個(gè)程序的 fork、exec、exit 系統(tǒng)調(diào)用可以用strace -f -e traceprocess ./demo_server-f 表示同時(shí)跟蹤子進(jìn)程traceprocess 表示只看進(jìn)程相關(guān)的系統(tǒng)調(diào)用包括 fork、clone、execve、exit_group、wait4 等。輸出里能看到子進(jìn)程什么時(shí)候創(chuàng)建、什么時(shí)候執(zhí)行新程序、什么時(shí)候退出、父進(jìn)程什么時(shí)候回收。生產(chǎn)環(huán)境不建議隨便對(duì)繁忙服務(wù)用 strace它會(huì)明顯拖慢性能。更穩(wěn)妥的方式是先用 strace -p PID 短暫掛幾秒采集到卡住時(shí)的系統(tǒng)調(diào)用棧再立即分離。很多“進(jìn)程狀態(tài)異?！钡膯栴}靠這一步就能定位到是 read、write、recvfrom、poll、nanosleep 中的哪一個(gè)。5.3 讀 /proc 目錄直接看進(jìn)程自己的“檔案”Linux 的 /proc 文件系統(tǒng)會(huì)把每個(gè)進(jìn)程的信息暴露成一個(gè)目錄。目錄名就是 PID里面有很多關(guān)鍵文件。常用的包括/proc/PID/status進(jìn)程狀態(tài)、PPID、線程數(shù)。/proc/PID/cmdline啟動(dòng)命令。/proc/PID/fd已打開的文件描述符。/proc/PID/stat內(nèi)核統(tǒng)計(jì)信息。比如快速看某個(gè)進(jìn)程的實(shí)時(shí)狀態(tài)cat /proc/1234/status輸出里 State 一欄就是生命周期狀態(tài)PPid 表示父進(jìn)程 PIDThreads 表示線程數(shù)量。如果發(fā)現(xiàn)進(jìn)程是 zombiestate 會(huì)明確寫成 Z。如果想知道它打開了哪些文件可以 ls 一下 /proc/1234/fd這在排查文件占用、日志刪除、連接斷開時(shí)非常有用。5.4 一個(gè)可靠的排查順序當(dāng)你發(fā)現(xiàn)某個(gè) Linux 程序生命周期異常時(shí)我推薦的順序是先確認(rèn)進(jìn)程還在不在ps -ef | grep 程序名 或者 pgrep -a 程序名。再看狀態(tài)ps -o pid,ppid,stat,cmd -p PID?？锤高M(jìn)程是誰(shuí)如果 PPID 是 1說明它已經(jīng)被 systemd 收養(yǎng)成孤兒進(jìn)程了。如果是 Z 狀態(tài)找它的父進(jìn)程為什么不回收。是父進(jìn)程自己卡住了還是沒寫 wait 邏輯。如果是 S 狀態(tài)且一直不動(dòng)用 strace 掛上去看阻塞在哪個(gè)系統(tǒng)調(diào)用。最后看系統(tǒng)日志dmesg 或 journalctl -u 服務(wù)名確認(rèn)有沒有被 OOM Killer 殺死、有沒有 crash report。這套順序可以避免很多誤判。比如進(jìn)程看起來“沒反應(yīng)”但實(shí)際可能是正在等待網(wǎng)絡(luò)連接進(jìn)程看起來“消失了”但可能只是后臺(tái)運(yùn)行、輸出被重定向了進(jìn)程看起來“還在”但可能是僵尸記錄沒清掉。6. 生命周期相關(guān)的常見問題與排查清單6.1 程序啟動(dòng)了但沒有輸出可能是生命周期和終端綁定“脫鉤”了常見場(chǎng)景在終端執(zhí)行 ./demo_server程序起來后沒有任何輸出終端也能繼續(xù)敲命令。這時(shí)可能程序已經(jīng)進(jìn)入后臺(tái)或者啟動(dòng)過程被重定向到了文件。先用 ps 確認(rèn)進(jìn)程是否真的存在ps -ef | grep demo_server pgrep -a demo_server進(jìn)程存在但沒有輸出到終端要看 stdout 是否被重定向。用 ls -l /proc/PID/fd/1 能看到進(jìn)程的標(biāo)準(zhǔn)輸出指向哪里。如果指向某個(gè)日志文件說明輸出被重定向了不是程序卡死。還有一種情況是程序有緩沖區(qū)printf 之后沒有立即 flush。如果進(jìn)程被 SIGKILL 殺掉緩沖區(qū)的數(shù)據(jù)就丟了。這也是生命周期收尾的一部分正常退出時(shí) exit 會(huì)刷新緩沖強(qiáng)殺則不會(huì)。6.2 進(jìn)程不退出先檢查是不是子進(jìn)程沒有回收完服務(wù)進(jìn)程收到停止命令后一直不退常見原因不是主進(jìn)程不想退而是它有子進(jìn)程或后臺(tái)線程沒有結(jié)束。排查步驟用 ps -ef --forest 看進(jìn)程樹確認(rèn)有沒有子進(jìn)程還活著。用 top -H -p PID 看線程狀態(tài)。用 strace -p PID 看到底卡在什么系統(tǒng)調(diào)用上。如果是網(wǎng)絡(luò)服務(wù)檢查監(jiān)聽 socket 是否還有 ESTABLISHED 連接未關(guān)閉。如果是 Java 服務(wù)用 jstack 看線程整體狀態(tài)是否有鎖等待。不要因?yàn)橹鬟M(jìn)程不退出就立刻 kill -9。先弄清楚它為什么不愿意結(jié)束可能是清理邏輯在做最后的工作可能是在等待某個(gè)遠(yuǎn)端響應(yīng)超時(shí)正確地給 SIGTERM 并等待一段時(shí)間通常能保留更多有效信息。6.3 信號(hào)導(dǎo)致生命周期異常終止時(shí)怎么判斷誰(shuí)干的進(jìn)程被信號(hào)終止后從系統(tǒng)層面看沒有“程序員視角”的異常棧只能靠線索反推。優(yōu)先看這些dmesg 或 /var/log/messages 里有沒有 OOM Killer 記錄常見表現(xiàn)是進(jìn)程被 SIGKILL。journalctl -u 服務(wù)名 里有沒有服務(wù)管理器記錄的退出狀態(tài)。shell 里 echo $? 如果輸出 137說明被 SIGKILL143 是 12815說明被 SIGTERM。如果是自己寫的腳本或守護(hù)進(jìn)程檢查是否有 kill 命令誤匹配到了進(jìn)程名。我之前踩過一個(gè)坑腳本里用 pkill -f demo 想停掉舊版本結(jié)果把同名的新版本也殺了。原因就是 -f 匹配到了命令行里包含 demo 字符串的所有進(jìn)程包括剛拉起來的新進(jìn)程。生命周期里最怕這種“關(guān)聯(lián)誤殺”排查信號(hào)來源時(shí)要特別注意。6.4 一張快速定位狀態(tài)表觀察結(jié)果可能原因優(yōu)先處理方式STAT 為 R正在運(yùn)行或等待 CPU結(jié)合 CPU 占用判斷是否正常STAT 為 S等待事件或資源用 strace 看阻塞點(diǎn)STAT 為 D等待內(nèi)核 I/O 完成檢查磁盤、NFS、存儲(chǔ)STAT 為 T被 SIGSTOP 或 CtrlZ 暫停用 kill -SIGCONT 恢復(fù)STAT 為 Z子進(jìn)程退出父進(jìn)程未回收檢查父進(jìn)程 wait 邏輯PPID 變成 1原父進(jìn)程已退出進(jìn)程被收養(yǎng)確認(rèn)是否期望的后臺(tái)服務(wù)退出碼 137被 SIGKILL 殺死查 OOM、日志、外部 kill退出碼 143被 SIGTERM 殺死查服務(wù)停止邏輯和信號(hào)處理6.5 真正理解生命周期能解決什么問題生命周期不是一個(gè)需要背的概念它是一根把“程序文件、進(jìn)程、終端、信號(hào)、父進(jìn)程、系統(tǒng)服務(wù)”串起來的線。遇到問題時(shí)從這條線上定位大多數(shù) Linux 進(jìn)程異常都能找到入口。如果只是學(xué)習(xí)階段先把 ps 的 STAT 列、fork/exec 創(chuàng)建流程、exit/wait 回收流程看明白就夠用了。如果要長(zhǎng)期維護(hù)服務(wù)就把 systemd、守護(hù)進(jìn)程、優(yōu)雅退出、進(jìn)程池回收一起納入考慮你會(huì)發(fā)現(xiàn)很多“莫名其妙”的問題其實(shí)都發(fā)生在生命周期的某個(gè)特定階段。我個(gè)人更建議先拿一個(gè)簡(jiǎn)單的 demo 程序做實(shí)驗(yàn)前臺(tái)跑、加 跑、用 nohup 跑、放進(jìn) systemd 跑每一步都用 ps 和 strace 觀察一次。跑過一輪之后比看十篇理論文章都有用。