1. 項目概述為什么性能優(yōu)化是Linux運(yùn)維的必修課干了這么多年Linux運(yùn)維和系統(tǒng)架構(gòu)我越來越覺得性能優(yōu)化這事兒跟醫(yī)生看病一個道理。系統(tǒng)跑得慢了、卡了、響應(yīng)遲鈍了你不能上來就開藥得先“望聞問切”找到病灶在哪里。是CPU累趴了還是內(nèi)存吃緊了或者是磁盤I/O堵成了“腸梗阻”Linux系統(tǒng)本身提供了一整套強(qiáng)大的“診斷工具”這就是我們常說的性能優(yōu)化工具。它們不是某個單一的軟件而是一個工具箱里面裝著像top、vmstat、iostat、perf這樣的“聽診器”、“血壓計”和“X光機(jī)”。對于任何需要與Linux服務(wù)器打交道的開發(fā)者、運(yùn)維工程師甚至架構(gòu)師來說熟練掌握這套工具意味著你擁有了透視系統(tǒng)運(yùn)行狀態(tài)的能力。它不僅能幫你快速定位線上故障更能讓你在系統(tǒng)設(shè)計之初就規(guī)避潛在的性能瓶頸。無論是應(yīng)對突發(fā)的業(yè)務(wù)流量高峰還是日常保障服務(wù)的穩(wěn)定低延遲性能優(yōu)化工具都是你手中最可靠的“手術(shù)刀”。這篇文章我就結(jié)合自己踩過的坑和積累的經(jīng)驗帶你系統(tǒng)性地盤一盤這些工具不止講怎么用更重點(diǎn)聊聊為什么要這么用以及在不同場景下如何組合出拳真正做到心中有數(shù)手中有術(shù)。2. 性能優(yōu)化核心思路與工具箱全景性能優(yōu)化不是漫無目的地試錯它遵循一個清晰的邏輯鏈條監(jiān)控 - 分析 - 定位 - 優(yōu)化 - 驗證。我們的工具箱也是圍繞這個鏈條構(gòu)建的。2.1 性能分析的金字塔模型在深入工具之前先建立一個宏觀模型。我習(xí)慣把系統(tǒng)性能分為四個層次像一個金字塔應(yīng)用層最頂層直接面向用戶。問題表現(xiàn)為接口超時、QPS每秒查詢率下降、錯誤率升高。工具關(guān)注點(diǎn)應(yīng)用日志、APM應(yīng)用性能監(jiān)控工具、代碼Profiler。系統(tǒng)資源層中間層是應(yīng)用的支撐。問題根源通常在這里體現(xiàn)為資源飽和。這是我們今天重點(diǎn)工具關(guān)注點(diǎn)CPU、內(nèi)存、磁盤I/O、網(wǎng)絡(luò)I/O的使用率和飽和度。內(nèi)核層系統(tǒng)資源調(diào)度的執(zhí)行者。資源層的異常往往由內(nèi)核的行為導(dǎo)致如進(jìn)程調(diào)度、內(nèi)存管理、文件系統(tǒng)、網(wǎng)絡(luò)協(xié)議棧。工具關(guān)注點(diǎn)perf、systemtap、ebpf工具集如bpftrace。硬件層最底層包括CPU微架構(gòu)、內(nèi)存帶寬、磁盤硬件SSD/HDD、網(wǎng)卡。當(dāng)上層優(yōu)化殆盡可能需要關(guān)注這里工具多依賴廠商特定工具或perf的硬件事件。Linux自帶的性能工具主要聚焦在系統(tǒng)資源層和內(nèi)核層。我們的思路是當(dāng)應(yīng)用出現(xiàn)性能問題時首先用資源層工具進(jìn)行“體檢”快速鎖定是哪種資源出了問題然后根據(jù)需要使用內(nèi)核層工具進(jìn)行“深度CT掃描”找到代碼或內(nèi)核調(diào)度上的熱點(diǎn)。2.2 工具選型從快照到剖面從宏觀到微觀面對數(shù)十個工具新手容易眼花繚亂。我的選擇邏輯是根據(jù)數(shù)據(jù)維度和時間維度來劃分快照型 vs. 監(jiān)控型快照型給你一個時間點(diǎn)的系統(tǒng)狀態(tài)切片。例如top、ps。優(yōu)點(diǎn)是啟動快、信息直觀適合快速檢查。監(jiān)控型持續(xù)收集一段時間內(nèi)的數(shù)據(jù)讓你看到趨勢和模式。例如vmstat 2 5每2秒采樣一次共5次、sar。適合分析間歇性問題或評估優(yōu)化效果。宏觀統(tǒng)計 vs. 微觀剖析宏觀統(tǒng)計展示系統(tǒng)整體的資源使用情況。如vmstat、mpstat、iostat。用于回答“CPU整體忙不忙”、“磁盤平均響應(yīng)時間多少”這類問題。微觀剖析深入到單個進(jìn)程、甚至函數(shù)級別。如pidstat、perf top、strace。用于回答“哪個進(jìn)程最耗CPU”、“這個進(jìn)程在慢等什么系統(tǒng)調(diào)用”。一個高效的排查流程通常是“宏觀定位微觀深挖”。先用top或vmstat看整體發(fā)現(xiàn)CPUus用戶態(tài)高就用pidstat找出罪魁禍?zhǔn)椎倪M(jìn)程再用perf record對這個進(jìn)程采樣分析其函數(shù)熱點(diǎn)。3. 核心工具深度解析與實戰(zhàn)場景下面我們進(jìn)入實戰(zhàn)環(huán)節(jié)我會把最核心的工具分成幾大類結(jié)合具體命令和輸出解讀告訴你每個數(shù)字背后的含義以及看到什么現(xiàn)象該懷疑哪里。3.1 負(fù)載與整體狀態(tài)第一眼診斷工具uptime,top/htopuptime命令簡單粗暴但信息量極大$ uptime 16:48:33 up 45 days, 2:36, 2 users, load average: 1.25, 0.98, 0.75重點(diǎn)看最后三個數(shù)字系統(tǒng)負(fù)載平均值Load Average1分鐘1.25、5分鐘0.98、15分鐘0.75的平均負(fù)載。它表示系統(tǒng)中**處于可運(yùn)行狀態(tài)R和不可中斷睡眠狀態(tài)D**的進(jìn)程數(shù)平均值。對于單核CPU負(fù)載1.0意味著CPU剛好滿負(fù)荷。如果1分鐘值遠(yuǎn)高于15分鐘值說明有短期壓力反之則壓力在緩解。如果負(fù)載持續(xù)高于CPU核數(shù)可用nproc查看系統(tǒng)就可能響應(yīng)遲緩。top是全能型選手。啟動后先看匯總區(qū)top - 16:50:00 up 45 days, 2:38, 2 users, load average: 1.25, 0.98, 0.75 Tasks: 231 total, 1 running, 230 sleeping, 0 stopped, 0 zombie %Cpu(s): 15.3 us, 5.6 sy, 0.0 ni, 78.9 id, 0.0 wa, 0.0 hi, 0.2 si, 0.0 st MiB Mem : 15925.8 total, 1024.2 free, 8192.0 used, 6709.6 buff/cache MiB Swap: 2048.0 total, 2048.0 free, 0.0 used. 7412.4 avail Mem%Cpu(s)行這是核心中的核心。ususer用戶態(tài)CPU時間。高通常意味著應(yīng)用業(yè)務(wù)邏輯繁忙。sysystem內(nèi)核態(tài)CPU時間。高可能意味著系統(tǒng)調(diào)用頻繁或者內(nèi)核在處理中斷、進(jìn)程調(diào)度上花了太多時間。waiowait等待I/O的CPU時間。這是I/O性能的關(guān)鍵指標(biāo)如果這個值持續(xù)很高比如超過10%說明磁盤或存儲是瓶頸CPU在空等數(shù)據(jù)。ididle空閑CPU時間。我們希望它高嗎不一定對于追求吞吐量的系統(tǒng)一定的空閑是緩沖但長期過高可能意味著資源未充分利用。ststeal在虛擬化環(huán)境中被宿主機(jī)“偷走”的CPU時間。如果這個值高說明你的虛擬機(jī)在和其他虛擬機(jī)激烈爭搶物理CPU。內(nèi)存行重點(diǎn)不是free而是avail Mem可用內(nèi)存。Linux會利用空閑內(nèi)存做緩存buff/cache所以即使free很少只要avail充足就不用擔(dān)心。真正危險的是Swap被使用這會導(dǎo)致性能急劇下降。實操心得在top中按1可以展開顯示每個CPU核心的詳細(xì)狀態(tài)對于診斷多核CPU負(fù)載不均問題非常有用。另外htop是top的增強(qiáng)版界面更友好支持鼠標(biāo)操作和樹狀視圖強(qiáng)烈推薦安裝使用。3.2 虛擬內(nèi)存統(tǒng)計洞察內(nèi)存與進(jìn)程調(diào)度工具vmstatvmstat是分析系統(tǒng)“健康度”的瑞士軍刀尤其擅長揭示進(jìn)程阻塞和內(nèi)存交換問題。常用用法vmstat 2 5表示每2秒采樣一次共5次。$ vmstat 2 5 procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 2 0 0 1024000 512000 2048000 0 0 0 5 12 45 15 5 78 0 0 1 0 0 1012000 512000 2049000 0 0 0 12 250 1200 30 10 58 2 0procs列rrunning可運(yùn)行狀態(tài)的進(jìn)程數(shù)。如果持續(xù)大于CPU核數(shù)說明有進(jìn)程在排隊等CPU。bblocked不可中斷睡眠狀態(tài)的進(jìn)程數(shù)。這是關(guān)鍵如果這個值大于0且持續(xù)存在通常意味著進(jìn)程在等待I/O如磁盤讀寫是I/O瓶頸的明確信號。memory列關(guān)注swpd已使用的交換分區(qū)大小。只要它不為0且在增長就說明發(fā)生了內(nèi)存交換性能已經(jīng)受損。swap列siswap in每秒從磁盤交換區(qū)讀入內(nèi)存的數(shù)據(jù)量KB。soswap out每秒從內(nèi)存寫入磁盤交換區(qū)的數(shù)據(jù)量KB。任何非零的si/so都值得警惕說明物理內(nèi)存不足系統(tǒng)正在頻繁使用低速的磁盤作為內(nèi)存擴(kuò)展。io列biblock in每秒從塊設(shè)備讀入的數(shù)據(jù)量塊/秒。boblock out每秒寫入塊設(shè)備的數(shù)據(jù)量塊/秒。結(jié)合b列和wa列可以判斷I/O壓力。system列ininterrupts每秒中斷次數(shù)。cscontext switches每秒上下文切換次數(shù)。如果cs異常高可能意味著進(jìn)程數(shù)過多或者鎖競爭激烈導(dǎo)致進(jìn)程頻繁切換。3.3 磁盤I/O統(tǒng)計定位存儲瓶頸工具iostat當(dāng)vmstat顯示wa高或b列有進(jìn)程阻塞時下一步就用iostat深挖磁盤。常用iostat -dx 2 5-d顯示設(shè)備報告-x顯示擴(kuò)展統(tǒng)計2和5同上。$ iostat -dx 2 5 Linux 5.4.0-... (hostname) 2024-05-20 Device r/s w/s rkB/s wkB/s rrqm/s wrqm/s %rrqm %wrqm r_await w_await aqu-sz rareq-sz wareq-sz svctm %util vda 0.50 2.10 20.00 84.00 0.00 0.10 0.00 4.55 0.80 1.20 0.01 40.00 40.00 0.38 0.10吞吐量指標(biāo)rkB/s,wkB/s每秒讀/寫數(shù)據(jù)量KB?？梢钥闯鯥/O的數(shù)據(jù)規(guī)模。響應(yīng)時間指標(biāo)關(guān)鍵r_await讀請求的平均等待時間毫秒包括在隊列中的時間和服務(wù)的耗時。w_await寫請求的平均等待時間。對于SSD這個值通常應(yīng)小于幾毫秒對于機(jī)械硬盤可能在10-20毫秒。如果持續(xù)很高說明磁盤響應(yīng)慢。飽和度指標(biāo)最關(guān)鍵aqu-sz平均請求隊列長度。如果大于1說明請求在排隊。%util設(shè)備利用率即設(shè)備忙于處理I/O請求的時間百分比。但注意對于現(xiàn)代SSD和多通道磁盤%util100%并不一定表示飽和因為它們可以并行處理請求。此時aqu-sz和await是更好的飽和度指標(biāo)。如果%util接近100% 且await遠(yuǎn)高于正常值基本可以確定磁盤是瓶頸。注意事項iostat首次運(yùn)行顯示的是系統(tǒng)啟動以來的平均值通常沒有參考價值。從第二次報告開始才是采樣間隔內(nèi)的實時數(shù)據(jù)。所以一定要用間隔模式如2 5來看趨勢。3.4 進(jìn)程級資源監(jiān)控精準(zhǔn)打擊問題進(jìn)程工具pidstattop能看進(jìn)程但pidstat更專業(yè)、更靈活可以按需查看特定進(jìn)程的CPU、內(nèi)存、I/O、線程等詳情。查看所有進(jìn)程的CPU使用pidstat -u 2 5查看特定進(jìn)程的詳細(xì)情況pidstat -p PID 1 3查看進(jìn)程的I/O情況非常有用pidstat -d 2 5。這會顯示每個進(jìn)程的kB_rd/s每秒讀KB和kB_wr/s每秒寫KB幫你找到“磁盤殺手”。查看進(jìn)程的內(nèi)存情況pidstat -r 2 5關(guān)注%MEM和RSS常駐內(nèi)存集。pidstat的輸出清晰能直接關(guān)聯(lián)資源消耗到具體進(jìn)程是定位“元兇”的利器。4. 高級分析與追蹤工具實戰(zhàn)當(dāng)基礎(chǔ)工具定位到大致方向后就需要更精密的“儀器”進(jìn)行深度剖析了。4.1 動態(tài)追蹤利器perfperf是Linux內(nèi)核自帶的性能分析神器功能強(qiáng)大。它基于內(nèi)核的perf_events子系統(tǒng)開銷相對較低。實時查看CPU熱點(diǎn)sudo perf top。類似top但顯示的是函數(shù)級別的CPU占用率一眼就能看出CPU時間都花在哪個內(nèi)核函數(shù)或庫函數(shù)上了。對于發(fā)現(xiàn)計算熱點(diǎn)極其有效。采樣分析特定進(jìn)程# 對PID為1234的進(jìn)程進(jìn)行30秒的CPU調(diào)用棧采樣 sudo perf record -F 99 -p 1234 -g -- sleep 30 # 生成分析報告 sudo perf report -n --stdio這里的-F 99表示每秒采樣99次-g記錄調(diào)用棧。perf report會生成一個交互式界面或通過--stdio輸出文本展示采樣到的熱點(diǎn)函數(shù)及其調(diào)用關(guān)系圖火焰圖的原始數(shù)據(jù)來源。通過分析調(diào)用棧你能知道熱點(diǎn)函數(shù)是被誰調(diào)用的從而在代碼層面找到優(yōu)化點(diǎn)。分析系統(tǒng)調(diào)用sudo perf trace -p PID?？梢宰粉欉M(jìn)程的系統(tǒng)調(diào)用類似于strace但性能開銷更小。實操心得生產(chǎn)環(huán)境使用perf前最好先在測試環(huán)境熟悉其輸出。perf report的界面需要學(xué)習(xí)一下基本操作上下鍵選擇回車鍵展開a鍵注解。另外生成火焰圖是更直觀的分析方式可以使用FlameGraph工具集將perf record采集的數(shù)據(jù)轉(zhuǎn)換為SVG火焰圖。4.2 系統(tǒng)調(diào)用追蹤stracestrace可以追蹤進(jìn)程執(zhí)行的系統(tǒng)調(diào)用和接收的信號。對于診斷進(jìn)程卡住、異常退出、文件或網(wǎng)絡(luò)訪問問題非常有用。追蹤一個命令strace -T -tt -o trace.log command。-T顯示調(diào)用耗時-tt顯示微妙級時間戳-o輸出到文件。附加到運(yùn)行中的進(jìn)程strace -T -tt -p PID -o trace.log。分析strace日志時重點(diǎn)關(guān)注耗時的系統(tǒng)調(diào)用查看-T輸出的時間找到執(zhí)行時間最長的調(diào)用。頻繁的調(diào)用例如是否在循環(huán)中進(jìn)行stat、open等文件操作錯誤返回值大量系統(tǒng)調(diào)用返回-1錯誤并伴隨EAGAIN、ETIMEDOUT等錯誤碼是定位問題的重要線索。注意事項strace會顯著拖慢目標(biāo)進(jìn)程的速度因為它需要在內(nèi)核和用戶態(tài)之間進(jìn)行大量上下文切換。絕對不要在已經(jīng)高負(fù)載的生產(chǎn)服務(wù)上長時間運(yùn)行strace否則可能雪上加霜。通常先用其他工具定位到可疑進(jìn)程再用strace短時間采樣。4.3 網(wǎng)絡(luò)連接與流量分析雖然網(wǎng)絡(luò)分析有netstat、ss、iftop、tcpdump等專門工具但在性能優(yōu)化上下文中我們常關(guān)注網(wǎng)絡(luò)是否成為瓶頸?？焖俨榭催B接狀態(tài)ss -antp。比netstat更快更高效。查看ESTAB已建立連接數(shù)量、TIME-WAIT狀態(tài)連接是否過多。查看網(wǎng)絡(luò)接口吞吐量sar -n DEV 2 5。來自sysstat工具包可以查看每個網(wǎng)卡的rxkB/s接收和txkB/s發(fā)送流量以及是否丟包rxdrop/txdrop。排查連接數(shù)限制如果遇到Cannot assign requested address錯誤可能是本地端口耗盡。檢查net.ipv4.ip_local_port_range和net.ipv4.tcp_tw_reuse等內(nèi)核參數(shù)。5. 性能問題排查實戰(zhàn)案例與思路光說不練假把式我們通過幾個典型場景把工具串聯(lián)起來。5.1 場景一CPU使用率飆升現(xiàn)象監(jiān)控報警CPU使用率超過90%。排查思路快速定位運(yùn)行top查看%Cpu(s)行。如果us高是應(yīng)用問題如果sy高是系統(tǒng)調(diào)用或內(nèi)核問題如果si/hi高可能是中斷或軟中斷問題。找出問題進(jìn)程在top中按P按CPU排序找到占用CPU最高的進(jìn)程記下PID。進(jìn)程內(nèi)分析如果是us高用pidstat -p PID 1 3確認(rèn)然后用perf top -p PID實時查看該進(jìn)程的函數(shù)熱點(diǎn)。如果是sy高用perf top查看內(nèi)核函數(shù)熱點(diǎn)或者用pidstat -w -p PID 1 3查看該進(jìn)程的上下文切換次數(shù)cswch/s過高可能意味著鎖競爭或進(jìn)程/線程數(shù)過多。進(jìn)一步深挖對目標(biāo)進(jìn)程用perf record采樣生成火焰圖進(jìn)行代碼級分析。5.2 場景二服務(wù)響應(yīng)變慢但CPU和內(nèi)存不高現(xiàn)象接口延遲增加但top顯示CPUid空閑還很多。排查思路懷疑I/O瓶頸運(yùn)行vmstat 2 5重點(diǎn)看waiowait和b阻塞進(jìn)程數(shù)。如果wa很高或b 0進(jìn)入下一步。定位磁盤壓力運(yùn)行iostat -dx 2 5查看%util、await、aqu-sz。確認(rèn)哪個磁盤設(shè)備響應(yīng)慢、隊列長。找到I/O大戶運(yùn)行pidstat -d 2 5查看哪個進(jìn)程的kB_rd/s或kB_wr/s最高。分析進(jìn)程I/O行為對可疑進(jìn)程使用strace -T -tt -p PID -e tracefile,read,write追蹤其文件讀寫操作或者用perf trace -p PID進(jìn)行系統(tǒng)調(diào)用分析看是否在進(jìn)行大量的小文件隨機(jī)讀寫或同步寫入O_SYNC。5.3 場景三內(nèi)存不足疑似泄漏現(xiàn)象系統(tǒng)開始使用Swapkswapd進(jìn)程CPU升高OOM內(nèi)存溢出風(fēng)險。排查思路確認(rèn)內(nèi)存趨勢使用free -h或top觀察available內(nèi)存是否持續(xù)下降Swap的si/so通過vmstat是否持續(xù)有值。查看內(nèi)存占用Top進(jìn)程在top中按M按內(nèi)存排序找到RES常駐內(nèi)存最大的進(jìn)程。分析進(jìn)程內(nèi)存細(xì)節(jié)使用pidstat -r -p PID 1 3查看該進(jìn)程的內(nèi)存增長趨勢。更精細(xì)的工具是smem或pmap -x PID后者可以查看進(jìn)程地址空間的具體分布堆、棧、共享庫等。判斷泄漏類型用戶空間泄漏進(jìn)程的RSS持續(xù)增長不釋放。需要結(jié)合代碼或使用Valgrind、jemalloc等工具分析。內(nèi)核/緩存占用slab內(nèi)存slabtop命令查看或文件緩存占用過高?？梢酝ㄟ^/proc/meminfo詳細(xì)分析。內(nèi)核泄漏較難排查可能需要重啟相關(guān)內(nèi)核模塊或重啟系統(tǒng)。6. 構(gòu)建自定義監(jiān)控與優(yōu)化文化工具是死的人是活的。真正高效的性能優(yōu)化需要將工具的使用沉淀為監(jiān)控和流程。建立基線在系統(tǒng)健康時用sar、vmstat等工具收集一套關(guān)鍵指標(biāo)CPU各態(tài)比例、內(nèi)存可用量、磁盤I/O響應(yīng)時間、網(wǎng)絡(luò)帶寬的正常范圍值。這是判斷異常的基準(zhǔn)。關(guān)鍵指標(biāo)監(jiān)控將上述核心指標(biāo)CPUwa、sy內(nèi)存available磁盤await網(wǎng)絡(luò)連接數(shù)等納入監(jiān)控系統(tǒng)如 Prometheus Grafana設(shè)置合理的告警閾值。定期性能剖析在非高峰時段定期對核心應(yīng)用使用perf進(jìn)行采樣分析生成火焰圖存檔。對比歷史火焰圖可以發(fā)現(xiàn)隨著代碼迭代新增的性能熱點(diǎn)。壓測與容量規(guī)劃任何重大變更上線前進(jìn)行壓力測試。使用stress、stress-ng或?qū)I(yè)的壓測工具模擬負(fù)載同時用性能工具監(jiān)控系統(tǒng)表現(xiàn)找到容量極限和瓶頸點(diǎn)。性能優(yōu)化不是一次性的任務(wù)而是一種持續(xù)性的工程實踐。它要求我們不僅熟悉工具更要理解其背后的原理養(yǎng)成“數(shù)據(jù)驅(qū)動決策”的習(xí)慣。從被動的“救火”到主動的“防火”和“規(guī)劃”這套工具箱就是你最堅實的后盾。我最深的體會是很多復(fù)雜的性能問題最終往往歸結(jié)為對基礎(chǔ)指標(biāo)wa,sy,b,await,cs的深刻理解和敏銳洞察。下次當(dāng)你面對一臺“慢”的服務(wù)器時別慌按照“整體 - 資源 - 進(jìn)程 - 代碼”的層次一步步拆解下去真相總會浮出水面。