簡(jiǎn)介《全鏈路壓測(cè)最佳實(shí)踐》是一份面向性能測(cè)試工程師、測(cè)試開(kāi)發(fā)人員與穩(wěn)定性保障團(tuán)隊(duì)的實(shí)戰(zhàn)型文檔聚焦生產(chǎn)級(jí)全鏈路壓測(cè)從理論方法到工程落地的完整路徑。內(nèi)容圍繞全鏈路壓測(cè)的核心概念、適用場(chǎng)景與DESP模型展開(kāi)逐一拆解數(shù)據(jù)仿真度、環(huán)境仿真度、場(chǎng)景仿真度和壓力仿真度的設(shè)計(jì)要點(diǎn)并結(jié)合新東方續(xù)班體系案例說(shuō)明核心鏈路梳理、背景數(shù)據(jù)與參數(shù)化數(shù)據(jù)構(gòu)造、并發(fā)與TPS負(fù)載配置、壓測(cè)流量隔離及自動(dòng)化實(shí)施過(guò)程同時(shí)覆蓋壓測(cè)平臺(tái)架構(gòu)與功能規(guī)劃。壓縮包僅含1個(gè)docx文件大小約1.65MB結(jié)構(gòu)集中便于按章節(jié)檢索和復(fù)盤(pán)。已有364人學(xué)習(xí)適合需要系統(tǒng)理解全鏈路壓測(cè)模型設(shè)計(jì)、案例拆解與平臺(tái)建設(shè)思路的讀者參考。1. 從一次續(xù)費(fèi)窗口期說(shuō)起全鏈路壓測(cè)要解決的是「測(cè)不準(zhǔn)」某在線教育平臺(tái)的續(xù)報(bào)窗口期在晚上八點(diǎn)開(kāi)啟。測(cè)試同學(xué)提前在預(yù)發(fā)環(huán)境把下單接口壓到 3000 QPS曲線漂亮報(bào)告也寫(xiě)了。窗口一開(kāi)鏈路中間一個(gè)不起眼的規(guī)則校驗(yàn)接口把數(shù)據(jù)庫(kù)連接池占滿(mǎn)整個(gè)下單流程卡在原地運(yùn)維臨時(shí)擴(kuò)容才扛過(guò)去。這類(lèi)翻車(chē)在窗口期和大促現(xiàn)場(chǎng)并不少見(jiàn)原因也不神秘單接口壓測(cè)只回答了「這個(gè)接口能扛多少」沒(méi)有回答「這條業(yè)務(wù)鏈路在真實(shí)數(shù)據(jù)分布、真實(shí)并發(fā)配比、真實(shí)環(huán)境拓?fù)湎履芸付嗌佟埂Ｈ溌穳簻y(cè)要解決的就是后者——基于生產(chǎn)業(yè)務(wù)場(chǎng)景、系統(tǒng)環(huán)境和真實(shí)數(shù)據(jù)模擬海量用戶(hù)請(qǐng)求跑完整條鏈路再持續(xù)調(diào)優(yōu)。這份方案適合兩類(lèi)人做性能方向畢設(shè)、需要把模型和落地都講清楚的學(xué)生以及要給窗口期、大促做容量評(píng)估的開(kāi)發(fā)與測(cè)試。下面按模型設(shè)計(jì)、流量隔離、數(shù)據(jù)構(gòu)造、負(fù)載建模、避坑排查、驗(yàn)收答辯的順序展開(kāi)。2. 壓測(cè)模型設(shè)計(jì)DESP 四維仿真度怎么拆成可執(zhí)行參數(shù)全鏈路壓測(cè)的核心是四件事業(yè)務(wù)場(chǎng)景、數(shù)據(jù)鏈路、壓力模型、環(huán)境拓?fù)?。把這四個(gè)核心點(diǎn)抽象成模型就是 DESP數(shù)據(jù)仿真度D、環(huán)境仿真度E、場(chǎng)景仿真度S、壓力仿真度P。模型本身不難背難的是每個(gè)維度落到具體參數(shù)上時(shí)你到底要改哪個(gè)值。仿真度決定壓測(cè)結(jié)果的參考價(jià)值一個(gè)維度偷懶整份報(bào)告就只?！概苓^(guò)了」三個(gè)字。2.1 數(shù)據(jù)仿真度規(guī)模只是及格線復(fù)雜度才是分水嶺壓測(cè)數(shù)據(jù)分兩塊。一塊是被壓系統(tǒng)的背景數(shù)據(jù)也就是歷史存量和存量規(guī)模查詢(xún)類(lèi)場(chǎng)景對(duì)這塊特別敏感——同一個(gè)列表接口返回 1 萬(wàn)條和返回 10 萬(wàn)條結(jié)果耗時(shí)可能差一個(gè)量級(jí)。原則很樸素背景數(shù)據(jù)規(guī)模盡量貼近真實(shí)寧可多導(dǎo)一些不要圖省事只造幾百條。另一塊是請(qǐng)求的參數(shù)化數(shù)據(jù)可以來(lái)自線上脫敏數(shù)據(jù)也可以按參數(shù)規(guī)則自己構(gòu)造。這里最容易忽略的是數(shù)據(jù)復(fù)雜度。真正影響性能的往往不是總量而是對(duì)象之間的關(guān)聯(lián)分布。以續(xù)報(bào)場(chǎng)景為例同樣 100 個(gè)學(xué)員一種分布是 90 個(gè)學(xué)員各報(bào) 2 個(gè)班、10 個(gè)學(xué)員各報(bào) 10 個(gè)班另一種是 10 個(gè)學(xué)員各報(bào) 2 個(gè)班、90 個(gè)學(xué)員各報(bào) 10 個(gè)班。后者的整體性能明顯更差因?yàn)閱蝹€(gè)學(xué)員的關(guān)聯(lián)對(duì)象變多鏈路里逐條校驗(yàn)和優(yōu)惠計(jì)算的成本被放大。如果構(gòu)造數(shù)據(jù)時(shí)按平均分布鋪開(kāi)這條瓶頸根本壓不出來(lái)。數(shù)據(jù)分層構(gòu)造來(lái)源規(guī)模目標(biāo)需要控制的復(fù)雜度因子背景存量數(shù)據(jù)生產(chǎn)脫敏抽樣與生產(chǎn)同量級(jí)單賬號(hào)關(guān)聯(lián)對(duì)象數(shù)分布、歷史數(shù)據(jù)時(shí)間跨度請(qǐng)求參數(shù)數(shù)據(jù)日志回放 規(guī)則構(gòu)造覆蓋 Top 接口主要取值參數(shù)取值多樣性、邊界值占比業(yè)務(wù)規(guī)則數(shù)據(jù)按窗口期規(guī)則改寫(xiě)覆蓋當(dāng)前生效規(guī)則集規(guī)則命中比例、優(yōu)惠疊加層數(shù)分布比例不是拍腦袋定的得從訂單明細(xì)里統(tǒng)計(jì)出來(lái)。通常的做法是拉一段時(shí)間窗口期的訂單統(tǒng)計(jì)每個(gè)學(xué)員的報(bào)班量分布再按這個(gè)分布生成壓測(cè)數(shù)據(jù)。下面這段腳本就是按統(tǒng)計(jì)結(jié)果反向構(gòu)造的# 按真實(shí)報(bào)班量分布構(gòu)造學(xué)員-班級(jí)關(guān)系而不是平均分配 import random def build_student_class_pairs(n_students10000, n_classes5000, seed42): random.seed(seed) # 固定種子保證每輪壓測(cè)數(shù)據(jù)可復(fù)現(xiàn) pairs [] for sid in range(n_students): r random.random() if r 0.90: k random.randint(1, 5) # 90% 學(xué)員報(bào) 1~5 個(gè)班主體流量 elif r 0.95: k random.randint(6, 10) # 5% 學(xué)員報(bào) 6~10 個(gè)班 else: k random.randint(11, 30) # 5% 長(zhǎng)尾學(xué)員專(zhuān)門(mén)用來(lái)壓出瓶頸 pairs.extend((sid, cid) for cid in random.sample(range(n_classes), k)) return pairs三個(gè)參數(shù)要跟著業(yè)務(wù)走n_students決定并發(fā)賬號(hào)基數(shù)一般按預(yù)估峰值在線人數(shù)除以單賬號(hào)可復(fù)用次數(shù)來(lái)估n_classes要保證班級(jí)容量規(guī)則不會(huì)在壓測(cè)中途被耗盡比例閾值 0.90、0.95 是從訂單明細(xì)里統(tǒng)計(jì)出來(lái)的換了業(yè)務(wù)就得重算不要直接抄。種子固定是為了讓每輪基線壓測(cè)跑在同一份數(shù)據(jù)上否則性能波動(dòng)沒(méi)法歸因。2.2 環(huán)境仿真度線上壓測(cè)優(yōu)先線下等比例不等于等比縮環(huán)境仿真度看三個(gè)因子是否線上壓測(cè)、線下部署規(guī)模、線下服務(wù)器資源配置。首選當(dāng)然是在線上壓但要先建壓測(cè)通道、做數(shù)據(jù)隔離不能把真實(shí)數(shù)據(jù)攪亂。做不到線上壓線下就得按線上集群等比例部署服務(wù)器配置盡量保持一致否則仿真度會(huì)大打折扣。這里有一條血淚經(jīng)驗(yàn)等比例壓縮只壓應(yīng)用層不壓中間件瓶頸位置會(huì)整體錯(cuò)位。線上 200 臺(tái)應(yīng)用對(duì)應(yīng) 20 臺(tái)數(shù)據(jù)庫(kù)你在線下壓成 20 臺(tái)應(yīng)用卻仍然只掛 2 臺(tái)數(shù)據(jù)庫(kù)先掛的一定是數(shù)據(jù)庫(kù)你據(jù)此得出的「數(shù)據(jù)庫(kù)是瓶頸」結(jié)論在線上根本不成立。折算清單要一起算應(yīng)用節(jié)點(diǎn)、數(shù)據(jù)庫(kù)連接數(shù)、緩存分片、消息隊(duì)列分區(qū)、網(wǎng)關(guān)實(shí)例缺一個(gè)都會(huì)讓瓶頸搬家。資源類(lèi)型線上規(guī)模線下折算折算時(shí)必須同步調(diào)整的參數(shù)應(yīng)用節(jié)點(diǎn)200 臺(tái) 8C16G20 臺(tái) 8C16G每節(jié)點(diǎn)連接池上限按比例下調(diào)數(shù)據(jù)庫(kù)主從多實(shí)例同比例縮減實(shí)例數(shù)最大連接數(shù)、慢查詢(xún)閾值同步下調(diào)緩存多分片集群縮減分片但保留集群模式客戶(hù)端分片算法不變避免壓測(cè)代碼走另一條路徑網(wǎng)關(guān)多可用區(qū)部署單可用區(qū)多實(shí)例限流閾值按實(shí)例數(shù)等比縮放2.3 場(chǎng)景仿真度核心鏈路要敢做減法壓測(cè)場(chǎng)景就是壓測(cè)的目標(biāo)和范圍前提是把業(yè)務(wù)吃透。做法是從日志和用戶(hù)行為里歸納出一條或幾條核心鏈路明確鏈路上每個(gè)接口、每類(lèi)調(diào)用同步還是異步、串行還是并行、每類(lèi)參數(shù)。所謂核心鏈路是用戶(hù)在關(guān)鍵時(shí)間點(diǎn)的真實(shí)操作序列打開(kāi)購(gòu)物車(chē)、進(jìn)結(jié)算頁(yè)、打開(kāi)收銀臺(tái)、選優(yōu)惠、選支付、下單、下單后置處理。確定核心鏈路最關(guān)鍵的一點(diǎn)是不要貪多。覺(jué)得用戶(hù)可能會(huì)點(diǎn)這里、也可能點(diǎn)那里把低頻操作也塞進(jìn)主鏈路結(jié)果是把核心鏈路的壓力稀釋掉還多了一堆無(wú)關(guān)的失敗點(diǎn)。以零點(diǎn)場(chǎng)景為例非核心查詢(xún)基本都會(huì)被降級(jí)——比如訂單列表只允許查最近三個(gè)月其余提示稍后再查把資源全部讓給核心鏈路。這個(gè)降級(jí)策略本身也要寫(xiě)進(jìn)壓測(cè)方案因?yàn)閴毫δＰ统闪⒌那疤崾墙导?jí)開(kāi)關(guān)真的生效了。接口峰值調(diào)用占比是否進(jìn)壓測(cè)鏈路降級(jí)策略登錄鑒權(quán)18%是不降級(jí)壓測(cè)標(biāo)識(shí)走獨(dú)立通道班級(jí)與規(guī)則校驗(yàn)26%是不降級(jí)優(yōu)惠計(jì)算24%是不降級(jí)下單與訂單落庫(kù)22%是不降級(jí)歷史訂單查詢(xún)6%否限時(shí)間范圍查詢(xún)推薦位與運(yùn)營(yíng)位4%否直接返回兜底內(nèi)容2.4 壓力仿真度并發(fā)模式與 TPS 目標(biāo)模式怎么選壓力仿真度就是負(fù)載參數(shù)壓測(cè)模式、并發(fā)數(shù)或目標(biāo) TPS、集合點(diǎn)、thinktime、預(yù)熱時(shí)長(zhǎng)、壓測(cè)時(shí)長(zhǎng)。模式選錯(cuò)整套壓測(cè)的方向就偏了。并發(fā)模式適合已知大概并發(fā)的場(chǎng)景。比如預(yù)估有 10 萬(wàn)用戶(hù)會(huì)來(lái)先判斷這 10 萬(wàn)是集中訪問(wèn)還是分散訪問(wèn)集中在秒殺、搶購(gòu)這類(lèi)瞬間場(chǎng)景那就設(shè) 10 萬(wàn)并發(fā)并開(kāi)集合點(diǎn)讓請(qǐng)求同一時(shí)刻放出去如果是一天累計(jì) 10 萬(wàn)按二八法則折算成峰值并發(fā)就夠。TPS 目標(biāo)模式適合后臺(tái)接口類(lèi)場(chǎng)景跟并發(fā)數(shù)無(wú)關(guān)只盯吞吐量接口設(shè)計(jì)上限是 3 萬(wàn) TPS就直接設(shè) 3 萬(wàn)壓測(cè)系統(tǒng)自動(dòng)調(diào)節(jié)并發(fā)去逼近目標(biāo)達(dá)不到就判定不達(dá)標(biāo)非常適合作為基線任務(wù)的固定口徑。# 續(xù)報(bào)核心鏈路壓測(cè)場(chǎng)景配置TPS 目標(biāo)模式 scene: renewal_core_chain mode: tps_target # 可選 tps_target / concurrency target_tps: 3000 # 按歷史峰值 TPS 上浮 20% 設(shè)定 ramp_up_seconds: 300 # 預(yù)熱 5 分鐘避開(kāi) JIT 與連接池冷啟動(dòng)造成的假瓶頸 duration_seconds: 1800 # 穩(wěn)定壓 30 分鐘覆蓋一次 GC 周期 think_time_ms: 800 # 按真實(shí)用戶(hù)操作間隔設(shè)置設(shè) 0 會(huì)虛高吞吐 rendezvous: enabled: false # 目標(biāo)模式不設(shè)集合點(diǎn)集合點(diǎn)只用于瞬時(shí)并發(fā)驗(yàn)證 data_binding: account_pool: pressure_account_q1 param_source: renewal_pair_distribution sla: p99_ms: 800 error_rate: 0.001幾個(gè)參數(shù)的理解比數(shù)值本身重要ramp_up_seconds太短第一分鐘的 p99 會(huì)非常難看那是冷啟動(dòng)不是瓶頸think_time_ms直接決定同一并發(fā)下的實(shí)際 TPS設(shè)成 0 相當(dāng)于讓每個(gè)虛擬用戶(hù)全速打壓出來(lái)的數(shù)字沒(méi)人敢信rendezvous開(kāi)在目標(biāo)模式下會(huì)把平滑壓力變成脈沖除非你就是要驗(yàn)證瞬時(shí)沖擊否則關(guān)掉sla里用 p99 而不是平均值平均值會(huì)把長(zhǎng)尾藏起來(lái)這是壓測(cè)報(bào)告里最常見(jiàn)的黑匣子。3. 流量與數(shù)據(jù)隔離壓測(cè)標(biāo)識(shí)怎么透?jìng)鳌?shù)據(jù)怎么回收線上壓測(cè)繞不開(kāi)隔離。壓測(cè)流量進(jìn)了生產(chǎn)庫(kù)、壓測(cè)訂單污染了真實(shí)報(bào)表后續(xù)清理成本遠(yuǎn)高于壓測(cè)本身。業(yè)界比較成熟的做法是給壓測(cè)流量打標(biāo)標(biāo)識(shí)隨調(diào)用鏈一路透?jìng)鞲飨到y(tǒng)按標(biāo)識(shí)分支處理數(shù)據(jù)側(cè)則用影子賬號(hào)、影子對(duì)象加規(guī)則改寫(xiě)把壓測(cè)數(shù)據(jù)和真實(shí)數(shù)據(jù)分開(kāi)。這套東西不難難在透?jìng)麈溌飞先魏我画h(huán)丟標(biāo)。3.1 標(biāo)識(shí)注入與全鏈路透?jìng)鞯娜齻€(gè)落點(diǎn)第一個(gè)落點(diǎn)是網(wǎng)關(guān)。壓測(cè)流量統(tǒng)一從壓測(cè)機(jī)或壓測(cè)通道進(jìn)來(lái)網(wǎng)關(guān)解析 header 里的標(biāo)識(shí)寫(xiě)進(jìn)請(qǐng)求上下文同時(shí)打到日志 MDC 上后續(xù)排查能按標(biāo)識(shí)撈全量日志。第二個(gè)落點(diǎn)是 RPC 上下文。服務(wù)間調(diào)用要把標(biāo)識(shí)放進(jìn)隱式參數(shù)或 header不能靠業(yè)務(wù)代碼逐層傳參否則遲早漏。第三個(gè)落點(diǎn)是消息隊(duì)列生產(chǎn)消息時(shí)把標(biāo)識(shí)寫(xiě)進(jìn)消息屬性消費(fèi)端讀出來(lái)重新塞進(jìn)上下文。// 網(wǎng)關(guān)層統(tǒng)一收口壓測(cè)標(biāo)識(shí)避免各業(yè)務(wù)方各自解析出偏差 public class PressureTagInterceptor implements HandlerInterceptor { public static final String PRESSURE_HEADER X-Pressure-Flag; private static final ThreadLocalBoolean HOLDER new ThreadLocal(); Override public boolean preHandle(HttpServletRequest req, HttpServletResponse resp, Object handler) { // 只認(rèn) 1其余取值一律按生產(chǎn)流量處理避免臟標(biāo)識(shí)誤傷真實(shí)請(qǐng)求 boolean isPressure 1.equals(req.getHeader(PRESSURE_HEADER)); HOLDER.set(isPressure); MDC.put(pressure, String.valueOf(isPressure)); return true; } Override public void afterCompletion(HttpServletRequest req, HttpServletResponse resp, Object handler, Exception ex) { // 線程池復(fù)用場(chǎng)景必須清理否則標(biāo)識(shí)會(huì)串到下一個(gè)請(qǐng)求上 HOLDER.remove(); MDC.remove(pressure); } }關(guān)鍵在afterCompletion里的清理動(dòng)作。Web 容器線程是復(fù)用的只 set 不 remove下一個(gè)真實(shí)請(qǐng)求可能繼承上一個(gè)壓測(cè)請(qǐng)求的標(biāo)識(shí)結(jié)果真實(shí)用戶(hù)的數(shù)據(jù)被當(dāng)成壓測(cè)數(shù)據(jù)清了這種事故修起來(lái)極其難受。異步線程和線程池場(chǎng)景要用可傳遞的 ThreadLocal 包裝或者顯式在提交任務(wù)時(shí)把標(biāo)識(shí)帶過(guò)去這是透?jìng)麈溌防镒钊菀讛嗟囊画h(huán)。3.2 數(shù)據(jù)隔離影子賬號(hào)、影子對(duì)象與規(guī)則改寫(xiě)隔離分讀寫(xiě)兩側(cè)。讀側(cè)靠賬號(hào)區(qū)分為壓測(cè)預(yù)留一批專(zhuān)用賬號(hào)綁定的學(xué)員是虛擬學(xué)員與真實(shí)學(xué)員在姓名和賬號(hào)維度上完全隔開(kāi)壓測(cè)怎么查都查不到真實(shí)數(shù)據(jù)。寫(xiě)側(cè)靠對(duì)象和規(guī)則班級(jí)可以復(fù)用真實(shí)班級(jí)信息這樣容量、狀態(tài)這些屬性才是真的但訂單、購(gòu)物車(chē)這類(lèi)寫(xiě)數(shù)據(jù)必須帶壓測(cè)標(biāo)識(shí)續(xù)報(bào)規(guī)則和優(yōu)惠規(guī)則通過(guò)標(biāo)識(shí)改寫(xiě)為「當(dāng)前時(shí)刻有效」的規(guī)則集讓壓測(cè)數(shù)據(jù)能正常走完業(yè)務(wù)流轉(zhuǎn)同時(shí)又不觸碰真實(shí)規(guī)則的時(shí)間窗口和名額限制。為什么不干脆建一套獨(dú)立影子庫(kù)成本高而且仿真度反而下降——影子庫(kù)的索引、數(shù)據(jù)量、慢查詢(xún)特征都和生產(chǎn)不一樣壓出來(lái)的結(jié)論沒(méi)法直接用。用標(biāo)識(shí)做邏輯隔離配合任務(wù)結(jié)束后的定向清洗通常是性?xún)r(jià)比最高的方案。前提是標(biāo)識(shí)透?jìng)鞅仨汄?yàn)證過(guò)不能只靠代碼 review 拍胸脯。3.3 壓測(cè)數(shù)據(jù)構(gòu)造與清洗回收的完整閉環(huán)壓測(cè)數(shù)據(jù)按三層準(zhǔn)備。基元數(shù)據(jù)是登錄賬號(hào)和學(xué)員方案里維護(hù)了一個(gè)數(shù)萬(wàn)級(jí)的測(cè)試賬號(hào)池由平臺(tái)按項(xiàng)目統(tǒng)一分配和回收業(yè)務(wù)型數(shù)據(jù)是班級(jí)、續(xù)報(bào)規(guī)則、優(yōu)惠規(guī)則班級(jí)支持一鍵構(gòu)造規(guī)則按標(biāo)識(shí)指定時(shí)間段生效鏈路數(shù)據(jù)則由基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)規(guī)則模擬真實(shí)操作生成支持調(diào)度中心一鍵或定時(shí)觸發(fā)。-- 壓測(cè)任務(wù)結(jié)束后的數(shù)據(jù)回收三板斧刪業(yè)務(wù)數(shù)據(jù)、解綁賬號(hào)、回寫(xiě)賬號(hào)池 DELETE FROM order_item WHERE pressure_flag 1 AND created_at NOW() - INTERVAL 7 days; DELETE FROM cart WHERE pressure_flag 1; UPDATE account_pool SET status idle, bound_student_id NULL, released_at NOW() WHERE batch_no pressure_q1 AND status in_use;順序不能反。先刪業(yè)務(wù)數(shù)據(jù)再解綁賬號(hào)否則賬號(hào)先回池、舊數(shù)據(jù)還在下一輪壓測(cè)就可能讀到臟購(gòu)物車(chē)pressure_flag 1這個(gè)條件必須走索引否則一次清理能掃全表。回收還要考慮異常路徑任務(wù)中途掛掉清理任務(wù)得由調(diào)度中心兜底觸發(fā)不能指望人工發(fā)現(xiàn)。方案里通常會(huì)給賬號(hào)池設(shè)計(jì)狀態(tài)機(jī)idle / in_use / dirty / recycling任何一步失敗都能定位到卡在哪個(gè)狀態(tài)。4. 負(fù)載建模與自動(dòng)化基線把一次性壓測(cè)變成每周跑的任務(wù)一次壓測(cè)報(bào)告的說(shuō)服力有限真正有價(jià)值的是基線同一場(chǎng)景、同一壓力模型、同一數(shù)據(jù)分布每周或者每個(gè)版本跑一次指標(biāo)一偏就報(bào)警。這樣性能問(wèn)題從「上線后才發(fā)現(xiàn)」變成「合并前就發(fā)現(xiàn)」擴(kuò)容決策也有了數(shù)據(jù)支撐而不是等到窗口期前拍腦袋加機(jī)器。4.1 并發(fā)配比表怎么從日志和訂單里推出來(lái)壓力模型不是估出來(lái)的是算出來(lái)的。第一步拉核心鏈路各接口的日志峰值和占比定位鏈路覆蓋范圍和業(yè)務(wù)并發(fā)點(diǎn)第二步用調(diào)用量和抓包確認(rèn)上下游調(diào)用關(guān)系找出真正的并發(fā)點(diǎn)在哪一層第三步從窗口期訂單明細(xì)里統(tǒng)計(jì)報(bào)班量占比把數(shù)據(jù)分布和并發(fā)配比同時(shí)對(duì)齊真實(shí)流量第四步如果有條件全量拉取參與窗口期的真實(shí)加購(gòu)數(shù)據(jù)做一次瞬時(shí)并發(fā)評(píng)估這份數(shù)據(jù)對(duì)擴(kuò)容方案的參考價(jià)值最高。壓測(cè)場(chǎng)景并發(fā)占比目標(biāo) TPS 占比數(shù)據(jù)特征單班續(xù)報(bào)主流程55%58%學(xué)員報(bào) 1~5 個(gè)班占主體多班批量續(xù)報(bào)25%22%學(xué)員報(bào) 6~10 個(gè)班規(guī)則校驗(yàn)更重長(zhǎng)尾學(xué)員續(xù)報(bào)12%13%報(bào) 11~30 個(gè)班單請(qǐng)求耗時(shí)最長(zhǎng)購(gòu)物車(chē)加購(gòu)與結(jié)算8%7%基于真實(shí)加購(gòu)數(shù)據(jù)回放占比之間要有解釋力為什么長(zhǎng)尾場(chǎng)景只占 12% 的并發(fā)卻給了 13% 的 TPS因?yàn)樗膯握?qǐng)求耗時(shí)更長(zhǎng)占用的處理資源更多。這張表是壓測(cè)方案里最該被追問(wèn)的東西答辯時(shí)評(píng)委只要問(wèn)一句「這個(gè)比例怎么來(lái)的」你能不能報(bào)出日志統(tǒng)計(jì)口徑和訂單統(tǒng)計(jì)口徑基本就決定了方案的 credibility。4.2 基線任務(wù)的四段式流程基線任務(wù)通常拆成四段用調(diào)度中心串起來(lái)支持手動(dòng)和定時(shí)兩種觸發(fā)方式。# 基線任務(wù)編排構(gòu)造 - 試運(yùn)行 - 預(yù)熱 - 正式壓測(cè) - 對(duì)比通知 task_run() { step1_build_data # 按分布自動(dòng)構(gòu)造壓測(cè)數(shù)據(jù)產(chǎn)出批次號(hào) step2_smoke_run # 小流量試運(yùn)行驗(yàn)證鏈路連通與數(shù)據(jù)可用 step3_preheat # 數(shù)據(jù)預(yù)熱把熱點(diǎn)數(shù)據(jù)提前加載進(jìn)緩存 step4_baseline_run # 正式基線壓測(cè)固定 TPS 與時(shí)長(zhǎng) step5_compare_and_notify # 與上一輪基線對(duì)比超閾值告警 }第二步最容易被跳過(guò)也最不該跳。壓測(cè)場(chǎng)景復(fù)雜數(shù)據(jù)構(gòu)造完不等于數(shù)據(jù)可用賬號(hào)可能被上一輪占著沒(méi)釋放班級(jí)可能名額已滿(mǎn)規(guī)則可能已經(jīng)過(guò)期。試運(yùn)行用低流量把整條鏈路走一遍幾秒鐘就能發(fā)現(xiàn)「鏈路不通」和「數(shù)據(jù)失效」這兩類(lèi)問(wèn)題比正式壓測(cè)跑到一半大量報(bào)錯(cuò)強(qiáng)得多。第三步的預(yù)熱可以自定義也可以省略但如果你的業(yè)務(wù)有大量本地緩存省掉預(yù)熱會(huì)讓第一輪基線的數(shù)字明顯偏低。4.3 壓測(cè)平臺(tái)的最小功能集自建壓測(cè)平臺(tái)不需要一上來(lái)就做大而全先把跑通閉環(huán)的最小功能集做出來(lái)剩下的按需長(zhǎng)。模塊最小功能驗(yàn)收口徑腳本管理支持 HTTP/HTTPS在線創(chuàng)建與調(diào)試腳本新建到首次調(diào)試成功不超過(guò) 10 分鐘數(shù)據(jù)構(gòu)造一鍵生成基元數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)構(gòu)造失敗可重試產(chǎn)出批次號(hào)可追溯壓測(cè)建模場(chǎng)景、并發(fā)配比、目標(biāo) TPS 可配置同一場(chǎng)景配置可復(fù)制生成新版本施壓機(jī)管理統(tǒng)一注冊(cè)、心跳、任務(wù)分發(fā)施壓機(jī)掉線能自動(dòng)剔除且告警過(guò)程監(jiān)控實(shí)時(shí)指標(biāo)看板、閾值預(yù)警、熔斷觸發(fā)熔斷后 30 秒內(nèi)停止施壓結(jié)果歸檔報(bào)表聚合、基線庫(kù)、歷史對(duì)比任意兩輪結(jié)果可按場(chǎng)景對(duì)比任務(wù)調(diào)度基線任務(wù)定時(shí)執(zhí)行、結(jié)果通知支持郵件與即時(shí)消息兩類(lèi)通知其中熔斷這一條最容易被砍掉但它是后悔藥壓測(cè)過(guò)程中如果真實(shí)業(yè)務(wù)指標(biāo)出現(xiàn)異常核心接口錯(cuò)誤率飆升、數(shù)據(jù)庫(kù)連接數(shù)打滿(mǎn)系統(tǒng)要能自動(dòng)停止施壓。沒(méi)有這個(gè)開(kāi)關(guān)一次壓測(cè)可能直接把生產(chǎn)拖垮這個(gè)責(zé)任沒(méi)人擔(dān)得起。5. 避坑與排查壓測(cè)里最容易翻車(chē)的五類(lèi)問(wèn)題壓測(cè)方案寫(xiě)得再漂亮落地時(shí)總有幾個(gè)坑等著。下面五條是按「現(xiàn)象 → 原因 → 解決」整理的都是實(shí)際項(xiàng)目里反復(fù)出現(xiàn)的問(wèn)題提前知道能省掉大半天排查。5.1 數(shù)據(jù)與隔離類(lèi)看不見(jiàn)的臟數(shù)據(jù)最傷人現(xiàn)象一壓測(cè)跑完之后生產(chǎn)報(bào)表里的訂單量莫名多了一批客服反饋有用戶(hù)看到不屬于自己的購(gòu)物車(chē)。原因基本可以鎖定在標(biāo)識(shí)丟失。壓測(cè)標(biāo)識(shí)只在入口層打了異步任務(wù)、線程池、消息消費(fèi)這幾個(gè)環(huán)節(jié)沒(méi)有透?jìng)鲗?dǎo)致部分寫(xiě)操作按生產(chǎn)流量處理直接落進(jìn)了真實(shí)表。解決分三步一是把標(biāo)識(shí)透?jìng)髯龀煽蚣芗?jí)能力RPC 隱式參數(shù)、消息屬性、線程池包裝統(tǒng)一收口業(yè)務(wù)代碼不手寫(xiě)二是加一條回歸用例用壓測(cè)標(biāo)識(shí)發(fā)起請(qǐng)求斷言鏈路上每個(gè)節(jié)點(diǎn)的日志里都帶標(biāo)識(shí)三是清理任務(wù)改為按標(biāo)識(shí)定向刪除而不是按時(shí)間范圍模糊刪避免誤傷?，F(xiàn)象二壓測(cè)結(jié)果非常好TPS 達(dá)標(biāo)、p99 很漂亮但線上窗口期一開(kāi)就崩。多半是數(shù)據(jù)構(gòu)造偷懶了。用平均分布造數(shù)據(jù)每個(gè)賬號(hào)關(guān)聯(lián)的對(duì)象數(shù)量差不多鏈路上逐條校驗(yàn)、逐條計(jì)算的開(kāi)銷(xiāo)被攤平最耗時(shí)的長(zhǎng)尾路徑根本沒(méi)被觸發(fā)。解決方法是回到訂單明細(xì)統(tǒng)計(jì)真實(shí)的對(duì)象關(guān)聯(lián)分布按分位數(shù)構(gòu)造數(shù)據(jù)至少保證 5% 的請(qǐng)求落在長(zhǎng)尾區(qū)間。這類(lèi)問(wèn)題的排查有個(gè)技巧壓測(cè)結(jié)束后看耗時(shí)分布的偏度如果 p99 和 p50 差距很小先懷疑數(shù)據(jù)太均勻?，F(xiàn)象三第二周跑同一個(gè)基線任務(wù)指標(biāo)突然變差但代碼一行沒(méi)改。大概率是上一輪的數(shù)據(jù)沒(méi)清干凈。賬號(hào)沒(méi)解綁、購(gòu)物車(chē)還有舊數(shù)據(jù)、優(yōu)惠規(guī)則命中了過(guò)期配置都會(huì)讓第二輪的結(jié)果失真。解決是把清理做成任務(wù)的前置步驟而不是后置步驟每次開(kāi)跑前先對(duì)賬號(hào)池做一次全量校驗(yàn)狀態(tài)不是 idle 的一律回滾或剔除業(yè)務(wù)數(shù)據(jù)按批次號(hào)刪除不按時(shí)間刪規(guī)則改寫(xiě)帶上批次標(biāo)識(shí)避免不同批次互相污染。5.2 負(fù)載與環(huán)境類(lèi)瓶頸會(huì)搬家現(xiàn)象四線下壓測(cè)顯示應(yīng)用層 CPU 打滿(mǎn)、數(shù)據(jù)庫(kù)很閑于是結(jié)論是「應(yīng)用需要擴(kuò)容」線上實(shí)際是先扛不住數(shù)據(jù)庫(kù)。這是等比例壓縮只壓了一半的典型后果。應(yīng)用節(jié)點(diǎn)從 200 臺(tái)縮到 20 臺(tái)數(shù)據(jù)庫(kù)和緩存卻沒(méi)按同比例縮或者縮了實(shí)例數(shù)但沒(méi)調(diào)連接池上限瓶頸位置自然錯(cuò)位。解決方法是維護(hù)一張折算清單應(yīng)用、數(shù)據(jù)庫(kù)、緩存、網(wǎng)關(guān)、消息隊(duì)列逐項(xiàng)對(duì)照每項(xiàng)都要標(biāo)注「縮了多少、對(duì)應(yīng)參數(shù)改了什么」壓測(cè)前先用單機(jī)小流量校準(zhǔn)一次確認(rèn)各層資源利用率的關(guān)系與線上一致再上正式壓力?，F(xiàn)象五壓測(cè)一開(kāi)始的三十秒 p99 高得離譜之后突然變好報(bào)告不知道該怎么寫(xiě)。這是預(yù)熱不足加上 thinktime 設(shè)置不當(dāng)。JIT 編譯、連接池建立、本地緩存加載都需要時(shí)間一開(kāi)始的全速?zèng)_擊會(huì)把這些冷啟動(dòng)成本放大成假瓶頸反過(guò)來(lái)thinktime 設(shè)成 0 會(huì)讓每個(gè)虛擬用戶(hù)全速發(fā)請(qǐng)求壓出來(lái)的 TPS 虛高線上根本達(dá)不到。解決是固定預(yù)熱 5 到 10 分鐘預(yù)熱期的指標(biāo)單獨(dú)統(tǒng)計(jì)、不混進(jìn)正式結(jié)果thinktime 按真實(shí)用戶(hù)操作間隔設(shè)通常在幾百毫秒量級(jí)集合點(diǎn)只在驗(yàn)證瞬時(shí)并發(fā)時(shí)打開(kāi)常規(guī)基線一律關(guān)閉。6. 方案怎么驗(yàn)收答辯前必須能自證的四個(gè)交付物壓測(cè)方案和普通功能方案不一樣它的產(chǎn)出不是代碼是「結(jié)論 證據(jù)」。評(píng)審和答辯時(shí)被追問(wèn)的從來(lái)不是「你用了什么工具」而是「你憑什么說(shuō)這個(gè)結(jié)論可信」。所以驗(yàn)收前先把四份交付物備齊每份都要能獨(dú)立回答一個(gè)問(wèn)題。交付物回答的問(wèn)題驗(yàn)收口徑壓測(cè)模型說(shuō)明四個(gè)仿真度分別做到什么程度每個(gè)維度有可量化參數(shù)缺失項(xiàng)寫(xiě)明原因與影響隔離方案與驗(yàn)證記錄壓測(cè)數(shù)據(jù)會(huì)不會(huì)污染生產(chǎn)有標(biāo)識(shí)透?jìng)骰貧w用例的通過(guò)記錄有清理演練結(jié)果數(shù)據(jù)構(gòu)造與回收清單數(shù)據(jù)從哪來(lái)、跑完去哪了分布比例有統(tǒng)計(jì)來(lái)源回收腳本有執(zhí)行日志基線任務(wù)與對(duì)比報(bào)告性能是否穩(wěn)定、退化在哪至少兩輪同口徑對(duì)比指標(biāo)口徑一致、波動(dòng)可解釋答辯時(shí)最常被追問(wèn)的三個(gè)點(diǎn)提前想好答案。第一「為什么不用線下單接口壓測(cè)數(shù)據(jù)」——因?yàn)閱谓涌跓o(wú)法體現(xiàn)鏈路放大效應(yīng)和資源競(jìng)爭(zhēng)要能舉出自己鏈路里某個(gè)接口在串聯(lián)后耗時(shí)翻倍的例子。第二「壓測(cè)標(biāo)識(shí)會(huì)不會(huì)漏」——不要回答「不會(huì)漏」要回答「怎么發(fā)現(xiàn)漏」比如每個(gè)節(jié)點(diǎn)必須打標(biāo)、定時(shí)抽樣比對(duì)壓測(cè)請(qǐng)求數(shù)與應(yīng)用側(cè)命中數(shù)是否一致。第三「基線對(duì)比看哪個(gè)指標(biāo)」——答 p99 和錯(cuò)誤率平均值只作參考因?yàn)槠骄禃?huì)把長(zhǎng)尾藏起來(lái)而窗口期最先崩的就是長(zhǎng)尾。我自己的習(xí)慣是壓測(cè)正式開(kāi)跑前強(qiáng)制走一遍「標(biāo)識(shí)透?jìng)骰貧w 數(shù)據(jù)回收演練」兩件事各花不到十分鐘但能把后面最難受的兩類(lèi)事故擋在門(mén)外。這套流程第一次做會(huì)覺(jué)得繁瑣做上三輪就會(huì)變成肌肉記憶。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取