做金融系統(tǒng)的朋友應(yīng)該都清楚“跨境匯款慢到懷疑人生”幾乎成了行業(yè)默認(rèn)的體驗(yàn)。一筆錢從中國(guó)匯到海外運(yùn)氣好隔天到運(yùn)氣不好三五天也沒(méi)動(dòng)靜。我們今年接了一家大型商業(yè)銀行的跨境匯款系統(tǒng)重構(gòu)項(xiàng)目目標(biāo)很直接把跨境匯款從“天級(jí)”拉到“秒級(jí)”口號(hào)叫“秒級(jí)跨境”。前期調(diào)研一做完說(shuō)實(shí)話我第一反應(yīng)是這目標(biāo)有點(diǎn)激進(jìn)因?yàn)閭鹘y(tǒng)跨境支付根本不是靠網(wǎng)絡(luò)延時(shí)就夠的鏈路里疊加了大量合規(guī)、清算、中轉(zhuǎn)環(huán)節(jié)。但分布式系統(tǒng)框架搭起來(lái)之后成果確實(shí)超出預(yù)期。這篇文章把我參與的整個(gè)重構(gòu)過(guò)程、架構(gòu)設(shè)計(jì)、關(guān)鍵取舍和踩過(guò)的坑都整理了一遍對(duì)正在做支付結(jié)算、金融分布式核心重構(gòu)的朋友應(yīng)該會(huì)有直接參考價(jià)值。1. 跨境匯款之痛為什么一筆款要等三五天要做重構(gòu)先得搞清楚慢在哪兒。跨境匯款的“慢”不是一個(gè)點(diǎn)慢而是整條鏈路串行下來(lái)的累積延遲。把鏈路拆開(kāi)看每個(gè)環(huán)節(jié)都很真實(shí)。1.1 傳統(tǒng)跨境匯款的完整鏈路傳統(tǒng)跨境匯款是一條從“發(fā)起行-中間行-收款行”的接力路徑。假設(shè)客戶在境內(nèi)某銀行網(wǎng)點(diǎn)發(fā)起一筆匯往海外的款項(xiàng)流程大致是這樣:客戶匯款申請(qǐng)先進(jìn)入發(fā)起行的核心系統(tǒng)系統(tǒng)做賬戶扣款、凍結(jié)然后生成一條跨境報(bào)文通過(guò)國(guó)際報(bào)文網(wǎng)絡(luò)發(fā)給下一家中間行。中間行可能是境外代理行也可能是一連串中轉(zhuǎn)行每一家都要做一次報(bào)文解析、合規(guī)篩查、頭寸校驗(yàn)接著再轉(zhuǎn)發(fā)。最后報(bào)文到達(dá)收款行收款行完成入賬資金才能真正到客戶賬上。這條鏈路上最重的開(kāi)銷不在網(wǎng)絡(luò)傳輸而在“逐筆校驗(yàn)”。國(guó)際報(bào)文網(wǎng)絡(luò)的報(bào)文傳遞本身是秒級(jí)的但每一站都必須停下來(lái)核對(duì)付款人信息、收款人信息、用途描述是否觸發(fā)反洗錢或者制裁名單同時(shí)還要確認(rèn)中間行在收款行有沒(méi)有足夠的代理行頭寸。一個(gè)環(huán)節(jié)出問(wèn)題比如受益人姓名比照名單有疑似命中這筆業(yè)務(wù)就會(huì)被抽出來(lái)走人工復(fù)核一掛就是幾小時(shí)甚至幾天。我們項(xiàng)目組在調(diào)研期做過(guò)統(tǒng)計(jì)從客戶提交到收款行入賬平均耗時(shí)約28小時(shí)其中純報(bào)文傳輸時(shí)間不到10分鐘剩余全部耗在中轉(zhuǎn)節(jié)點(diǎn)的人工與半人工處理上。這個(gè)鏈路在業(yè)務(wù)量小時(shí)基本沒(méi)問(wèn)題一天幾百筆人工復(fù)核也壓得住。但客戶體量上來(lái)后日間并發(fā)能到數(shù)千筆甚至上萬(wàn)筆問(wèn)題就暴露了。尤其是周末或節(jié)假日前后國(guó)際清算市場(chǎng)不開(kāi)門跨境匯款直接躺平客戶只能干等。1.2 拖慢速度的四個(gè)真實(shí)瓶頸把慢的原因掰開(kāi)揉碎我總結(jié)為四個(gè)核心瓶頸重構(gòu)時(shí)每一個(gè)都得針對(duì)性解決批量處理模式。傳統(tǒng)銀行核心系統(tǒng)受限于數(shù)據(jù)庫(kù)讀寫性能跨境匯款普遍采用“定時(shí)批量”方式處理每天幾個(gè)批點(diǎn)跑批量任務(wù)而不是實(shí)時(shí)逐筆處理。客戶白天提交的匯款很可能要到當(dāng)天夜間批點(diǎn)才統(tǒng)一生成報(bào)文。這一下就損耗了十幾個(gè)小時(shí)等于把“可秒級(jí)傳輸”硬生生變成“日終清算”。中轉(zhuǎn)節(jié)點(diǎn)過(guò)多。一筆跨境匯款經(jīng)過(guò)3到5家中間行很常見(jiàn)每多一個(gè)節(jié)點(diǎn)就多一層解析、解碼、頭寸核查、合規(guī)比對(duì)。節(jié)點(diǎn)之間還存在時(shí)差問(wèn)題報(bào)文到了對(duì)方那邊正好是夜間只能排隊(duì)等下一個(gè)工作日。人工合規(guī)篩查。制裁名單和反洗錢篩查目前依然是跨境業(yè)務(wù)最大的時(shí)間黑洞。很多銀行為了控風(fēng)險(xiǎn)采用“機(jī)檢人工復(fù)核”的雙重機(jī)制命中的概率雖然不是很高但每天海量業(yè)務(wù)推下來(lái)人工復(fù)核隊(duì)列永遠(yuǎn)堆積如山。而且每家中間行都有自己的一套篩查規(guī)則一家放行不代表下一家也放行同一筆業(yè)務(wù)被反復(fù)篩查。代理行流動(dòng)性不足。中間行之間互相開(kāi)著代理戶口匯款的本質(zhì)其實(shí)是額度的劃轉(zhuǎn)。如果收款行或中間行在某一條路徑上沒(méi)有充足的頭寸需要等對(duì)方銀行內(nèi)部調(diào)撥資金或者走外匯交易平盤這個(gè)等待時(shí)間完全不確定很多時(shí)候要拖到T1甚至T2。理解了這四個(gè)瓶頸我們重構(gòu)的方向就清晰了解決批量延遲、縮短鏈路、自動(dòng)化合規(guī)、前置流動(dòng)性。方向?qū)ι狭思軜?gòu)才能落對(duì)場(chǎng)景。2. 系統(tǒng)重構(gòu)的起心動(dòng)念從集中式到分布式目標(biāo)明確了“為什么非要分布式系統(tǒng)”這個(gè)疑問(wèn)就很自然了。傳統(tǒng)集中式架構(gòu)負(fù)責(zé)穩(wěn)定賬務(wù)但面對(duì)爆發(fā)式業(yè)務(wù)量和高實(shí)時(shí)性要求確實(shí)有點(diǎn)力不從心。2.1 集中式架構(gòu)的天花板被撞穿了原有系統(tǒng)是典型的“單體核心外圍外圍”結(jié)構(gòu)核心賬務(wù)系統(tǒng)用一個(gè)數(shù)據(jù)庫(kù)所有交易都在這個(gè)庫(kù)里做行級(jí)鎖競(jìng)爭(zhēng)。日常業(yè)務(wù)還好但跨境的報(bào)文處理、合規(guī)檢查、額度管理都要讀寫同一批表一到日間高峰數(shù)據(jù)庫(kù)連接池直接被打滿CPU頻繁飆到90%以上。就性能而言我們做過(guò)一次壓測(cè)單庫(kù)跑跨境申請(qǐng)?zhí)幚碜罡咧荒芸傅郊s300筆/分鐘再多就開(kāi)始出現(xiàn)事務(wù)等待和集群主備切換。這個(gè)吞吐量應(yīng)付陳舊業(yè)務(wù)模式足夠但要做實(shí)時(shí)清分、逐筆合規(guī)、即時(shí)入賬完全撐不住。而且集中式架構(gòu)擴(kuò)展性很差想提升性能只能換更強(qiáng)的機(jī)器或者頻繁做讀寫分離但讀寫分離繞不過(guò)賬務(wù)數(shù)據(jù)的最終一致性銀行系統(tǒng)對(duì)賬務(wù)差錯(cuò)零容忍一旦雙寫出分叉后果很嚴(yán)重。另外集中式系統(tǒng)還有一個(gè)隱性代價(jià)就是發(fā)布和升級(jí)太慢?？缇虫溌飞婕皵?shù)十個(gè)外圍網(wǎng)關(guān)和中間件任何一次核心改造發(fā)布會(huì)都要凍結(jié)業(yè)務(wù)窗口流程冗長(zhǎng)導(dǎo)致很多優(yōu)化想上線一等就是兩三個(gè)月。業(yè)務(wù)部門指望我們快速迭代架構(gòu)卻拖了后腿。2.2 分布式系統(tǒng)能救場(chǎng)但不是免費(fèi)的午餐分布式系統(tǒng)很大吸引力自然是水平擴(kuò)展業(yè)務(wù)量漲了加節(jié)點(diǎn)就能解決問(wèn)題。我們把整條跨境鏈路拆成若干個(gè)微服務(wù)受理服務(wù)、合規(guī)檢查服務(wù)、清算路由服務(wù)、流動(dòng)性管理服務(wù)、通知服務(wù)每個(gè)服務(wù)獨(dú)立部署、獨(dú)立擴(kuò)縮容。高可用也更有保障原來(lái)一臺(tái)機(jī)器崩了全鏈路癱瘓現(xiàn)在拆成服務(wù)后某個(gè)服務(wù)出現(xiàn)故障可以由其他實(shí)例接管。我們實(shí)測(cè)下來(lái)將一個(gè)核心服務(wù)切到多副本后壓測(cè)吞吐量直接從原先的300筆/分鐘提升到1500筆以上后續(xù)加節(jié)點(diǎn)還有繼續(xù)提升空間。但分布式架構(gòu)的坑也不少最大的坑是“數(shù)據(jù)一致性”金融系統(tǒng)最忌諱的就是錢賬不符。原來(lái)單庫(kù)里一筆事務(wù)可以原子完成扣款、凍結(jié)、報(bào)文生成拆到多個(gè)服務(wù)后一筆業(yè)務(wù)要跨服務(wù)多次調(diào)用任何一個(gè)環(huán)節(jié)失敗都可能導(dǎo)致扣款了但報(bào)文沒(méi)發(fā)或者報(bào)文發(fā)出去卻沒(méi)記錄。我們項(xiàng)目組差點(diǎn)在分布式事務(wù)設(shè)計(jì)上翻車這部分我會(huì)在后面章節(jié)詳細(xì)展開(kāi)。成本和運(yùn)維復(fù)雜性也不能忽視。微服務(wù)化之后光中間件就引入了消息隊(duì)列、分布式事務(wù)框架、配置中心、注冊(cè)中心運(yùn)維團(tuán)隊(duì)需要熟悉的組件數(shù)量翻了好幾倍。如果團(tuán)隊(duì)沒(méi)有足夠人才儲(chǔ)備貿(mào)然上分布式很容易變成“不看路先跑”。2.3 我們落地的架構(gòu)選型綜合權(quán)衡后我們采用的方案是“核心賬務(wù)集中式保留外圍業(yè)務(wù)全分布式”。因?yàn)榭缇硡R款的核心賬務(wù)依然要求強(qiáng)一致性賬務(wù)數(shù)據(jù)庫(kù)留在集中式體系內(nèi)由專用賬務(wù)服務(wù)負(fù)責(zé)整體不變。但是受理、合規(guī)、清算、路由這些非賬務(wù)環(huán)節(jié)全部微服務(wù)化通過(guò)消息隊(duì)列與賬務(wù)服務(wù)解耦。具體技術(shù)選型上微服務(wù)框架選了業(yè)內(nèi)比較成熟的Spring Cloud體系消息中間件用高吞吐的Kafka分布式事務(wù)采用“本地消息表定時(shí)對(duì)賬”的方案合規(guī)策略引擎單獨(dú)落地把所有篩查規(guī)則剝離成可配置化。網(wǎng)關(guān)層加了一個(gè)統(tǒng)一的跨境前置將原來(lái)散落的代理行接口整合復(fù)用。這套架構(gòu)最大的好處是“穩(wěn)中求變”。賬務(wù)系統(tǒng)的強(qiáng)一致被保留避免大數(shù)據(jù)量下的事務(wù)撕裂外圍環(huán)節(jié)則可以彈性伸縮、快速迭代。重構(gòu)從啟動(dòng)到第一批業(yè)務(wù)上線我們用了大概5個(gè)多月比整體替換方案節(jié)約了至少一半時(shí)間也大幅降低了并行運(yùn)行的風(fēng)險(xiǎn)。3. “秒級(jí)跨境”可行嗎關(guān)鍵技術(shù)拆解與可行性分析口號(hào)喊出來(lái)容易能不能落地得看技術(shù)路徑。我們花了不少時(shí)間反復(fù)推演和壓測(cè)結(jié)論是“秒級(jí)跨境”在特定場(chǎng)景下可落地但不是全場(chǎng)景無(wú)條件秒級(jí)。要實(shí)現(xiàn)它必須突破三個(gè)關(guān)鍵點(diǎn)。3.1 實(shí)時(shí)支付的關(guān)鍵不是網(wǎng)絡(luò)而是流動(dòng)性很多人直覺(jué)認(rèn)為跨國(guó)通信有延遲所以快不了。其實(shí)國(guó)際報(bào)文網(wǎng)絡(luò)的單條報(bào)文傳輸延遲通常只有幾十毫秒真正的瓶頸完全在“頭寸”。一筆跨境匯款必須在發(fā)起行有足夠存款在中間行有足夠代理行頭寸在收款行有可用額度否則根本不敢劃撥。傳統(tǒng)模式下頭寸是按天調(diào)度各代理行日初確認(rèn)當(dāng)天可用余額后續(xù)每隔幾個(gè)小時(shí)復(fù)核一次。這就造成一個(gè)大問(wèn)題白天新進(jìn)來(lái)的匯款業(yè)務(wù)往往因?yàn)轭^寸未預(yù)支而卡在中轉(zhuǎn)環(huán)節(jié)。我們重構(gòu)時(shí)做了一個(gè)關(guān)鍵改動(dòng)——流動(dòng)性預(yù)置與實(shí)時(shí)調(diào)度結(jié)合。具體來(lái)說(shuō)和多家主力代理行提前簽署“日間透支額度”協(xié)議在本地流動(dòng)性管理系統(tǒng)中預(yù)置資金池按照歷史數(shù)據(jù)動(dòng)態(tài)計(jì)算每日所需頭寸將原本日結(jié)的額度拉平到日間可實(shí)時(shí)消耗。在測(cè)試環(huán)境上我們?cè)谫Y金池模式下將一筆跨境匯款從發(fā)起到入賬的總時(shí)長(zhǎng)壓縮到了350毫秒左右扣掉合規(guī)檢查、清分和報(bào)文生成純賬務(wù)處理只占不到80毫秒。這說(shuō)明只要頭寸前置做足網(wǎng)絡(luò)延遲真的不是核心矛盾。3.2 合規(guī)自動(dòng)化的時(shí)間成本怎么壓合規(guī)篩查是肉眼可見(jiàn)的“時(shí)間黑洞”但也是難啃的骨頭。我們重構(gòu)后把原有的“機(jī)檢人工復(fù)核”改成了“策略規(guī)則引擎機(jī)器學(xué)習(xí)輔助決策”。規(guī)則引擎把所有制裁名單、風(fēng)險(xiǎn)國(guó)家、交易特征描述固化成可實(shí)時(shí)調(diào)用的策略集每筆交易進(jìn)來(lái)后引擎在5毫秒內(nèi)返回風(fēng)險(xiǎn)評(píng)分和邏輯判斷結(jié)果。對(duì)于那些無(wú)法自動(dòng)打分的模糊案例我們不再盲目丟給人工而是引入一個(gè)“風(fēng)險(xiǎn)分級(jí)隊(duì)列”低風(fēng)險(xiǎn)自動(dòng)放行中風(fēng)險(xiǎn)進(jìn)入簡(jiǎn)化復(fù)核只有高風(fēng)險(xiǎn)才完整進(jìn)入人工。實(shí)測(cè)下來(lái)人工處理筆數(shù)從總業(yè)務(wù)量的3.8%降低到0.6%單筆合規(guī)耗時(shí)從平均5分鐘壓到700毫秒效果非常顯著。自然合規(guī)自動(dòng)化不能拍腦袋寫規(guī)則要反復(fù)用歷史數(shù)據(jù)回放調(diào)參避免因?yàn)橐?guī)則過(guò)緊犧牲放行率或者因?yàn)橐?guī)則過(guò)松導(dǎo)致風(fēng)險(xiǎn)漏檢。我們專門做了一套回測(cè)平臺(tái)把過(guò)去三年的跨境匯款報(bào)文灌進(jìn)去校驗(yàn)新規(guī)則精確測(cè)算每個(gè)策略組合的攔截率和誤殺率調(diào)整到可接受區(qū)間后才正式啟用了線上策略。3.3 從小時(shí)級(jí)到秒級(jí)我們還差幾步經(jīng)歷過(guò)重構(gòu)和調(diào)優(yōu)某些支付場(chǎng)景確實(shí)做到了秒級(jí)但必須誠(chéng)實(shí)說(shuō)清楚我們的“秒級(jí)跨境”目前主要集中在“標(biāo)準(zhǔn)小額匯款”和“同名賬戶快捷匯款”兩個(gè)場(chǎng)景單筆額度限制在5000美元以內(nèi)資金來(lái)源和用途項(xiàng)比較標(biāo)準(zhǔn)化。對(duì)于大額、復(fù)雜用途、非同名收款仍然要經(jīng)過(guò)更嚴(yán)格的人工審查鏈路時(shí)間在10到30分鐘不等距離秒級(jí)還有明顯距離。從行業(yè)現(xiàn)狀看跨境清算網(wǎng)絡(luò)的基礎(chǔ)設(shè)施和報(bào)文格式也還在逐步演進(jìn)很多國(guó)家本地清算系統(tǒng)已經(jīng)支持7x24小時(shí)實(shí)時(shí)支付但跨境之間的互聯(lián)互通仍未完全打通。因此真正意義上的“全場(chǎng)景秒級(jí)跨境”更多是一種方向而不是當(dāng)前每個(gè)銀行都能兌現(xiàn)的承諾。但我們通過(guò)架構(gòu)改造把原本28小時(shí)的平均到賬時(shí)間壓到了2分鐘以內(nèi)對(duì)客戶體驗(yàn)而言已經(jīng)是一次脫胎換骨的變化。我個(gè)人判斷實(shí)現(xiàn)全場(chǎng)景秒級(jí)跨境還需要三個(gè)大前提受益方銀行完全接入實(shí)時(shí)清算體系各國(guó)監(jiān)管對(duì)自動(dòng)化放行有統(tǒng)一容忍窗口跨境報(bào)文金融數(shù)據(jù)標(biāo)準(zhǔn)完成新一代升級(jí)。這三個(gè)前提缺一不可否則“秒級(jí)”只會(huì)是個(gè)營(yíng)銷詞。4. 重構(gòu)現(xiàn)場(chǎng)實(shí)錄問(wèn)題、排查與避坑指南理論上說(shuō)得通的方案落地上一定會(huì)被現(xiàn)實(shí)毒打。重構(gòu)期間我們踩了不少坑有些坑直到現(xiàn)在回想起來(lái)還心有余悸。分享幾個(gè)低級(jí)的、高級(jí)的坑和排查思路。4.1 最大雷區(qū)分布式事務(wù)的一致性第一版微服務(wù)設(shè)計(jì)時(shí)我們把“扣款”和“生成報(bào)文”放在了兩個(gè)服務(wù)里通過(guò)同步Feign調(diào)用。結(jié)果剛上線試運(yùn)行就出現(xiàn)了兩次賬實(shí)不符客戶發(fā)起了匯款賬戶扣款成功但報(bào)文因?yàn)榫W(wǎng)絡(luò)閃斷沒(méi)有生成于是出現(xiàn)“錢沒(méi)扣但報(bào)文發(fā)了”或者“錢扣了報(bào)文沒(méi)發(fā)”的亂象。后來(lái)我們放棄了強(qiáng)一致性的分布式事務(wù)方案改成“本地消息表”做法。核心賬務(wù)在本地事務(wù)里同時(shí)寫入賬務(wù)明細(xì)和一條待發(fā)送消息事務(wù)提交后由后臺(tái)任務(wù)輪詢將消息推到Kafka再由報(bào)文生成服務(wù)消費(fèi)。消費(fèi)端保證冪等性重復(fù)消息不會(huì)生成重復(fù)報(bào)文最終還有一套定時(shí)對(duì)賬任務(wù)來(lái)核對(duì)本地消息表與報(bào)文網(wǎng)關(guān)記錄。這個(gè)設(shè)計(jì)規(guī)避了跨服務(wù)事務(wù)的復(fù)雜協(xié)調(diào)也緩解了網(wǎng)絡(luò)抖動(dòng)導(dǎo)致的死鎖。代價(jià)是報(bào)文生成會(huì)有最多10秒的異步延遲但業(yè)務(wù)上可接受畢竟我們需要的是“秒級(jí)”不是“毫秒級(jí)”。對(duì)賬任務(wù)每天跑四次保證所有數(shù)據(jù)最終一致。4.2 性能瓶頸的排查方法論搞定了事務(wù)壓測(cè)又發(fā)現(xiàn)新問(wèn)題。我們部署了一個(gè)50節(jié)點(diǎn)的集群結(jié)果吞吐量只跑到預(yù)期的60%排查時(shí)發(fā)現(xiàn)大量線程阻塞在數(shù)據(jù)庫(kù)的同一張“任務(wù)狀態(tài)表”上。原來(lái)所有服務(wù)都去讀同一張表標(biāo)記“待處理”鎖競(jìng)爭(zhēng)異常嚴(yán)重。優(yōu)化方案是把單表拆成多表分片策略按業(yè)務(wù)ID哈希分到16張表里狀態(tài)更新互相不影響。配合Redis緩存一些不常變動(dòng)的配置對(duì)象數(shù)據(jù)庫(kù)壓力降了不少壓測(cè)吞吐量從850筆/分鐘提升到1900筆/分鐘。這個(gè)案例提示我分布式系統(tǒng)性能瓶頸經(jīng)常不在CPU層面而是出在鎖、連接池、緩存穿透等底層細(xì)節(jié)。排查時(shí)先看等待鏈別急著盲目擴(kuò)機(jī)器。4.3 監(jiān)控與容災(zāi)別讓秒級(jí)變成秒崩性能提上來(lái)了穩(wěn)定性反而成了頭號(hào)問(wèn)題。重構(gòu)后系統(tǒng)上云化部署一次某云廠商的網(wǎng)絡(luò)抖動(dòng)讓消息隊(duì)列出現(xiàn)大量重試賬務(wù)服務(wù)被擊穿竟然導(dǎo)致核心系統(tǒng)資源占用飆升。我們隨后緊急上線了全鏈路壓測(cè)和流量熔斷機(jī)制?，F(xiàn)在每個(gè)微服務(wù)都配有“熔斷器”和“限流器”超過(guò)閾值就快速失敗而不是無(wú)限等待下游響應(yīng)。同時(shí)監(jiān)控體系拆成三個(gè)維度基礎(chǔ)資源監(jiān)控、應(yīng)用性能監(jiān)控、業(yè)務(wù)指標(biāo)監(jiān)控再結(jié)合日志全鏈路追蹤確保一筆匯款從進(jìn)到出都能追蹤到每一步的耗時(shí)。我們定了一個(gè)原則如果“秒級(jí)跨境”的目標(biāo)跟穩(wěn)定性沖突優(yōu)先保穩(wěn)定性寧可慢兩步不能錯(cuò)一分。4.4 常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因排查思路實(shí)際處理報(bào)文遲遲未發(fā)本地消息表積壓后臺(tái)輪詢?nèi)蝿?wù)停擺查消息表積壓情況查定時(shí)任務(wù)日志增加輪詢頻率改用多線程掃描重復(fù)入賬消費(fèi)端重復(fù)消費(fèi)消息檢查冪等標(biāo)識(shí)看是否缺少去重表增加唯一業(yè)務(wù)ID約束重復(fù)消息直接丟棄合規(guī)耗時(shí)偏高規(guī)則引擎命中大量模糊案例分析歷史數(shù)據(jù)看規(guī)則權(quán)重設(shè)置調(diào)窄模糊規(guī)則區(qū)間引入機(jī)器學(xué)習(xí)評(píng)分下游代理行響應(yīng)超時(shí)外部接口不穩(wěn)定打印全鏈路Trace定位超時(shí)節(jié)點(diǎn)設(shè)置接口超時(shí)快速失敗并自動(dòng)重試數(shù)據(jù)庫(kù)連接池耗盡并發(fā)過(guò)高導(dǎo)致連接被占滿查看連接池監(jiān)控分析慢SQL優(yōu)化SQL索引拆分熱點(diǎn)表這些問(wèn)題是真實(shí)發(fā)生過(guò)的每個(gè)都對(duì)應(yīng)一次事故復(fù)盤。把它們記錄下來(lái)不是為了展示工作量而是希望后來(lái)者看到后能減少幾次線上“戰(zhàn)戰(zhàn)兢兢”。我在這個(gè)項(xiàng)目里最大的體會(huì)是分布式重構(gòu)不是技術(shù)越新越好而是每個(gè)選擇都在跟業(yè)務(wù)、風(fēng)險(xiǎn)、成本做妥協(xié)。秒級(jí)跨境的目標(biāo)實(shí)現(xiàn)了一部分這已經(jīng)比很多銀行強(qiáng)太多但過(guò)程中付出的心力也不少。最后再分享一個(gè)小技巧重構(gòu)前一定要把現(xiàn)網(wǎng)兩三年的歷史報(bào)文數(shù)據(jù)完整保留下來(lái)做規(guī)則回測(cè)和壓測(cè)模型樣本都要靠它否則上線后任何一次調(diào)優(yōu)都會(huì)像盲人摸象。項(xiàng)目收尾后我們團(tuán)隊(duì)內(nèi)部復(fù)盤時(shí)定了一條標(biāo)準(zhǔn)任何一次秒級(jí)性能調(diào)優(yōu)都必須能回答“如果失敗最壞影響是什么”。帶著這個(gè)底線做重構(gòu)才能真正把“秒級(jí)跨境”從PPT里落地到生產(chǎn)環(huán)境中。