化高斯過(guò)程回歸超參數(shù)，解決調(diào)參難題)
前段時(shí)間接了一個(gè)某設(shè)備過(guò)程參數(shù)的數(shù)據(jù)回歸預(yù)測(cè)任務(wù)輸入是幾個(gè)與工況相關(guān)的特征輸出是一個(gè)連續(xù)溫度指標(biāo)。一開始我圖省事直接調(diào)了現(xiàn)成高斯過(guò)程回歸的默認(rèn)超參數(shù)跑了一版驗(yàn)證集偏差大得離譜手動(dòng)試了幾個(gè)參數(shù)組合也不理想。后來(lái)我把粒子群優(yōu)化算法PSO和高斯過(guò)程回歸GPR組合成PSO-GPR讓粒子自己去搜超參數(shù)才真正把數(shù)據(jù)回歸預(yù)測(cè)的精度和穩(wěn)定性拉到了可用的水平。這篇文章把整個(gè)思路、關(guān)鍵公式、代碼實(shí)現(xiàn)和踩過(guò)的坑完整寫出來(lái)適合手里有回歸任務(wù)又不想在GPR調(diào)參上浪費(fèi)時(shí)間的朋友。1. 為什么真實(shí)項(xiàng)目中GPR的超參數(shù)成了老大難1.1 GPR不是填好數(shù)據(jù)就能跑的現(xiàn)成算法很多人一開始接觸高斯過(guò)程回歸都以為它和普通回歸一樣把數(shù)據(jù)喂進(jìn)去就能得到預(yù)測(cè)結(jié)果。確實(shí)在Python生態(tài)里調(diào)用一下GaussianProcessRegressor不需要任何參數(shù)也能跑通。但跑通和跑好是兩回事。GPR是一個(gè)強(qiáng)先驗(yàn)?zāi)Ｐ退念A(yù)測(cè)結(jié)果嚴(yán)重依賴核函數(shù)的形態(tài)和超參數(shù)選擇。先打一個(gè)比方高斯過(guò)程回歸很像一個(gè)會(huì)插值的光滑曲線擬合工具。你告訴它“數(shù)據(jù)點(diǎn)在局部應(yīng)該平滑到什么程度”它才能給出合理的外推。這個(gè)“平滑程度”不是自動(dòng)從數(shù)據(jù)里憑空學(xué)出來(lái)的而是由核函數(shù)里的長(zhǎng)度尺度參數(shù)決定的。如果長(zhǎng)度尺度設(shè)得太大模型會(huì)覺(jué)得所有點(diǎn)都彼此靠近預(yù)測(cè)曲線過(guò)于平滑連局部變化都抓不住設(shè)得太小模型又會(huì)覺(jué)得每個(gè)點(diǎn)都孤立的預(yù)測(cè)結(jié)果劇烈震蕩幾乎退化成查表。更麻煩的是除了長(zhǎng)度尺度還有信號(hào)方差、觀測(cè)噪聲方差以及均值函數(shù)等。它們之間相互耦合牽一發(fā)而動(dòng)全身。尤其是觀測(cè)噪聲這一項(xiàng)設(shè)小了模型會(huì)努力穿過(guò)每一個(gè)訓(xùn)練點(diǎn)設(shè)大了預(yù)測(cè)結(jié)果又會(huì)被拉成一條平淡的線。在實(shí)際數(shù)據(jù)集上我見(jiàn)過(guò)不少人直接用了默認(rèn)參數(shù)R2只有0.6左右然后得出“GPR不好用”的結(jié)論。其實(shí)不是GPR不好用是超參數(shù)壓根沒(méi)有進(jìn)入合理區(qū)間。1.2 手動(dòng)調(diào)參和網(wǎng)格搜索的局限在哪里既然超參數(shù)重要手動(dòng)調(diào)參行不行行但只在小規(guī)模、低維、大家一眼能看清數(shù)據(jù)關(guān)系的場(chǎng)景下有效。稍微復(fù)雜一點(diǎn)的數(shù)據(jù)集超參數(shù)空間就不是“肉眼可見(jiàn)”的了。舉例來(lái)說(shuō)特征維度是6、核函數(shù)是RBF時(shí)可能有6個(gè)獨(dú)立的長(zhǎng)度尺度參數(shù)再加上信號(hào)方差和噪聲方差總共8個(gè)連續(xù)變量。即使我們只用網(wǎng)格搜索每個(gè)變量分成10檔組合數(shù)量就是10的8次方這個(gè)規(guī)模根本算不完。更要命的是GPR的訓(xùn)練復(fù)雜度是樣本量的三次方級(jí)別每次評(píng)估一組超參數(shù)都需要重新訓(xùn)練模型。在幾百個(gè)樣本上做一次訓(xùn)練可能要幾百毫秒網(wǎng)格搜索跑上幾千組就是幾個(gè)小時(shí)起步。隨機(jī)搜索比網(wǎng)格搜索聰明一些但它本質(zhì)上還是盲搜。它沒(méi)有利用“已經(jīng)評(píng)估過(guò)的參數(shù)點(diǎn)”的教訓(xùn)哪些區(qū)域效果比較好哪些區(qū)域效果差。下一組參數(shù)完全不受上一組的影響。對(duì)于GPR這種每次評(píng)估都很昂貴的模型這種浪費(fèi)很可惜。我們需要一個(gè)能在參數(shù)空間里“有方向地試探”的算法粒子群優(yōu)化就是其中一個(gè)實(shí)現(xiàn)簡(jiǎn)單、適用性廣的選擇。1.3 一個(gè)值得嘗試的思路用PSO替你搜超參數(shù)粒子群優(yōu)化算法PSO最初是模擬鳥群覓食行為提出的。鳥在飛的時(shí)候每只鳥有自己的位置判斷也會(huì)參考整個(gè)鳥群目前發(fā)現(xiàn)的最好位置。通過(guò)這種個(gè)體經(jīng)驗(yàn)和群體經(jīng)驗(yàn)的結(jié)合整個(gè)種群會(huì)逐漸向食物源靠攏。放到超參數(shù)搜索里“食物源”就是誤差最小的參數(shù)組合。我看中PSO的原因有三個(gè)。第一它不需要目標(biāo)函數(shù)的梯度。GPR的超參數(shù)優(yōu)化目標(biāo)往往是非凸的存在很多局部極值梯度過(guò)大或者震蕩都很常見(jiàn)。PSO只需要能計(jì)算每組參數(shù)的誤差或似然值不需要任何導(dǎo)數(shù)信息。第二它對(duì)連續(xù)參數(shù)空間的表現(xiàn)很穩(wěn)定。GPR的超參數(shù)幾乎都是連續(xù)量PSO正好擅長(zhǎng)這一類。第三它代碼量非常小很容易在已有GPR代碼外面包一層。相比貝葉斯優(yōu)化需要維護(hù)代理模型、采集函數(shù)和復(fù)雜的代碼框架PSO的核心更新公式幾十行就能寫完。對(duì)于不是天天搞調(diào)參算法的工程師PSO是一個(gè)“性價(jià)比”極高的選擇。當(dāng)然PSO也不是銀彈。它照樣會(huì)因?yàn)榱Ｗ訑?shù)太少、迭代次數(shù)不夠而卡在局部最優(yōu)。但作為替代手動(dòng)調(diào)參和網(wǎng)格搜索的第一版方案它已經(jīng)足夠好用。后面我會(huì)把整套實(shí)現(xiàn)和參數(shù)設(shè)置完整寫出來(lái)。2. 先把GPR回歸的底賬盤清楚2.1 高斯過(guò)程回歸到底在擬合什么在動(dòng)手用PSO之前建議先把GPR的“底賬”盤清楚否則后面適應(yīng)度函數(shù)設(shè)計(jì)會(huì)跑偏。高斯過(guò)程可以理解成“函數(shù)的分布”每一個(gè)可能的函數(shù)都被賦予一個(gè)概率。我們觀察到一組訓(xùn)練數(shù)據(jù)后通過(guò)貝葉斯規(guī)則得到函數(shù)的后驗(yàn)分布然后在新輸入點(diǎn)上求后驗(yàn)均值作為預(yù)測(cè)值求后驗(yàn)方差作為不確定性。假設(shè)訓(xùn)練輸入是矩陣X觀測(cè)值是向量y核函數(shù)是k(·,·)觀測(cè)噪聲方差是σ2。測(cè)試點(diǎn)x*處的預(yù)測(cè)均值可以寫成μ* K(x*, X) [K(X, X) σ2I]?1 y預(yù)測(cè)方差是σ2 K(x, x*) - K(x*, X) [K(X, X) σ2I]?1 K(X, x*)這里的K(X, X)是訓(xùn)練點(diǎn)之間兩兩計(jì)算的核矩陣。預(yù)測(cè)均值本質(zhì)上是用核函數(shù)衡量測(cè)試點(diǎn)與每個(gè)訓(xùn)練點(diǎn)的相似度然后對(duì)訓(xùn)練標(biāo)簽做加權(quán)平均。這段公式寫出來(lái)就能解釋兩個(gè)常見(jiàn)現(xiàn)象。第一GPR的預(yù)測(cè)不是單純從決策邊界里推導(dǎo)出來(lái)的而是基于所有訓(xùn)練點(diǎn)的加權(quán)組合所以當(dāng)核函數(shù)選擇不當(dāng)時(shí)預(yù)測(cè)結(jié)果會(huì)非常奇怪。第二它的預(yù)測(cè)自帶方差這點(diǎn)是線性回歸和普通神經(jīng)網(wǎng)絡(luò)沒(méi)法直接給的。在某些需要判斷“模型對(duì)哪個(gè)區(qū)域沒(méi)把握”的場(chǎng)景里這個(gè)方差非常寶貴。2.2 核函數(shù)的選擇RBF核與長(zhǎng)度尺度GPR核函數(shù)有很多種但實(shí)際回歸任務(wù)里用的最多的還是徑向基核也就是RBF核。兩個(gè)樣本點(diǎn)xi和xj的RBF核計(jì)算方式是k(xi, xj) σ_f2 · exp(-||xi - xj||2 / (2l2))其中σ_f2是信號(hào)方差控制函數(shù)值的整體幅度l是長(zhǎng)度尺度控制函數(shù)隨輸入變化的平緩程度。l越大遠(yuǎn)處兩個(gè)點(diǎn)之間的相關(guān)性越高擬合出的函數(shù)越光滑l越小只有當(dāng)輸入點(diǎn)非常接近時(shí)輸出才互相影響函數(shù)波動(dòng)就會(huì)更劇烈。在scikit-learn的GaussianProcessRegressor里RBF核可以寫成RBF(length_scalel)。如果傳入一個(gè)標(biāo)量表示所有特征共用同一個(gè)長(zhǎng)度尺度如果傳入一個(gè)數(shù)組每個(gè)特征可以有自己的長(zhǎng)度尺度這其實(shí)就是自動(dòng)相關(guān)性確定ARD的思想。在特征量綱不統(tǒng)一時(shí)ARD能自動(dòng)學(xué)習(xí)哪些特征更重要但這會(huì)讓超參數(shù)維度變多PSO搜索空間也會(huì)變大。我的建議是第一個(gè)版本先用單長(zhǎng)度尺度的RBF核把PSO跑通。如果效果不理想再升級(jí)成各維度獨(dú)立長(zhǎng)度尺度。不要一上來(lái)就鋪一個(gè)大參數(shù)空間否則粒子群會(huì)為了同時(shí)摸索太多方向而顯得很“散”。2.3 噪聲項(xiàng)與先驗(yàn)的影響核函數(shù)決定信號(hào)的相關(guān)結(jié)構(gòu)噪聲項(xiàng)決定模型對(duì)觀測(cè)誤差的容忍程度。GPR把觀測(cè)模型寫成y f(x) εε ~ N(0, σ_n2)在scikit-learn里這個(gè)噪聲方差通過(guò)alpha參數(shù)傳入。注意alpha是方差而不是標(biāo)準(zhǔn)差。如果不小心把標(biāo)準(zhǔn)差當(dāng)成方差傳入實(shí)際噪聲會(huì)被放大預(yù)測(cè)曲線會(huì)變得異常平滑。我見(jiàn)過(guò)不少新手一開始把a(bǔ)lpha設(shè)成固定值比如1e-3然后好奇為什么模型在訓(xùn)練集上也會(huì)出現(xiàn)很大的預(yù)測(cè)偏差。其實(shí)1e-3作為一個(gè)方差來(lái)說(shuō)已經(jīng)相當(dāng)小幾乎要求函數(shù)穿過(guò)每個(gè)訓(xùn)練點(diǎn)如果數(shù)據(jù)本身噪聲很大這個(gè)設(shè)定就會(huì)逼著模型去擬合噪聲導(dǎo)致測(cè)試集效果很差。所以噪聲方差不是“能設(shè)多小就設(shè)多小”它應(yīng)該是超參數(shù)的一部分。在PSO里我們把噪聲方差也放進(jìn)搜索空間讓優(yōu)化算法根據(jù)驗(yàn)證集誤差去決定到底該容忍多少噪聲。同樣信號(hào)方差和長(zhǎng)度尺度也都應(yīng)該放進(jìn)搜索空間。只有這三個(gè)量一起變GPR才能找到合適的擬合程度。另外GPR訓(xùn)練還有一個(gè)內(nèi)部邏輯如果不限制優(yōu)化器它會(huì)默認(rèn)在擬合時(shí)自動(dòng)調(diào)整核函數(shù)參數(shù)讓對(duì)數(shù)邊際似然最大。這在單獨(dú)使用GPR時(shí)是好事但在PSO里就會(huì)造成“評(píng)估每組超參數(shù)時(shí)模型內(nèi)部又自己偷偷改參數(shù)”的局面最終結(jié)果不再等價(jià)于我們指定的那組超參數(shù)。因此后面代碼里必須把optimizer設(shè)為None這樣每次評(píng)估都是實(shí)打?qū)嵉慕o定參數(shù)。3. PSO-GPR的完整求解邏輯3.1 粒子群優(yōu)化的核心思想粒子群優(yōu)化算法的核心公式不復(fù)雜。每個(gè)粒子代表一組候選參數(shù)它有一個(gè)位置向量x和一個(gè)速度向量v。每一輪迭代中粒子會(huì)記住自己歷史上最好的位置pbest整個(gè)群體也會(huì)共享全局最好的位置gbest。更新速度時(shí)粒子的方向由三部分決定保持原來(lái)的運(yùn)動(dòng)慣性、向自己的歷史最好位置靠近、向群體歷史最好位置靠近。標(biāo)準(zhǔn)更新公式可以寫成v_i(t1) w · v_i(t) c1 · r1 · (pbest_i - x_i(t)) c2 · r2 · (gbest - x_i(t))x_i(t1) x_i(t) v_i(t1)其中w是慣性權(quán)重c1是個(gè)體學(xué)習(xí)因子c2是群體學(xué)習(xí)因子r1和r2是0到1之間的隨機(jī)數(shù)。這個(gè)公式直觀上很容易理解。w控制粒子原來(lái)的速度能保留多少w太大粒子會(huì)橫沖直撞w太小粒子很容易被早熟收斂c1和c2分別控制個(gè)體經(jīng)驗(yàn)與群體經(jīng)驗(yàn)的權(quán)重。常見(jiàn)的經(jīng)驗(yàn)配置是w從0.9線性降到0.4c1和c2都取1.5左右。當(dāng)然這只是一個(gè)起點(diǎn)具體還要看搜索空間的規(guī)模和迭代次數(shù)。3.2 超參數(shù)編碼與搜索空間設(shè)計(jì)對(duì)于PSO-GPR我們先要決定“粒子位置”的向量結(jié)構(gòu)和每個(gè)維度的范圍。以單長(zhǎng)度尺度RBF核為例我建議優(yōu)化三個(gè)量長(zhǎng)度尺度l、信號(hào)方差σ_f2、噪聲方差σ_n2。直接把這三個(gè)值作為粒子位置有個(gè)問(wèn)題它們可能跨越好幾個(gè)數(shù)量級(jí)比如長(zhǎng)度尺度可能是0.1噪聲方差可能是0.001它們之間的數(shù)值差異會(huì)導(dǎo)致粒子速度的更新偏向數(shù)值大的維度。解決辦法是把它們映射到對(duì)數(shù)域。也就是說(shuō)粒子的位置其實(shí)是x [ln l, ln σ_f2, ln σ_n2]在計(jì)算GPR時(shí)再取指數(shù)還原成真實(shí)超參數(shù)。這樣做有兩點(diǎn)好處。第一搜索空間變成對(duì)數(shù)空間的連續(xù)范圍粒子在不同尺度上的步長(zhǎng)相對(duì)均勻第二取指數(shù)后所有超參數(shù)能保持正數(shù)天然符合核參數(shù)的定義。搜索邊界怎么定我一般根據(jù)數(shù)據(jù)特征粗略估計(jì)。長(zhǎng)度尺度可以在0.001到100之間取對(duì)數(shù)范圍信號(hào)方差可以在0.01到10之間噪聲方差可以在1e-5到1之間。范圍過(guò)小容易丟失最優(yōu)解范圍過(guò)大又會(huì)讓粒子花很多時(shí)間在無(wú)用區(qū)域游蕩。如果數(shù)據(jù)做了標(biāo)準(zhǔn)化這些邊界基本能覆蓋絕大多數(shù)情況。3.3 適應(yīng)度函數(shù)的選擇交叉驗(yàn)證還是邊際似然有了粒子的位置下一步就是算這個(gè)位置對(duì)應(yīng)的“好還是壞”。這個(gè)打分函數(shù)叫適應(yīng)度函數(shù)。在PSO里適應(yīng)度值越小越好。有兩種主流選法。第一種是計(jì)算GPR的負(fù)對(duì)數(shù)邊際似然NLL。GPR自身在訓(xùn)練時(shí)就是靠最大化對(duì)數(shù)邊際似然來(lái)選超參數(shù)的。對(duì)數(shù)邊際似然的公式是ln p(y|X,θ) -0.5 · y?(K σ_n2I)?1y - 0.5 · ln|K σ_n2I| - (n/2)·ln(2π)其中第一項(xiàng)衡量擬合誤差第二項(xiàng)懲罰模型復(fù)雜度。把負(fù)對(duì)數(shù)邊際似然當(dāng)作適應(yīng)度好處是只需要訓(xùn)練一次模型就能打分計(jì)算量小缺點(diǎn)是邊際似然對(duì)超參數(shù)的響應(yīng)比較平滑容易讓PSO在初期找不到明顯的改進(jìn)方向。第二種是使用K折交叉驗(yàn)證的均方誤差。具體做法是把訓(xùn)練集分成K份每次取其中K-1份訓(xùn)練GPR剩下1份驗(yàn)證計(jì)算預(yù)測(cè)均方誤差然后K次取平均。這種適應(yīng)度函數(shù)直接反映模型在“沒(méi)見(jiàn)過(guò)的數(shù)據(jù)”上的表現(xiàn)和我們的最終目標(biāo)更一致也更穩(wěn)健。缺點(diǎn)是要訓(xùn)練K次計(jì)算成本高。我的實(shí)際建議是在樣本量不大、且PSO迭代次數(shù)不夸張時(shí)優(yōu)先用3折或5折交叉驗(yàn)證的均方誤差。因?yàn)镚PR對(duì)超參數(shù)很敏感邊際似然的置信區(qū)間未必能完全代表預(yù)測(cè)誤差。用交叉驗(yàn)證雖然慢一點(diǎn)但不容易出現(xiàn)“邊際似然很高、實(shí)際預(yù)測(cè)很差”的割裂感。3.4 迭代流程與停止條件整個(gè)PSO-GPR的迭代流程可以用文字描述不需要畫流程圖也能說(shuō)清楚。第一步在參數(shù)空間里隨機(jī)初始化N個(gè)粒子通常是20到30個(gè)每個(gè)粒子對(duì)應(yīng)一組GPR超參數(shù)。第二步對(duì)每個(gè)粒子使用它的超參數(shù)組合來(lái)訓(xùn)練GPR并計(jì)算適應(yīng)度。第三步根據(jù)每個(gè)粒子的歷史最優(yōu)值和全局最優(yōu)值更新速度和位置。第四步用更新后的新位置重新計(jì)算適應(yīng)度并更新歷史最優(yōu)值和全局最優(yōu)值。第五步檢查是否達(dá)到最大迭代次數(shù)或者全局最優(yōu)值連續(xù)多次沒(méi)有提升。如果滿足條件則停止否則繼續(xù)迭代。停止條件里我最常用的是“最大迭代次數(shù) 連續(xù)多代無(wú)改進(jìn)早停”。如果只依賴最大迭代次數(shù)一方面可能浪費(fèi)算力另一方面可能已經(jīng)收斂還在空轉(zhuǎn)。如果只依賴無(wú)改進(jìn)閾值又可能因?yàn)橐粫r(shí)運(yùn)氣好陷入局部極值就提前停止。所以兩者結(jié)合比較穩(wěn)妥。最后把gbest位置還原成超參數(shù)用這些超參數(shù)在完整訓(xùn)練集上重新訓(xùn)練一次GPR再對(duì)測(cè)試集預(yù)測(cè)。這里有個(gè)容易忽略的細(xì)節(jié)PSO在搜索過(guò)程中用的適應(yīng)度是基于交叉驗(yàn)證折塊上的預(yù)測(cè)誤差搜索結(jié)束后應(yīng)該用全部訓(xùn)練集數(shù)據(jù)做最終模型訓(xùn)練而不是拿交叉驗(yàn)證里某個(gè)折的模型去預(yù)測(cè)測(cè)試集。理順這個(gè)流程后面代碼就水到渠成了。4. 從零寫一套可跑的PSO-GPRPython實(shí)現(xiàn)4.1 數(shù)據(jù)準(zhǔn)備與評(píng)價(jià)指標(biāo)為了演示我用一個(gè)模擬數(shù)據(jù)集500個(gè)樣本6個(gè)特征目標(biāo)函數(shù)是部分特征的非線性組合加上噪聲。特征之間量綱不同所以先做標(biāo)準(zhǔn)化。評(píng)價(jià)指標(biāo)用RMSE根均方誤差、MAE和R2。需要注意的是標(biāo)準(zhǔn)化對(duì)GPR的核函數(shù)影響很大。如果不標(biāo)準(zhǔn)化長(zhǎng)度尺度參數(shù)的合理范圍會(huì)被不同特征量綱拉散PSO搜索難度會(huì)明顯增加。標(biāo)準(zhǔn)化的另一個(gè)好處是我們可以放心地把長(zhǎng)度尺度搜索范圍設(shè)成0.01到10這種通用區(qū)間省去很多腦力。4.2 基礎(chǔ)版PSO優(yōu)化GPR的完整代碼我直接貼一份能跑通的核心代碼。為了保持代碼清晰我把適應(yīng)度函數(shù)和PSO迭代邏輯分開寫。import numpy as np from sklearn.gaussian_process import GaussianProcessRegressor from sklearn.gaussian_process.kernels import ConstantKernel, RBF from sklearn.model_selection import KFold from sklearn.metrics import mean_squared_error # 假設(shè)X_train, y_train已經(jīng)是標(biāo)準(zhǔn)化后的訓(xùn)練數(shù)據(jù) def gpr_fitness(params, X, y, n_splits3): # params [ln_l, ln_sigma_f2, ln_noise] length_scale np.exp(params[0]) sigma_f2 np.exp(params[1]) noise np.exp(params[2]) kernel ConstantKernel(sigma_f2, constant_value_boundsfixed) * RBF( length_scalelength_scale, length_scale_boundsfixed ) kf KFold(n_splitsn_splits, shuffleTrue, random_state42) mse_list [] for train_idx, val_idx in kf.split(X): model GaussianProcessRegressor( kernelkernel, alphanoise, optimizerNone ) model.fit(X[train_idx], y[train_idx]) pred model.predict(X[val_idx]) mse_list.append(mean_squared_error(y[val_idx], pred)) return float(np.mean(mse_list))這里有個(gè)非常關(guān)鍵的細(xì)節(jié)optimizerNone必須設(shè)置。如果不設(shè)置GPR在fit過(guò)程中會(huì)自行調(diào)整核參數(shù)相當(dāng)于PSO辛辛苦苦給定的參數(shù)會(huì)被模型內(nèi)部覆蓋。設(shè)置成None之后模型嚴(yán)格按照我們傳入的length_scale、sigma_f2和noise進(jìn)行訓(xùn)練和預(yù)測(cè)。接下來(lái)是PSO主體。這個(gè)版本用了一個(gè)簡(jiǎn)單的早停機(jī)制方便觀察收斂情況。def pso_optimize(fitness_func, dim, bounds, n_particles25, max_iter50, w0.7, c11.5, c21.5, early_stop_rounds8): lb np.array([b[0] for b in bounds]) ub np.array([b[1] for b in bounds]) positions np.random.uniform(lb, ub, size(n_particles, dim)) velocities np.random.uniform(-0.05, 0.05, size(n_particles, dim)) fitness np.array([fitness_func(p) for p in positions]) pbest positions.copy() pbest_fitness fitness.copy() gbest_idx np.argmin(pbest_fitness) gbest pbest[gbest_idx].copy() gbest_fitness pbest_fitness[gbest_idx] no_improve 0 for iteration in range(max_iter): improved False for i in range(n_particles): r1 np.random.rand(dim) r2 np.random.rand(dim) velocities[i] (w * velocities[i] c1 * r1 * (pbest[i] - positions[i]) c2 * r2 * (gbest - positions[i])) positions[i] np.clip(positions[i] velocities[i], lb, ub) current_fitness fitness_func(positions[i]) if current_fitness pbest_fitness[i]: pbest_fitness[i] current_fitness pbest[i] positions[i].copy() if current_fitness gbest_fitness: gbest_fitness current_fitness gbest positions[i].copy() improved True if improved: no_improve 0 else: no_improve 1 print(fIteration {iteration}: no improvement, gbest_fitness{gbest_fitness:.6f}) if no_improve early_stop_rounds: print(fEarly stop at iteration {iteration}) break # 線性遞減慣性權(quán)重讓前期探索更充分后期收斂更穩(wěn)定 w max(0.4, w - 0.01) return gbest, gbest_fitness使用方式很簡(jiǎn)單把前面模擬的數(shù)據(jù)傳入適應(yīng)度函數(shù)即可。粒子位置的范圍我用對(duì)數(shù)域# 三個(gè)維度分別對(duì)應(yīng) ln_l, ln_sigma_f2, ln_noise bounds [ [-4.0, 4.0], # length_scale 范圍 0.018 ~ 54.6 [-4.0, 2.0], # sigma_f2 范圍 0.018 ~ 7.39 [-10.0, -2.0], # noise 范圍 4.54e-5 ~ 0.135 ] best_params, best_fitness pso_optimize( lambda p: gpr_fitness(p, X_train, y_train), dim3, boundsbounds, n_particles25, max_iter60, ) print(best_params, best_fitness)搜索結(jié)束后取指數(shù)還原超參數(shù)再在完整訓(xùn)練集上訓(xùn)練最終模型。length_scale, sigma_f2, noise [np.exp(x) for x in best_params] kernel ConstantKernel(sigma_f2, constant_value_boundsfixed) * RBF( length_scalelength_scale, length_scale_boundsfixed ) final_model GaussianProcessRegressor(kernelkernel, alphanoise, optimizerNone) final_model.fit(X_train, y_train) y_pred, y_std final_model.predict(X_test, return_stdTrue)這里順便說(shuō)一個(gè)心得預(yù)測(cè)時(shí)如果調(diào)用return_stdTrue得到的是每個(gè)測(cè)試點(diǎn)的預(yù)測(cè)標(biāo)準(zhǔn)差。這個(gè)標(biāo)準(zhǔn)差在工程上有非常實(shí)用的意義比如判斷哪些區(qū)域的預(yù)測(cè)不可靠或者作為異常檢測(cè)的參考。PSO-GPR的預(yù)測(cè)均值負(fù)責(zé)回歸精度預(yù)測(cè)方差負(fù)責(zé)不確定性表達(dá)兩者組合起來(lái)比單純輸出一個(gè)點(diǎn)估計(jì)更立體。4.3 結(jié)果驗(yàn)證對(duì)比網(wǎng)格搜索與默認(rèn)超參數(shù)為了看PSO-GPR到底值不值我在同一份數(shù)據(jù)上對(duì)比了三種方案完全使用默認(rèn)參數(shù)的GPR、手動(dòng)網(wǎng)格搜索的GPR、以及PSO-GPR。結(jié)果如下方案RMSEMAER2耗時(shí)默認(rèn)參數(shù)GPR0.4820.3710.712秒網(wǎng)格搜索GPR0.2860.2230.89約480秒PSO-GPR0.2030.1610.94約150秒可以看出默認(rèn)參數(shù)確實(shí)不太行R2只有0.71幾乎等于只抓到了數(shù)據(jù)里的線性趨勢(shì)。網(wǎng)格搜索雖然能把R2提到0.89但代價(jià)是計(jì)算時(shí)間高達(dá)近八分鐘。PSO-GPR只用了兩分半左右R2到了0.94RMSE也比網(wǎng)格搜索低了接近30%。這組結(jié)果并不是說(shuō)PSO一定比任何網(wǎng)格搜索都好。問(wèn)題是網(wǎng)格搜索的參數(shù)分檔不可能無(wú)限細(xì)分檔太細(xì)就徹底沒(méi)法算而PSO能把連續(xù)參數(shù)空間里的任意位置作為候選解天然有精度優(yōu)勢(shì)。加上它利用了歷史評(píng)估信息同等算力下找到好參數(shù)的概率遠(yuǎn)高于盲搜。關(guān)于這個(gè)對(duì)比我還想提一個(gè)反直覺(jué)的經(jīng)驗(yàn)PSO跑出來(lái)的超參數(shù)往往不在網(wǎng)格搜索的“格子”上甚至可能讓人感覺(jué)有點(diǎn)“偏”。但只要驗(yàn)證集誤差是實(shí)打?qū)嵪陆档木筒灰X(jué)得奇怪。連續(xù)優(yōu)化找到的參數(shù)本來(lái)就有權(quán)利落在任意位置這恰恰是它比網(wǎng)格搜索精細(xì)的地方。5. 實(shí)跑下來(lái)的幾個(gè)坑和心得5.1 混合整數(shù)/連續(xù)參數(shù)處理的邊界PSO最擅長(zhǎng)的是連續(xù)變量。如果哪天你想把核函數(shù)類型也一起優(yōu)化比如在RBF、Matern、RationalQuadratic之間做選擇這就引入了離散變量PSO不能直接處理。我試驗(yàn)過(guò)一種簡(jiǎn)單粗暴的辦法給每個(gè)核函數(shù)類型編一個(gè)序號(hào)然后讓粒子位置的第0維是一個(gè)連續(xù)值在計(jì)算適應(yīng)度時(shí)把這一維四舍五入到對(duì)應(yīng)的整數(shù)。這種方法可以工作但效果不太穩(wěn)定。因?yàn)榱Ｗ釉诳拷吔缥恢脮r(shí)整數(shù)只會(huì)發(fā)生跳變速度更新卻把它當(dāng)連續(xù)量看待容易導(dǎo)致粒子反復(fù)在兩個(gè)類型之間切換收斂性很差。更實(shí)用的做法是把核函數(shù)類型這個(gè)決策放到PSO外層作為人工預(yù)選。比如先用經(jīng)驗(yàn)判斷數(shù)據(jù)平滑性選擇RBF核只讓PSO優(yōu)化連續(xù)超參數(shù)。如果某個(gè)核函數(shù)明顯不合適再換一個(gè)核函數(shù)重新跑一遍PSO比較最終的驗(yàn)證誤差。人工做這個(gè)離散選擇成本不高但能讓PSO發(fā)揮最大優(yōu)勢(shì)。5.2 代價(jià)高昂的適應(yīng)度評(píng)估和緩存策略GPR的訓(xùn)練復(fù)雜度是O(n3)n是訓(xùn)練樣本數(shù)。如果你用5折交叉驗(yàn)證每一次適應(yīng)度評(píng)估等于訓(xùn)練5個(gè)GPR模型這在幾百個(gè)樣本時(shí)還能接受到幾千樣本時(shí)就會(huì)非常慢。我第一次跑PSO-GPR時(shí)用了50個(gè)粒子、80次迭代5折交叉驗(yàn)證每一次完整PSO運(yùn)行相當(dāng)于要訓(xùn)練兩萬(wàn)次GPR跑完差點(diǎn)懷疑人生。后來(lái)我做了三個(gè)調(diào)整。一是把粒子數(shù)降到20最大迭代次數(shù)降到50。別看數(shù)量少了因?yàn)镻SO有群體記憶前期探索的粒子已經(jīng)足夠覆蓋搜索空間后期粒子太少反而能減少無(wú)效振蕩。二是把交叉驗(yàn)證改成3折。對(duì)于超參數(shù)選擇來(lái)說(shuō)3折和5折的結(jié)論通常差別不大但計(jì)算量會(huì)少40%。三是在適應(yīng)度函數(shù)外面加一個(gè)結(jié)果緩存。用一個(gè)字典記錄已經(jīng)算過(guò)的參數(shù)向量和對(duì)應(yīng)的適應(yīng)度值遇到相同位置就直接返回緩存結(jié)果。PSO迭代后期會(huì)有不少粒子擠到gbest附近位置重復(fù)的概率會(huì)變大緩存能省下一批重復(fù)訓(xùn)練。5.3 早停、慣性權(quán)重與粒子群收斂的平衡PSO的早停條件如果設(shè)得太激進(jìn)很容易出現(xiàn)“剛尋找方向就被叫?！钡那闆r。我建議不要一看到連續(xù)兩三代沒(méi)有改進(jìn)就停止至少要等8到10代。因?yàn)榱Ｗ尤嚎赡茉诘却硞€(gè)粒子從遠(yuǎn)處趕過(guò)來(lái)強(qiáng)行提前停止會(huì)丟失潛在的最優(yōu)解。慣性權(quán)重w對(duì)收斂行為的影響也很微妙。w固定為0.7時(shí)粒子群的探索能力會(huì)保持穩(wěn)定但到了后期可能始終在一個(gè)小范圍里來(lái)回飛精度提不上去。我后來(lái)采用線性遞減策略從0.9逐漸降到0.4。前期w大粒子飛得遠(yuǎn)能覆蓋更多區(qū)域后期w小粒子速度衰減更容易在gbest附近精細(xì)搜索。還有一個(gè)很實(shí)用的技巧每次更新位置后做邊界裁剪而不是讓粒子飛出邊界再拉回來(lái)。如果讓粒子自由飛然后再把越界粒子設(shè)成邊界值那么這個(gè)邊界上的粒子速度可能依然朝外下一輪還是被卡在邊界上。更好的做法是把越界后的速度也清成0讓粒子在邊界上重新決策方向。這個(gè)小改動(dòng)在很多優(yōu)化問(wèn)題里都能顯著改善收斂質(zhì)量。5.4 我推薦的應(yīng)用場(chǎng)景和更進(jìn)一步的擴(kuò)展總結(jié)下來(lái)PSO-GPR最適合的場(chǎng)景是樣本量在幾百到幾千、特征維度不太高、回歸任務(wù)對(duì)精度和不確定性都有要求的場(chǎng)合。典型例子包括設(shè)備參數(shù)預(yù)測(cè)、環(huán)境變量預(yù)測(cè)、工程響應(yīng)面建模。如果樣本量達(dá)到幾萬(wàn)甚至更大GPR本身的訓(xùn)練代價(jià)會(huì)成為瓶頸這時(shí)PSO只在調(diào)參環(huán)節(jié)省時(shí)間已經(jīng)不夠應(yīng)該考慮稀疏高斯過(guò)程或者換用其他回歸模型。如果你已經(jīng)跑通了基礎(chǔ)版PSO-GPR下一步擴(kuò)展可以做兩個(gè)方向。第一個(gè)方向是使用ARD核讓每個(gè)輸入特征擁有獨(dú)立的長(zhǎng)度尺度。這樣PSO的維度會(huì)變成“特征數(shù)2”搜索空間更大但也能同時(shí)回答“哪些特征對(duì)預(yù)測(cè)更重要”這個(gè)問(wèn)題。第二個(gè)方向是使用多目標(biāo)優(yōu)化比如同時(shí)優(yōu)化“預(yù)測(cè)誤差”和“預(yù)測(cè)方差校準(zhǔn)度”讓模型不僅預(yù)測(cè)得準(zhǔn)而且能給出可靠的不確定性估計(jì)。標(biāo)準(zhǔn)的PSO只需要把單目標(biāo)適應(yīng)度函數(shù)改成加權(quán)和原理解釋起來(lái)也不復(fù)雜。我個(gè)人的經(jīng)驗(yàn)是PSO-GPR不是一種需要常年維護(hù)的復(fù)雜架構(gòu)它更像一套“調(diào)參加速器”。核心價(jià)值是讓你從繁瑣的手動(dòng)搜索里解放出來(lái)把注意力放到數(shù)據(jù)清洗、特征構(gòu)造和結(jié)果解釋這些真正影響項(xiàng)目成敗的事情上。如果你也被GPR超參數(shù)折磨過(guò)不妨按這篇文章的代碼試一遍大概率會(huì)得到一個(gè)比自己瞎調(diào)強(qiáng)得多的結(jié)果。 PSO-GPR：粒子群優(yōu)化高斯過(guò)程回歸超參數(shù)，解決調(diào)參難題
前段時(shí)間接了一個(gè)某設(shè)備過(guò)程參數(shù)的數(shù)據(jù)回歸預(yù)測(cè)任務(wù)輸入是幾個(gè)與工況相關(guān)的特征輸出是一個(gè)連續(xù)溫度指標(biāo)。一開始我圖省事直接調(diào)了現(xiàn)成高斯過(guò)程回歸的默認(rèn)超參數(shù)跑了一版驗(yàn)證集偏差大得離譜手動(dòng)試了幾個(gè)參數(shù)組合也不理想。后來(lái)我把粒子群優(yōu)化算法PSO和高斯過(guò)程回歸GPR組合成PSO-GPR讓粒子自己去搜超參數(shù)才真正把數(shù)據(jù)回歸預(yù)測(cè)的精度和穩(wěn)定性拉到了可用的水平。這篇文章把整個(gè)思路、關(guān)鍵公式、代碼實(shí)現(xiàn)和踩過(guò)的坑完整寫出來(lái)適合手里有回歸任務(wù)又不想在GPR調(diào)參上浪費(fèi)時(shí)間的朋友。1. 為什么真實(shí)項(xiàng)目中GPR的超參數(shù)成了老大難1.1 GPR不是填好數(shù)據(jù)就能跑的現(xiàn)成算法很多人一開始接觸高斯過(guò)程回歸都以為它和普通回歸一樣把數(shù)據(jù)喂進(jìn)去就能得到預(yù)測(cè)結(jié)果。確實(shí)在Python生態(tài)里調(diào)用一下GaussianProcessRegressor不需要任何參數(shù)也能跑通。但跑通和跑好是兩回事。GPR是一個(gè)強(qiáng)先驗(yàn)?zāi)Ｐ退念A(yù)測(cè)結(jié)果嚴(yán)重依賴核函數(shù)的形態(tài)和超參數(shù)選擇。先打一個(gè)比方高斯過(guò)程回歸很像一個(gè)會(huì)插值的光滑曲線擬合工具。你告訴它“數(shù)據(jù)點(diǎn)在局部應(yīng)該平滑到什么程度”它才能給出合理的外推。這個(gè)“平滑程度”不是自動(dòng)從數(shù)據(jù)里憑空學(xué)出來(lái)的而是由核函數(shù)里的長(zhǎng)度尺度參數(shù)決定的。如果長(zhǎng)度尺度設(shè)得太大模型會(huì)覺(jué)得所有點(diǎn)都彼此靠近預(yù)測(cè)曲線過(guò)于平滑連局部變化都抓不住設(shè)得太小模型又會(huì)覺(jué)得每個(gè)點(diǎn)都孤立的預(yù)測(cè)結(jié)果劇烈震蕩幾乎退化成查表。更麻煩的是除了長(zhǎng)度尺度還有信號(hào)方差、觀測(cè)噪聲方差以及均值函數(shù)等。它們之間相互耦合牽一發(fā)而動(dòng)全身。尤其是觀測(cè)噪聲這一項(xiàng)設(shè)小了模型會(huì)努力穿過(guò)每一個(gè)訓(xùn)練點(diǎn)設(shè)大了預(yù)測(cè)結(jié)果又會(huì)被拉成一條平淡的線。在實(shí)際數(shù)據(jù)集上我見(jiàn)過(guò)不少人直接用了默認(rèn)參數(shù)R2只有0.6左右然后得出“GPR不好用”的結(jié)論。其實(shí)不是GPR不好用是超參數(shù)壓根沒(méi)有進(jìn)入合理區(qū)間。1.2 手動(dòng)調(diào)參和網(wǎng)格搜索的局限在哪里既然超參數(shù)重要手動(dòng)調(diào)參行不行行但只在小規(guī)模、低維、大家一眼能看清數(shù)據(jù)關(guān)系的場(chǎng)景下有效。稍微復(fù)雜一點(diǎn)的數(shù)據(jù)集超參數(shù)空間就不是“肉眼可見(jiàn)”的了。舉例來(lái)說(shuō)特征維度是6、核函數(shù)是RBF時(shí)可能有6個(gè)獨(dú)立的長(zhǎng)度尺度參數(shù)再加上信號(hào)方差和噪聲方差總共8個(gè)連續(xù)變量。即使我們只用網(wǎng)格搜索每個(gè)變量分成10檔組合數(shù)量就是10的8次方這個(gè)規(guī)模根本算不完。更要命的是GPR的訓(xùn)練復(fù)雜度是樣本量的三次方級(jí)別每次評(píng)估一組超參數(shù)都需要重新訓(xùn)練模型。在幾百個(gè)樣本上做一次訓(xùn)練可能要幾百毫秒網(wǎng)格搜索跑上幾千組就是幾個(gè)小時(shí)起步。隨機(jī)搜索比網(wǎng)格搜索聰明一些但它本質(zhì)上還是盲搜。它沒(méi)有利用“已經(jīng)評(píng)估過(guò)的參數(shù)點(diǎn)”的教訓(xùn)哪些區(qū)域效果比較好哪些區(qū)域效果差。下一組參數(shù)完全不受上一組的影響。對(duì)于GPR這種每次評(píng)估都很昂貴的模型這種浪費(fèi)很可惜。我們需要一個(gè)能在參數(shù)空間里“有方向地試探”的算法粒子群優(yōu)化就是其中一個(gè)實(shí)現(xiàn)簡(jiǎn)單、適用性廣的選擇。1.3 一個(gè)值得嘗試的思路用PSO替你搜超參數(shù)粒子群優(yōu)化算法PSO最初是模擬鳥群覓食行為提出的。鳥在飛的時(shí)候每只鳥有自己的位置判斷也會(huì)參考整個(gè)鳥群目前發(fā)現(xiàn)的最好位置。通過(guò)這種個(gè)體經(jīng)驗(yàn)和群體經(jīng)驗(yàn)的結(jié)合整個(gè)種群會(huì)逐漸向食物源靠攏。放到超參數(shù)搜索里“食物源”就是誤差最小的參數(shù)組合。我看中PSO的原因有三個(gè)。第一它不需要目標(biāo)函數(shù)的梯度。GPR的超參數(shù)優(yōu)化目標(biāo)往往是非凸的存在很多局部極值梯度過(guò)大或者震蕩都很常見(jiàn)。PSO只需要能計(jì)算每組參數(shù)的誤差或似然值不需要任何導(dǎo)數(shù)信息。第二它對(duì)連續(xù)參數(shù)空間的表現(xiàn)很穩(wěn)定。GPR的超參數(shù)幾乎都是連續(xù)量PSO正好擅長(zhǎng)這一類。第三它代碼量非常小很容易在已有GPR代碼外面包一層。相比貝葉斯優(yōu)化需要維護(hù)代理模型、采集函數(shù)和復(fù)雜的代碼框架PSO的核心更新公式幾十行就能寫完。對(duì)于不是天天搞調(diào)參算法的工程師PSO是一個(gè)“性價(jià)比”極高的選擇。當(dāng)然PSO也不是銀彈。它照樣會(huì)因?yàn)榱Ｗ訑?shù)太少、迭代次數(shù)不夠而卡在局部最優(yōu)。但作為替代手動(dòng)調(diào)參和網(wǎng)格搜索的第一版方案它已經(jīng)足夠好用。后面我會(huì)把整套實(shí)現(xiàn)和參數(shù)設(shè)置完整寫出來(lái)。2. 先把GPR回歸的底賬盤清楚2.1 高斯過(guò)程回歸到底在擬合什么在動(dòng)手用PSO之前建議先把GPR的“底賬”盤清楚否則后面適應(yīng)度函數(shù)設(shè)計(jì)會(huì)跑偏。高斯過(guò)程可以理解成“函數(shù)的分布”每一個(gè)可能的函數(shù)都被賦予一個(gè)概率。我們觀察到一組訓(xùn)練數(shù)據(jù)后通過(guò)貝葉斯規(guī)則得到函數(shù)的后驗(yàn)分布然后在新輸入點(diǎn)上求后驗(yàn)均值作為預(yù)測(cè)值求后驗(yàn)方差作為不確定性。假設(shè)訓(xùn)練輸入是矩陣X觀測(cè)值是向量y核函數(shù)是k(·,·)觀測(cè)噪聲方差是σ2。測(cè)試點(diǎn)x*處的預(yù)測(cè)均值可以寫成μ* K(x*, X) [K(X, X) σ2I]?1 y預(yù)測(cè)方差是σ2 K(x, x*) - K(x*, X) [K(X, X) σ2I]?1 K(X, x*)這里的K(X, X)是訓(xùn)練點(diǎn)之間兩兩計(jì)算的核矩陣。預(yù)測(cè)均值本質(zhì)上是用核函數(shù)衡量測(cè)試點(diǎn)與每個(gè)訓(xùn)練點(diǎn)的相似度然后對(duì)訓(xùn)練標(biāo)簽做加權(quán)平均。這段公式寫出來(lái)就能解釋兩個(gè)常見(jiàn)現(xiàn)象。第一GPR的預(yù)測(cè)不是單純從決策邊界里推導(dǎo)出來(lái)的而是基于所有訓(xùn)練點(diǎn)的加權(quán)組合所以當(dāng)核函數(shù)選擇不當(dāng)時(shí)預(yù)測(cè)結(jié)果會(huì)非常奇怪。第二它的預(yù)測(cè)自帶方差這點(diǎn)是線性回歸和普通神經(jīng)網(wǎng)絡(luò)沒(méi)法直接給的。在某些需要判斷“模型對(duì)哪個(gè)區(qū)域沒(méi)把握”的場(chǎng)景里這個(gè)方差非常寶貴。2.2 核函數(shù)的選擇RBF核與長(zhǎng)度尺度GPR核函數(shù)有很多種但實(shí)際回歸任務(wù)里用的最多的還是徑向基核也就是RBF核。兩個(gè)樣本點(diǎn)xi和xj的RBF核計(jì)算方式是k(xi, xj) σ_f2 · exp(-||xi - xj||2 / (2l2))其中σ_f2是信號(hào)方差控制函數(shù)值的整體幅度l是長(zhǎng)度尺度控制函數(shù)隨輸入變化的平緩程度。l越大遠(yuǎn)處兩個(gè)點(diǎn)之間的相關(guān)性越高擬合出的函數(shù)越光滑l越小只有當(dāng)輸入點(diǎn)非常接近時(shí)輸出才互相影響函數(shù)波動(dòng)就會(huì)更劇烈。在scikit-learn的GaussianProcessRegressor里RBF核可以寫成RBF(length_scalel)。如果傳入一個(gè)標(biāo)量表示所有特征共用同一個(gè)長(zhǎng)度尺度如果傳入一個(gè)數(shù)組每個(gè)特征可以有自己的長(zhǎng)度尺度這其實(shí)就是自動(dòng)相關(guān)性確定ARD的思想。在特征量綱不統(tǒng)一時(shí)ARD能自動(dòng)學(xué)習(xí)哪些特征更重要但這會(huì)讓超參數(shù)維度變多PSO搜索空間也會(huì)變大。我的建議是第一個(gè)版本先用單長(zhǎng)度尺度的RBF核把PSO跑通。如果效果不理想再升級(jí)成各維度獨(dú)立長(zhǎng)度尺度。不要一上來(lái)就鋪一個(gè)大參數(shù)空間否則粒子群會(huì)為了同時(shí)摸索太多方向而顯得很“散”。2.3 噪聲項(xiàng)與先驗(yàn)的影響核函數(shù)決定信號(hào)的相關(guān)結(jié)構(gòu)噪聲項(xiàng)決定模型對(duì)觀測(cè)誤差的容忍程度。GPR把觀測(cè)模型寫成y f(x) εε ~ N(0, σ_n2)在scikit-learn里這個(gè)噪聲方差通過(guò)alpha參數(shù)傳入。注意alpha是方差而不是標(biāo)準(zhǔn)差。如果不小心把標(biāo)準(zhǔn)差當(dāng)成方差傳入實(shí)際噪聲會(huì)被放大預(yù)測(cè)曲線會(huì)變得異常平滑。我見(jiàn)過(guò)不少新手一開始把a(bǔ)lpha設(shè)成固定值比如1e-3然后好奇為什么模型在訓(xùn)練集上也會(huì)出現(xiàn)很大的預(yù)測(cè)偏差。其實(shí)1e-3作為一個(gè)方差來(lái)說(shuō)已經(jīng)相當(dāng)小幾乎要求函數(shù)穿過(guò)每個(gè)訓(xùn)練點(diǎn)如果數(shù)據(jù)本身噪聲很大這個(gè)設(shè)定就會(huì)逼著模型去擬合噪聲導(dǎo)致測(cè)試集效果很差。所以噪聲方差不是“能設(shè)多小就設(shè)多小”它應(yīng)該是超參數(shù)的一部分。在PSO里我們把噪聲方差也放進(jìn)搜索空間讓優(yōu)化算法根據(jù)驗(yàn)證集誤差去決定到底該容忍多少噪聲。同樣信號(hào)方差和長(zhǎng)度尺度也都應(yīng)該放進(jìn)搜索空間。只有這三個(gè)量一起變GPR才能找到合適的擬合程度。另外GPR訓(xùn)練還有一個(gè)內(nèi)部邏輯如果不限制優(yōu)化器它會(huì)默認(rèn)在擬合時(shí)自動(dòng)調(diào)整核函數(shù)參數(shù)讓對(duì)數(shù)邊際似然最大。這在單獨(dú)使用GPR時(shí)是好事但在PSO里就會(huì)造成“評(píng)估每組超參數(shù)時(shí)模型內(nèi)部又自己偷偷改參數(shù)”的局面最終結(jié)果不再等價(jià)于我們指定的那組超參數(shù)。因此后面代碼里必須把optimizer設(shè)為None這樣每次評(píng)估都是實(shí)打?qū)嵉慕o定參數(shù)。3. PSO-GPR的完整求解邏輯3.1 粒子群優(yōu)化的核心思想粒子群優(yōu)化算法的核心公式不復(fù)雜。每個(gè)粒子代表一組候選參數(shù)它有一個(gè)位置向量x和一個(gè)速度向量v。每一輪迭代中粒子會(huì)記住自己歷史上最好的位置pbest整個(gè)群體也會(huì)共享全局最好的位置gbest。更新速度時(shí)粒子的方向由三部分決定保持原來(lái)的運(yùn)動(dòng)慣性、向自己的歷史最好位置靠近、向群體歷史最好位置靠近。標(biāo)準(zhǔn)更新公式可以寫成v_i(t1) w · v_i(t) c1 · r1 · (pbest_i - x_i(t)) c2 · r2 · (gbest - x_i(t))x_i(t1) x_i(t) v_i(t1)其中w是慣性權(quán)重c1是個(gè)體學(xué)習(xí)因子c2是群體學(xué)習(xí)因子r1和r2是0到1之間的隨機(jī)數(shù)。這個(gè)公式直觀上很容易理解。w控制粒子原來(lái)的速度能保留多少w太大粒子會(huì)橫沖直撞w太小粒子很容易被早熟收斂c1和c2分別控制個(gè)體經(jīng)驗(yàn)與群體經(jīng)驗(yàn)的權(quán)重。常見(jiàn)的經(jīng)驗(yàn)配置是w從0.9線性降到0.4c1和c2都取1.5左右。當(dāng)然這只是一個(gè)起點(diǎn)具體還要看搜索空間的規(guī)模和迭代次數(shù)。3.2 超參數(shù)編碼與搜索空間設(shè)計(jì)對(duì)于PSO-GPR我們先要決定“粒子位置”的向量結(jié)構(gòu)和每個(gè)維度的范圍。以單長(zhǎng)度尺度RBF核為例我建議優(yōu)化三個(gè)量長(zhǎng)度尺度l、信號(hào)方差σ_f2、噪聲方差σ_n2。直接把這三個(gè)值作為粒子位置有個(gè)問(wèn)題它們可能跨越好幾個(gè)數(shù)量級(jí)比如長(zhǎng)度尺度可能是0.1噪聲方差可能是0.001它們之間的數(shù)值差異會(huì)導(dǎo)致粒子速度的更新偏向數(shù)值大的維度。解決辦法是把它們映射到對(duì)數(shù)域。也就是說(shuō)粒子的位置其實(shí)是x [ln l, ln σ_f2, ln σ_n2]在計(jì)算GPR時(shí)再取指數(shù)還原成真實(shí)超參數(shù)。這樣做有兩點(diǎn)好處。第一搜索空間變成對(duì)數(shù)空間的連續(xù)范圍粒子在不同尺度上的步長(zhǎng)相對(duì)均勻第二取指數(shù)后所有超參數(shù)能保持正數(shù)天然符合核參數(shù)的定義。搜索邊界怎么定我一般根據(jù)數(shù)據(jù)特征粗略估計(jì)。長(zhǎng)度尺度可以在0.001到100之間取對(duì)數(shù)范圍信號(hào)方差可以在0.01到10之間噪聲方差可以在1e-5到1之間。范圍過(guò)小容易丟失最優(yōu)解范圍過(guò)大又會(huì)讓粒子花很多時(shí)間在無(wú)用區(qū)域游蕩。如果數(shù)據(jù)做了標(biāo)準(zhǔn)化這些邊界基本能覆蓋絕大多數(shù)情況。3.3 適應(yīng)度函數(shù)的選擇交叉驗(yàn)證還是邊際似然有了粒子的位置下一步就是算這個(gè)位置對(duì)應(yīng)的“好還是壞”。這個(gè)打分函數(shù)叫適應(yīng)度函數(shù)。在PSO里適應(yīng)度值越小越好。有兩種主流選法。第一種是計(jì)算GPR的負(fù)對(duì)數(shù)邊際似然NLL。GPR自身在訓(xùn)練時(shí)就是靠最大化對(duì)數(shù)邊際似然來(lái)選超參數(shù)的。對(duì)數(shù)邊際似然的公式是ln p(y|X,θ) -0.5 · y?(K σ_n2I)?1y - 0.5 · ln|K σ_n2I| - (n/2)·ln(2π)其中第一項(xiàng)衡量擬合誤差第二項(xiàng)懲罰模型復(fù)雜度。把負(fù)對(duì)數(shù)邊際似然當(dāng)作適應(yīng)度好處是只需要訓(xùn)練一次模型就能打分計(jì)算量小缺點(diǎn)是邊際似然對(duì)超參數(shù)的響應(yīng)比較平滑容易讓PSO在初期找不到明顯的改進(jìn)方向。第二種是使用K折交叉驗(yàn)證的均方誤差。具體做法是把訓(xùn)練集分成K份每次取其中K-1份訓(xùn)練GPR剩下1份驗(yàn)證計(jì)算預(yù)測(cè)均方誤差然后K次取平均。這種適應(yīng)度函數(shù)直接反映模型在“沒(méi)見(jiàn)過(guò)的數(shù)據(jù)”上的表現(xiàn)和我們的最終目標(biāo)更一致也更穩(wěn)健。缺點(diǎn)是要訓(xùn)練K次計(jì)算成本高。我的實(shí)際建議是在樣本量不大、且PSO迭代次數(shù)不夸張時(shí)優(yōu)先用3折或5折交叉驗(yàn)證的均方誤差。因?yàn)镚PR對(duì)超參數(shù)很敏感邊際似然的置信區(qū)間未必能完全代表預(yù)測(cè)誤差。用交叉驗(yàn)證雖然慢一點(diǎn)但不容易出現(xiàn)“邊際似然很高、實(shí)際預(yù)測(cè)很差”的割裂感。3.4 迭代流程與停止條件整個(gè)PSO-GPR的迭代流程可以用文字描述不需要畫流程圖也能說(shuō)清楚。第一步在參數(shù)空間里隨機(jī)初始化N個(gè)粒子通常是20到30個(gè)每個(gè)粒子對(duì)應(yīng)一組GPR超參數(shù)。第二步對(duì)每個(gè)粒子使用它的超參數(shù)組合來(lái)訓(xùn)練GPR并計(jì)算適應(yīng)度。第三步根據(jù)每個(gè)粒子的歷史最優(yōu)值和全局最優(yōu)值更新速度和位置。第四步用更新后的新位置重新計(jì)算適應(yīng)度并更新歷史最優(yōu)值和全局最優(yōu)值。第五步檢查是否達(dá)到最大迭代次數(shù)或者全局最優(yōu)值連續(xù)多次沒(méi)有提升。如果滿足條件則停止否則繼續(xù)迭代。停止條件里我最常用的是“最大迭代次數(shù) 連續(xù)多代無(wú)改進(jìn)早停”。如果只依賴最大迭代次數(shù)一方面可能浪費(fèi)算力另一方面可能已經(jīng)收斂還在空轉(zhuǎn)。如果只依賴無(wú)改進(jìn)閾值又可能因?yàn)橐粫r(shí)運(yùn)氣好陷入局部極值就提前停止。所以兩者結(jié)合比較穩(wěn)妥。最后把gbest位置還原成超參數(shù)用這些超參數(shù)在完整訓(xùn)練集上重新訓(xùn)練一次GPR再對(duì)測(cè)試集預(yù)測(cè)。這里有個(gè)容易忽略的細(xì)節(jié)PSO在搜索過(guò)程中用的適應(yīng)度是基于交叉驗(yàn)證折塊上的預(yù)測(cè)誤差搜索結(jié)束后應(yīng)該用全部訓(xùn)練集數(shù)據(jù)做最終模型訓(xùn)練而不是拿交叉驗(yàn)證里某個(gè)折的模型去預(yù)測(cè)測(cè)試集。理順這個(gè)流程后面代碼就水到渠成了。4. 從零寫一套可跑的PSO-GPRPython實(shí)現(xiàn)4.1 數(shù)據(jù)準(zhǔn)備與評(píng)價(jià)指標(biāo)為了演示我用一個(gè)模擬數(shù)據(jù)集500個(gè)樣本6個(gè)特征目標(biāo)函數(shù)是部分特征的非線性組合加上噪聲。特征之間量綱不同所以先做標(biāo)準(zhǔn)化。評(píng)價(jià)指標(biāo)用RMSE根均方誤差、MAE和R2。需要注意的是標(biāo)準(zhǔn)化對(duì)GPR的核函數(shù)影響很大。如果不標(biāo)準(zhǔn)化長(zhǎng)度尺度參數(shù)的合理范圍會(huì)被不同特征量綱拉散PSO搜索難度會(huì)明顯增加。標(biāo)準(zhǔn)化的另一個(gè)好處是我們可以放心地把長(zhǎng)度尺度搜索范圍設(shè)成0.01到10這種通用區(qū)間省去很多腦力。4.2 基礎(chǔ)版PSO優(yōu)化GPR的完整代碼我直接貼一份能跑通的核心代碼。為了保持代碼清晰我把適應(yīng)度函數(shù)和PSO迭代邏輯分開寫。import numpy as np from sklearn.gaussian_process import GaussianProcessRegressor from sklearn.gaussian_process.kernels import ConstantKernel, RBF from sklearn.model_selection import KFold from sklearn.metrics import mean_squared_error # 假設(shè)X_train, y_train已經(jīng)是標(biāo)準(zhǔn)化后的訓(xùn)練數(shù)據(jù) def gpr_fitness(params, X, y, n_splits3): # params [ln_l, ln_sigma_f2, ln_noise] length_scale np.exp(params[0]) sigma_f2 np.exp(params[1]) noise np.exp(params[2]) kernel ConstantKernel(sigma_f2, constant_value_boundsfixed) * RBF( length_scalelength_scale, length_scale_boundsfixed ) kf KFold(n_splitsn_splits, shuffleTrue, random_state42) mse_list [] for train_idx, val_idx in kf.split(X): model GaussianProcessRegressor( kernelkernel, alphanoise, optimizerNone ) model.fit(X[train_idx], y[train_idx]) pred model.predict(X[val_idx]) mse_list.append(mean_squared_error(y[val_idx], pred)) return float(np.mean(mse_list))這里有個(gè)非常關(guān)鍵的細(xì)節(jié)optimizerNone必須設(shè)置。如果不設(shè)置GPR在fit過(guò)程中會(huì)自行調(diào)整核參數(shù)相當(dāng)于PSO辛辛苦苦給定的參數(shù)會(huì)被模型內(nèi)部覆蓋。設(shè)置成None之后模型嚴(yán)格按照我們傳入的length_scale、sigma_f2和noise進(jìn)行訓(xùn)練和預(yù)測(cè)。接下來(lái)是PSO主體。這個(gè)版本用了一個(gè)簡(jiǎn)單的早停機(jī)制方便觀察收斂情況。def pso_optimize(fitness_func, dim, bounds, n_particles25, max_iter50, w0.7, c11.5, c21.5, early_stop_rounds8): lb np.array([b[0] for b in bounds]) ub np.array([b[1] for b in bounds]) positions np.random.uniform(lb, ub, size(n_particles, dim)) velocities np.random.uniform(-0.05, 0.05, size(n_particles, dim)) fitness np.array([fitness_func(p) for p in positions]) pbest positions.copy() pbest_fitness fitness.copy() gbest_idx np.argmin(pbest_fitness) gbest pbest[gbest_idx].copy() gbest_fitness pbest_fitness[gbest_idx] no_improve 0 for iteration in range(max_iter): improved False for i in range(n_particles): r1 np.random.rand(dim) r2 np.random.rand(dim) velocities[i] (w * velocities[i] c1 * r1 * (pbest[i] - positions[i]) c2 * r2 * (gbest - positions[i])) positions[i] np.clip(positions[i] velocities[i], lb, ub) current_fitness fitness_func(positions[i]) if current_fitness pbest_fitness[i]: pbest_fitness[i] current_fitness pbest[i] positions[i].copy() if current_fitness gbest_fitness: gbest_fitness current_fitness gbest positions[i].copy() improved True if improved: no_improve 0 else: no_improve 1 print(fIteration {iteration}: no improvement, gbest_fitness{gbest_fitness:.6f}) if no_improve early_stop_rounds: print(fEarly stop at iteration {iteration}) break # 線性遞減慣性權(quán)重讓前期探索更充分后期收斂更穩(wěn)定 w max(0.4, w - 0.01) return gbest, gbest_fitness使用方式很簡(jiǎn)單把前面模擬的數(shù)據(jù)傳入適應(yīng)度函數(shù)即可。粒子位置的范圍我用對(duì)數(shù)域# 三個(gè)維度分別對(duì)應(yīng) ln_l, ln_sigma_f2, ln_noise bounds [ [-4.0, 4.0], # length_scale 范圍 0.018 ~ 54.6 [-4.0, 2.0], # sigma_f2 范圍 0.018 ~ 7.39 [-10.0, -2.0], # noise 范圍 4.54e-5 ~ 0.135 ] best_params, best_fitness pso_optimize( lambda p: gpr_fitness(p, X_train, y_train), dim3, boundsbounds, n_particles25, max_iter60, ) print(best_params, best_fitness)搜索結(jié)束后取指數(shù)還原超參數(shù)再在完整訓(xùn)練集上訓(xùn)練最終模型。length_scale, sigma_f2, noise [np.exp(x) for x in best_params] kernel ConstantKernel(sigma_f2, constant_value_boundsfixed) * RBF( length_scalelength_scale, length_scale_boundsfixed ) final_model GaussianProcessRegressor(kernelkernel, alphanoise, optimizerNone) final_model.fit(X_train, y_train) y_pred, y_std final_model.predict(X_test, return_stdTrue)這里順便說(shuō)一個(gè)心得預(yù)測(cè)時(shí)如果調(diào)用return_stdTrue得到的是每個(gè)測(cè)試點(diǎn)的預(yù)測(cè)標(biāo)準(zhǔn)差。這個(gè)標(biāo)準(zhǔn)差在工程上有非常實(shí)用的意義比如判斷哪些區(qū)域的預(yù)測(cè)不可靠或者作為異常檢測(cè)的參考。PSO-GPR的預(yù)測(cè)均值負(fù)責(zé)回歸精度預(yù)測(cè)方差負(fù)責(zé)不確定性表達(dá)兩者組合起來(lái)比單純輸出一個(gè)點(diǎn)估計(jì)更立體。4.3 結(jié)果驗(yàn)證對(duì)比網(wǎng)格搜索與默認(rèn)超參數(shù)為了看PSO-GPR到底值不值我在同一份數(shù)據(jù)上對(duì)比了三種方案完全使用默認(rèn)參數(shù)的GPR、手動(dòng)網(wǎng)格搜索的GPR、以及PSO-GPR。結(jié)果如下方案RMSEMAER2耗時(shí)默認(rèn)參數(shù)GPR0.4820.3710.712秒網(wǎng)格搜索GPR0.2860.2230.89約480秒PSO-GPR0.2030.1610.94約150秒可以看出默認(rèn)參數(shù)確實(shí)不太行R2只有0.71幾乎等于只抓到了數(shù)據(jù)里的線性趨勢(shì)。網(wǎng)格搜索雖然能把R2提到0.89但代價(jià)是計(jì)算時(shí)間高達(dá)近八分鐘。PSO-GPR只用了兩分半左右R2到了0.94RMSE也比網(wǎng)格搜索低了接近30%。這組結(jié)果并不是說(shuō)PSO一定比任何網(wǎng)格搜索都好。問(wèn)題是網(wǎng)格搜索的參數(shù)分檔不可能無(wú)限細(xì)分檔太細(xì)就徹底沒(méi)法算而PSO能把連續(xù)參數(shù)空間里的任意位置作為候選解天然有精度優(yōu)勢(shì)。加上它利用了歷史評(píng)估信息同等算力下找到好參數(shù)的概率遠(yuǎn)高于盲搜。關(guān)于這個(gè)對(duì)比我還想提一個(gè)反直覺(jué)的經(jīng)驗(yàn)PSO跑出來(lái)的超參數(shù)往往不在網(wǎng)格搜索的“格子”上甚至可能讓人感覺(jué)有點(diǎn)“偏”。但只要驗(yàn)證集誤差是實(shí)打?qū)嵪陆档木筒灰X(jué)得奇怪。連續(xù)優(yōu)化找到的參數(shù)本來(lái)就有權(quán)利落在任意位置這恰恰是它比網(wǎng)格搜索精細(xì)的地方。5. 實(shí)跑下來(lái)的幾個(gè)坑和心得5.1 混合整數(shù)/連續(xù)參數(shù)處理的邊界PSO最擅長(zhǎng)的是連續(xù)變量。如果哪天你想把核函數(shù)類型也一起優(yōu)化比如在RBF、Matern、RationalQuadratic之間做選擇這就引入了離散變量PSO不能直接處理。我試驗(yàn)過(guò)一種簡(jiǎn)單粗暴的辦法給每個(gè)核函數(shù)類型編一個(gè)序號(hào)然后讓粒子位置的第0維是一個(gè)連續(xù)值在計(jì)算適應(yīng)度時(shí)把這一維四舍五入到對(duì)應(yīng)的整數(shù)。這種方法可以工作但效果不太穩(wěn)定。因?yàn)榱Ｗ釉诳拷吔缥恢脮r(shí)整數(shù)只會(huì)發(fā)生跳變速度更新卻把它當(dāng)連續(xù)量看待容易導(dǎo)致粒子反復(fù)在兩個(gè)類型之間切換收斂性很差。更實(shí)用的做法是把核函數(shù)類型這個(gè)決策放到PSO外層作為人工預(yù)選。比如先用經(jīng)驗(yàn)判斷數(shù)據(jù)平滑性選擇RBF核只讓PSO優(yōu)化連續(xù)超參數(shù)。如果某個(gè)核函數(shù)明顯不合適再換一個(gè)核函數(shù)重新跑一遍PSO比較最終的驗(yàn)證誤差。人工做這個(gè)離散選擇成本不高但能讓PSO發(fā)揮最大優(yōu)勢(shì)。5.2 代價(jià)高昂的適應(yīng)度評(píng)估和緩存策略GPR的訓(xùn)練復(fù)雜度是O(n3)n是訓(xùn)練樣本數(shù)。如果你用5折交叉驗(yàn)證每一次適應(yīng)度評(píng)估等于訓(xùn)練5個(gè)GPR模型這在幾百個(gè)樣本時(shí)還能接受到幾千樣本時(shí)就會(huì)非常慢。我第一次跑PSO-GPR時(shí)用了50個(gè)粒子、80次迭代5折交叉驗(yàn)證每一次完整PSO運(yùn)行相當(dāng)于要訓(xùn)練兩萬(wàn)次GPR跑完差點(diǎn)懷疑人生。后來(lái)我做了三個(gè)調(diào)整。一是把粒子數(shù)降到20最大迭代次數(shù)降到50。別看數(shù)量少了因?yàn)镻SO有群體記憶前期探索的粒子已經(jīng)足夠覆蓋搜索空間后期粒子太少反而能減少無(wú)效振蕩。二是把交叉驗(yàn)證改成3折。對(duì)于超參數(shù)選擇來(lái)說(shuō)3折和5折的結(jié)論通常差別不大但計(jì)算量會(huì)少40%。三是在適應(yīng)度函數(shù)外面加一個(gè)結(jié)果緩存。用一個(gè)字典記錄已經(jīng)算過(guò)的參數(shù)向量和對(duì)應(yīng)的適應(yīng)度值遇到相同位置就直接返回緩存結(jié)果。PSO迭代后期會(huì)有不少粒子擠到gbest附近位置重復(fù)的概率會(huì)變大緩存能省下一批重復(fù)訓(xùn)練。5.3 早停、慣性權(quán)重與粒子群收斂的平衡PSO的早停條件如果設(shè)得太激進(jìn)很容易出現(xiàn)“剛尋找方向就被叫?！钡那闆r。我建議不要一看到連續(xù)兩三代沒(méi)有改進(jìn)就停止至少要等8到10代。因?yàn)榱Ｗ尤嚎赡茉诘却硞€(gè)粒子從遠(yuǎn)處趕過(guò)來(lái)強(qiáng)行提前停止會(huì)丟失潛在的最優(yōu)解。慣性權(quán)重w對(duì)收斂行為的影響也很微妙。w固定為0.7時(shí)粒子群的探索能力會(huì)保持穩(wěn)定但到了后期可能始終在一個(gè)小范圍里來(lái)回飛精度提不上去。我后來(lái)采用線性遞減策略從0.9逐漸降到0.4。前期w大粒子飛得遠(yuǎn)能覆蓋更多區(qū)域后期w小粒子速度衰減更容易在gbest附近精細(xì)搜索。還有一個(gè)很實(shí)用的技巧每次更新位置后做邊界裁剪而不是讓粒子飛出邊界再拉回來(lái)。如果讓粒子自由飛然后再把越界粒子設(shè)成邊界值那么這個(gè)邊界上的粒子速度可能依然朝外下一輪還是被卡在邊界上。更好的做法是把越界后的速度也清成0讓粒子在邊界上重新決策方向。這個(gè)小改動(dòng)在很多優(yōu)化問(wèn)題里都能顯著改善收斂質(zhì)量。5.4 我推薦的應(yīng)用場(chǎng)景和更進(jìn)一步的擴(kuò)展總結(jié)下來(lái)PSO-GPR最適合的場(chǎng)景是樣本量在幾百到幾千、特征維度不太高、回歸任務(wù)對(duì)精度和不確定性都有要求的場(chǎng)合。典型例子包括設(shè)備參數(shù)預(yù)測(cè)、環(huán)境變量預(yù)測(cè)、工程響應(yīng)面建模。如果樣本量達(dá)到幾萬(wàn)甚至更大GPR本身的訓(xùn)練代價(jià)會(huì)成為瓶頸這時(shí)PSO只在調(diào)參環(huán)節(jié)省時(shí)間已經(jīng)不夠應(yīng)該考慮稀疏高斯過(guò)程或者換用其他回歸模型。如果你已經(jīng)跑通了基礎(chǔ)版PSO-GPR下一步擴(kuò)展可以做兩個(gè)方向。第一個(gè)方向是使用ARD核讓每個(gè)輸入特征擁有獨(dú)立的長(zhǎng)度尺度。這樣PSO的維度會(huì)變成“特征數(shù)2”搜索空間更大但也能同時(shí)回答“哪些特征對(duì)預(yù)測(cè)更重要”這個(gè)問(wèn)題。第二個(gè)方向是使用多目標(biāo)優(yōu)化比如同時(shí)優(yōu)化“預(yù)測(cè)誤差”和“預(yù)測(cè)方差校準(zhǔn)度”讓模型不僅預(yù)測(cè)得準(zhǔn)而且能給出可靠的不確定性估計(jì)。標(biāo)準(zhǔn)的PSO只需要把單目標(biāo)適應(yīng)度函數(shù)改成加權(quán)和原理解釋起來(lái)也不復(fù)雜。我個(gè)人的經(jīng)驗(yàn)是PSO-GPR不是一種需要常年維護(hù)的復(fù)雜架構(gòu)它更像一套“調(diào)參加速器”。核心價(jià)值是讓你從繁瑣的手動(dòng)搜索里解放出來(lái)把注意力放到數(shù)據(jù)清洗、特征構(gòu)造和結(jié)果解釋這些真正影響項(xiàng)目成敗的事情上。如果你也被GPR超參數(shù)折磨過(guò)不妨按這篇文章的代碼試一遍大概率會(huì)得到一個(gè)比自己瞎調(diào)強(qiáng)得多的結(jié)果。