：從數(shù)據(jù)平穩(wěn)化到ARIMA建模的完整指南)
1. 從“小白”到入門為什么時間序列值得你花時間如果你正在接觸數(shù)學建?；蛘邔?shù)據(jù)分析感興趣那么“時間序列”這個詞你肯定不陌生。它聽起來有點學術(shù)有點復(fù)雜很多新手一看到ARIMA、平穩(wěn)性檢驗這些術(shù)語就頭大直接勸退。但我想說的是時間序列可能是你從“理論派”邁向“實戰(zhàn)派”數(shù)據(jù)分析師最關(guān)鍵的一塊敲門磚。為什么因為現(xiàn)實世界的數(shù)據(jù)絕大多數(shù)都自帶時間戳。從每天的股票價格、每小時的網(wǎng)站訪問量、每月的銷售額到每分鐘的傳感器讀數(shù)它們都是按時間順序排列的這就是時間序列數(shù)據(jù)。學會分析它就等于掌握了理解世界動態(tài)變化的一把鑰匙。很多人把時間序列建模想得太高深覺得那是統(tǒng)計學家的事。其實不然它的核心思想非常樸素過去發(fā)生的事情會影響未來。我們做時間序列分析本質(zhì)上就是在數(shù)據(jù)中尋找這種“記憶”或“慣性”的規(guī)律。比如今天的天氣大概率會影響明天的天氣上個月的銷量對下個月的銷量有參考價值。建模的目的就是把這個規(guī)律量化出來用來預(yù)測未來或者理解過去變化的驅(qū)動因素。這篇指南我就想拋開那些讓人望而生畏的公式推導(dǎo)當然必要的原理會講清楚用最直白的方式帶你走一遍時間序列分析的完整流程。我會重點分享那些我踩過的坑、容易誤解的概念以及如何一步步從一堆雜亂的時間數(shù)據(jù)里挖出有價值的結(jié)論。無論你是參加數(shù)學建模比賽還是處理工作中的業(yè)務(wù)數(shù)據(jù)這套“小白指南”都能讓你快速上手避開新手最常見的那些雷區(qū)。2. 萬事開頭難拿到數(shù)據(jù)后第一件該做的事當你拿到一份時間序列數(shù)據(jù)比如一個CSV文件第一反應(yīng)可能就是想趕緊畫個圖看看趨勢或者直接套個模型跑一下。別急這往往是新手犯的第一個錯誤。在按動任何建模按鈕之前你需要像偵探勘察現(xiàn)場一樣先對你的數(shù)據(jù)做一個全面的“體檢”。這個階段做得好能幫你省掉后面一大半的麻煩。2.1 數(shù)據(jù)導(dǎo)入與初步觀察別讓格式問題坑了你假設(shè)你有一份某商品過去三年的每日銷售額數(shù)據(jù)。用Python的pandas讀入后別急著df.head()一下就完事。首先確認你的“時間列”已經(jīng)被正確識別為時間戳格式。這是最基礎(chǔ)也最容易出錯的一步。很多從數(shù)據(jù)庫或Excel導(dǎo)出的數(shù)據(jù)時間列可能是字符串比如“2023-01-01”。你必須用pd.to_datetime()函數(shù)把它轉(zhuǎn)換成pandas能理解的datetime類型。我強烈建議你轉(zhuǎn)換后將這一列設(shè)置為數(shù)據(jù)的索引df.set_index(‘date’, inplaceTrue)。這樣做的好處是后續(xù)所有的繪圖、重采樣、滑動窗口計算都會變得異常方便。接下來檢查數(shù)據(jù)的完整性。時間序列最怕有“洞”。使用df.index.is_unique檢查是否有重復(fù)的時間點用df.asfreq(‘D’)假設(shè)是日數(shù)據(jù)重新采樣到固定頻率可以立刻暴露出哪些日期有數(shù)據(jù)缺失。缺失值怎么處理這里有個經(jīng)驗對于時間序列簡單的用前后均值填充有時會引入虛假的平穩(wěn)性。我的建議是如果缺失不多比如少于5%可以考慮線性插值如果缺失較多可能需要思考是數(shù)據(jù)采集問題還是業(yè)務(wù)本身有中斷如節(jié)假日后者需要更復(fù)雜的處理甚至引入外部變量。2.2 可視化用眼睛先“建?！比搜凼菑姶蟮哪Ｊ阶R別器。在動用任何統(tǒng)計檢驗之前先畫幾張圖。時序圖這是最基本的df[‘sales’].plot()?？词裁纯凑w趨勢是上升、下降還是平穩(wěn)、季節(jié)性是否每隔固定周期如一年、一月出現(xiàn)重復(fù)的波動、以及是否存在明顯的異常點某個點突然飆升或暴跌。子圖分解使用statsmodels庫的seasonal_decompose函數(shù)可以把一條時間序列拆解成趨勢Trend、季節(jié)性Seasonality和殘差Residual三部分。這個圖非常直觀能讓你一眼看出數(shù)據(jù)的主要構(gòu)成。如果季節(jié)性波動非常強那么你后續(xù)的模型就必須考慮季節(jié)性因素如果趨勢明顯你可能需要先做差分。直方圖與Q-Q圖看看數(shù)據(jù)的分布。很多時間序列模型如ARIMA假設(shè)殘差是正態(tài)分布的。通過直方圖和Q-Q圖可以初步判斷數(shù)據(jù)是否嚴重偏離正態(tài)。如果嚴重偏離可能需要對數(shù)據(jù)做變換如取對數(shù)。注意畫圖時一定要確保時間軸是正確的。我曾經(jīng)遇到過因為時區(qū)沒統(tǒng)一導(dǎo)致畫出來的趨勢出現(xiàn)詭異跳變的情況。檢查索引是否為單調(diào)遞增df.index.is_monotonic_increasing這也是個好習慣。3. 平穩(wěn)性時間序列建模的“入場券”這是時間序列分析中最核心、也最讓新手困惑的概念之一。你可以這么理解一個平穩(wěn)的時間序列其統(tǒng)計性質(zhì)如均值、方差不隨時間變化。想象一下你在分析一條河的水位。如果這條河沒有筑壩雨季水位高旱季水位低它的均值在變這就是不平穩(wěn)。如果我們在上游修了個大水庫無論雨季旱季都保持水位恒定那它就是平穩(wěn)的。為什么要求平穩(wěn)因為絕大多數(shù)經(jīng)典時間序列模型如AR、MA、ARIMA的理論基礎(chǔ)都建立在平穩(wěn)性假設(shè)之上。用不平穩(wěn)的數(shù)據(jù)去擬合這些模型就像用尺子去量一個不斷膨脹的氣球結(jié)果毫無意義。3.1 如何判斷平穩(wěn)性——ADF檢驗的實戰(zhàn)解讀理論上看時序圖如果沒明顯趨勢和季節(jié)性可以粗略認為平穩(wěn)。但我們需要更嚴謹?shù)慕y(tǒng)計檢驗。最常用的就是增強迪基-富勒檢驗Augmented Dickey-Fuller Test, ADF檢驗。在Python中用statsmodels.tsa.stattools.adfuller()可以輕松完成。新手常犯的錯誤是只看p值。ADF檢驗的原假設(shè)H0是“時間序列是非平穩(wěn)的”。所以如果p值小于顯著性水平通常取0.05我們拒絕原假設(shè)認為序列是平穩(wěn)的。如果p值大于0.05則無法拒絕原假設(shè)認為序列是非平穩(wěn)的。但這里有個大坑ADF檢驗的結(jié)果對檢驗中包含的項如常數(shù)項、趨勢項非常敏感。adfuller()函數(shù)有個參數(shù)叫regression通常有‘c’僅常數(shù)項、‘ct’常數(shù)項和趨勢項、‘ctt’常數(shù)、線性和二次趨勢項、‘nc’無常數(shù)無趨勢。選哪個我的經(jīng)驗法則是先畫圖觀察。如果你的時序圖看起來圍繞一個非零的均值波動用‘c’如果有一個明顯的上升或下降趨勢用‘ct’。如果不確定可以都試一下但最終解釋要結(jié)合圖形。我曾有一次分析GDP數(shù)據(jù)用‘c’檢驗得出不平穩(wěn)但用‘ct’考慮了增長趨勢后就變得平穩(wěn)了這直接影響了后續(xù)的建模策略。3.2 讓數(shù)據(jù)變平穩(wěn)的“三板斧”如果檢驗發(fā)現(xiàn)數(shù)據(jù)不平穩(wěn)別慌我們有辦法把它“弄平穩(wěn)”。差分這是最常用、最有效的方法。原理很簡單計算當前時刻的值和前一時刻的差值df[‘sales_diff’] df[‘sales’].diff()。一階差分不行就二階差分對差分后的序列再差分。在數(shù)學建模中絕大多數(shù)經(jīng)濟、金融數(shù)據(jù)的趨勢通過一階或二階差分都能消除。差分后的序列其數(shù)值表示的是“變化量”更容易滿足平穩(wěn)性。對數(shù)變換如果數(shù)據(jù)有指數(shù)增長趨勢比如某些用戶數(shù)、流量數(shù)據(jù)方差會隨著均值增大而增大這叫異方差。先取對數(shù)np.log(df[‘sales’])可以壓縮數(shù)據(jù)的尺度穩(wěn)定方差然后再對取對數(shù)后的數(shù)據(jù)做差分這就是“對數(shù)差分”在金融里常用來計算收益率。季節(jié)性差分如果數(shù)據(jù)有強烈的季節(jié)性比如月度數(shù)據(jù)有年周期那么可以做周期差分。df[‘sales_sdiff’] df[‘sales’] - df[‘sales’].shift(12)。這能消除以12為周期的季節(jié)性波動。一個標準的操作流程是先做對數(shù)變換如果需要再做差分消除趨勢最后做季節(jié)性差分消除季節(jié)性。每做一步都重新畫圖并用ADF檢驗直到通過為止。記住我們的目標是得到一個在統(tǒng)計上平穩(wěn)的序列這是后續(xù)建模的堅實基礎(chǔ)。4. 模型識別ACF與PACF圖是你的“藏寶圖”數(shù)據(jù)平穩(wěn)之后接下來就要選擇具體的模型了。對于經(jīng)典的ARIMA模型我們需要確定三個核心參數(shù)p自回歸階數(shù)d差分階數(shù)q移動平均階數(shù)。其中d我們在平穩(wěn)化階段已經(jīng)確定了做了幾次差分d就是幾?，F(xiàn)在我們需要借助兩個強大的工具——自相關(guān)函數(shù)圖ACF和偏自相關(guān)函數(shù)圖PACF——來猜測p和q。4.1 ACF圖看“總影響力”ACF描述的是當前時刻的序列值與過去任意時刻序列值之間的相關(guān)性。比如滯后階數(shù)k1的ACF就是今天和昨天的相關(guān)性k2是今天和前天的相關(guān)性以此類推。怎么看在ACF圖上我們看的是拖尾和截尾。如果ACF圖是拖尾逐漸衰減到0說明存在長期記憶。如果ACF圖在滯后q階后突然截斷之后的值都在置信區(qū)間內(nèi)這暗示著一個MA(q)模型。新手誤區(qū)ACF圖在滯后0處永遠是1自己和自己完全相關(guān)所以從滯后1開始看。另外因為抽樣波動即使理論上是0估計出來的ACF值也可能在置信區(qū)間外輕微波動這不一定代表顯著。4.2 PACF圖看“直接影響力”PACF是在剔除了中間滯后項的影響后當前值與過去某特定滯后值的“純”相關(guān)性。比如PACF(2)衡量的是今天和前天之間的相關(guān)性但已經(jīng)扣除了昨天滯后1帶來的間接影響。怎么看同樣看截尾和拖尾。如果PACF圖在滯后p階后突然截斷這暗示著一個AR(p)模型。4.3 實戰(zhàn)中的看圖口訣與陷阱有一個經(jīng)典的口訣AR模型看PACF截尾MA模型看ACF截尾。對于ARIMA(p,d,q)如果PACF截尾ACF拖尾 - 考慮AR模型p由PACF截尾處決定。如果ACF截尾PACF拖尾 - 考慮MA模型q由ACF截尾處決定。如果兩者都拖尾- 考慮ARMA或ARIMA模型p和q需要結(jié)合其他方法確定。如果兩者都截尾- 可能要考慮ARMA模型。但現(xiàn)實遠比理論復(fù)雜。我遇到最多的情況是ACF和PACF都拖尾得很慢沒有明顯的截斷點。這時候口訣就失效了。怎么辦檢查平穩(wěn)性首先回頭確認你的數(shù)據(jù)真的平穩(wěn)了嗎不平穩(wěn)的數(shù)據(jù)ACF/PACF衰減非常慢。考慮季節(jié)性如果你的數(shù)據(jù)有季節(jié)性ACF圖會在季節(jié)周期倍數(shù)處如122436…對于月度數(shù)據(jù)出現(xiàn)顯著的峰值。這時候你需要的是季節(jié)性ARIMA模型SARIMA它比普通ARIMA多了季節(jié)性部分的P, D, Q參數(shù)。使用信息準則輔助當看圖不確定時可以用“網(wǎng)格搜索”配合信息準則如AIC BIC。AIC/BIC越小模型擬合越好且越簡潔。你可以遍歷一個合理的p和q范圍比如0到3擬合所有組合的ARIMA模型選擇AIC最小的那個。pmdarima庫的auto_arima函數(shù)就是干這個的它能自動化這個過程對新手非常友好。提示不要過度依賴自動化工具。auto_arima是個好起點但它給出的不一定是最優(yōu)解尤其是當數(shù)據(jù)有復(fù)雜季節(jié)性或多個突變點時。最終模型的選擇需要結(jié)合ACF/PACF圖、信息準則以及你對業(yè)務(wù)的理解來綜合判斷。有時候一個更簡潔的模型參數(shù)更少可能比AIC稍小的復(fù)雜模型在預(yù)測上更穩(wěn)健。5. 參數(shù)估計與模型診斷別急著慶?？简瀯傞_始當你通過看圖或網(wǎng)格搜索初步確定了(p,d,q)的組合并擬合出模型后千萬別以為大功告成了。這就像醫(yī)生開了藥還得看看病人吃了有沒有副作用。模型診斷就是檢查“副作用”的關(guān)鍵步驟目的是確認我們擬合的模型是否充分提取了數(shù)據(jù)中的信息留下的殘差是不是白噪聲5.1 殘差分析核心中的核心擬合模型后我們會得到預(yù)測值以及實際值與預(yù)測值的差這就是殘差。一個“好”的模型其殘差序列應(yīng)該看起來像白噪聲——即均值為0、方差恒定、且各時刻互不相關(guān)的隨機序列。殘差時序圖首先畫殘差隨時間變化的圖。它應(yīng)該圍繞0隨機波動沒有明顯的趨勢或周期性。如果還有趨勢或周期說明模型沒把趨勢/季節(jié)性提取干凈。殘差A(yù)CF/PACF圖這是診斷的重中之重。計算殘差序列的ACF和PACF圖。在一個理想的擬合下殘差的ACF和PACF在所有滯后階數(shù)除了0上都應(yīng)該沒有顯著超出置信區(qū)間的值。如果還有顯著的尖峰比如在滯后1階或某個季節(jié)周期上顯著說明還有信息沒被模型捕捉你需要增加相應(yīng)的p或q或季節(jié)性的P, Q參數(shù)。正態(tài)性檢驗可以用Q-Q圖或夏皮羅-威爾克檢驗。雖然ARIMA不嚴格要求殘差正態(tài)但正態(tài)的殘差會讓預(yù)測區(qū)間更準確。嚴重偏離時可能需要對原始數(shù)據(jù)做變換。5.2 Ljung-Box檢驗定量的判斷除了看圖我們還需要一個定量的統(tǒng)計檢驗。Ljung-Box檢驗的原假設(shè)是殘差序列在檢驗的滯后階數(shù)內(nèi)是純隨機的即白噪聲。通常我們會檢驗多個滯后階數(shù)比如10 20。如果p值很大0.05我們不能拒絕原假設(shè)認為殘差是白噪聲模型通過診斷。如果p值很小0.05我們拒絕原假設(shè)認為殘差還存在自相關(guān)模型擬合不充分。在statsmodels中你可以用acorr_ljungbox函數(shù)對殘差進行檢驗。我個人的習慣是結(jié)合看圖定性和LB檢驗定量只有當兩者都通過時才認為模型是可以接受的。5.3 過擬合與信息準則的再審視在診斷時也要防止過擬合。一個模型參數(shù)很多p和q很大可能能把歷史數(shù)據(jù)擬合得非常好殘差很小但預(yù)測未來卻一塌糊涂。這就是過擬合。除了看診斷圖我們還要回頭看看信息準則AIC/BIC。BIC比AIC對參數(shù)數(shù)量懲罰更重所以BIC選出的模型通常更簡潔。在AIC相差不大的情況下優(yōu)先選擇BIC更小的模型或者參數(shù)更少的模型往往能獲得更好的預(yù)測效果。我自己在建模比賽中就吃過虧一開始用auto_arima選了一個ARIMA(3,1,3)模型AIC最小樣本內(nèi)擬合完美。但一用來預(yù)測未來幾期誤差大得離譜。后來我手動分析ACF/PACF選擇了一個更簡潔的ARIMA(1,1,1)模型雖然AIC稍高一點但樣本外預(yù)測穩(wěn)定性卻好得多。這個教訓(xùn)告訴我模型不是為了完美解釋過去而是為了可靠地預(yù)測未來。簡潔和穩(wěn)健常常比復(fù)雜的完美擬合更重要。6. 預(yù)測與評估模型的終極考場模型通過診斷終于來到了最后一步預(yù)測。這是檢驗?zāi)Ｐ蛢r值的唯一標準。但預(yù)測不是簡單調(diào)用一個forecast()函數(shù)就完了里面有很多細節(jié)決定成敗。6.1 預(yù)測的兩種方式動態(tài) vs 靜態(tài)你需要理解兩種預(yù)測方式靜態(tài)預(yù)測One-step-ahead Forecast在預(yù)測每一步時都使用真實的上一期觀測值。這通常用于模型評估因為它能得到理論上最優(yōu)的一步預(yù)測誤差。動態(tài)預(yù)測Dynamic Forecast在預(yù)測多步時使用模型自己預(yù)測出來的值作為下一步的輸入。比如預(yù)測未來5天第一天用真實數(shù)據(jù)預(yù)測第二天就用第一天的預(yù)測值來預(yù)測以此類推。這才是真正的“未來預(yù)測”場景。在評估模型時我們通常會將數(shù)據(jù)分為訓(xùn)練集和測試集。用訓(xùn)練集擬合模型然后用靜態(tài)預(yù)測的方式在測試集上進行一步預(yù)測計算誤差。這樣可以模擬模型在“已知部分未來”時的表現(xiàn)。而當我們最終要預(yù)測完全未知的未來時就必須使用動態(tài)預(yù)測。6.2 預(yù)測結(jié)果的不確定性置信區(qū)間任何一個負責任的預(yù)測都必須附帶置信區(qū)間比如95%置信區(qū)間。它給出了預(yù)測值可能的波動范圍反映了預(yù)測的不確定性。置信區(qū)間越寬說明模型越不確定。在statsmodels中g(shù)et_forecast()方法會返回帶有置信區(qū)間的預(yù)測結(jié)果。一定要把這個區(qū)間畫出來它能告訴你你的點預(yù)測值那個具體的數(shù)其實只是一個“最可能”的估計真實值落在這個區(qū)間里的概率是95%。在向別人匯報預(yù)測結(jié)果時只給點預(yù)測而不給區(qū)間是不專業(yè)的表現(xiàn)。6.3 評估指標哪個數(shù)字說了算如何量化預(yù)測的好壞常用的指標有均方誤差MSE和均方根誤差RMSE衡量預(yù)測值與真實值之間的平均偏差對大的誤差懲罰更重。RMSE和原始數(shù)據(jù)同量綱更易解釋。平均絕對誤差MAE衡量平均絕對偏差對異常值不如MSE敏感。平均絕對百分比誤差MAPE用百分比表示誤差便于比較不同量級序列的預(yù)測精度。但它有個缺點當真實值接近0時MAPE會趨于無窮大此時不適用。沒有哪個指標是完美的。我的建議是主要看RMSE和MAE輔助看MAPE如果數(shù)據(jù)沒有零值附近的值。更重要的是將這些指標與一個簡單基準模型進行比較。最常用的基準是“樸素預(yù)測法”比如用上一期的值作為下一期的預(yù)測對于平穩(wěn)序列或者用上一季節(jié)同期的值對于有季節(jié)性的序列。如果你的復(fù)雜ARIMA模型預(yù)測精度還不如這個簡單的基準那這個復(fù)雜模型就沒有實用價值。這個過程叫做“Mincer-Zarnowitz回歸”的一種簡單實踐確保你的模型至少要比最簡單的直覺預(yù)測更強。走到這一步你已經(jīng)完成了一個完整的時間序列分析閉環(huán)從數(shù)據(jù)審視、平穩(wěn)化、模型識別、參數(shù)估計、模型診斷到最終預(yù)測評估。這個過程可能不會一次成功往往需要在這些步驟之間反復(fù)迭代。比如診斷失敗就回去重新識別模型預(yù)測效果不好可能需要考慮引入外部變量。但只要你掌握了這個框架你就有了應(yīng)對時間序列問題的基本地圖剩下的就是在這張地圖上根據(jù)具體地形你的數(shù)據(jù)特點去探索和優(yōu)化了。時間序列建模是一門藝術(shù)更是一門手藝多練、多思考、多踩坑你就能從“小白”快速成長起來。 時間序列分析實戰(zhàn)：從數(shù)據(jù)平穩(wěn)化到ARIMA建模的完整指南
1. 從“小白”到入門為什么時間序列值得你花時間如果你正在接觸數(shù)學建?；蛘邔?shù)據(jù)分析感興趣那么“時間序列”這個詞你肯定不陌生。它聽起來有點學術(shù)有點復(fù)雜很多新手一看到ARIMA、平穩(wěn)性檢驗這些術(shù)語就頭大直接勸退。但我想說的是時間序列可能是你從“理論派”邁向“實戰(zhàn)派”數(shù)據(jù)分析師最關(guān)鍵的一塊敲門磚。為什么因為現(xiàn)實世界的數(shù)據(jù)絕大多數(shù)都自帶時間戳。從每天的股票價格、每小時的網(wǎng)站訪問量、每月的銷售額到每分鐘的傳感器讀數(shù)它們都是按時間順序排列的這就是時間序列數(shù)據(jù)。學會分析它就等于掌握了理解世界動態(tài)變化的一把鑰匙。很多人把時間序列建模想得太高深覺得那是統(tǒng)計學家的事。其實不然它的核心思想非常樸素過去發(fā)生的事情會影響未來。我們做時間序列分析本質(zhì)上就是在數(shù)據(jù)中尋找這種“記憶”或“慣性”的規(guī)律。比如今天的天氣大概率會影響明天的天氣上個月的銷量對下個月的銷量有參考價值。建模的目的就是把這個規(guī)律量化出來用來預(yù)測未來或者理解過去變化的驅(qū)動因素。這篇指南我就想拋開那些讓人望而生畏的公式推導(dǎo)當然必要的原理會講清楚用最直白的方式帶你走一遍時間序列分析的完整流程。我會重點分享那些我踩過的坑、容易誤解的概念以及如何一步步從一堆雜亂的時間數(shù)據(jù)里挖出有價值的結(jié)論。無論你是參加數(shù)學建模比賽還是處理工作中的業(yè)務(wù)數(shù)據(jù)這套“小白指南”都能讓你快速上手避開新手最常見的那些雷區(qū)。2. 萬事開頭難拿到數(shù)據(jù)后第一件該做的事當你拿到一份時間序列數(shù)據(jù)比如一個CSV文件第一反應(yīng)可能就是想趕緊畫個圖看看趨勢或者直接套個模型跑一下。別急這往往是新手犯的第一個錯誤。在按動任何建模按鈕之前你需要像偵探勘察現(xiàn)場一樣先對你的數(shù)據(jù)做一個全面的“體檢”。這個階段做得好能幫你省掉后面一大半的麻煩。2.1 數(shù)據(jù)導(dǎo)入與初步觀察別讓格式問題坑了你假設(shè)你有一份某商品過去三年的每日銷售額數(shù)據(jù)。用Python的pandas讀入后別急著df.head()一下就完事。首先確認你的“時間列”已經(jīng)被正確識別為時間戳格式。這是最基礎(chǔ)也最容易出錯的一步。很多從數(shù)據(jù)庫或Excel導(dǎo)出的數(shù)據(jù)時間列可能是字符串比如“2023-01-01”。你必須用pd.to_datetime()函數(shù)把它轉(zhuǎn)換成pandas能理解的datetime類型。我強烈建議你轉(zhuǎn)換后將這一列設(shè)置為數(shù)據(jù)的索引df.set_index(‘date’, inplaceTrue)。這樣做的好處是后續(xù)所有的繪圖、重采樣、滑動窗口計算都會變得異常方便。接下來檢查數(shù)據(jù)的完整性。時間序列最怕有“洞”。使用df.index.is_unique檢查是否有重復(fù)的時間點用df.asfreq(‘D’)假設(shè)是日數(shù)據(jù)重新采樣到固定頻率可以立刻暴露出哪些日期有數(shù)據(jù)缺失。缺失值怎么處理這里有個經(jīng)驗對于時間序列簡單的用前后均值填充有時會引入虛假的平穩(wěn)性。我的建議是如果缺失不多比如少于5%可以考慮線性插值如果缺失較多可能需要思考是數(shù)據(jù)采集問題還是業(yè)務(wù)本身有中斷如節(jié)假日后者需要更復(fù)雜的處理甚至引入外部變量。2.2 可視化用眼睛先“建?！比搜凼菑姶蟮哪Ｊ阶R別器。在動用任何統(tǒng)計檢驗之前先畫幾張圖。時序圖這是最基本的df[‘sales’].plot()?？词裁纯凑w趨勢是上升、下降還是平穩(wěn)、季節(jié)性是否每隔固定周期如一年、一月出現(xiàn)重復(fù)的波動、以及是否存在明顯的異常點某個點突然飆升或暴跌。子圖分解使用statsmodels庫的seasonal_decompose函數(shù)可以把一條時間序列拆解成趨勢Trend、季節(jié)性Seasonality和殘差Residual三部分。這個圖非常直觀能讓你一眼看出數(shù)據(jù)的主要構(gòu)成。如果季節(jié)性波動非常強那么你后續(xù)的模型就必須考慮季節(jié)性因素如果趨勢明顯你可能需要先做差分。直方圖與Q-Q圖看看數(shù)據(jù)的分布。很多時間序列模型如ARIMA假設(shè)殘差是正態(tài)分布的。通過直方圖和Q-Q圖可以初步判斷數(shù)據(jù)是否嚴重偏離正態(tài)。如果嚴重偏離可能需要對數(shù)據(jù)做變換如取對數(shù)。注意畫圖時一定要確保時間軸是正確的。我曾經(jīng)遇到過因為時區(qū)沒統(tǒng)一導(dǎo)致畫出來的趨勢出現(xiàn)詭異跳變的情況。檢查索引是否為單調(diào)遞增df.index.is_monotonic_increasing這也是個好習慣。3. 平穩(wěn)性時間序列建模的“入場券”這是時間序列分析中最核心、也最讓新手困惑的概念之一。你可以這么理解一個平穩(wěn)的時間序列其統(tǒng)計性質(zhì)如均值、方差不隨時間變化。想象一下你在分析一條河的水位。如果這條河沒有筑壩雨季水位高旱季水位低它的均值在變這就是不平穩(wěn)。如果我們在上游修了個大水庫無論雨季旱季都保持水位恒定那它就是平穩(wěn)的。為什么要求平穩(wěn)因為絕大多數(shù)經(jīng)典時間序列模型如AR、MA、ARIMA的理論基礎(chǔ)都建立在平穩(wěn)性假設(shè)之上。用不平穩(wěn)的數(shù)據(jù)去擬合這些模型就像用尺子去量一個不斷膨脹的氣球結(jié)果毫無意義。3.1 如何判斷平穩(wěn)性——ADF檢驗的實戰(zhàn)解讀理論上看時序圖如果沒明顯趨勢和季節(jié)性可以粗略認為平穩(wěn)。但我們需要更嚴謹?shù)慕y(tǒng)計檢驗。最常用的就是增強迪基-富勒檢驗Augmented Dickey-Fuller Test, ADF檢驗。在Python中用statsmodels.tsa.stattools.adfuller()可以輕松完成。新手常犯的錯誤是只看p值。ADF檢驗的原假設(shè)H0是“時間序列是非平穩(wěn)的”。所以如果p值小于顯著性水平通常取0.05我們拒絕原假設(shè)認為序列是平穩(wěn)的。如果p值大于0.05則無法拒絕原假設(shè)認為序列是非平穩(wěn)的。但這里有個大坑ADF檢驗的結(jié)果對檢驗中包含的項如常數(shù)項、趨勢項非常敏感。adfuller()函數(shù)有個參數(shù)叫regression通常有‘c’僅常數(shù)項、‘ct’常數(shù)項和趨勢項、‘ctt’常數(shù)、線性和二次趨勢項、‘nc’無常數(shù)無趨勢。選哪個我的經(jīng)驗法則是先畫圖觀察。如果你的時序圖看起來圍繞一個非零的均值波動用‘c’如果有一個明顯的上升或下降趨勢用‘ct’。如果不確定可以都試一下但最終解釋要結(jié)合圖形。我曾有一次分析GDP數(shù)據(jù)用‘c’檢驗得出不平穩(wěn)但用‘ct’考慮了增長趨勢后就變得平穩(wěn)了這直接影響了后續(xù)的建模策略。3.2 讓數(shù)據(jù)變平穩(wěn)的“三板斧”如果檢驗發(fā)現(xiàn)數(shù)據(jù)不平穩(wěn)別慌我們有辦法把它“弄平穩(wěn)”。差分這是最常用、最有效的方法。原理很簡單計算當前時刻的值和前一時刻的差值df[‘sales_diff’] df[‘sales’].diff()。一階差分不行就二階差分對差分后的序列再差分。在數(shù)學建模中絕大多數(shù)經(jīng)濟、金融數(shù)據(jù)的趨勢通過一階或二階差分都能消除。差分后的序列其數(shù)值表示的是“變化量”更容易滿足平穩(wěn)性。對數(shù)變換如果數(shù)據(jù)有指數(shù)增長趨勢比如某些用戶數(shù)、流量數(shù)據(jù)方差會隨著均值增大而增大這叫異方差。先取對數(shù)np.log(df[‘sales’])可以壓縮數(shù)據(jù)的尺度穩(wěn)定方差然后再對取對數(shù)后的數(shù)據(jù)做差分這就是“對數(shù)差分”在金融里常用來計算收益率。季節(jié)性差分如果數(shù)據(jù)有強烈的季節(jié)性比如月度數(shù)據(jù)有年周期那么可以做周期差分。df[‘sales_sdiff’] df[‘sales’] - df[‘sales’].shift(12)。這能消除以12為周期的季節(jié)性波動。一個標準的操作流程是先做對數(shù)變換如果需要再做差分消除趨勢最后做季節(jié)性差分消除季節(jié)性。每做一步都重新畫圖并用ADF檢驗直到通過為止。記住我們的目標是得到一個在統(tǒng)計上平穩(wěn)的序列這是后續(xù)建模的堅實基礎(chǔ)。4. 模型識別ACF與PACF圖是你的“藏寶圖”數(shù)據(jù)平穩(wěn)之后接下來就要選擇具體的模型了。對于經(jīng)典的ARIMA模型我們需要確定三個核心參數(shù)p自回歸階數(shù)d差分階數(shù)q移動平均階數(shù)。其中d我們在平穩(wěn)化階段已經(jīng)確定了做了幾次差分d就是幾?，F(xiàn)在我們需要借助兩個強大的工具——自相關(guān)函數(shù)圖ACF和偏自相關(guān)函數(shù)圖PACF——來猜測p和q。4.1 ACF圖看“總影響力”ACF描述的是當前時刻的序列值與過去任意時刻序列值之間的相關(guān)性。比如滯后階數(shù)k1的ACF就是今天和昨天的相關(guān)性k2是今天和前天的相關(guān)性以此類推。怎么看在ACF圖上我們看的是拖尾和截尾。如果ACF圖是拖尾逐漸衰減到0說明存在長期記憶。如果ACF圖在滯后q階后突然截斷之后的值都在置信區(qū)間內(nèi)這暗示著一個MA(q)模型。新手誤區(qū)ACF圖在滯后0處永遠是1自己和自己完全相關(guān)所以從滯后1開始看。另外因為抽樣波動即使理論上是0估計出來的ACF值也可能在置信區(qū)間外輕微波動這不一定代表顯著。4.2 PACF圖看“直接影響力”PACF是在剔除了中間滯后項的影響后當前值與過去某特定滯后值的“純”相關(guān)性。比如PACF(2)衡量的是今天和前天之間的相關(guān)性但已經(jīng)扣除了昨天滯后1帶來的間接影響。怎么看同樣看截尾和拖尾。如果PACF圖在滯后p階后突然截斷這暗示著一個AR(p)模型。4.3 實戰(zhàn)中的看圖口訣與陷阱有一個經(jīng)典的口訣AR模型看PACF截尾MA模型看ACF截尾。對于ARIMA(p,d,q)如果PACF截尾ACF拖尾 - 考慮AR模型p由PACF截尾處決定。如果ACF截尾PACF拖尾 - 考慮MA模型q由ACF截尾處決定。如果兩者都拖尾- 考慮ARMA或ARIMA模型p和q需要結(jié)合其他方法確定。如果兩者都截尾- 可能要考慮ARMA模型。但現(xiàn)實遠比理論復(fù)雜。我遇到最多的情況是ACF和PACF都拖尾得很慢沒有明顯的截斷點。這時候口訣就失效了。怎么辦檢查平穩(wěn)性首先回頭確認你的數(shù)據(jù)真的平穩(wěn)了嗎不平穩(wěn)的數(shù)據(jù)ACF/PACF衰減非常慢。考慮季節(jié)性如果你的數(shù)據(jù)有季節(jié)性ACF圖會在季節(jié)周期倍數(shù)處如122436…對于月度數(shù)據(jù)出現(xiàn)顯著的峰值。這時候你需要的是季節(jié)性ARIMA模型SARIMA它比普通ARIMA多了季節(jié)性部分的P, D, Q參數(shù)。使用信息準則輔助當看圖不確定時可以用“網(wǎng)格搜索”配合信息準則如AIC BIC。AIC/BIC越小模型擬合越好且越簡潔。你可以遍歷一個合理的p和q范圍比如0到3擬合所有組合的ARIMA模型選擇AIC最小的那個。pmdarima庫的auto_arima函數(shù)就是干這個的它能自動化這個過程對新手非常友好。提示不要過度依賴自動化工具。auto_arima是個好起點但它給出的不一定是最優(yōu)解尤其是當數(shù)據(jù)有復(fù)雜季節(jié)性或多個突變點時。最終模型的選擇需要結(jié)合ACF/PACF圖、信息準則以及你對業(yè)務(wù)的理解來綜合判斷。有時候一個更簡潔的模型參數(shù)更少可能比AIC稍小的復(fù)雜模型在預(yù)測上更穩(wěn)健。5. 參數(shù)估計與模型診斷別急著慶?？简瀯傞_始當你通過看圖或網(wǎng)格搜索初步確定了(p,d,q)的組合并擬合出模型后千萬別以為大功告成了。這就像醫(yī)生開了藥還得看看病人吃了有沒有副作用。模型診斷就是檢查“副作用”的關(guān)鍵步驟目的是確認我們擬合的模型是否充分提取了數(shù)據(jù)中的信息留下的殘差是不是白噪聲5.1 殘差分析核心中的核心擬合模型后我們會得到預(yù)測值以及實際值與預(yù)測值的差這就是殘差。一個“好”的模型其殘差序列應(yīng)該看起來像白噪聲——即均值為0、方差恒定、且各時刻互不相關(guān)的隨機序列。殘差時序圖首先畫殘差隨時間變化的圖。它應(yīng)該圍繞0隨機波動沒有明顯的趨勢或周期性。如果還有趨勢或周期說明模型沒把趨勢/季節(jié)性提取干凈。殘差A(yù)CF/PACF圖這是診斷的重中之重。計算殘差序列的ACF和PACF圖。在一個理想的擬合下殘差的ACF和PACF在所有滯后階數(shù)除了0上都應(yīng)該沒有顯著超出置信區(qū)間的值。如果還有顯著的尖峰比如在滯后1階或某個季節(jié)周期上顯著說明還有信息沒被模型捕捉你需要增加相應(yīng)的p或q或季節(jié)性的P, Q參數(shù)。正態(tài)性檢驗可以用Q-Q圖或夏皮羅-威爾克檢驗。雖然ARIMA不嚴格要求殘差正態(tài)但正態(tài)的殘差會讓預(yù)測區(qū)間更準確。嚴重偏離時可能需要對原始數(shù)據(jù)做變換。5.2 Ljung-Box檢驗定量的判斷除了看圖我們還需要一個定量的統(tǒng)計檢驗。Ljung-Box檢驗的原假設(shè)是殘差序列在檢驗的滯后階數(shù)內(nèi)是純隨機的即白噪聲。通常我們會檢驗多個滯后階數(shù)比如10 20。如果p值很大0.05我們不能拒絕原假設(shè)認為殘差是白噪聲模型通過診斷。如果p值很小0.05我們拒絕原假設(shè)認為殘差還存在自相關(guān)模型擬合不充分。在statsmodels中你可以用acorr_ljungbox函數(shù)對殘差進行檢驗。我個人的習慣是結(jié)合看圖定性和LB檢驗定量只有當兩者都通過時才認為模型是可以接受的。5.3 過擬合與信息準則的再審視在診斷時也要防止過擬合。一個模型參數(shù)很多p和q很大可能能把歷史數(shù)據(jù)擬合得非常好殘差很小但預(yù)測未來卻一塌糊涂。這就是過擬合。除了看診斷圖我們還要回頭看看信息準則AIC/BIC。BIC比AIC對參數(shù)數(shù)量懲罰更重所以BIC選出的模型通常更簡潔。在AIC相差不大的情況下優(yōu)先選擇BIC更小的模型或者參數(shù)更少的模型往往能獲得更好的預(yù)測效果。我自己在建模比賽中就吃過虧一開始用auto_arima選了一個ARIMA(3,1,3)模型AIC最小樣本內(nèi)擬合完美。但一用來預(yù)測未來幾期誤差大得離譜。后來我手動分析ACF/PACF選擇了一個更簡潔的ARIMA(1,1,1)模型雖然AIC稍高一點但樣本外預(yù)測穩(wěn)定性卻好得多。這個教訓(xùn)告訴我模型不是為了完美解釋過去而是為了可靠地預(yù)測未來。簡潔和穩(wěn)健常常比復(fù)雜的完美擬合更重要。6. 預(yù)測與評估模型的終極考場模型通過診斷終于來到了最后一步預(yù)測。這是檢驗?zāi)Ｐ蛢r值的唯一標準。但預(yù)測不是簡單調(diào)用一個forecast()函數(shù)就完了里面有很多細節(jié)決定成敗。6.1 預(yù)測的兩種方式動態(tài) vs 靜態(tài)你需要理解兩種預(yù)測方式靜態(tài)預(yù)測One-step-ahead Forecast在預(yù)測每一步時都使用真實的上一期觀測值。這通常用于模型評估因為它能得到理論上最優(yōu)的一步預(yù)測誤差。動態(tài)預(yù)測Dynamic Forecast在預(yù)測多步時使用模型自己預(yù)測出來的值作為下一步的輸入。比如預(yù)測未來5天第一天用真實數(shù)據(jù)預(yù)測第二天就用第一天的預(yù)測值來預(yù)測以此類推。這才是真正的“未來預(yù)測”場景。在評估模型時我們通常會將數(shù)據(jù)分為訓(xùn)練集和測試集。用訓(xùn)練集擬合模型然后用靜態(tài)預(yù)測的方式在測試集上進行一步預(yù)測計算誤差。這樣可以模擬模型在“已知部分未來”時的表現(xiàn)。而當我們最終要預(yù)測完全未知的未來時就必須使用動態(tài)預(yù)測。6.2 預(yù)測結(jié)果的不確定性置信區(qū)間任何一個負責任的預(yù)測都必須附帶置信區(qū)間比如95%置信區(qū)間。它給出了預(yù)測值可能的波動范圍反映了預(yù)測的不確定性。置信區(qū)間越寬說明模型越不確定。在statsmodels中g(shù)et_forecast()方法會返回帶有置信區(qū)間的預(yù)測結(jié)果。一定要把這個區(qū)間畫出來它能告訴你你的點預(yù)測值那個具體的數(shù)其實只是一個“最可能”的估計真實值落在這個區(qū)間里的概率是95%。在向別人匯報預(yù)測結(jié)果時只給點預(yù)測而不給區(qū)間是不專業(yè)的表現(xiàn)。6.3 評估指標哪個數(shù)字說了算如何量化預(yù)測的好壞常用的指標有均方誤差MSE和均方根誤差RMSE衡量預(yù)測值與真實值之間的平均偏差對大的誤差懲罰更重。RMSE和原始數(shù)據(jù)同量綱更易解釋。平均絕對誤差MAE衡量平均絕對偏差對異常值不如MSE敏感。平均絕對百分比誤差MAPE用百分比表示誤差便于比較不同量級序列的預(yù)測精度。但它有個缺點當真實值接近0時MAPE會趨于無窮大此時不適用。沒有哪個指標是完美的。我的建議是主要看RMSE和MAE輔助看MAPE如果數(shù)據(jù)沒有零值附近的值。更重要的是將這些指標與一個簡單基準模型進行比較。最常用的基準是“樸素預(yù)測法”比如用上一期的值作為下一期的預(yù)測對于平穩(wěn)序列或者用上一季節(jié)同期的值對于有季節(jié)性的序列。如果你的復(fù)雜ARIMA模型預(yù)測精度還不如這個簡單的基準那這個復(fù)雜模型就沒有實用價值。這個過程叫做“Mincer-Zarnowitz回歸”的一種簡單實踐確保你的模型至少要比最簡單的直覺預(yù)測更強。走到這一步你已經(jīng)完成了一個完整的時間序列分析閉環(huán)從數(shù)據(jù)審視、平穩(wěn)化、模型識別、參數(shù)估計、模型診斷到最終預(yù)測評估。這個過程可能不會一次成功往往需要在這些步驟之間反復(fù)迭代。比如診斷失敗就回去重新識別模型預(yù)測效果不好可能需要考慮引入外部變量。但只要你掌握了這個框架你就有了應(yīng)對時間序列問題的基本地圖剩下的就是在這張地圖上根據(jù)具體地形你的數(shù)據(jù)特點去探索和優(yōu)化了。時間序列建模是一門藝術(shù)更是一門手藝多練、多思考、多踩坑你就能從“小白”快速成長起來。