氣象數(shù)據(jù)分析這幾年在數(shù)據(jù)圈子里熱度一直不低但真正動手做過的人都知道它和普通的“跑個模型調(diào)個參”完全不是一回事。這個方向最大的特點是數(shù)據(jù)量大、時空關聯(lián)強、質(zhì)量參差不齊而且業(yè)務上對精度的要求往往很具體——不是“預測明天 20 度”這種一句話能糊弄過去的。我在實際項目中啃過站點觀測數(shù)據(jù)、衛(wèi)星反演產(chǎn)品、再分析資料也搭過從清洗到建模再到可視化的完整流程今天把這些經(jīng)驗整理出來希望能給準備入坑的朋友一些參考。這個方向適合三類人一是剛接觸數(shù)據(jù)科學、想找一個有深度又不浮夸的實戰(zhàn)領域的人二是已在做時序或空間數(shù)據(jù)分析、想往氣象場景遷移的從業(yè)者三是氣象相關專業(yè)出身、想把數(shù)據(jù)科學方法用起來的同學。無論哪一類這篇文章的核心目標只有一個讓你理解氣象數(shù)據(jù)在整個數(shù)據(jù)科學鏈路里的特殊性并且能動手完成一個有參考價值的分析任務。1. 氣象大數(shù)據(jù)分析的技術地圖先看全局再動手1.1 氣象數(shù)據(jù)的四副面孔做氣象數(shù)據(jù)科學的第一步是分清手里拿的到底是哪一類數(shù)據(jù)。很多人一上來就堆模型結果連數(shù)據(jù)的基本屬性都沒搞清后續(xù)全部白做。常見的數(shù)據(jù)形態(tài)有四類我在不同項目里都接觸過這里逐一說明它們的特點。第一類是站點觀測數(shù)據(jù)。這是最直觀的一類來自各氣象站點的自動觀測記錄包含溫度、濕度、氣壓、風速、降水等要素通常按小時或分鐘頻次記錄。它的優(yōu)點是時間連續(xù)性好、精度較高缺點是空間上只是“離散的點”一個省份可能就幾十個國家級站點稀疏程度遠超想象。處理這類數(shù)據(jù)時要格外關注站點元數(shù)據(jù)比如經(jīng)緯度、海拔、遷移歷史這些信息會直接影響后續(xù)的空間分析。第二類是格點數(shù)據(jù)常見來源是數(shù)值天氣預報模式的輸出或再分析資料比如全球再分析產(chǎn)品。這類數(shù)據(jù)的特點是覆蓋均勻、變量豐富溫度、風場、位勢高度等一應俱全但空間分辨率通常從幾十公里到上百公里不等對局地小尺度現(xiàn)象的表達能力有限。格點數(shù)據(jù)大多采用 NetCDF 或 GRIB 格式存儲需要用專門的庫來解析。第三類是遙感數(shù)據(jù)包括衛(wèi)星反演產(chǎn)品和雷達回波數(shù)據(jù)。衛(wèi)星數(shù)據(jù)覆蓋面廣、更新頻繁但反演過程會引入誤差雷達數(shù)據(jù)時間分辨率高能捕捉強對流過程但受地形遮擋影響明顯。這兩類數(shù)據(jù)在實際項目中一般作為站點數(shù)據(jù)的補充用于刻畫降水的空間結構或云系演變。第四類是模式輸出數(shù)據(jù)也就是通過數(shù)值模式模擬得到的未來預測場。這類數(shù)據(jù)天然具有“預測”屬性但存在系統(tǒng)性偏差直接拿來用往往效果不好需要經(jīng)過統(tǒng)計訂正或偏差校正才能喂給下游模型。1.2 為什么說它是“大數(shù)據(jù)的硬骨頭”氣象數(shù)據(jù)被歸入大數(shù)據(jù)領域不是因為它文件大這么簡單而是它同時踩中了四個難點。第一個難點是強時空相關性。氣象要素在空間上是連續(xù)演變的在時間上又有明顯的日循環(huán)、季節(jié)循環(huán)和年際變化。普通的機器學習假設樣本獨立但氣象數(shù)據(jù)里一個站點的溫度與周邊站點的溫度高度相關昨天的溫度與今天的溫度高度相關。這種相關性如果處理不好模型評估時容易出現(xiàn)“看起來很高實際上沒用”的假象。第二個難點是非平穩(wěn)性。氣候系統(tǒng)本身在變化加上城市熱島、地形、環(huán)流異常等影響氣象序列的統(tǒng)計特征會隨時間改變。今天擬合的模型半年后可能就失效了。所以氣象建模不能只做一次訓練要考慮滑動窗口的更新策略。第三個難點是多尺度過程。天氣現(xiàn)象從分鐘級的雷暴到月尺度的大氣環(huán)流異常時間尺度跨越很大空間上從幾百米的局地對流到幾千公里的天氣系統(tǒng)又是另一個維度的跨度。沒有哪個單一模型能表達所有尺度實際項目中必須先明確目標尺度再選擇數(shù)據(jù)和方法。第四個難點是噪聲與誤差交織。觀測儀器故障、傳輸損耗、站點搬遷、人為錄入錯誤都會讓數(shù)據(jù)里混入各種離群值。再分析資料和衛(wèi)星反演產(chǎn)品雖然看著“干凈”但誤差結構復雜。不做好質(zhì)量控制模型學到的可能不是天氣規(guī)律而是數(shù)據(jù)噪聲。所以我的經(jīng)驗是氣象數(shù)據(jù)分析項目的核心工作量往往不在模型訓練而在于數(shù)據(jù)理解、清洗和特征構造上。誰能把數(shù)據(jù)理順誰就贏了一大半。2. 數(shù)據(jù)獲取與預處理氣象分析的“隱形工作量”2.1 數(shù)據(jù)源選擇與格式解析數(shù)據(jù)源的選擇直接影響后續(xù)的預處理工作量。我第一次做降水預測的時候圖省事直接下載了某個再分析產(chǎn)品的網(wǎng)格數(shù)據(jù)結果發(fā)現(xiàn)它的降水變量和站點觀測存在系統(tǒng)性偏差偏差最大的區(qū)域差值能超過百分之五十。后來老老實實加了站點數(shù)據(jù)做融合效果才正常。如果你是新手我建議按照“站點觀測打底、再分析補空間、雷達衛(wèi)星看過程”的思路來選數(shù)據(jù)。站點觀測是“真值”空間覆蓋由再分析或格點產(chǎn)品來補雷達衛(wèi)星資料用于分析具體天氣過程的演變。不同來源數(shù)據(jù)的變量名、單位、坐標系、時間標準都可能不一樣第一步就是把它們統(tǒng)一到一個標準上。格式解析方面不同數(shù)據(jù)類型的處理工具差異很大。站點觀測一般是 CSV、Excel 或數(shù)據(jù)庫表用常見的數(shù)據(jù)處理庫就能搞定NetCDF 和 GRIB 格式則要用專門的氣象數(shù)據(jù)處理庫來讀取有幾個常用庫可以關注下讀取 NetCDF 用 netCDF4處理格點場用 xarray讀取 GRIB 用其他專用庫如 cfgrib。還有一個容易忽略的點時刻標準。很多再分析產(chǎn)品用的是 UTC 時間而站點觀測往往是本地時間做時序分析前必須先統(tǒng)一時間基準否則早晚高峰的特征會被錯誤對齊。2.2 質(zhì)量控制建模前的第一道防線我見過不少分析項目建模代碼寫得花團錦簇但數(shù)據(jù)里甚至還有氣溫 80 攝氏度的記錄——這種明顯是儀器故障或傳輸錯誤不處理的話模型會莫名其妙地學出錯誤規(guī)則。質(zhì)量控制必須放在建模之前而且要有層次地做。第一層是氣候極值檢查。每個站點、每個月份的氣溫、降水都有合理的物理范圍超出范圍的記錄直接標記。比如某站點 7 月氣溫低于零下 20 攝氏度基本可以斷定是錯誤。這個閾值可以根據(jù)該站歷史分位數(shù)來設定而不是拍腦袋寫死。第二層是內(nèi)部一致性檢查。氣象要素之間是相互制約的比如相對濕度過高而溫度過低時往往意味著其中一個記錄有問題。再比如有降水記錄時相對濕度不應該低于某個下限。這類規(guī)則不需要復雜的算法基于常識就能實現(xiàn)但能過濾掉很多“看起來正常其實錯誤”的數(shù)據(jù)。第三層是鄰站對比。單個站點的異常很難被發(fā)現(xiàn)但如果與周邊站點的同期記錄做差值就不難判斷了。比如某站點氣溫比周邊所有站點高 15 度以上且持續(xù)多時次那很可能是儀器故障或站點遷移導致需要做斷點檢測和修正。質(zhì)量控制做完之后有一個重要的副產(chǎn)品一套完整的數(shù)據(jù)質(zhì)量標記。不要直接把異常數(shù)據(jù)刪掉就完事建議保留原始數(shù)據(jù)和質(zhì)量標記列后續(xù)分析無論是做插值還是建模都能根據(jù)需要靈活選擇數(shù)據(jù)。2.3 缺失值與時空插值補得聰明而不是補得隨意氣象數(shù)據(jù)幾乎不可能沒有缺失值。儀器停機、通信故障、極端天氣損壞設備都會造成時間或空間上的數(shù)據(jù)空洞。補缺失值的方法要分場景討論。先說時間序列上的缺失。短時間缺失比如一兩個小時可以用時間插值線性插值通常就夠如果缺失持續(xù)幾天甚至幾周線性插值就不合適了可以考慮用同期歷史平均或建立站點自身的時間序列模型來估算。我踩過一個坑某旅游城市的數(shù)據(jù)在旅游旺季經(jīng)常出現(xiàn)連續(xù)缺失直接做時間插值后溫度序列變得非常平滑整個日變化特征都被抹掉了模型自然也就學不到日變規(guī)律。再說空間上的缺失。當某個站點整體缺測或數(shù)據(jù)質(zhì)量太差時要用周邊站點的數(shù)據(jù)來空間插值。常用的方法有反距離權重插值、克里金插值以及基于機器學習的空間插值。反距離權重插值簡單高效但對站點分布敏感克里金插值能給出誤差估計但需要擬合變異函數(shù)調(diào)參成本不低機器學習插值比如隨機森林或梯度提升機可以加入地形、經(jīng)緯度、海拔等輔助變量效果往往最好但要小心過擬合。我自己的習慣是常規(guī)補值用反距離權重插值作為基線精度要求高且輔助變量充分時用機器學習插值同時用留一交叉驗證來評估插值誤差而不是拍腦袋決定用哪個方法。插值后的數(shù)據(jù)也要打上標記方便建模時意識到哪些是實測、哪些是估算。2.4 特征工程把時間變成特征氣象預測建模中原始觀測值本身往往不是最好的模型輸入。我常用的特征有三類。第一類是滯后特征。當前時刻的天氣與過去幾小時、過去幾天的天氣密切相關把前 6 小時、前 24 小時的溫度、降水作為特征加入模型通常能顯著提升預測精度。這里有個經(jīng)驗滯后期數(shù)的選擇要看具體要素的時間記憶長度溫度和氣壓的記憶較長降水較短不要一刀切。第二類是周期特征。氣象有非常強的日周期和年周期直接用時間戳的數(shù)字比如 15喂給模型模型很難學到周期性。更穩(wěn)妥的做法是用正弦余弦編碼比如把一天內(nèi)的小時數(shù)轉換為 sin(2πh/24)、cos(2πh/24)把一年內(nèi)的日期同理編碼。這樣模型能自然理解“午夜”和“正午”的相似性。第三類是空間與地形特征。經(jīng)緯度、海拔、坡度、坡向、離海岸線距離這些對局地氣候有顯著影響。如果你在處理站點數(shù)據(jù)這些特征直接作為靜態(tài)特征加入模型即可如果你在處理格點數(shù)據(jù)則要額外計算一些派生變量比如地形起伏度。特征工程做完以后建議做一次簡單的相關性分析和特征重要性排序把無關特征剔除掉而不是一股腦全扔進模型。這樣做不僅能減少計算量也能降低過擬合風險。3. 建模實踐從統(tǒng)計模型到深度學習的進階路線3.1 先建立基線線性回歸和 ARIMA 的價值很多人建模一上來就上深度學習這是最容易翻車的方式。深度學習模型對數(shù)據(jù)量和數(shù)據(jù)質(zhì)量的要求很高氣象數(shù)據(jù)雖然量大但有效樣本往往并不充足尤其是站點尺度的預測任務。我的建議是先做簡單模型建立一個可靠的基線。線性回歸是第一個值得做的模型。把滯后特征、周期特征、空間特征拼起來做一個線性回歸雖然預測能力有限但可以提供以下信息特征方向是否合理、哪些特征重要、數(shù)據(jù)是否存在明顯的線性關系。如果線性回歸的效果慘不忍睹那大概率是特征構造出了問題而不是模型不夠先進。時序方面ARIMA 類模型是經(jīng)典選擇。它特別適合單變量、平穩(wěn)性較好的序列比如某個站點的日平均溫度預測。用 ARIMA 做基線的好處是它完全基于統(tǒng)計理論能給出可解釋的預測區(qū)間。但它的局限也很明顯難以加入外生變量空間信息幾乎用不上遇到強非線性過程就顯得吃力?；€模型存在的意義在于它給后續(xù)所有復雜模型提供了一個比較基準。如果 XGBoost 比線性回歸只提升了不到百分之五你就要反思是不是特征沒做好或者數(shù)據(jù)本身就沒有更多可學的信號。相反如果某個模型顯著超過基線你才能確信提升是真實的。3.2 機器學習模型梯度提升樹的實戰(zhàn)要點在氣象預測任務里梯度提升樹可能是性價比最高的模型。它不需要做太多的數(shù)據(jù)標準化對缺失值有較好的容忍度能自動處理特征交互。我最常用的幾個訓練要點這里多說幾句。第一個要點是時序交叉驗證。普通機器學習習慣用隨機劃分來訓練和驗證但氣象數(shù)據(jù)是強時序數(shù)據(jù)隨機劃分會導致數(shù)據(jù)泄漏模型在訓練時見過驗證集相鄰時刻的樣本評估結果會虛高。正確做法是按時序劃分比如用前 70% 的時間做訓練、后 30% 做驗證或者用滾動窗口的方式。這是判斷模型真實效果的核心點我在第五部分會展開講。第二個要點是滑動窗口構造樣本。預測未來某個時刻的氣象量時要把過去一段時間的序列數(shù)據(jù)整理成樣本矩陣。舉個例子如果預測未來 6 小時的溫度你可以把過去 72 小時的溫度、濕度、氣壓序列作為特征輸入輸出未來 6 小時的溫度值。窗口長度的選擇沒有定論我一般通過小范圍搜索來定而不是經(jīng)驗拍板。第三個要點是處理樣本不平衡和時間權重。氣象事件里極端降水、高溫熱浪都是少樣本事件模型天然傾向預測“普通天氣”。如果業(yè)務目標就是捕捉極端事件需要在損失函數(shù)或樣本權重上做文章比如給極端樣本加權或者使用分位數(shù)損失而非均方誤差。還有一個容易被忽略的細節(jié)是特征的時間對齊。做預測時特征必須全部來自過去時刻絕不能混入未來信息。我在早期項目里犯過這個錯把當天觀測的降水量當成特征去預測當天的降水量評估時效果出奇地好上線后立刻被打臉。3.3 深度學習模型什么場景真正需要深度學習和機器學習模型最大的差異在于深度學習擅長自動提取時空特征特別是處理圖像類、序列類的數(shù)據(jù)。如果你手頭只有稀疏的站點觀測用深度學習反而可能不如梯度提升樹但如果你面對的是格點數(shù)據(jù)或雷達圖像深度學習就有明顯優(yōu)勢了。LSTM 是處理時間序列的常用選擇適合捕捉較長時段內(nèi)的依賴關系。在站點溫度預測任務上如果數(shù)據(jù)長度足夠、特征構造合理LSTM 通常能逼近甚至超過梯度提升樹的效果但訓練成本高出不少。我的經(jīng)驗是先做梯度提升樹如果它已經(jīng)無法再提升再考慮 LSTM。ConvLSTM 這類時空卷積模型則更適合空間場預測。它能把雷達回波的連續(xù)幀作為輸入學習云團的移動和演變常用于短時強降水預報這類任務。但這類模型訓練起來非常吃算力數(shù)據(jù)預處理也復雜不是新手入門該碰的第一站。還有一個趨勢值得關注Transformer 結構也被用于氣象時序建模。它的優(yōu)勢在于能建模長距離依賴但需要的數(shù)據(jù)量和調(diào)參工作量都比較大。我的建議是不要盲目追新先判斷任務的輸入輸出形態(tài)再決定用哪類模型。圖表型的任務可以考慮梯度提升樹和 LSTM圖像型的任務再考慮時空卷積類模型。4. 實戰(zhàn)復盤搭一個站點溫度預測 Demo 的完整流程4.1 業(yè)務目標與評估指標先定義清楚“怎樣算好”任何數(shù)據(jù)科學項目的第一步都是把問題定義清楚。我拿一個典型的任務舉例基于某地區(qū)過去 5 年的站點觀測數(shù)據(jù)預測未來 24 小時的逐小時氣溫序列。這個問題看似簡單但有幾個細節(jié)要定清楚預測時效是 24 小時這一個點還是滾動預測 24 個時次輸出是單站點還是多站點是否需要給出預測區(qū)間這些決策直接影響數(shù)據(jù)構造和模型選擇。評估指標方面常用的是平均絕對誤差MAE和均方根誤差RMSE。MAE 直觀易懂RMSE 對大的誤差更敏感。在氣象業(yè)務里還有一個?？吹闹笜耸勤厔菝新室簿褪穷A測的變化方向和實際是否一致。不要在論文里只挑對自己有利的指標實踐項目中通常多個指標一起看。我個人的習慣是先定義好主指標和輔助指標寫清楚完整的數(shù)據(jù)流再開始寫代碼。這個習慣幫我省下了大量返工時間。4.2 從原始數(shù)據(jù)到模型輸入的完整鏈路這里我用一個簡化版的代碼流程來演示假設我們有一張小時級站點觀測表字段包含站點編號、時間戳、氣溫、相對濕度、風速、氣壓。目標是建立預測模型輸入過去 72 小時各要素輸出未來 1 小時的氣溫。第一步是加載數(shù)據(jù)和時間標準統(tǒng)一。這個步驟雖然簡單但我特別強調(diào)一下所有時間統(tǒng)一成 UTC 存儲展示時再轉本地時間這是避免跨站點時間錯位的標準做法。第二步是清洗和質(zhì)量控制。剔除明顯異常值用站點歷史分位數(shù)標記離群點將缺失值標記而不急著填充建模時讓模型自行處理或采用前向填充。第三步是特征構造。生成時間特征小時正弦余弦、日期正弦余弦、滯后特征過去 72 小時的溫度滯后序列、滾動統(tǒng)計特征過去 6 小時溫度均值、過去 24 小時溫度標準差再加上靜態(tài)特征站點海拔、經(jīng)緯度。第四步是構造訓練集和驗證集。按時間順序切分前 80% 時間窗口做訓練后 20% 做驗證。注意驗證集絕不能混入訓練集之后的信息。下面是一個參考用的代碼框架它展示的是特征構造和時序切分的核心邏輯具體實現(xiàn)需要根據(jù)你的數(shù)據(jù)字段來調(diào)整import pandas as pd import numpy as np from sklearn.ensemble import GradientBoostingRegressor from sklearn.metrics import mean_absolute_error # 假設 df 已加載包含列station, time, temp, hum, wind, pres df df.sort_values([station, time]).reset_index(dropTrue) def add_time_features(df): df df.copy() t pd.to_datetime(df[time]) df[hour_sin] np.sin(2 * np.pi * t.dt.hour / 24) df[hour_cos] np.cos(2 * np.pi * t.dt.hour / 24) df[doy_sin] np.sin(2 * np.pi * t.dt.dayofyear / 365) df[doy_cos] np.cos(2 * np.pi * t.dt.dayofyear / 365) return df def add_lag_features(df, lags): df df.copy() for lag in lags: df[ftemp_lag_{lag}] df.groupby(station)[temp].shift(lag) return df df add_time_features(df) df add_lag_features(df, lags[1, 3, 6, 12, 24, 48, 72]) # 預測目標未來1小時溫度即當前時間點的temp df[target] df[temp] # 按時間排序切分前80%訓練后20%驗證 cut_idx int(len(df) * 0.8) train df.iloc[:cut_idx] valid df.iloc[cut_idx:] feature_cols [hour_sin, hour_cos, doy_sin, doy_cos, temp_lag_1, temp_lag_3, temp_lag_6, temp_lag_12, temp_lag_24, temp_lag_48, temp_lag_72, hum, wind, pres] X_train, y_train train[feature_cols], train[target] X_valid, y_valid valid[feature_cols], valid[target] model GradientBoostingRegressor( n_estimators500, max_depth5, learning_rate0.05, random_state42 ) model.fit(X_train.dropna(), y_train.dropna()) y_pred model.predict(X_valid.dropna()) valid_clean valid.dropna(subsetfeature_cols [target]) mae mean_absolute_error(valid_clean[target], y_pred) print(valid_clean.shape[0], mae)注意上面代碼里的一個細節(jié)shift 操作會造成序列前幾個時刻出現(xiàn) NaNdropna 之后樣本量會減少這是正常的。如果數(shù)據(jù)量緊張可以縮小滯后窗口或補充插值但原則是不能把缺失值不做標記就硬喂給模型。4.3 結果分析與“多走一步”的價值模型跑完不是終點結果分析才是真正漲經(jīng)驗的地方。我會做三件事。第一件是畫殘差圖。把預測值和真實值的差值按時間畫出來觀察殘差是否有明顯的周期性。如果每天的同一個時段殘差都特別大說明時間特征沒有encode好。如果殘差在某個站點系統(tǒng)性偏大說明該站點的數(shù)據(jù)質(zhì)量或代表性有問題。第二件是按季節(jié)和天氣過程分組評估。全樣本的 MAE 為 1.2 攝氏度聽起來不錯但分開看會發(fā)現(xiàn)冬季冷空氣過程期間 MAE 可能到了 2.5 攝氏度夏季雷暴過程則更大。這樣的分組評估能幫你定位模型的薄弱環(huán)節(jié)下一步才能有針對性地改進。第三件是做誤差溯源。預測某個站點、某個時刻誤差大去翻一下原始數(shù)據(jù)是不是站點在那個時段缺測嚴重是不是上游特征本身就缺了一大半誤差不完全來自模型本身很多時候是數(shù)據(jù)和特征的問題。在這個基礎上我建議“多走一步”把結果和簡單的氣候態(tài)基線做對比比如“今天的氣溫等于歷史同日平均”的預測誤差。如果復雜模型連這個基線都打不過那說明建模思路有問題而不是模型不夠強。這一步能讓你看清模型的真實增量價值。5. 避坑指南氣象數(shù)據(jù)建模的五個隱藏陷阱5.1 陷阱一時間泄漏讓模型“未卜先知”時間泄漏是氣象時序建模里最隱蔽、也最致命的錯誤。常見的泄漏方式有兩種一種是把未來時刻的觀測值誤當作特征比如用目標時刻的風速字段來預測同一時刻的溫度而實際業(yè)務里你拿不到未來的風速另一種是在特征工程中用了全局統(tǒng)計量比如用整個數(shù)據(jù)集計算出的均值或標準差來做標準化這樣驗證集的信息已經(jīng)污染了訓練過程。判斷是否泄漏有一個笨辦法把特征矩陣里所有列的時序位置檢查一遍確保每一列相對于目標時刻都是“過去”的信息。我每次做新項目都會專門跑一次這個檢查吃過虧之后再也不敢跳過這一步。5.2 陷阱二隨機切分導致評估虛高時序數(shù)據(jù)切分必須用時間順序這一點我在前面反復強調(diào)過。隨機切分在氣象場景下幾乎沒有正當性因為相鄰時刻的樣本高度相似隨機把一部分樣本分到驗證集會帶來信息泄漏導致驗證誤差遠低于真實場景誤差。更穩(wěn)健的做法是阻塞式時序驗證也就是用一個完整的時間段做驗證比如訓練用去年及以前的數(shù)據(jù)驗證用今年的數(shù)據(jù)。如果數(shù)據(jù)量夠還可以做滾動驗證逐月向前推進模擬真實的在線更新場景。雖然這樣訓練成本更高但算出的誤差可信度完全不同。5.3 陷阱三站點稀疏帶來的偽空間規(guī)律站點數(shù)據(jù)在空間上往往分布不均城市周邊站點密集偏遠地區(qū)可能幾百公里才有一個站點。插值出來的空間場只是近似不代表真實天氣。模型如果在這些插值數(shù)據(jù)上訓練會把插值算法的誤差當作真實的空間規(guī)律學進去。一個典型的例子是用反距離權重插值生成高分辨率溫度場然后訓練模型結果模型輸出了許多不自然的“牛眼”結構也就是圍繞站點的環(huán)形等值線。這種結果看起來很精細實際上是插值偽影。解決方法是要么明確模型分辨率與站點密度的關系要么在訓練時給插值置信度低的區(qū)域降低權重。5.4 陷阱四評估指標的季節(jié)性偽裝氣象要素有明顯的季節(jié)變化冬天冷夏天暖如果模型只是學會了“冬天溫度低夏天溫度高”這個粗略規(guī)律全年平均誤差看起來也不會太差。但這種模型在實際預測極端天氣時毫無用處。要拆穿這個假象需要做兩項分析一是按季節(jié)、甚至按月分組計算誤差看模型在過渡季節(jié)的表現(xiàn)二是計算異常事件期間的技能分數(shù)比如寒潮、熱浪期間模型的誤差是否顯著拉大。如果模型只在氣候態(tài)層面“表現(xiàn)良好”在異常過程中誤差飆升那它就不是一個合格的預測模型。5.5 陷阱五坐標系與時間基準的混亂最后一個坑看起來低級但實際項目里概率極高。不同來源數(shù)據(jù)的坐標系可能不同格點數(shù)據(jù)的經(jīng)緯度基準、投影方式、變量單位都可能不一致。還有一個常被忽略的問題是時間基準地區(qū)本地時間、UTC、地方平太陽時混在一起如果不做統(tǒng)一任何時序模型都會出錯。我的處理習慣是在項目開始時建立一張“數(shù)據(jù)字典”記錄每個數(shù)據(jù)源的名稱、變量、單位、坐標系統(tǒng)、時間基準和更新頻次。后續(xù)所有處理步驟都以這張字典為準。項目越往后這張字典的價值越大因為它能避免你在一堆“感覺對但不確定”的數(shù)據(jù)里反復試錯。常見問題典型現(xiàn)象排查思路預防手段時間泄漏驗證集誤差異常低上線后誤差飆升逐列檢查特征時間位置確認無未來信息建立特征時間索引寫自動化檢查隨機切分評估指標遠好于業(yè)務實測改用時間順序切分或滾動驗證在管線里固化時序切分邏輯插值偽影空間場出現(xiàn)環(huán)繞站點的牛眼對比不同插值方法與站點原始值降低低置信度區(qū)域的權重季節(jié)性偽裝全年誤差低極端事件誤差大按月、按過程分組評估誤差極端事件單獨設置評估目標坐標時間混亂模型輸出明顯不合理核對坐標系與時間基準建立數(shù)據(jù)字典統(tǒng)一標準以下小技巧是按我個人經(jīng)驗總結的對于梯度提升樹一類的模型不過度標準化數(shù)據(jù)完全沒問題但如果用神經(jīng)網(wǎng)絡輸入特征的尺度統(tǒng)一就特別重要否則訓練會非常不穩(wěn)定。這一類差異在項目早期就應該通過模型選型明確下來。氣象數(shù)據(jù)分析這個方向做得越久越會感覺到它的復雜性。數(shù)字看起來簡單但背后涉及數(shù)據(jù)、物理、統(tǒng)計、工程的交叉任何一個環(huán)節(jié)掉鏈子都會影響最終結果。這篇文章里寫的每一條經(jīng)驗幾乎都是從實際項目中踩坑踩出來的。如果你正準備開始自己的氣象數(shù)據(jù)分析項目希望這些內(nèi)容能幫你少走一些彎路把時間花在真正重要的地方——理解數(shù)據(jù)理解場景然后才是跑模型。