簡介這份代碼包圍繞大型跨江橋梁結構健康監(jiān)測場景基于2023年10月1日8:00至12:45的連續(xù)實測數(shù)據構建整合主跨跨中、橋塔基座、伸縮縫區(qū)域、懸索錨固點及橋面鋪裝層5個關鍵部位傳感器S1-S5的振動、溫度與應力參數(shù)原始CSV數(shù)據無缺失值并附異常數(shù)據說明與預設關聯(lián)模式適用于結構健康分析、異常檢測及機器學習建模研究。包內共5個文件除核心CSV數(shù)據文件外還包含Markdown說明文檔、HTML可視化頁面及工程輔助配置完整呈現(xiàn)數(shù)據字段說明與傳感器部署信息便于快速理解數(shù)據結構并復現(xiàn)實驗。資源整體僅9KB輕量易用適合橋梁工程、數(shù)據科學及監(jiān)測系統(tǒng)開發(fā)方向的讀者用于工程診斷、算法驗證與學術研究。上線以來已有136人學習下載對需要真實橋梁監(jiān)測數(shù)據進行建模驗證的研究者具有較高參考價值。1. 橋梁傳感器數(shù)據集不是一堆波形文件而是一條能跑通的損傷檢測鏈路第一次拿到這套“橋梁傳感器數(shù)據集[項目代碼]”時我以為又是那種壓縮包里躺著上千個CSV、沒有注釋、沒有讀入腳本的“原始數(shù)據墳場”。解壓之后發(fā)現(xiàn)自己的判斷錯了一半數(shù)據確實是橋梁應變和加速度的時序記錄但代碼包里還帶有完整的Python預處理、特征提取和模型訓練流程。換句話說這份資源不是讓你從零摸索怎么讀數(shù)據而是直接給你一條從原始傳感器信號到損傷檢測結果的可復現(xiàn)通路。適合正在做結構健康監(jiān)測、橋梁異常預警或時間序列分類的從業(yè)者尤其是想快速驗證方法卻卡在數(shù)據清洗和特征工程上的人。它能幫你省掉至少兩周的踩坑時間但前提是你得知道每一個參數(shù)為什么這么設。2. 理解數(shù)據與代碼框架先搞清楚手里的牌是什么2.1 傳感器類型與采樣頻率為什么說“高頻數(shù)據是資產也是包袱”這套數(shù)據集采集自一座公路試驗橋的多個測點核心傳感器分為兩類一類是應變計采樣頻率50Hz用于捕捉車輛荷載下的局部應力變化另一類是加速度計采樣頻率200Hz用于記錄整體振動響應。之所以強調采樣頻率是因為它直接決定了后面滑動窗口和特征提取的尺度。50Hz的應變數(shù)據適合做單個車輛過橋事件的分離而200Hz的加速度數(shù)據更適合分析結構模態(tài)和沖擊信號。不要一上來就把兩類數(shù)據合并到同一個窗口里采樣率不同會導致樣本空間錯位這我在后面避坑章節(jié)會展開。代碼包的數(shù)據組織方式按測點分目錄每個測點下包含時間戳、溫度、應變值或加速度值。溫度這一列容易被忽略但它恰恰是應變數(shù)據中最隱蔽的干擾源。我見過有人拿著原始應變值直接做閾值判斷結果夏季凌晨三四點頻繁誤報就是因為沒有做溫度補償。代碼包里提供了一個簡單的線性溫度補償函數(shù)雖然精度一般但足以讓基線數(shù)據穩(wěn)定下來。2.2 代碼包目錄解讀每個文件不是擺設解壓后可以看到幾個核心模塊read_data.py負責數(shù)據加載與格式統(tǒng)一preprocess.py處理缺失值、去噪和溫度補償feature_engineering.py計算時域和頻域特征train_model.py封裝了隨機森林和邏輯回歸的訓練流程config.yaml集中管理所有參數(shù)。這種拆分的優(yōu)點是各個階段解耦你可以單獨用preprocess.py處理自己的數(shù)據然后塞進自己的模型里。缺點是如果你不了解每個模塊的輸入輸出格式很容易在接口處翻車。我的建議是運行代碼前先花半小時把config.yaml過一遍里面定義了窗口長度、濾波截止頻率、特征列表等關鍵參數(shù)。不要直接跑默認配置因為這份數(shù)據集的采樣頻率是固定的你換一個場景就得改一堆參數(shù)。代碼包里沒有提供詳細的文檔但變量命名比較規(guī)范配合read_data.py里的注釋基本能讀懂。2.3 從原始數(shù)據到樣本集的完整鏈路整體流程可以概括為五步第一步按測點讀入CSV統(tǒng)一時間戳格式第二步對每個測點單獨做缺失值插補和溫度補償?shù)谌桨丛O定窗口長度切分時序并生成對應的損傷標簽第四步從每個窗口中提取特征矩陣第五步把特征矩陣和標簽輸入模型訓練或規(guī)則判斷。這個鏈路看似簡單但每一步的參數(shù)選擇都會影響最終結果。比如窗口長度如果取1秒對于50Hz的應變數(shù)據就是50個點能覆蓋一個典型車輛荷載事件的大部分過程但如果是200Hz的加速度數(shù)據1秒窗口就是200個點計算量會明顯增加而且容易混入大量噪聲。代碼包的默認窗口長度是2秒這個值在后面對比實驗中表現(xiàn)得比較中庸既能保留損傷導致的瞬態(tài)脈沖又不至于讓窗口內信號過于稀疏而難以提取統(tǒng)計特征。如果你處理的是其他橋梁或不同交通流量下的數(shù)據建議先做一次事件持續(xù)時間調查再決定窗口長度。3. 數(shù)據預處理把原始時序變成干凈樣本的過程比想象中費勁3.1 缺失值與異常值處理不要用全局中位數(shù)糊弄過去傳感器數(shù)據最常遇到的問題就是某一個時間窗口內出現(xiàn)空值或跳變。代碼包里提供的方法是先用線性插值填補小段缺失然后用中值絕對偏差MAD檢測異常跳變超過7倍MAD的點會被替換為局部鄰域中位數(shù)。這里有一個關鍵參數(shù)MAD倍數(shù)。默認值是7但這個值對于應變數(shù)據可能過于寬松因為應變本身在車輛荷載下會產生大幅波動而加速度數(shù)據的噪聲相對穩(wěn)定可以更嚴格一些。我一般會把應變換算成微應變后再做異常檢測否則數(shù)值單位會影響閾值判斷。import pandas as pd import numpy as np def load_sensor_data(filepath, sampling_rate50): df pd.read_csv(filepath, parse_dates[timestamp]) df df.sort_values(timestamp) # 設置時間戳索引方便重采樣 df.set_index(timestamp, inplaceTrue) # 統(tǒng)一重采樣到目標頻率缺失值先保留NaN后面插補 df df.resample(f{1000//sampling_rate}ms).median() return df def clean_outliers(series, mad_multiplier7.0): median series.median() mad np.median(np.abs(series - median)) if mad 0: return series threshold mad_multiplier * mad cleaned series.copy() # 超過閾值的點用局部鄰域中位數(shù)替換避免影響后續(xù)特征 outlier_idx np.abs(series - median) threshold cleaned[outlier_idx] series[outlier_idx].rolling(5, min_periods1, centerTrue).median() return cleaned df_strain load_sensor_data(strain_ch1.csv, 50) df_strain[strain_cleaned] clean_outliers(df_strain[strain], 7.0)邏輯說明先按采樣頻率重采樣是為了保證后續(xù)窗口切分時每個窗口內的點數(shù)固定。重采樣的中位數(shù)方式比均值更能抵抗單點毛刺。clean_outliers函數(shù)里的MAD計算需要先得到序列的中位數(shù)和絕對偏差注意當MAD等于0時比如信號完全不變直接返回原序列否則會報除零錯誤。rolling窗口設為5個點既能平滑異常點又不會把真實的損傷信號抹平。參數(shù)說明mad_multiplier是核心閾值數(shù)值越小刪除越激進對于應變數(shù)據7合適對于加速度數(shù)據可以試5resample的頻率參數(shù)用1000//sampling_rate是為了避免浮點誤差例如50Hz就是20ms。3.2 去噪濾波低通濾波的截止頻率不是拍腦袋定的代碼包里默認使用巴特沃斯低通濾波并提供了一個參數(shù)cutoff_hz默認值是采樣頻率的四分之一。比如50Hz的數(shù)據截止頻率就是12.5Hz200Hz的數(shù)據截止頻率就是50Hz。這個選擇背后的物理意義是橋梁的主要振動模態(tài)一般集中在前幾階頻率不會太高而應變響應中的車輛荷載激勵主要在低頻段。但加速度信號里如果有沖擊成分過低的截止頻率會把這些瞬態(tài)脈沖削掉導致后續(xù)損傷特征丟失。from scipy.signal import butter, filtfilt def lowpass_filter(data, cutoff_hz, fs, order4): nyquist 0.5 * fs normal_cutoff cutoff_hz / nyquist b, a butter(order, normal_cutoff, btypelow, analogFalse) # filtfilt可以零相位濾波避免信號整體延遲 filtered filtfilt(b, a, data, axis0) return filtered fs 50 cutoff 12.5 strain_filtered lowpass_filter(df_strain[strain_cleaned].values, cutoff, fs, order4)邏輯說明使用filtfilt而不是lfilter是因為filtfilt會正向和反向各濾波一次得到的結果相位偏移為零這對后續(xù)的時間對齊至關重要。如果用了lfilter信號會整體延遲幾十個點窗口切分時標簽就會對不上。參數(shù)說明order是濾波器階數(shù)階數(shù)越高衰減越快但相位畸變也更嚴重對于橋梁數(shù)據4階足夠cutoff_hz可以嘗試從8Hz到20Hz之間變化觀察損傷段與正常段的波形差異。我一般會先畫出濾波前后的頻譜圖看看損傷引起的能量變化集中在哪個頻帶再確定截止頻率而不是直接使用默認值。3.3 滑動窗口構造與標簽對齊最容易被忽略的樣本均衡問題預處理之后就要構造訓練樣本。代碼包采用固定長度滑動窗口步長等于窗口長度的四分之一這樣相鄰窗口有75%的重疊可以增加樣本數(shù)量同時避免時間上的劇烈跳變。標簽來自一個單獨的損傷標記文件里面記錄了損傷事件的起止時間戳。問題在于如果損傷事件持續(xù)3秒而窗口長度是2秒那么落在損傷區(qū)間的窗口數(shù)量會比正常窗口少很多直接訓練會導致模型偏向正常樣本。def create_windows(data, labels, window_len2.0, step_len0.5, fs50): window_points int(window_len * fs) step_points int(step_len * fs) X, y [], [] start 0 while start window_points len(data): window_data data[start:start window_points] # 窗口標簽取窗口內最大標簽值如果窗口內出現(xiàn)損傷就標記為1 window_label int(np.max(labels[start:start window_points])) X.append(window_data) y.append(window_label) start step_points return np.array(X), np.array(y) labels np.zeros(len(strain_filtered)) # 假設損傷發(fā)生在第1000到1500個點 labels[1000:1500] 1 X, y create_windows(strain_filtered, labels, 2.0, 0.5, fs) print(X.shape, y.sum() / len(y))邏輯說明window_label取窗口內標簽的最大值意味著只要窗口內有一小段損傷整個窗口就按損傷處理。這樣會帶來一些誤判邊界樣本但比“只有完全落在損傷區(qū)間才算正樣本”要穩(wěn)健漏報率更低。參數(shù)說明window_len和step_len的比例決定了樣本重疊度重疊度過高會導致相鄰樣本高度相關模型評估時容易樂觀重疊度過低則會丟失時間連續(xù)性。代碼包默認的0.5秒步長在50Hz下是25個點實際效果還可以。如果正常樣本遠多于損傷樣本可以在后面訓練時使用class_weight或者欠采樣。4. 特征提取與模型訓練統(tǒng)計閾值和機器學習可以雙線并行4.1 特征工程不要迷信“深度特征”時域統(tǒng)計就很能打代碼包里從每個窗口中提取了一組基礎特征均值、標準差、峰值、峰峰值、均方根、波形因子以及頻域里的主頻幅值和頻譜質心。這些特征對于區(qū)分“正?！焙汀皳p傷”其實是夠用的因為損傷往往會導致局部應力峰值增大或振動能量分布的頻帶偏移。我拿到這套代碼后沒有急著加小波包分解先用這組特征做了快速實驗效果已經超過預期。from scipy.fft import fft def extract_features(window): mean np.mean(window) std np.std(window) peak np.max(np.abs(window)) rms np.sqrt(np.mean(window ** 2)) crest peak / rms if rms 0 else 0.0 # 頻域特征取FFT幅值譜的前10個頻率分量 spectrum np.abs(fft(window))[:10] main_freq_amp np.max(spectrum) return [mean, std, peak, rms, crest, main_freq_amp] features np.array([extract_features(w) for w in X]) print(features.shape)邏輯說明extract_features返回六個值其中crest峰值因子對瞬態(tài)沖擊很敏感損傷引起的脈沖會顯著提高均值峰值比。FFT只取了前10個頻點因為采樣點數(shù)少高頻部分噪聲很大反而沒有區(qū)分度。參數(shù)說明如果你處理的是加速度數(shù)據可以增加頻譜質心特征即所有幅值加權頻率的平均值如果是應變數(shù)據建議把窗口內的最大值和最小值的差也加進去因為車輛過橋時應變范圍能反映局部剛度變化。4.2 模型A基于滑動窗口統(tǒng)計量的閾值預警最簡單有效的方式不是上模型而是計算每個窗口的RMS和峰值因子然后設定動態(tài)閾值。代碼包里默認使用“中位數(shù) 5倍標準差”作為報警閾值但這個方法在數(shù)據本身存在周期性交通流量變化時會失效。我調整為基于MAD的閾值并把窗口長度和特征類型都做了參數(shù)化。threshold_cfg { feature: rms, base: median, scale_mad: 7.0, min_alert_len: 3 } feat_values features[:, 3] # rms median np.median(feat_values) mad np.median(np.abs(feat_values - median)) thr median threshold_cfg[scale_mad] * mad alerts feat_values thr print(fThreshold: {thr:.4f}, alert windows: {alerts.sum()})邏輯說明這個做法的好處是完全不需要訓練部署時只要在邊緣設備上實時計算窗口特征就能出結果。但要注意閾值基于MAD而不是標準差因為MAD對異常樣本更魯棒不會因為少數(shù)嚴重損傷樣本把閾值拉高。參數(shù)min_alert_len是連續(xù)報警窗口最小個數(shù)用于過濾單窗口的隨機尖峰。參數(shù)說明scale_mad從3到10都可以試值越大報警越少但漏報風險升高。我建議先用正常數(shù)據統(tǒng)計出第99百分位數(shù)作為參考再反推scale_mad。4.3 模型B隨機森林分類與評估的完整流程如果閾值法達不到預期的精確率/召回率代碼包也提供了隨機森林分類器的訓練腳本。這里要注意處理樣本不均衡代碼包默認在train_model.py里使用了RandomForestClassifier(class_weightbalanced_subsample)并用分層抽樣劃分訓練測試集。from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import StratifiedShuffleSplit from sklearn.metrics import classification_report # 對樣本做簡單歸一化對樹模型影響不大但便于調試 from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(features) sss StratifiedShuffleSplit(n_splits1, test_size0.3, random_state42) for train_idx, test_idx in sss.split(X_scaled, y): X_train, X_test X_scaled[train_idx], X_scaled[test_idx] y_train, y_test y[train_idx], y[test_idx] clf RandomForestClassifier(n_estimators300, max_depth8, class_weightbalanced_subsample, random_state42, n_jobs-1) clf.fit(X_train, y_train) pred clf.predict(X_test) print(classification_report(y_test, pred))邏輯說明StratifiedShuffleSplit保證訓練集和測試集中正常/損傷樣本的比例相同避免因為隨機劃分導致測試集全是正常樣本。class_weightbalanced_subsample會讓每棵樹的抽樣過程自動調整權重比直接傳class_weightbalanced對噪點更穩(wěn)健。參數(shù)說明n_estimators300在近萬樣本下訓練時間約幾秒但如果你在嵌入式設備上部署可以降到100max_depth8限制樹深度防止過擬合random_state42只是常見約定實際換成其他值可能讓結果有微小波動。代碼包里沒有做超參數(shù)搜索如果你想調優(yōu)建議用GridSearchCV在n_estimators和max_depth上做小范圍搜索。5. 避坑指南這套資源里最容易翻車的五個地方5.1 現(xiàn)象窗口切分后樣本數(shù)量比預期少很多原因create_windows函數(shù)里的step_len和window_len使用浮點秒數(shù)在采樣率非整數(shù)倍時比如49.8Hz點數(shù)計算被向下取整導致窗口數(shù)量驟減。解決把window_points int(window_len * fs)改成round(window_len * fs)并且在讀取數(shù)據時統(tǒng)一使用resample強制對齊到目標頻率。我在預處理時固定用resample這樣fs就是一個精確值不會出現(xiàn)這種問題。5.2 現(xiàn)象正常時段頻頻誤報而且誤報集中在中午原因溫度變化引起的應變漂移沒有被剔除。應變計測量的是結構表面應變環(huán)境溫度升高會讓結構材料膨脹產生虛假應變增量。代碼包的線性溫度補償只是減去溫度和平均溫度的線性回歸項但橋梁實際的熱響應可能帶有滯后性。解決我自己會先計算連續(xù)24小時溫度-應變曲線做一次低通濾波截止頻率0.01Hz提取趨勢再從原始信號中減去趨勢。不要直接用原始溫度值做回歸因為溫度和應變的時間響應不同步。5.3 現(xiàn)象濾波后損傷脈沖幾乎消失了原因低通濾波器截止頻率設置過低把和損傷相關的瞬態(tài)高頻成分濾掉了。損傷產生的沖擊信號往往持續(xù)時間很短頻譜分布在整個頻帶內如果只保留低頻脈沖的尖峰幅值會被嚴重壓低。解決在lowpass_filter之前分別畫出正常段和損傷段的功率譜密度觀察損傷段在哪個頻段有額外能量。我經常使用的方法是把截止頻率從低到高遍歷幾個值分別評估后續(xù)分類器的F1分數(shù)而不是靠直觀感覺定參數(shù)。5.4 現(xiàn)象訓練時模型準確率很高但實測新數(shù)據表現(xiàn)很差原因標簽對齊錯誤。損傷標記文件里的時間戳如果比實際損傷發(fā)生時間晚了5秒鐘那么部分正常窗口被標記為正樣本模型學到了錯誤的邊界。另外當損傷窗口和正常窗口有75%重疊時如果劃分訓練測試集不是按時間順序而是打亂會造成嚴重的數(shù)據泄漏。解決檢查標簽時畫出窗口起始時間與標簽關系的散點圖確認損傷事件邊界是否與窗口邊界清晰對應。劃分數(shù)據集時一定要按時間順序劃分前80%時間段作為訓練后20%作為測試而不是隨機抽樣。這一點在時間序列里沒有例外。5.5 現(xiàn)象代碼在另一臺機器上跑報錯“FileNotFoundError”原因代碼包里使用相對路徑讀取data/目錄下的CSV但很多人直接把單個.py文件復制到新目錄導致路徑失效。解決所有數(shù)據路徑統(tǒng)一通過config.yaml的data_dir字段配置并且在read_data.py開頭用Path(__file__).parent.parent定位項目根目錄而不是依賴當前工作目錄。我習慣把數(shù)據文件路徑打印出來第一個啟動日志就顯示“數(shù)據加載路徑/xxx/bridge_dataset/data”這樣能從源頭發(fā)現(xiàn)路徑問題。6. 進階技巧多通道融合與部署時的采樣頻率陷阱6.1 多通道應變和加速度融合的簡單方法代碼包里單測點處理已經跑通但實際結構監(jiān)測往往需要同時看多個截面的應變和加速度。最簡單的融合方式不是把所有通道的特征堆在一起而是先對每個通道單獨計算窗口特征然后用一組可解釋的統(tǒng)計量匯總比如所有通道的RMS中位數(shù)、峰值最大值、主頻平均值。我在用這個資源做模擬項目X的時候把12個應變通道的峰值因子取平均得到的融合特征比任何單通道都要穩(wěn)。all_ch_features np.array([features_list[i] for i in range(12)]) fused_rms np.sqrt(np.mean(all_ch_features[:, :, 3] ** 2, axis0)) fused_crest np.max(all_ch_features[:, :, 4], axis0) combined np.stack([fused_rms, fused_crest], axis-1)邏輯說明fused_rms用均方根平均而不是算術平均因為RMS本身是能量量綱這樣做物理意義一致fused_crest取最大值保留多個測點中最明顯的沖擊特征。參數(shù)說明如果你有加速度通道可以再加一個主頻變化量特征即損傷段主頻減去健康段主頻的差值。6.2 部署時的采樣頻率陷阱降采樣不是省事是省錯地方多次實測中我發(fā)現(xiàn)一個反復出現(xiàn)的血淚經驗為了減少邊緣設備的存儲和計算壓力把50Hz數(shù)據直接降采樣到2Hz再跑模型結果損傷識別率直接從0.9掉到0.6。原因是車輛荷載引起的應變響應中橋面局部效應體現(xiàn)在520Hz頻段降采樣后這部分信息完全消失。如果一定要壓縮數(shù)據應該先做低通濾波去除50Hz以上的無關噪聲再以10Hz為目標做重采樣并重新訓練模型而不是直接丟棄原始采樣率。6.3 模型更新與遷移時的強制流程從那以后我每次處理新的橋梁傳感器數(shù)據都強制走一遍這個流程先用原始采樣率畫出24小時波形檢查溫度漂移和交通流量周期再按“事件持續(xù)時間確定窗口長度”的方法重新設置參數(shù)然后分別用閾值法和機器學習的簡單版本做快速驗證確認有效后再考慮降采樣或模型壓縮。不要因為代碼包自帶默認參數(shù)就無腦照搬特別是在采樣頻率和傳感器類型發(fā)生變化時。希望這些細節(jié)能幫你在自己的傳感器數(shù)據上少走幾步彎路這套資源的代碼結構本身很清晰剩下的就是把它調成適合你場景的樣子。本文還有配套的精品資源點擊獲取