簡(jiǎn)介基于Python搭建的多模態(tài)虛假新聞檢測(cè)項(xiàng)目融合文本與圖像特征對(duì)新聞?wù)鎸?shí)性進(jìn)行自動(dòng)識(shí)別面向計(jì)算機(jī)、人工智能、通信工程、自動(dòng)化等專(zhuān)業(yè)的高校學(xué)生和開(kāi)發(fā)者。資源可在畢設(shè)答辯、課程設(shè)計(jì)、項(xiàng)目初期演示中直接使用也適合作為NLP與多模態(tài)學(xué)習(xí)的練習(xí)素材。壓縮包內(nèi)共39個(gè)文件包含16個(gè)Python源碼文件、4份Markdown說(shuō)明文檔、4個(gè)TXT文本文件、3個(gè)Shell腳本、3個(gè)TSV數(shù)據(jù)文件、2個(gè)JSON配置、2個(gè)tfevents訓(xùn)練日志、1個(gè)Jupyter Notebook、1個(gè)checkpoint模型檢查點(diǎn)及許可證文件整體約350KB目錄涵蓋模型、代碼、文檔等模塊便于按需查看。已有296人學(xué)習(xí)下載。源碼經(jīng)測(cè)試運(yùn)行成功包含基于BERT的多模態(tài)識(shí)別、LightGBM與CatBoost融合、預(yù)測(cè)腳本及環(huán)境依賴(lài)說(shuō)明下載后閱讀README可快速了解結(jié)構(gòu)并運(yùn)行適合在此基礎(chǔ)上擴(kuò)展新聞檢測(cè)功能。代碼結(jié)構(gòu)清晰關(guān)鍵步驟有注釋方便定位與修改。1. 用 Python 做虛假新聞多模態(tài)檢測(cè)BERT 向量 樹(shù)模型為什么比單模型更穩(wěn)用 Python 做虛假新聞檢測(cè)最容易翻車(chē)的地方其實(shí)不是模型選型而是把 BERT 當(dāng)成一個(gè)黑匣子數(shù)據(jù)丟進(jìn)去準(zhǔn)確率出不來(lái)也不知道該調(diào)哪。這個(gè)資源走的是「多模態(tài)識(shí)別」路線(xiàn)但這里的多模態(tài)不是圖文拼接而是把文本語(yǔ)義當(dāng)一個(gè)模態(tài)、把統(tǒng)計(jì)和元信息特征當(dāng)另一個(gè)模態(tài)最后用 BERT 向量 LightGBM/CatBoost 混合模型去融合判斷。工程里包含 bert-final.py、lgb_cat_blend_lb9546.py、predict_test.py 和一套 TensorFlow 格式的 BERT 預(yù)訓(xùn)練權(quán)重訓(xùn)練、推理、依賴(lài)安裝腳本都齊。適合計(jì)科、人工智能方向拿來(lái)做畢設(shè)或課程設(shè)計(jì)也適合想復(fù)現(xiàn)一整套文本檢測(cè)管線(xiàn)的入門(mén)者照著跑。2. 項(xiàng)目骨架與數(shù)據(jù)流把源碼包拆成配置、訓(xùn)練、推理三條線(xiàn)解壓 Multi-domain-fake-news-detection-master.zip 之后不要急著跑訓(xùn)練先花十分鐘把文件按職責(zé)分清楚。這個(gè)工程的調(diào)用關(guān)系其實(shí)很清晰先裝依賴(lài)再訓(xùn)練 BERT 抽取語(yǔ)義向量再訓(xùn)練樹(shù)模型做融合分類(lèi)最后用 predict_test.py 出結(jié)果。順序錯(cuò)了后面每一步都會(huì)報(bào)讓你摸不著頭腦的錯(cuò)。2.1 文件清單與職責(zé)劃分從 req.sh 到 predict_test.py每份文件的角色拿到源碼包后我習(xí)慣先列一遍文件把「配置類(lèi)、訓(xùn)練類(lèi)、推理類(lèi)」分到三條線(xiàn)上。下面這個(gè)表是我對(duì)照本項(xiàng)目目錄整理的角色劃分你解壓后可以對(duì)著勾一遍文件/目錄類(lèi)型在管線(xiàn)里的角色req.sh/packages.txt環(huán)境配置安裝 Python 依賴(lài)聲明了項(xiàng)目所需的包列表bert-final.py訓(xùn)練腳本BERT 微調(diào)主腳本負(fù)責(zé)加載預(yù)訓(xùn)練權(quán)重、微調(diào)并抽取語(yǔ)義向量lgb_cat_blend_lb9546.py訓(xùn)練腳本讀取 BERT 向量與統(tǒng)計(jì)特征訓(xùn)練 LightGBM 和 CatBoost 并混合predict_test.py推理腳本對(duì)測(cè)試集做預(yù)測(cè)輸出概率或類(lèi)別結(jié)果train.sh/test.sh一鍵腳本把訓(xùn)練和測(cè)試命令串起來(lái)按順序執(zhí)行model/tf_bert_model模型目錄放 TensorFlow 格式的 BERT 預(yù)訓(xùn)練權(quán)重code子模塊目錄一般放數(shù)據(jù)加載、特征構(gòu)造、工具函數(shù)等catboost_info運(yùn)行產(chǎn)物CatBoost 訓(xùn)練日志和臨時(shí)文件目錄README.md說(shuō)明文檔作者寫(xiě)的運(yùn)行說(shuō)明、環(huán)境要求和參數(shù)備注作者的 README 往往會(huì)把踩過(guò)的坑寫(xiě)在里面下載后先打開(kāi) README.md比在網(wǎng)上搜別人轉(zhuǎn)述的第二手經(jīng)驗(yàn)可靠得多。我習(xí)慣先看 req.sh 里鎖了哪些庫(kù)再去結(jié)合 README 確認(rèn) Python 版本因?yàn)?BERT 這類(lèi)老工程的網(wǎng)絡(luò)結(jié)構(gòu)改動(dòng)大依賴(lài)版本差一個(gè)小版本都可能起不來(lái)。接下來(lái)在項(xiàng)目根目錄執(zhí)行一次目錄確認(rèn)把路徑和環(huán)境看清楚cd Multi-domain-fake-news-detection-master tree -L 2 python --version這段命令的作用是確認(rèn)你當(dāng)前所在目錄就是項(xiàng)目根目錄同時(shí)看出一級(jí)目錄結(jié)構(gòu)是否完整。tree 不存在時(shí)可以用find . -maxdepth 2 -type d代替python --version用于確認(rèn)解釋器版本BERT 相關(guān)代碼用 Python 3.6 或 3.7 最常見(jiàn)如果你本機(jī)默認(rèn)是 3.11后面依賴(lài)安裝很容易出現(xiàn)不兼容。2.2 訓(xùn)練與推理的調(diào)用鏈train.sh 和 test.sh 到底誰(shuí)先執(zhí)行整個(gè)工程不是單文件孤軍奮戰(zhàn)主流程走的是「req.sh → bert-final.py → lgb_cat_blend_lb9546.py → predict_test.py」這條鏈。這里我按這類(lèi)項(xiàng)目最常見(jiàn)的腳本結(jié)構(gòu)還原一下 train.sh你解壓后看到的行數(shù)可能更多但主線(xiàn)就是這三步#!/bin/bash # 1. 先按 packages.txt 安裝依賴(lài) bash req.sh # 2. 用 BERT 微調(diào)文本編碼器并保存抽取好的向量文件 python bert-final.py \ --data_dir data/fake_news.csv \ --bert_dir model/tf_bert_model \ --max_seq_length 128 \ --batch_size 16 \ --num_epochs 3 \ --output_dir output/bert_ckpt # 3. 訓(xùn)練 LightGBM CatBoost 混合模型 python lgb_cat_blend_lb9546.py --mode train這里每一條命令都有明確目的第 1 條是裝依賴(lài)第 2 條做語(yǔ)義編碼第 3 條做分類(lèi)器融合。注意第 2 條的輸出目錄output/bert_ckpt它和第 3 條腳本讀取的特征向量目錄是同一處這個(gè)銜接關(guān)系斷掉混合模型就會(huì)拿到空文件或者直接報(bào)錯(cuò)。test.sh 相對(duì)簡(jiǎn)單一般就是把推理腳本指向測(cè)試集和模型產(chǎn)物#!/bin/bash python predict_test.py \ --test_file data/test.csv \ --model_dir output \ --output result.csv它的輸入有兩個(gè)關(guān)鍵來(lái)源--test_file指向待檢測(cè)的新聞數(shù)據(jù)--model_dir指向第 2 步保存的 BERT 和第 3 步保存的樹(shù)模型。推理腳本會(huì)按特征列名對(duì)齊數(shù)據(jù)列名順序錯(cuò)一位lightgbm 就直接拋特征數(shù)不匹配。2.3 model/tf_bert_model 目錄TensorFlow 預(yù)訓(xùn)練權(quán)重的組織方式這個(gè)項(xiàng)目用的是 TensorFlow 格式的 BERT不是 PyTorch 的 bin 文件。目錄里通常包含三類(lèi)文件bert_config.json定義模型結(jié)構(gòu)vocab.txt是詞表bert_model.ckpt.data-*、bert_model.ckpt.index、bert_model.ckpt.meta是預(yù)訓(xùn)練權(quán)重。拿到權(quán)重后先確認(rèn)文件完整性ls -lh model/tf_bert_model正常情況下列表里能同時(shí)看到bert_config.json、vocab.txt、bert_model.ckpt.index和bert_model.ckpt.data-00000-of-00001。如果只有配置文件沒(méi)有權(quán)重文件說(shuō)明權(quán)重下載不完整加載時(shí)會(huì)在 restore 階段報(bào) checkpoint 找不到。這套權(quán)重在模型加載階段的作用是提供初始參數(shù)微調(diào)之后覆蓋的只是分類(lèi)層和高層語(yǔ)義底層的通用語(yǔ)言知識(shí)是從這份權(quán)重繼承來(lái)的。文件名里的tf_bert_model直接說(shuō)明了它是 TensorFlow 1.x checkpoint 格式這決定了項(xiàng)目里bert-final.py的加載方式用的是tf.train.Checkpoint或tf.train.Saver那一套。后面復(fù)現(xiàn)時(shí)選擇虛擬環(huán)境版本也要跟著這個(gè)格式走。3. 微調(diào) BERT 文本語(yǔ)義編碼器bert-final.py 的加載、訓(xùn)練與特征抽取BERT 在這個(gè)工程里的角色不是最終分類(lèi)器而是把文本變成 768 維語(yǔ)義向量的編碼器。所以我拿到 bert-final.py 后最關(guān)心三件事預(yù)訓(xùn)練權(quán)重怎么加載、微調(diào)參數(shù)怎么設(shè)置、向量怎么抽取和保存。這三件事做完后面的樹(shù)模型才有像樣的輸入。3.1 加載預(yù)訓(xùn)練權(quán)重BertConfig、vocab.txt 和 ckpt 的配合方式加載 TF 版 BERT 的標(biāo)配步驟是用BertConfig.from_json_file讀結(jié)構(gòu)配置用FullTokenizer讀詞表做分詞再用 checkpoint 恢復(fù)權(quán)重。按項(xiàng)目的目錄結(jié)構(gòu)加載部分的核心邏輯可以整理成下面這樣跑之前對(duì)照一下bert-final.py里的函數(shù)名避免接口版本不一致# load_bert_encoder.py import tensorflow as tf from bert.tokenization import FullTokenizer from bert.modeling import BertConfig, BertModel BERT_DIR model/tf_bert_model bert_config BertConfig.from_json_file(BERT_DIR /bert_config.json) tokenizer FullTokenizer(vocab_fileBERT_DIR /vocab.txt) init_checkpoint BERT_DIR /bert_model.ckpt這里三個(gè)輸入的職責(zé)不同bert_config.json告訴模型有多少層、多少頭、隱層維度是多少vocab.txt是分詞用的詞表中英文混合文本的 tokenizer 全靠它切出詞片bert_model.ckpt是初始權(quán)重微調(diào)時(shí)tf.train.Checkpoint.restore會(huì)把預(yù)訓(xùn)練參數(shù)恢復(fù)進(jìn)來(lái)。三者缺任何一個(gè)模型都起不來(lái)。3.2 訓(xùn)練參數(shù)實(shí)測(cè)max_seq_length、batch_size、learning_rate 的推薦配置BERT 微調(diào)沒(méi)有太多玄學(xué)參數(shù)組合基本固定但每個(gè)參數(shù)改錯(cuò)方向損失值都會(huì)給你顏色看。這個(gè)項(xiàng)目在本地復(fù)現(xiàn)時(shí)我建議先按下面這組參數(shù)起步參數(shù)推薦值說(shuō)明max_seq_length128新聞標(biāo)題和短文本 128 足夠長(zhǎng)正文案例可以上調(diào)到 256batch_size16顯存 6G 以下降到 8 或 4learning_rate2e-5BERT 微調(diào)標(biāo)準(zhǔn)量級(jí)1e-5 到 5e-5 之間調(diào)num_epochs3數(shù)據(jù)集小的情況下 2 ~ 4 輪收斂warmup_proportion0.1前 10% 步數(shù)線(xiàn)性預(yù)熱防止前期震蕩這些參數(shù)為什么這樣配BERT 微調(diào)時(shí)學(xué)習(xí)率如果給到普通網(wǎng)絡(luò)的 1e-3第一輪就會(huì) loss 爆炸max_seq_length也不是越大越好所有 token 一次性進(jìn)顯存長(zhǎng)度翻倍顯存占用接近翻倍文本本身只有幾十個(gè)字時(shí)設(shè) 512 純屬浪費(fèi)。首次復(fù)現(xiàn)先用小參數(shù)把流程跑通再改大值提精度這是正確的調(diào)參順序。3.3 把 BERT 輸出轉(zhuǎn)成向量CLS 池化與文本向量化函數(shù)BERT 的骨干網(wǎng)絡(luò)跑完每個(gè) token 位置都有一組隱層向量但樹(shù)模型需要的是一條文本一個(gè)向量而不是二維矩陣。常見(jiàn)做法有兩種取[CLS]位的輸出或者對(duì)所有 token 向量做平均池化。工程里普遍用 CLS 池化處理起來(lái)更直接# text_to_vec.py def bert_encode_and_pool(model, tokenizer, texts, max_seq_length128): input_ids_all, mask_all, segment_ids_all [], [], [] for text in texts: tokens tokenizer.tokenize(text)[: max_seq_length - 2] tokens [[CLS]] tokens [[SEP]] input_ids tokenizer.convert_tokens_to_ids(tokens) padding_len max_seq_length - len(input_ids) input_ids [0] * padding_len mask [1] * len(tokens) [0] * padding_len segment_ids [0] * max_seq_length input_ids_all.append(input_ids) mask_all.append(mask) segment_ids_all.append(segment_ids) input_ids_t tf.constant(input_ids_all, dtypetf.int32) mask_t tf.constant(mask_all, dtypetf.int32) segment_t tf.constant(segment_ids_all, dtypetf.int32) pooled model.get_pooled_output() with tf.Session() as sess: sess.run(tf.global_variables_initializer()) return sess.run(pooled, feed_dict{ input_ids:0: input_ids_t, input_mask:0: mask_t, token_type_ids:0: segment_t, })這段代碼的關(guān)鍵點(diǎn)有三個(gè)一是[CLS]和[SEP]占掉兩個(gè)位置所以原始 token 截?cái)嚅L(zhǎng)度是max_seq_length - 2二是mask里真實(shí) token 記 1、padding 記 0讓模型忽略補(bǔ)零位三是get_pooled_output()拿到的就是 CLS 位的池化向量形狀是(batch_size, 768)。如果發(fā)現(xiàn)向量維度不是 768先檢查bert_config.json里的hidden_size。3.4 訓(xùn)練日志與中斷恢復(fù)看什么指標(biāo)、存哪些 checkpoint訓(xùn)練時(shí)損失值只是參考更重要的是確認(rèn) loss 在 epoch 交界處有沒(méi)有下降趨勢(shì)。BERT 微調(diào)數(shù)據(jù)集往往只有幾萬(wàn)條三個(gè) epoch 的損失曲線(xiàn)如果從一開(kāi)始就亂跳優(yōu)先懷疑學(xué)習(xí)率過(guò)大或數(shù)據(jù)沒(méi)隨機(jī)洗牌。啟動(dòng)訓(xùn)練時(shí)直接用命令行參數(shù)跑python bert-final.py \ --data_dir data/fake_news.csv \ --bert_dir model/tf_bert_model \ --max_seq_length 128 \ --batch_size 16 \ --learning_rate 2e-5 \ --num_epochs 3 \ --output_dir output/bert_ckpt訓(xùn)練中斷很常見(jiàn)顯存不夠、斷電、手動(dòng) CtrlC 都可能讓過(guò)程停在中間。所以跑之前確保output/bert_ckpt目錄是新建的里面不要?dú)埩羯弦淮蔚呐f checkpoint否則恢復(fù)訓(xùn)練時(shí)會(huì)把舊權(quán)重當(dāng)成初始化權(quán)重白跑一輪。我的習(xí)慣是每 500 步打印一次 loss同時(shí)把模型按 step 號(hào)存成ckpt-500、ckpt-1000這種命名斷點(diǎn)續(xù)跑時(shí)用--init_checkpoint指到最近一個(gè) checkpoint。4. 特征融合與 LGB CatBoost 混合lgb_cat_blend_lb9546.py 的集成細(xì)節(jié)模型名lgb_cat_blend_lb9546.py里的 lb 我理解是 leaderboard 的縮寫(xiě)blend 表示混合這種命名在有競(jìng)賽經(jīng)驗(yàn)的工程里很常見(jiàn)。它要解決的問(wèn)題是BERT 向量擅長(zhǎng)語(yǔ)義但虛假新聞里大量線(xiàn)索藏在標(biāo)題長(zhǎng)度、感嘆號(hào)數(shù)量、URL 出現(xiàn)與否這些統(tǒng)計(jì)特征里樹(shù)模型恰好擅長(zhǎng)這些。兩者融合準(zhǔn)確率通常比單一 BERT 微調(diào)分類(lèi)高出兩個(gè)點(diǎn)以上。4.1 為什么混合樹(shù)模型BERT 向量自帶語(yǔ)義但弱在統(tǒng)計(jì)特征單純用 BERT 最后一層向量接 softmax 做二分類(lèi)能抓住「這段話(huà)像不像謠言」但抓不住「標(biāo)題全是感嘆號(hào)」這種強(qiáng)信號(hào)。虛假新聞數(shù)據(jù)集里標(biāo)題帶多個(gè)感嘆號(hào)、正文帶陌生 URL、全是數(shù)字百分比這些特征在統(tǒng)計(jì)層面有區(qū)分度BERT 卻把它們稀釋在語(yǔ)義編碼里了。樹(shù)模型對(duì)小數(shù)據(jù)集和稀疏特征非常友好而且 LGB 和 CatBoost 兩個(gè)模型雖然都是梯度提升樹(shù)內(nèi)部處理類(lèi)別特征和缺失值的方式不同預(yù)測(cè)偏差也不一樣。把它們對(duì)同一批樣本的輸出做加權(quán)平均能抵消一部分各自的過(guò)擬合。這也是這個(gè)工程把 BERT 語(yǔ)義向量維度降到 768 之后還要拼接統(tǒng)計(jì)特征再進(jìn)樹(shù)模型的原因。4.2 特征工程768 維 BERT 向量之外還能拼哪些手寫(xiě)特征特征構(gòu)造是這套多模態(tài)方案里投入產(chǎn)出比最高的一步。我按典型虛假新聞樣本的特性整理了幾個(gè)百搭的統(tǒng)計(jì)特征# features.py import re def build_stat_features(title: str) - dict: if not isinstance(title, str): title features {} features[title_len] len(title) features[num_exclamation] title.count(!) features[num_question] title.count(?) features[has_url] 1 if re.search(rhttps?://, title) else 0 features[digit_ratio] sum(c.isdigit() for c in title) / (len(title) 1) features[word_count] len(title.split()) return features每個(gè)特征的設(shè)計(jì)理由都對(duì)應(yīng)一類(lèi)假新聞套路num_exclamation抓標(biāo)題黨情緒化的感嘆號(hào)轟炸has_url抓誘導(dǎo)跳轉(zhuǎn)鏈接digit_ratio抓那種「99% 的人不知道」的偽科學(xué)數(shù)字化表達(dá)title_len是對(duì)過(guò)短標(biāo)題和超長(zhǎng)標(biāo)題做區(qū)分。這些特征拼接到 BERT 向量的尾部組成最終輸入維度從 768 變成768 len(stat_features)。4.3 五折交叉驗(yàn)證與早停blend 邏輯與權(quán)重選擇混合模型的重點(diǎn)不是分別訓(xùn)練兩個(gè)模型而是讓兩個(gè)模型在同一個(gè)驗(yàn)證集上打分再按權(quán)重融合。標(biāo)準(zhǔn)做法是五折交叉驗(yàn)證每一折分別訓(xùn)兩個(gè)模型各自對(duì)驗(yàn)證折出概率。核心邏輯整理如下# blend_core.py import numpy as np from sklearn.model_selection import StratifiedKFold import lightgbm as lgb from catboost import CatBoostClassifier def oof_blend(X, y, lgb_weight0.6, seed42): skf StratifiedKFold(n_splits5, shuffleTrue, random_stateseed) oof_lgb np.zeros(len(y)) oof_cat np.zeros(len(y)) for train_idx, valid_idx in skf.split(X, y): X_tr, X_va X.iloc[train_idx], X.iloc[valid_idx] y_tr, y_va y.iloc[train_idx], y.iloc[valid_idx] lgb_model lgb.LGBMClassifier( n_estimators800, learning_rate0.05, num_leaves31 ) lgb_model.fit( X_tr, y_tr, eval_set(X_va, y_va), early_stopping_rounds50, verbose0 ) cat_model CatBoostClassifier( iterations800, learning_rate0.05, depth7, eval_metricAUC, verbose0 ) cat_model.fit( X_tr, y_tr, eval_set(X_va, y_va), early_stopping_rounds50 ) oof_lgb[valid_idx] lgb_model.predict_proba(X_va)[:, 1] oof_cat[valid_idx] cat_model.predict_proba(X_va)[:, 1] blend lgb_weight * oof_lgb (1 - lgb_weight) * oof_cat return blend, oof_lgb, oof_cat這段代碼里有三個(gè)參數(shù)值得單獨(dú)說(shuō)。lgb_weight0.6表示 LGB 結(jié)果占 60%、CatBoost 占 40%這個(gè)比例不是拍腦袋定的而是看兩者在驗(yàn)證集上的 AUC 誰(shuí)高誰(shuí)低高的那個(gè)給更高權(quán)重。early_stopping_rounds50的作用是驗(yàn)證集指標(biāo)連續(xù) 50 輪不提升就停止迭代防止訓(xùn)練到后期過(guò)擬合。StratifiedKFold保證每折訓(xùn)練集和驗(yàn)證集里真實(shí)新聞、虛假新聞比例跟全量數(shù)據(jù)一致類(lèi)別不平衡時(shí)這個(gè)分層極其重要。4.4 模型產(chǎn)物與推理輸入把 lgb 和 catboost 模型 save_model 出來(lái)兩個(gè)模型訓(xùn)練完成后需要把模型權(quán)重和特征列名都存到磁盤(pán)供 predict_test.py 加載。只存模型不存特征列順序是后面最容易翻車(chē)的地方# save_models.py import lightgbm as lgb # lgb_model 是上面訓(xùn)練好的 LGBMClassifier lgb_model.booster_.save_model(output/lgb_model.txt) # cat_model 是 CatBoostClassifier cat_model.save_model(output/cat_model.bin) # 把特征列名的順序固定下來(lái)推理時(shí)按這個(gè)順序拼數(shù)據(jù) with open(output/feature_cols.txt, w, encodingutf-8) as f: f.write(\n.join(X.columns))feature_cols.txt是推理階段的對(duì)賬工具。訓(xùn)練時(shí) X 的列順序是 「768 維 BERT 向量 統(tǒng)計(jì)特征」推理時(shí)必須用完全一樣的順序重新拼接。單獨(dú)把列名存成文件就是為了避免每次靠記憶排序一記錯(cuò)推理階段就會(huì)報(bào)特征數(shù)不匹配。以后每訓(xùn)練一版模型這三個(gè)文件要同時(shí)更新只更新其中一個(gè)線(xiàn)上推理用的還是舊特征順序預(yù)測(cè)結(jié)果會(huì)失真。5. 復(fù)現(xiàn)避坑版本、路徑、顯存與 catboost_info 的五個(gè)翻車(chē)現(xiàn)場(chǎng)這套工程整體不復(fù)雜但復(fù)現(xiàn)時(shí)最容易出問(wèn)題的往往不是算法而是環(huán)境。下面的問(wèn)題我基本都親手踩過(guò)一遍每條按「現(xiàn)象 → 原因 → 解決」寫(xiě)清楚你可以直接對(duì)照排查。5.1 TensorFlow 版本過(guò)高AttributeError 和 contrib 找不到現(xiàn)象運(yùn)行bert-final.py還沒(méi)開(kāi)始訓(xùn)練直接報(bào)AttributeError: module tensorflow has no attribute gfile或者M(jìn)oduleNotFoundError: No module named tensorflow.contrib。原因源碼基于 TensorFlow 1.x 編寫(xiě)調(diào)用的是tf.gfile.GFile、tf.contrib這些 1.x 舊接口。TensorFlow 2.x 把tf.contrib整體移除tf.gfile挪到了tf.io.gfile老代碼自然起不來(lái)。解決按照req.sh或packages.txt里的說(shuō)明安裝 TF 1.15 系列優(yōu)先考慮 GPU 版pip install tensorflow-gpu1.15.0如果本機(jī)沒(méi)有 GPU就裝 CPU 版tensorflow1.15.0BERT 微調(diào)慢一些但流程能走通。我建議建獨(dú)立虛擬環(huán)境再裝不要?jiǎng)酉到y(tǒng)里的 Python否則影響其他項(xiàng)目。5.2 項(xiàng)目放在中文路徑vocab.txt 加載失敗與亂碼現(xiàn)象訓(xùn)練腳本能啟動(dòng)但加載vocab.txt時(shí)報(bào)NotFoundError路徑打印出來(lái)是一串看不懂的轉(zhuǎn)義字符。原因tf.gfile在 Windows 下對(duì)中文路徑和特殊字符支持不穩(wěn)定路徑里的中文被錯(cuò)誤編碼文件定位失敗。解決把整個(gè)項(xiàng)目目錄復(fù)制到純英文路徑下比如C:\projects\fake_news_detection確保從根目錄到項(xiàng)目目錄中間沒(méi)有中文和空格。用 PyCharm 的話(huà)右鍵項(xiàng)目根目錄執(zhí)行 Mark Directory as Sources Root讓相對(duì)路徑model/tf_bert_model能穩(wěn)定解析。5.3 顯存溢出CUDA_OUT_OF_MEMORY 不一定只能換顯卡現(xiàn)象訓(xùn)練跑到幾百步報(bào)ResourceExhaustedError: OOM when allocating tensor程序直接中斷。原因BERT 是顯存大戶(hù)max_seq_length設(shè)為 256、batch_size設(shè)為 32 時(shí)一張 6G 顯存的卡根本扛不住。12 層 Transformer 同時(shí)駐留顯存前向傳播和反向傳播都要保存中間激活值。解決優(yōu)先降batch_size到 8 或 4配合把max_seq_length降到 128。每條新聞標(biāo)題通常不超過(guò)幾十個(gè)字128 的長(zhǎng)度限制足夠。顯存還是不夠時(shí)再限制當(dāng)前進(jìn)程只看見(jiàn)一張卡CUDA_VISIBLE_DEVICES0 python bert-final.py \ --max_seq_length 128 --batch_size 4CUDA_VISIBLE_DEVICES0的作用是讓程序只使用索引為 0 的顯卡避免 TensorFlow 把顯存均勻吃滿(mǎn)所有卡造成其他顯存被白白占用。5.4 catboost_info 目錄寫(xiě)不進(jìn)訓(xùn)練中斷在第 0 步現(xiàn)象跑lgb_cat_blend_lb9546.pyCatBoost 剛開(kāi)始訓(xùn)練就退出報(bào)無(wú)法寫(xiě)入catboost_info或learn目錄相關(guān)錯(cuò)誤。原因項(xiàng)目壓縮包里自帶了一個(gè)catboost_info目錄解壓后如果被設(shè)成只讀或者當(dāng)前工作目錄權(quán)限受限CatBoost 默認(rèn)的日志目錄寫(xiě)不進(jìn)去模型直接拒絕訓(xùn)練。解決在腳本開(kāi)頭顯式創(chuàng)建目錄或者指定一個(gè)可寫(xiě)目錄。常見(jiàn)做法是在訓(xùn)練前加上import os os.makedirs(catboost_info, exist_okTrue)exist_okTrue表示目錄已存在時(shí)不報(bào)錯(cuò)不存在時(shí)自動(dòng)創(chuàng)建。這樣就把目錄寫(xiě)權(quán)限問(wèn)題擋在訓(xùn)練啟動(dòng)之前后面 CatBoost 才能正常輸出日志和中間模型。5.5 特征維度對(duì)不上lightgbm 報(bào) feature mismatch現(xiàn)象predict_test.py推理時(shí)lightgbm 報(bào)錯(cuò)提示數(shù)據(jù)特征數(shù)是 812但模型期望 813 個(gè)特征。原因訓(xùn)練階段特征列是「768 維 BERT 向量 統(tǒng)計(jì)特征」共 813 列推理時(shí) BERT 向量正常但統(tǒng)計(jì)特征少拼了一列。最常見(jiàn)的是某條測(cè)試數(shù)據(jù)標(biāo)題為空特征構(gòu)造函數(shù)返回的字典缺了title_len或word_count導(dǎo)致拼接后矩陣少一列。解決推理前用訓(xùn)練階段保存的feature_cols.txt強(qiáng)制對(duì)齊列順序和列數(shù)量import pandas as pd feature_cols open(output/feature_cols.txt, encodingutf-8).read().splitlines() X_test X_test.reindex(columnsfeature_cols, fill_value0)reindex會(huì)把缺失的列補(bǔ) 0多出來(lái)的列自動(dòng)丟棄保證進(jìn)入樹(shù)模型的特征數(shù)量永遠(yuǎn)和訓(xùn)練時(shí)一致。我的習(xí)慣是把這行代碼貼在推理腳本的數(shù)據(jù)準(zhǔn)備部分每次訓(xùn)練完模型先跑一遍 test.sh 驗(yàn)證維度再交付到線(xiàn)上。6. 把 predict_test.py 改造成單個(gè)新聞標(biāo)題的實(shí)時(shí)檢測(cè)入口predict_test.py 默認(rèn)是批處理模式讀一個(gè) CSV 輸出一個(gè) CSV。但實(shí)際使用時(shí)更多場(chǎng)景是拿到一條新聞標(biāo)題馬上判斷真假。把它改造成單條文本的檢測(cè)函數(shù)是最實(shí)用的二次開(kāi)發(fā)。6.1 predict_test.py 原本的輸入輸出格式原腳本做的事是讀取測(cè)試集 → 拼接 BERT 向量和統(tǒng)計(jì)特征 → 加載output目錄里的樹(shù)模型 → 輸出預(yù)測(cè)概率 CSV。改造方向是把「讀整個(gè)測(cè)試集」換成「接收一條字符串」內(nèi)部流程保持不變。6.2 封裝 detect() 函數(shù)從文本清洗到概率輸出改造后的入口函數(shù)可以這樣組織# detect_news.py import pandas as pd import lightgbm as lgb from load_bert_encoder import load_bert_encoder, text_to_vec from features import build_stat_features bert_encoder load_bert_encoder(model/tf_bert_model) lgb_model lgb.Booster(model_fileoutput/lgb_model.txt) feature_cols open(output/feature_cols.txt, encodingutf-8).read().splitlines() def detect(news_text: str): clean_text news_text.strip().replace(\n, ) bert_vec_df text_to_vec([clean_text], bert_encoder, max_seq_length128) stat_feats pd.DataFrame([build_stat_features(clean_text)]) X pd.concat([bert_vec_df, stat_feats], axis1)[feature_cols] prob lgb_model.predict(X)[0] return (虛假新聞 if prob 0.5 else 真實(shí)新聞), float(prob)這個(gè)函數(shù)里去掉了 CSV 讀取把手工特征構(gòu)造和 BERT 向量化封裝成兩個(gè)可復(fù)用函數(shù)輸出是(類(lèi)別, 概率)元組。改造完畢后再包裝成 FastAPI 或 Flask 接口就能對(duì)外服務(wù)。Booster直接加載output/lgb_model.txt比重新訓(xùn)練快得多適合部署時(shí)用。6.3 部署前的檢查清單上線(xiàn)前至少驗(yàn)證三件事拿一條真實(shí)新聞和一條典型假新聞各跑一次確認(rèn)輸出類(lèi)別符合直覺(jué)檢查概率值是否落在 0 到 1 之間超出就說(shuō)明模型輸出沒(méi)做 sigmoid再確認(rèn)feature_cols.txt是最新一版不要和舊模型交叉使用。我自己就吃過(guò)這個(gè)虧訓(xùn)練完新模型忘記同步特征列文件線(xiàn)上推理用舊列順序拼數(shù)據(jù)靜默地出了好幾天錯(cuò)結(jié)果才被發(fā)現(xiàn)。從那以后我每次訓(xùn)練完都強(qiáng)制走一遍「保存模型 → 保存特征列 → 跑單條檢測(cè)函數(shù) → 核對(duì)輸出」再交付給別人用。希望這條流程能幫到你也祝你復(fù)現(xiàn)順利。本文還有配套的精品資源點(diǎn)擊獲取