簡介一套基于Python與TensorFlow實(shí)現(xiàn)的多模態(tài)情感分析項(xiàng)目資源輸入涵蓋文本、語音、圖片和視頻面向畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)與項(xiàng)目開發(fā)。源碼已通過嚴(yán)格測試可放心參考并二次擴(kuò)展。項(xiàng)目采用分層融合思路先提取單模態(tài)特征再逐步構(gòu)建雙模態(tài)、三模態(tài)組合特征最后用softmax層輸出喜、怒、哀、其他四類情感比常見的正負(fù)中性分類更適合用戶分層與目標(biāo)分析。壓縮包共21個文件主要包括pickle數(shù)據(jù)文件、py源碼、含iemocap數(shù)據(jù)集的zip、txt說明、pdf文檔、md說明及結(jié)果示意圖總大小約58.48MB目錄結(jié)構(gòu)清晰便于按模塊查閱。環(huán)境要求Python 3.6和TensorFlow 1.7支持CPU或GPU。目前已有六百八十二人學(xué)習(xí)使用對于想理解多模態(tài)情感識別完整流程的開發(fā)者是一套可直接落地的實(shí)踐資料。1. 多模態(tài)融合情感分析從文本單模態(tài)到四類情感的完整 Python 方案多模態(tài)融合情感分析這個 Python 項(xiàng)目解決的是純文本情感分析的盲區(qū)。彈幕里一句“這也太厲害了吧”配上白眼表情包和嘲諷語氣只看文本的模型十有八九判成喜實(shí)際上人家在罵。項(xiàng)目輸入同時(shí)覆蓋文本含 emojis、語音、圖片和視頻用 TensorFlow 搭了一套從單模態(tài)向量逐步融合到雙模態(tài)、三模態(tài)的分層結(jié)構(gòu)最后通過 softmax 輸出喜、怒、哀、其他四類情感。自帶源碼、項(xiàng)目文檔和 MOSI/IEMOCAP 數(shù)據(jù)集畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)都能直接接跑通就是一份能演示、能寫進(jìn)論文的完整基線。2. 項(xiàng)目結(jié)構(gòu)與融合原理單模態(tài)向量到三模態(tài)向量的分層設(shè)計(jì)2.1 為什么先做單模態(tài)編碼而不是直接拼特征多模態(tài)數(shù)據(jù)最麻煩的地方是三個模態(tài)根本不在同一個度量空間里。文本特征來自詞向量或 embedding維度幾百語音特征來自 openSMILE 這類工具抽出的聲學(xué)參數(shù)維度幾十到上千不等圖片和視頻特征過完 CNN動輒上千維。如果直接把三段原始特征 concat 起來喂給全連接層維度高的模態(tài)會主導(dǎo)梯度方向模型基本學(xué)不到弱模態(tài)的信息。這是多模態(tài)項(xiàng)目里最常見的“單模態(tài)近視”也是很多人復(fù)現(xiàn)多模態(tài)論文發(fā)現(xiàn)準(zhǔn)確率反而不如單模態(tài)的原因。項(xiàng)目采用的分層方案是先給每個模態(tài)單獨(dú)做一層編碼把不同維度的原始特征統(tǒng)一映射到相同的 hidden_dim再做兩兩組合的雙模態(tài)融合最后做三模態(tài)融合接 softmax。每一步都有獨(dú)立的激活函數(shù)和參數(shù)相當(dāng)于先讓模型分別理解“這句話在說什么”“這個語氣什么情緒”“這個畫面什么氛圍”再學(xué)三者之間的互補(bǔ)關(guān)系。文本里的 emojis 也被當(dāng)作語義信號保留在向量里不需要單獨(dú)清洗掉這一點(diǎn)在預(yù)處理腳本里處理得很干凈。我一般會拿這種分層結(jié)構(gòu)和直接 concat 做對比實(shí)驗(yàn)后者準(zhǔn)確率通常低 510 個點(diǎn)。原因是直接拼接時(shí)模型要同時(shí)學(xué)模態(tài)內(nèi)表示和模態(tài)間關(guān)系優(yōu)化難度大分層結(jié)構(gòu)把任務(wù)拆成兩段每段都更容易收斂。它屬于 early fusion 和 late fusion 之間的折中——既不是把原始特征生拼也不是三個模型最后投票而是在中間層逐級對齊。2.2 雙模態(tài)到三模態(tài)融合路徑與向量對齊雙模態(tài)層有三條路徑文本語音、文本視頻、語音視頻三條路徑的輸出再接三模態(tài)層。為什么不把三條并成一條不同模態(tài)對的互補(bǔ)性不一樣文本和語音都攜帶語言信息但文本是字面內(nèi)容、語音是語調(diào)情緒兩者結(jié)合能糾正“字面客氣但語氣輕蔑”的樣本語音和視頻結(jié)合能捕捉說話人表情與語調(diào)的一致程度比如皺著眉說“沒事”和笑著說的情感完全不同。對齊指的是把每個模態(tài)的向量統(tǒng)一到相同維度再參與拼接。實(shí)現(xiàn)里編碼層都輸出 hidden_dim默認(rèn) 128 維雙模態(tài)拼接后是 256 維經(jīng)過一層 relu 全連接保持 256 維三模態(tài)把三條雙模態(tài)路徑拼起來是 768 維再過一層全連接壓到 512 維附近。逐層壓縮的設(shè)計(jì)避免了特征維度爆炸也讓最終分類層只面對一個緊湊表示。hidden_dim 不是越大越好IEMOCAP 這類幾千條樣本的數(shù)據(jù)集128 已經(jīng)是比較穩(wěn)的起點(diǎn)。2.3 四分類標(biāo)簽設(shè)計(jì)喜、怒、哀、其他常見文本情感分析是三分類正向、負(fù)向、中性。項(xiàng)目刻意改成喜、怒、哀、其他四類項(xiàng)目文檔里寫得很直接為了用戶分層和目標(biāo)用戶分析。運(yùn)營場景里把“負(fù)向”再拆成“怒”和“哀”非常實(shí)用——憤怒用戶需要安撫和退款引導(dǎo)悲傷用戶需要共情和陪伴話術(shù)完全兩樣只分正負(fù)根本不夠用。標(biāo)簽來自數(shù)據(jù)集自帶標(biāo)注。IEMOCAP 原始是六類情緒項(xiàng)目給了 6way 和 4way 兩份 pickleMOSI 原始是情感強(qiáng)度回歸值2way pickle 把它二值化成正負(fù)。4way 的常見映射關(guān)系大致如下IEMOCAP 原始情緒映射到四分類happy、excited喜angry、frustrated怒sad哀neutral 及其他其他訓(xùn)練時(shí)不需要手動做這個映射pickle 里的 label 數(shù)組已經(jīng)是映射后的整數(shù)索引03 對應(yīng)四類。壓縮包里的文件按下面這份清單對照檢查文件作用model.py分層融合模型定義run.py訓(xùn)練、驗(yàn)證、推理入口data_prep.py數(shù)據(jù)加載、切分、歸一化create_data.py從原始數(shù)據(jù)構(gòu)造特征 pickleunimodal_mosi_2way.pickleMOSI 單模態(tài)特征二分類標(biāo)簽unimodal_iemocap_4way.pickleIEMOCAP 單模態(tài)特征四分類標(biāo)簽unimodal_iemocap_6way.pickleIEMOCAP 單模態(tài)特征六分類標(biāo)簽iemocap-data.zip原始 IEMOCAP 數(shù)據(jù)Canonical code.pdf項(xiàng)目文檔與代碼說明README.md環(huán)境部署與運(yùn)行說明result.png作者跑出的訓(xùn)練結(jié)果截圖新建 文本文檔.txt作者備注草稿可忽略3. 數(shù)據(jù)準(zhǔn)備MOSI、IEMOCAP 與三份 pickle 文件怎么讀3.1 兩份數(shù)據(jù)集各自的形態(tài)和適用場景MOSICMU 多模態(tài)觀點(diǎn)情感數(shù)據(jù)集收錄的是 YouTube 影評視頻片段發(fā)言者邊說邊有畫面文本由字幕對齊是學(xué)術(shù)圈多模態(tài)情感分析最常用的公開集之一。它的情感自帶強(qiáng)度原本是回歸任務(wù)范圍在 [-3, 3]二值化后轉(zhuǎn)成正負(fù)二分類樣本量適中、類別干凈適合用來快速驗(yàn)證模型能不能跑通。IEMOCAP 是交互式情感動態(tài)捕捉數(shù)據(jù)集由演員按腳本表演對話錄制時(shí)長約 12 小時(shí)情緒標(biāo)注比 MOSI 細(xì)帶 angry、happy、sad、neutral、excited、frustrated 六類。如果你的畢業(yè)設(shè)計(jì)要強(qiáng)調(diào)細(xì)粒度情感分析主線用 IEMOCAP 的 4way 那份更有說服力如果只是做系統(tǒng)演示MOSI 2way 一個 epoch 跑得飛快演示過程不冷場。3.2 pickle 文件解析讀取代碼與數(shù)據(jù)結(jié)構(gòu)項(xiàng)目把三個模態(tài)的特征預(yù)先提取好存成了 pickle。拿到文件第一件事不是跑訓(xùn)練而是先讀進(jìn)來看結(jié)構(gòu)確認(rèn) key 名和維度再改 run.py 里的對應(yīng)參數(shù)。下面這段代碼可以做快速普查import pickle import numpy as np def load_unimodal_pickle(path): # 關(guān)鍵老 pickle 是 Python 2 生成的必須指定 latin1 編碼 with open(path, rb) as f: data pickle.load(f, encodinglatin1) return data data load_unimodal_pickle(unimodal_mosi_2way.pickle) print(頂層類型:, type(data)) if isinstance(data, dict): for key, val in data.items(): if hasattr(val, shape): print(key, shape:, val.shape, dtype:, val.dtype) else: print(key, type(val))這段代碼的邏輯分兩塊pickle.load 的 encoding 參數(shù)解決 Python 2 序列化文件的兼容問題很多人卡在這一步后面的循環(huán)按字典逐項(xiàng)打印 key 和 shape是確認(rèn)特征維度最快的辦法。常見的結(jié)構(gòu)是 {text: ..., audio: ..., video: ..., label: ...}也可能按 {train: ..., valid: ..., test: ...} 分層組織具體以 print 結(jié)果為準(zhǔn)。提示如果打印出來沒有 label 這個 key先列出所有 key 找找常見命名還有 labels 或 y改一下腳本里的字段名即可。注意 label 的取值。2way 的 label 一般是 0/14way 是 036way 是 05。如果 run.py 里寫死 num_classes4 卻拿 6way 那份去訓(xùn)會報(bào)維度不匹配或準(zhǔn)確率異常低這是我見過最多的用法錯誤。3.3 create_data.py 與 data_prep.py誰負(fù)責(zé)什么create_data.py 負(fù)責(zé)從原始數(shù)據(jù)構(gòu)造特征 pickle輸入是 iemocap-data.zip 這類原始錄制數(shù)據(jù)輸出是上面那種特征字典。常見做法是文本走預(yù)訓(xùn)練詞向量或句向量語音用 openSMILE 提聲學(xué)特征視頻幀過預(yù)訓(xùn)練 CNN 取全連接層輸出。工程上這一步最耗時(shí)所以作者把特征提前存成 pickle 發(fā)出來省掉重復(fù)抽特征的一兩個小時(shí)。data_prep.py 負(fù)責(zé)把 pickle 里的特征變成模型能直接吃的數(shù)據(jù)劃分訓(xùn)練/驗(yàn)證/測試集、歸一化、把各模態(tài)維度對齊。切分有個容易踩的坑——三個模態(tài)來自同一條樣本必須按下標(biāo)同步切不能分別隨機(jī)打亂。代碼寫法如下from sklearn.model_selection import train_test_split def split_multimodal(text, audio, video, labels, test_ratio0.1, valid_ratio0.1): # 用同一個 random_state 和同一組下標(biāo)同步切四個數(shù)組 idx np.arange(len(labels)) train_idx, temp_idx train_test_split( idx, test_sizetest_ratio valid_ratio, stratifylabels, random_state42) valid_idx, test_idx train_test_split( temp_idx, test_sizevalid_ratio / (test_ratio valid_ratio), stratifylabels[temp_idx], random_state42) def pick(arr, ix): return arr[ix] return (pick(text, train_idx), pick(text, valid_idx), pick(text, test_idx), pick(audio, train_idx), pick(audio, valid_idx), pick(audio, test_idx), pick(video, train_idx), pick(video, valid_idx), pick(video, test_idx), pick(labels, train_idx), pick(labels, valid_idx), pick(labels, test_idx))train_test_split 的 stratify 參數(shù)保證訓(xùn)練/驗(yàn)證/測試?yán)锩款悩颖颈壤恢虑楦袛?shù)據(jù)通常類不均衡這個參數(shù)能避免“驗(yàn)證集里全是多數(shù)類”的假象。random_state 固定成 42保證每次跑復(fù)現(xiàn)一致答辯時(shí)被問“實(shí)驗(yàn)可復(fù)現(xiàn)嗎”直接報(bào)種子。先切出 temp 再二次切分是為了分別控制驗(yàn)證集和測試集比例常見配比是 8:1:1 或 6:2:2。4. 模型與訓(xùn)練model.py 與 run.py 的代碼走讀和參數(shù)調(diào)優(yōu)4.1 model.py分層融合模型的核心實(shí)現(xiàn)model.py 是這套項(xiàng)目的主干接收三個模態(tài)的輸入占位符依次經(jīng)過單模態(tài)編碼、雙模態(tài)融合、三模態(tài)融合輸出 logits 和 softmax 概率。一個可用的實(shí)現(xiàn)大致如下import tensorflow as tf def fused_model(text_feat, audio_feat, video_feat, hidden_dim128, num_classes4): # 單模態(tài)編碼三個模態(tài)統(tǒng)一映射到 hidden_dim with tf.variable_scope(unimodal): t tf.layers.dense(text_feat, hidden_dim, activationtf.nn.relu, nametext_enc) a tf.layers.dense(audio_feat, hidden_dim, activationtf.nn.relu, nameaudio_enc) v tf.layers.dense(video_feat, hidden_dim, activationtf.nn.relu, namevideo_enc) # 雙模態(tài)融合兩兩拼接后過一層全連接 with tf.variable_scope(bimodal): ta tf.concat([t, a], axis1) ta tf.layers.dense(ta, hidden_dim * 2, activationtf.nn.relu, nameta_fc) tv tf.concat([t, v], axis1) tv tf.layers.dense(tv, hidden_dim * 2, activationtf.nn.relu, nametv_fc) av tf.concat([a, v], axis1) av tf.layers.dense(av, hidden_dim * 2, activationtf.nn.relu, nameav_fc) # 三模態(tài)融合把三條雙模態(tài)路徑拼起來 with tf.variable_scope(trimodal): tri tf.concat([ta, tv, av], axis1) tri tf.layers.dense(tri, hidden_dim * 4, activationtf.nn.relu, nametri_fc) logits tf.layers.dense(tri, num_classes, namelogits) return tf.nn.softmax(logits), logits邏輯說明單模態(tài)層用三個獨(dú)立的 variable_scope防止不同模態(tài)的 Dense 權(quán)重互相覆蓋雙模態(tài)層輸出 hidden_dim2因?yàn)閮蓚€ 128 維向量拼接后是 256 維容量不縮水三模態(tài)層輸出 hidden_dim4 同理。最后一層不接激活函數(shù)直接出 logitssoftmax 交給損失函數(shù)內(nèi)部處理數(shù)值上更穩(wěn)定也比手動算 softmax 再算 cross entropy 少一次中間精度損失。參數(shù)說明hidden_dim 影響模型容量幾千條樣本用 128 足夠數(shù)據(jù)量上十萬可以調(diào)到 256num_classes 必須和 pickle 的 label 上界對齊用 4way 就傳 4用 6way 就傳 6。另一個容易忽略的點(diǎn)是 relu 之后可以加 dropout訓(xùn)練時(shí) drop 0.5、預(yù)測時(shí)關(guān)掉對抑制過擬合很有效調(diào)參階段建議加上。提示如果你裝了 TensorFlow 1.15 而不是 1.7上面的代碼無需改動兩個版本對 tf.layers 和 tf.variable_scope 的支持一致。4.2 run.py訓(xùn)練循環(huán)與關(guān)鍵超參數(shù)run.py 負(fù)責(zé)把 model.py 定義的圖真正跑起來核心是占位符、損失函數(shù)、優(yōu)化器和會話循環(huán)text_ph tf.placeholder(tf.float32, [None, TEXT_DIM], nametext) audio_ph tf.placeholder(tf.float32, [None, AUDIO_DIM], nameaudio) video_ph tf.placeholder(tf.float32, [None, VIDEO_DIM], namevideo) label_ph tf.placeholder(tf.int32, [None], namelabel) _, logits fused_model(text_ph, audio_ph, video_ph) loss tf.reduce_mean( tf.nn.sparse_softmax_cross_entropy_with_logits( logitslogits, labelslabel_ph)) train_op tf.train.AdamOptimizer(learning_rate1e-3).minimize(loss) correct tf.equal(tf.argmax(logits, axis1), tf.cast(label_ph, tf.int64)) accuracy tf.reduce_mean(tf.cast(correct, tf.float32)) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for epoch in range(EPOCHS): for batch in make_batches(X_train, y_train, batch_size32): sess.run(train_op, feed_dict{ text_ph: batch[text], audio_ph: batch[audio], video_ph: batch[video], label_ph: batch[label], }) val_acc sess.run(accuracy, feed_dict{ text_ph: X_valid[text], audio_ph: X_valid[audio], video_ph: X_valid[video], label_ph: y_valid, }) print(epoch, epoch, val_acc, val_acc)邏輯說明sparse_softmax_cross_entropy_with_logits 要求 label 是整數(shù)索引而不是 one-hot正好對上 pickle 里的 03 標(biāo)簽省一步轉(zhuǎn)換AdamOptimizer 配學(xué)習(xí)率 1e-3 是通用起點(diǎn)情感分類這種小數(shù)據(jù)任務(wù)很少需要超過 1e-2。驗(yàn)證集每個 epoch 滾一次用來判斷收斂和過擬合。參數(shù)說明batch_size 32 在 4G 顯存下比較穩(wěn)如果用的是視頻幀特征且每幀維度大降到 16 或 8EPOCHS 先設(shè) 50觀察驗(yàn)證準(zhǔn)確率不再上升就早停不用硬跑滿。make_batches 可以自己寫一個 generator按 batch_size 切片注意最后一次不足一個 batch 也要能跑別用取余把尾巴丟掉。4.3 怎么判斷訓(xùn)練真的有效訓(xùn)練完別只盯著訓(xùn)練集準(zhǔn)確率。第一步對比訓(xùn)練 loss 和驗(yàn)證 loss訓(xùn)練 loss 一直降、驗(yàn)證 loss 回升是過擬合加 dropout 或減 hidden_dim兩個 loss 都平了說明模型容量到頭。第二步做消融實(shí)驗(yàn)——分別只喂文本、只喂語音、只喂視頻記錄各自準(zhǔn)確率再和多模態(tài)結(jié)果對比。如果融合后沒比最好的單模態(tài)高大概率是特征沒對齊或者數(shù)據(jù)量撐不起融合層回頭查第 3 章的 pickle 維度是否真的匹配。result.png 是作者跑出的效果截圖可以作為你的基準(zhǔn)線。把自己訓(xùn)出的準(zhǔn)確率和混淆矩陣截圖存檔寫論文、做答辯 PPT 都用得上這也是為什么我建議每次實(shí)驗(yàn)固定隨機(jī)種子、固定數(shù)據(jù)切分不然兩份結(jié)果對不上答辯現(xiàn)場很難解釋。5. 環(huán)境部署與常見問題排查TensorFlow 1.7 時(shí)代的五個坑5.1 環(huán)境版本配對Python 3.6 TensorFlow 1.7README 寫得很明確Python 3.6、TensorFlow 1.7、支持 CPU 或 GPU。這套組合在當(dāng)年是主流放到今天問題就來了——TensorFlow 1.7 是 2018 年的版本和現(xiàn)在的 Python 3.9/3.10、新版 CUDA 完全不兼容。如果機(jī)器上已經(jīng)裝了 TF 2.x直接拿項(xiàng)目代碼跑幾乎必翻車。CPU 版安裝命令很簡單關(guān)鍵是版本號必須鎖死conda create -n msa python3.6 conda activate msa pip install tensorflow1.7.0 pip install numpy1.19.5 scikit-learnGPU 版先確認(rèn)顯卡驅(qū)動再裝pip install tensorflow-gpu1.7.0邏輯說明TF 1.7 的 GPU 版對應(yīng) CUDA 9.0 和 cuDNN 7驅(qū)動太新反而可能跑不起來這是老框架的通病。CPU 版雖然慢但對情感分析這種幾千條樣本的小數(shù)據(jù)集完全夠用一個 epoch 幾十秒畢業(yè)設(shè)計(jì)演示不需要 GPU。裝完用下面這行驗(yàn)證環(huán)境能打印版本號就算過了python -c import tensorflow as tf; print(tf.__version__)注意確認(rèn)機(jī)器上沒有其他項(xiàng)目依賴 TF 2.x別在同一個環(huán)境里強(qiáng)行降級新建 conda 環(huán)境最省事。5.2 五個高頻踩坑記錄以下五條是這個項(xiàng)目上最常見的真實(shí)翻車現(xiàn)場按出現(xiàn)頻率排序?？右籘ensorFlow 2.x 環(huán)境直接報(bào) AttributeError現(xiàn)象運(yùn)行 run.py 報(bào) module tensorflow has no attribute placeholder或 has no attribute layers。原因機(jī)器裝的是 TF 2.xtf.placeholder、tf.layers 在 2.0 里被移除項(xiàng)目代碼按 1.x API 寫的。解決新建 conda 環(huán)境裝 Python 3.6然后 pip install tensorflow1.15.0。1.15 對 1.x 代碼兼容最好支持到更晚的 Python 3.7比 1.7 省心。如果堅(jiān)持用 2.x可以在代碼頭部加 import tensorflow.compat.v1 as tf 并調(diào)用 tf.disable_v2_behavior()但老代碼里其他 op 還會陸續(xù)報(bào)錯不建議?？佣虞d pickle 報(bào) UnicodeDecodeError現(xiàn)象pickle.load 拋 UnicodeDecodeError: ascii codec cant decode byte。原因pickle 是作者用 Python 2 序列化的Python 3 默認(rèn)按 ascii 解析字符串撞上非 ASCII 字符就炸。解決open 后加 encodinglatin1第 3 章代碼已經(jīng)寫好了。這是老多模態(tài)項(xiàng)目最經(jīng)典的兼容性坑踩的人特別多?？尤齨umpy 報(bào) module numpy has no attribute float現(xiàn)象import 階段報(bào) AttributeError: module numpy has no attribute float。原因numpy 1.24 起刪掉了 np.float、np.int 這些老別名data_prep.py 或依賴庫還在用。解決把 numpy 降到 1.19.5。兼容 Python 3.6 的 numpy 最高就到 1.19.5和 TF 1.7 正好同一代裝的時(shí)候務(wù)必鎖版本?？铀腉PU 訓(xùn)練 OOMResourceExhaustedError現(xiàn)象run.py 跑到某個 epoch 報(bào) ResourceExhaustedError: OOM when allocating tensor with shape [...]。原因三個模態(tài)特征同時(shí)進(jìn) feed_dict視頻特征每幀幾千維時(shí)一個 batch 占用的顯存會暴漲8G 以下顯存尤其明顯。解決batch_size 從 32 降到 16 或 8確認(rèn) feed_dict 里沒有把整個驗(yàn)證集一次性塞進(jìn)去再不行用編碼層把輸入先降維或者干脆跑 CPU 版?？游迥Ｐ椭粚W(xué)到多數(shù)類準(zhǔn)確率虛高現(xiàn)象訓(xùn)練準(zhǔn)確率很高比如 80%但打印每一類的召回率發(fā)現(xiàn)模型幾乎把所有樣本都判成“其他”。原因情感類別天然不均衡IEMOCAP 里 neutral 和其他類樣本多網(wǎng)絡(luò)學(xué)了個偷懶策略。解決切分?jǐn)?shù)據(jù)時(shí)用 stratifylabels給損失函數(shù)加類別權(quán)重對少數(shù)類放大梯度評估時(shí)看混淆矩陣而不是只看總準(zhǔn)確率。6. 落地?cái)U(kuò)展把四分類模型改造成自己的數(shù)據(jù)集如果你手頭有自己的數(shù)據(jù)而不是直接用項(xiàng)目自帶的 pickle步驟其實(shí)不復(fù)雜核心就是把原始數(shù)據(jù)換成和 pickle 里一樣的特征格式。特征提取按模態(tài)分開處理。文本部分量小用預(yù)訓(xùn)練詞向量平均量大用 BERT 句向量輸出維度按需裁剪語音部分用 openSMILE 提取聲學(xué)特征拿到 CSV 再轉(zhuǎn) numpy圖片/視頻部分用預(yù)訓(xùn)練 CNN 去掉分類頭把每幀過一遍網(wǎng)絡(luò)取倒數(shù)第二層輸出作為該模態(tài)特征多條視頻幀可以平均成一個向量。特征到位后用第 3 章的 split_multimodal 同步切分再直接跑 run.py。這里有一個我反復(fù)強(qiáng)調(diào)的驗(yàn)證方法先用單模態(tài)特征分別訓(xùn)練拿到三條基線再打開融合。如果某一模態(tài)特征質(zhì)量太差比如語音采集噪聲大融合后反而被它拖累這時(shí)候在 data_prep.py 里給該模態(tài)特征做歸一化或者干脆先剔除只做雙模態(tài)。進(jìn)階技巧是用項(xiàng)目自帶的 unimodal_iemocap_4way.pickle 訓(xùn)練出一個預(yù)訓(xùn)練權(quán)重再在自己的數(shù)據(jù)上微調(diào)只重新訓(xùn)練最后兩層。做法是在 run.py 里把初始化換成加載 checkpoint并限定可訓(xùn)練變量saver tf.train.Saver() with tf.Session() as sess: saver.restore(sess, ./pretrained/iemocap_4way.ckpt) # 只微調(diào)三模態(tài)層和分類層前面層凍結(jié) train_vars [v for v in tf.trainable_variables() if tri_fc in v.name or logits in v.name] train_op tf.train.AdamOptimizer(1e-4).minimize(loss, var_listtrain_vars)邏輯說明saver.restore 加載 IEMOCAP 4way 訓(xùn)練出的權(quán)重作為初始化var_list 限定只更新 tri_fc 和 logits 兩層前面的模態(tài)編碼層保持不動避免小數(shù)據(jù)量下把預(yù)訓(xùn)練表示沖掉。學(xué)習(xí)率從 1e-3 降到 1e-4微調(diào)階段步子要小。驗(yàn)證是否成功的標(biāo)準(zhǔn)很簡單項(xiàng)目自帶的 pickle 跑出來的準(zhǔn)確率與你自己數(shù)據(jù)的準(zhǔn)確率放在同一張表里融合模型高于任意單模態(tài)基線說明多模態(tài)確實(shí)在起作用這個結(jié)果寫進(jìn)論文很有說服力。說句實(shí)在話我在多模態(tài)項(xiàng)目上栽過的跟頭十有七八不在模型而在數(shù)據(jù)對齊和版本兼容。從那以后我每次拿到情感分析數(shù)據(jù)集都強(qiáng)制自己先走一遍“讀 pickle → 查維度 → 單模態(tài)基線 → 融合對比”的流程十分鐘的檢查能省掉一晚上的排錯。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取