關(guān)于RNN、LSTM和BiLSTM網(wǎng)上教程不少但大多要么偏數(shù)學(xué)推導(dǎo)讓人望而生畏要么只給個(gè)Keras demo跑完就完事原理和實(shí)操之間始終隔著一層窗戶紙。我最初學(xué)這部分時(shí)也繞了不少?gòu)澛坊仡^再看核心其實(shí)就是三件事明白R(shí)NN為什么處理不了長(zhǎng)序列、理解LSTM的門控機(jī)制到底在解決什么問(wèn)題、搞清楚BiLSTM的雙向拼接在信息利用上有什么本質(zhì)不同。這篇文章把我自己的學(xué)習(xí)筆記整理了一遍從原理推導(dǎo)到代碼實(shí)現(xiàn)再到工程選型盡量把每個(gè)為什么都說(shuō)透適合正在啃序列模型、準(zhǔn)備做文本分類或者剛接觸到詞向量相關(guān)項(xiàng)目的讀者。1. 從全連接網(wǎng)絡(luò)到循環(huán)結(jié)構(gòu)為什么序列數(shù)據(jù)需要一套新架構(gòu)1.1 序列數(shù)據(jù)的基本特征與建模難點(diǎn)日常吃飯、購(gòu)物、聊天其實(shí)都帶著時(shí)間順序。一段語(yǔ)音、一句話、一段股價(jià)走勢(shì)甚至傳感器采集的連續(xù)信號(hào)共同點(diǎn)是樣本本身有先后順序后面出現(xiàn)的內(nèi)容和前面出現(xiàn)的內(nèi)容有依賴關(guān)系。普通的全連接網(wǎng)絡(luò)在處理這類數(shù)據(jù)時(shí)有個(gè)天然缺陷——它把每個(gè)輸入當(dāng)成了獨(dú)立的點(diǎn)上一時(shí)刻和下一時(shí)刻之間沒(méi)有任何信息傳遞的通道。舉個(gè)例子一句話里我喜歡吃蘋果和蘋果我喜歡吃用詞相同但語(yǔ)義重心完全不同順序本身就是信息。全連接網(wǎng)絡(luò)面對(duì)這種倒裝結(jié)構(gòu)如果只是把詞向量拼在一起丟進(jìn)網(wǎng)絡(luò)模型根本不知道哪個(gè)詞先出現(xiàn)、哪個(gè)詞后出現(xiàn)更別說(shuō)捕捉因?yàn)榍懊娉霈F(xiàn)了否定詞所以后面整個(gè)句子的情感要反轉(zhuǎn)這種長(zhǎng)距離依賴了。序列數(shù)據(jù)建模的核心矛盾就在這里如何在處理當(dāng)前時(shí)間步的時(shí)候同時(shí)攜帶并更新對(duì)過(guò)去內(nèi)容的記憶。1.2 RNN的核心思想?yún)?shù)共享與隱狀態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)解決這個(gè)問(wèn)題的思路非常樸素在網(wǎng)絡(luò)里加一條記憶傳送帶每個(gè)時(shí)間步在接收當(dāng)前輸入的同時(shí)也接收上一個(gè)時(shí)間步傳來(lái)的隱狀態(tài)兩者一起決定當(dāng)前的輸出和新隱狀態(tài)。用公式表示就是 h_t f(W_h * h_{t-1} W_x * x_t b)f是激活函數(shù)常見用tanh。這里最關(guān)鍵的設(shè)計(jì)是參數(shù)共享無(wú)論處理第幾個(gè)時(shí)間步W_h和W_x是同一套權(quán)重。這個(gè)思想很像人閱讀時(shí)的狀態(tài)——你讀每個(gè)詞時(shí)用的語(yǔ)言理解能力是同一套但每讀完一個(gè)詞腦子里對(duì)這句話的理解隱狀態(tài)都在更新。正因?yàn)閰?shù)共享RNN可以處理變長(zhǎng)輸入這也是它能泛化到任意長(zhǎng)度序列的根本原因。我當(dāng)時(shí)畫了一張簡(jiǎn)單的展開圖來(lái)理解把RNN按時(shí)間步展開每個(gè)時(shí)間步的網(wǎng)絡(luò)結(jié)構(gòu)完全一樣只是輸入和隱狀態(tài)不同。這種展開視角對(duì)后面理解BPTT算法特別有幫助梯度回傳就是沿著這條展開鏈一步步往前傳的而問(wèn)題恰恰就出在這條鏈太長(zhǎng)上面。2. 梯度消失與梯度爆炸RNN訓(xùn)練困難的真正根源2.1 BPTT算法梯度如何沿著時(shí)間鏈傳遞RNN的訓(xùn)練算法叫BPTTBackpropagation Through Time本質(zhì)就是把網(wǎng)絡(luò)按時(shí)間步展開成深層網(wǎng)絡(luò)然后做反向傳播。展開后的深度等于序列長(zhǎng)度一個(gè)50個(gè)詞的句子展開后就是一個(gè)50層的網(wǎng)絡(luò)。用三層全連接做個(gè)類比假設(shè)一個(gè)網(wǎng)絡(luò)的層間權(quán)重是2兩層間的梯度會(huì)放大2倍如果是0.5梯度就縮小一半。RNN沿著時(shí)間鏈條傳梯度時(shí)每一步都要乘一遍共享權(quán)重矩陣W_h。連續(xù)乘50次如果W_h的譜半徑小于1梯度指數(shù)級(jí)縮小前面時(shí)間步的參數(shù)幾乎得不到有效更新如果譜半徑大于1梯度又可能指數(shù)級(jí)膨脹訓(xùn)練直接發(fā)散。一句話概括RNN離輸入越近的時(shí)間步越學(xué)不到東西。2.2 梯度消失如何摧毀長(zhǎng)程記憶梯度消失最直觀的后果是網(wǎng)絡(luò)記憶力非常短。它能記住幾秒前的內(nèi)容但更早的信息幾乎被遺忘了。在一個(gè)情感分類任務(wù)里如果開心和難過(guò)之間隔著二十幾個(gè)詞普通RNN學(xué)到的是只依賴最后幾個(gè)詞做判斷前面的關(guān)鍵信息早就被梯度的指數(shù)衰減給抹平了。這就是常說(shuō)的長(zhǎng)期依賴問(wèn)題——RNN的結(jié)構(gòu)決定了它天然偏科短期記憶還行長(zhǎng)期記憶約等于沒(méi)有。2.3 工程上的補(bǔ)救措施梯度裁剪與參數(shù)初始化對(duì)于梯度爆炸工程上有個(gè)簡(jiǎn)單粗暴的招——梯度裁剪計(jì)算完梯度后如果梯度的范數(shù)超過(guò)某個(gè)閾值就整體按比例縮放回去。這就像安全帶平時(shí)不覺得有用一旦梯度異常膨脹它能防止訓(xùn)練徹底失控。我通常在PyTorch里設(shè)定max_grad_norm為1.0到5.0之間很多時(shí)候可以避免loss變成NaN。梯度消失就麻煩不少。最初的方法包括換激活函數(shù)比如用ReLU替代tanh以減少梯度衰減、精心的權(quán)重初始化比如將W_h初始化為正交矩陣或恒等矩陣附近、加殘差連接。這些方法有些效果但治標(biāo)不治本RNN仍然難以穩(wěn)定學(xué)習(xí)十步以上的依賴。真正帶來(lái)結(jié)構(gòu)性質(zhì)變的是LSTM。3. LSTM的門控機(jī)制給記憶裝上一套可學(xué)習(xí)的讀寫控制系統(tǒng)3.1 細(xì)胞狀態(tài)一條跨越時(shí)間步的高速通道LSTM的核心構(gòu)件是細(xì)胞狀態(tài)C_t它像一條貫穿整個(gè)序列的高速公路。這條高速路上信息的流動(dòng)受三個(gè)門控制遺忘門、輸入門、輸出門。和RNN的隱狀態(tài)在每個(gè)時(shí)間步都被完全覆蓋不同細(xì)胞狀態(tài)允許信息在時(shí)間步間以接近線性的方式傳遞——這正是緩解梯度消失的關(guān)鍵結(jié)構(gòu)設(shè)計(jì)。為什么接近線性傳遞能緩解梯度消失反傳梯度時(shí)如果每一步都能有一個(gè)近似于乘以1的通路梯度就不會(huì)被指數(shù)級(jí)壓縮。LSTM的細(xì)胞狀態(tài)更新公式里包含了加性操作C_t f_t ⊙ C_{t-1} i_t ⊙ ?_t誤差信號(hào)可以通過(guò)這條加性路徑跨過(guò)很遠(yuǎn)的時(shí)間步傳回去不會(huì)像RNN那樣每一步都被tanh的導(dǎo)數(shù)最大值只有1反復(fù)壓縮。3.2 三個(gè)門的職責(zé)分工遺忘門決定保留多少舊記憶 f_t σ(W_f * [h_{t-1}, x_t] b_f)輸入門決定寫入多少候選新內(nèi)容 i_t σ(W_i * [h_{t-1}, x_t] b_i)候選細(xì)胞狀態(tài)則用tanh生成 ?_t tanh(W_c * [h_{t-1}, x_t] b_c)輸出門決定當(dāng)前隱狀態(tài)展示哪些信息 o_t σ(W_o * [h_{t-1}, x_t] b_o)h_t o_t ⊙ tanh(C_t)用生活化的比喻遺忘門像是你讀書時(shí)決定哪些舊筆記可以扔掉輸入門決定新看到的句子哪些值得寫進(jìn)筆記輸出門決定寫完筆記后以什么表情展示給別人看。這個(gè)過(guò)程不是人工設(shè)定規(guī)則而是通過(guò)訓(xùn)練數(shù)據(jù)自動(dòng)學(xué)出來(lái)的——模型自己找到哪些歷史信息該記、哪些該忘的邊界。很多人在初學(xué)時(shí)容易忽略一點(diǎn)門的輸出是0到1之間的連續(xù)值而不是非0即1的開關(guān)。這意味著記憶的保留和寫入是軟控制的——大部分時(shí)候遺忘門輸出接近0.9或0.7并不會(huì)完全清空歷史信息。這種平滑的軟控制讓整個(gè)網(wǎng)絡(luò)保持可微梯度才能正常反向傳播。3.3 LSTM變體與簡(jiǎn)化思路LSTM在實(shí)踐中還有幾個(gè)常見變體。peephole連接讓門控能看到細(xì)胞狀態(tài)本身相當(dāng)于決策時(shí)不只參考當(dāng)前輸入和隱狀態(tài)還能看自己記了些什么GRU則把遺忘門和輸入門合并成更新門細(xì)胞狀態(tài)和隱狀態(tài)合并成一個(gè)狀態(tài)參數(shù)更少在不少任務(wù)上和LSTM效果持平訓(xùn)練速度還更快。如果項(xiàng)目對(duì)推理延遲敏感GRU通常是個(gè)值得優(yōu)先嘗試的選項(xiàng)。不過(guò)需要潑一盆冷水LSTM并沒(méi)有徹底解決梯度消失。它的加性通路讓梯度傳得遠(yuǎn)但如果遺忘門長(zhǎng)期輸出接近0舊信息依然會(huì)被切斷。實(shí)踐中如果任務(wù)需要建模幾百甚至上千步的依賴LSTM仍然會(huì)吃力這時(shí)候就要考慮Transformer那套注意力機(jī)制了。4. BiLSTM的雙向信息融合序列編碼為什么需要兩個(gè)方向的視角4.1 單向LSTM的信息盲區(qū)只能看見左邊看不見右邊單向LSTM有個(gè)先天特點(diǎn)它從左往右掃描序列更新到第t個(gè)詞時(shí)隱狀態(tài)里只包含了1到t的信息對(duì)于第t個(gè)詞右邊的詞它是完全看不見的。這個(gè)特點(diǎn)在某些場(chǎng)景下不是問(wèn)題——比如語(yǔ)言模型預(yù)測(cè)下一個(gè)詞時(shí)本來(lái)就不應(yīng)該依賴未來(lái)信息但在很多自然語(yǔ)言理解任務(wù)里未來(lái)信息恰恰是理解當(dāng)前詞的關(guān)鍵。舉個(gè)典型例子判斷他打了一個(gè)人和他打了一個(gè)電話中的打含義完全不同。如果不看右邊的人或電話單靠左邊的他和打模型無(wú)法區(qū)分。人在閱讀時(shí)其實(shí)是整句掃描的不會(huì)只看某個(gè)詞左邊的內(nèi)容。單向LSTM在這里有明顯的結(jié)構(gòu)劣勢(shì)。4.2 前向與后向的兩次掃描BiLSTM的思路很簡(jiǎn)單跑兩個(gè)獨(dú)立的LSTM一個(gè)從左往右一個(gè)從右往左。前向LSTM的隱狀態(tài)記為→h_t它編碼了左邊上下文后向LSTM的隱狀態(tài)記為←h_t它編碼了右邊上下文。每個(gè)位置最終的輸出是把兩個(gè)方向的結(jié)果拼接或相加。拼接是最常見的做法 h_t [→h_t; ←h_t]維度變?yōu)樵瓉?lái)的兩倍。如果前向和后向都是hidden_dim128拼接后每步輸出維度就是256。某些輕量實(shí)現(xiàn)也會(huì)用相加但信息利用效率理論上不如拼接——畢竟兩個(gè)方向可能攜帶互補(bǔ)信息拼接保留了完整特征讓后續(xù)層自己決定如何組合。這里有個(gè)容易踩的坑后向LSTM并不是倒著預(yù)測(cè)它不會(huì)輸出未來(lái)詞是什么而是在完整已知序列的前提下從右向左編碼每個(gè)詞在右邊上下文中扮演的角色。這兩個(gè)方向在處理整個(gè)序列時(shí)同時(shí)工作結(jié)果對(duì)齊到每個(gè)時(shí)間步。4.3 雙向編碼在多層堆疊時(shí)的注意點(diǎn)真正把BiLSTM做到能打的工程里通常會(huì)堆疊兩層甚至三層。第一層BiLSTM輸出的隱狀態(tài)序列作為第二層BiLSTM的輸入這樣可以逐層抽象出更復(fù)雜的語(yǔ)言特征。但堆疊時(shí)要注意時(shí)序?qū)R——每一層的每個(gè)時(shí)間步對(duì)應(yīng)同一個(gè)詞位置padding部分的計(jì)算和mask都必須妥善處理否則噪聲會(huì)順著層結(jié)構(gòu)向上傳播。我見過(guò)不少人把雙向的輸出維度算錯(cuò)導(dǎo)致全連接層輸入維度對(duì)不上。這里給個(gè)經(jīng)驗(yàn)公式BiLSTM每個(gè)時(shí)間步輸出的特征維度 2 × hidden_size。如果后面接全局池化序列長(zhǎng)度維會(huì)被壓縮掉最終入全連接層的維度還是2 × hidden_size這個(gè)一定要在模型代碼里print出來(lái)核對(duì)一遍別只靠心算。5. 從零搭建一個(gè)BiLSTM文本分類模型實(shí)操中的關(guān)鍵步驟與坑5.1 數(shù)據(jù)預(yù)處理填充、mask與詞表的正確姿勢(shì)實(shí)操環(huán)節(jié)我用一個(gè)模擬的中文情感分類Demo來(lái)演示。原始數(shù)據(jù)是一批已分詞的句子每條標(biāo)注正負(fù)情感。預(yù)處理時(shí)首先要構(gòu)建詞表給每個(gè)詞分配一個(gè)索引然后設(shè)定最大序列長(zhǎng)度比如max_len100。短的句子在末尾補(bǔ)0長(zhǎng)的句子截?cái)?。填充方向有個(gè)細(xì)節(jié)后向LSTM從右往左掃描如果padding都加在右邊后向LSTM會(huì)在padding上浪費(fèi)不少計(jì)算量而且可能把無(wú)效信息編碼進(jìn)狀態(tài)。大多數(shù)框架默認(rèn)左填充在序列開頭pad這樣左側(cè)的填充只會(huì)影響前向LSTM的前幾步后向LSTM實(shí)際是從真實(shí)結(jié)尾開始處理同時(shí)要構(gòu)造attention mask或padding mask讓池化和損失計(jì)算時(shí)忽略填充位。我在代碼里習(xí)慣先定義一個(gè)mask矩陣形狀和輸出序列一致填充位置置0有效位置置1后面池化時(shí)用mask乘一下避免padding吞掉真實(shí)語(yǔ)義。5.2 模型結(jié)構(gòu)embedding層、雙向LSTM層與池化模型結(jié)構(gòu)大致是這樣Embedding層詞表大小×embedding_dim把每個(gè)詞映射成稠密向量。BiLSTM層hidden_size設(shè)為128兩個(gè)方向獨(dú)立計(jì)算輸出拼接成256維。池化層對(duì)每個(gè)時(shí)間步的輸出做mean-pooling或max-pooling得到一個(gè)256維的句向量。mean-pooling保留整體語(yǔ)義傾向max-pooling更能捕捉最強(qiáng)烈信號(hào)在情感分類里我更常用max-pooling效果通常略好。全連接層激活256維映射到2類過(guò)softmax得到概率分布。這里有個(gè)我踩過(guò)很多次的坑整個(gè)項(xiàng)目里最容易出問(wèn)題的地方不是模型結(jié)構(gòu)而是詞表索引和padding索引的沖突。如果詞表里0被占用成真實(shí)詞padding又用0模型會(huì)把pad當(dāng)成一個(gè)真實(shí)詞來(lái)學(xué)序列長(zhǎng)度不同時(shí)行為還不一致效果經(jīng)常莫名其妙地差。我現(xiàn)在的習(xí)慣是詞表索引從1開始0專門留給padding或者建詞表時(shí)把pad_token顯式放進(jìn)去并加入訓(xùn)練。這個(gè)小細(xì)節(jié)一旦處理好模型穩(wěn)定性會(huì)上一個(gè)臺(tái)階。5.3 訓(xùn)練策略學(xué)習(xí)率、梯度裁剪與early stopping的取舍訓(xùn)練時(shí)我一般先用Adam初始學(xué)習(xí)率1e-3。BiLSTM相比Transformer沒(méi)那么嬌氣但對(duì)學(xué)習(xí)率仍然敏感。訓(xùn)練日志要同時(shí)打印loss和accuracy我習(xí)慣每?jī)蓚€(gè)epoch后評(píng)估一次驗(yàn)證集如果loss連續(xù)兩三個(gè)epoch不下降就把學(xué)習(xí)率乘0.5。梯度裁剪對(duì)RNN系模型是標(biāo)配max_grad_norm設(shè)在1.0左右比較穩(wěn)妥。早停策略也要配合我通常設(shè)置patience5驗(yàn)證集指標(biāo)連續(xù)5個(gè)epoch沒(méi)有提升就停止。這兩個(gè)技巧組合使用能避免很多訓(xùn)練到一半loss突然起飛或過(guò)擬合到訓(xùn)練集但驗(yàn)證集紋絲不動(dòng)的情況。另外要提醒一句BiLSTM不適合在很短的序列上硬上。如果序列長(zhǎng)度平均不到10雙向結(jié)構(gòu)帶來(lái)的收益非常有限反而增加過(guò)擬合風(fēng)險(xiǎn)此時(shí)普通LSTM甚至邏輯回歸都可能表現(xiàn)更好。判斷一個(gè)任務(wù)適不適合用BiLSTM先問(wèn)自己這個(gè)任務(wù)是否同時(shí)需要左右兩側(cè)的上下文信息。如果答案是肯定的再上不遲。6. 三種模型橫向?qū)Ρ瓤赐昴憔椭廊蝿?wù)來(lái)了該選誰(shuí)6.1 性能、參數(shù)與訓(xùn)練效率的直觀對(duì)照表我把RNN、LSTM、BiLSTM放在一張表里對(duì)比方便快速建立直覺模型長(zhǎng)程依賴建模雙向上下文參數(shù)量級(jí)訓(xùn)練難度主要適用場(chǎng)景RNN弱不支持除非拼接兩個(gè)單向RNN小梯度問(wèn)題顯著訓(xùn)練不穩(wěn)定短序列、簡(jiǎn)單序列回歸/生成教學(xué)演示LSTM強(qiáng)不支持信息只來(lái)自左側(cè)中較穩(wěn)定需配合梯度裁剪時(shí)間序列預(yù)測(cè)、語(yǔ)言模型、需要單向順序建模的任務(wù)BiLSTM強(qiáng)支持中大規(guī)模約為L(zhǎng)STM兩倍較穩(wěn)定訓(xùn)練時(shí)間約2倍文本分類、命名實(shí)體識(shí)別、序列標(biāo)注等NLP任務(wù)還有一個(gè)容易被忽略的維度序列生成任務(wù)不能用BiLSTM因?yàn)樯蛇^(guò)程是逐步解碼的未來(lái)內(nèi)容本來(lái)就不可知。BiLSTM只能用于整個(gè)序列已知的理解類任務(wù)。這個(gè)邊界很多人一開始沒(méi)注意等到了做生成模型時(shí)才發(fā)現(xiàn)雙向結(jié)構(gòu)根本沒(méi)法直接用來(lái)生成。6.2 選型判斷依據(jù)從數(shù)據(jù)規(guī)模到任務(wù)邊界從數(shù)據(jù)規(guī)模和任務(wù)復(fù)雜度來(lái)看我的經(jīng)驗(yàn)是數(shù)據(jù)量只有幾百條時(shí)普通RNN或簡(jiǎn)單LSTM可能比BiLSTM更合適——模型復(fù)雜度低不容易過(guò)擬合數(shù)據(jù)量達(dá)到萬(wàn)級(jí)且任務(wù)需要雙向語(yǔ)義時(shí)BiLSTM的收益最明顯。從任務(wù)邊界來(lái)看如果是情感分類這類整句語(yǔ)義判斷的任務(wù)BiLSTM幾乎是默認(rèn)選擇如果是逐詞詞性標(biāo)注BiLSTM配合CRF層是經(jīng)典組合。從訓(xùn)練收斂速度來(lái)看BiLSTM因?yàn)橛袃蓚€(gè)方向訓(xùn)練時(shí)間大約是單向LSTM的兩倍。在工業(yè)界做在線推理時(shí)兩倍延遲有時(shí)候就是能不能上線的分水嶺。我實(shí)際做過(guò)對(duì)比在某個(gè)實(shí)體識(shí)別項(xiàng)目中BiLSTM比單向LSTM準(zhǔn)確率高3到5個(gè)百分點(diǎn)但推理耗時(shí)也翻了倍最終是在準(zhǔn)確率和性能之間取了平衡才定的方案。6.3 我在實(shí)際項(xiàng)目中總結(jié)的幾條經(jīng)驗(yàn)第一不要盲目堆層數(shù)。BiLSTM堆疊兩層通常已經(jīng)足夠第三層以后收益很微弱訓(xùn)練開銷卻明顯上漲。第二一定要做padding mask。我之前在某個(gè)項(xiàng)目里偷懶沒(méi)傳mask結(jié)果模型學(xué)習(xí)了大量無(wú)效位置的特征驗(yàn)證集指標(biāo)怎么也上不去排查了幾天才發(fā)現(xiàn)是這個(gè)小問(wèn)題。第三詞向量的處理方式比網(wǎng)絡(luò)結(jié)構(gòu)更影響最終效果。在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練好詞向量再微調(diào)通常比隨機(jī)初始化Embedding從頭訓(xùn)練效果更穩(wěn)但如果數(shù)據(jù)規(guī)模小隨機(jī)初始化加上足夠的正則化也不至于差到哪里去。第四把BiLSTM輸出的向量可視化一下會(huì)有意想不到的發(fā)現(xiàn)。我常用t-SNE把句向量投影到二維平面同一類別的樣本會(huì)自動(dòng)聚成一團(tuán)不同類別的邊界清晰。這能幫你快速判斷模型有沒(méi)有學(xué)到有效語(yǔ)義而不是只看accuary這一個(gè)數(shù)字。有一次我做完可視化后發(fā)現(xiàn)某個(gè)類別的樣本分成兩簇——排查后發(fā)現(xiàn)是數(shù)據(jù)標(biāo)注噪音問(wèn)題這比模型本身的問(wèn)題更值得先解決。寫在最后的實(shí)操心得學(xué)RNN系模型最忌諱的就是只看公式不上手。我建議你找個(gè)1000條的小型分類數(shù)據(jù)集分別用RNN、LSTM、BiLSTM跑一遍記錄loss曲線和驗(yàn)證集指標(biāo)。這個(gè)對(duì)照實(shí)驗(yàn)比看十篇教程都有用你能直觀地看到RNN的loss如何震蕩下不去LSTM如何穩(wěn)定收斂BiLSTM如何多花一倍的訓(xùn)練時(shí)間換回幾個(gè)百分點(diǎn)的準(zhǔn)確率。我自己當(dāng)年跑完這個(gè)實(shí)驗(yàn)后對(duì)這三種模型的理解才真正扎了根。一個(gè)小技巧收尾訓(xùn)練時(shí)記錄每個(gè)epoch的損失值畫一條曲線觀察它是平穩(wěn)下降還是突然跳動(dòng)。如果突然跳動(dòng)大概率是學(xué)習(xí)率太大或梯度裁剪閾值沒(méi)設(shè)好如果loss下降很慢考慮是不是詞表里有太多低頻詞干擾了Embedding的學(xué)習(xí)。序列模型的調(diào)試往往就是這些看似瑣碎的細(xì)節(jié)積累出來(lái)的把這些細(xì)節(jié)記錄成自己的檢查清單以后再遇到類似任務(wù)會(huì)順手很多。