先機(jī)制在會話推薦中的落地實(shí)踐)
1. 從一次線上推薦效果回退說起STAMP 到底解決什么問題如果你做過電商或內(nèi)容平臺的推薦系統(tǒng)大概率遇到過這種場景用戶剛點(diǎn)進(jìn)來時推薦還算準(zhǔn)但點(diǎn)了三四個商品之后推薦結(jié)果開始跑偏越推越像用戶很久以前的興趣而不是他此刻正在逛的東西。這個問題在 Session-based Recommendation基于會話的推薦里特別典型因?yàn)闀挶旧砗芏逃脩魶]有歷史畫像模型只能靠這一次點(diǎn)擊序列來猜他下一步想要什么。STAMPShort-Term Attention/Memory Priority Model就是沖著這個痛點(diǎn)來的。它的核心主張很直接用戶的興趣由兩部分組成一部分是這次會話里累積出來的整體興趣general interest另一部分是他最后一次點(diǎn)擊所代表的當(dāng)前興趣current interest。傳統(tǒng)做法用 LSTM 把整個序列編碼成一個隱狀態(tài)理論上能記住長期依賴但作者在論文里指出LSTM 對長會話的建模其實(shí)并不夠有效——序列一長早期信息被稀釋最后那個隱狀態(tài)未必能準(zhǔn)確反映用戶現(xiàn)在想要什么。STAMP 的解法是不再只依賴 LSTM 的最終隱狀態(tài)而是顯式地把會話平均表示和最后一次點(diǎn)擊表示都拿出來用一個注意力網(wǎng)絡(luò)去算每個歷史 item 對當(dāng)前興趣的貢獻(xiàn)權(quán)重再加權(quán)求和。這樣既保留了整體興趣的穩(wěn)定性又強(qiáng)化了短期興趣的優(yōu)先級。適合誰看如果你正在做推薦系統(tǒng)、想復(fù)現(xiàn)一個結(jié)構(gòu)不復(fù)雜但效果扎實(shí)的 baseline或者你已經(jīng)在用 LSTM/GRU 做序列推薦但效果卡住了這篇的配置和驗(yàn)證步驟可以直接拿去跑。我試過在公開數(shù)據(jù)集上把 STAMP 和純 LSTM 版本做對照差距在短會話上尤其明顯。下面從模型結(jié)構(gòu)、配置、訓(xùn)練到排障一步步拆開講。2. 環(huán)境與依賴準(zhǔn)備TaoToken 接入前的模型側(cè)配置在真正寫 STAMP 之前先把運(yùn)行環(huán)境和依賴?yán)砬宄?。STAMP 本身是一個相對輕量的模型核心就是 embedding 層、注意力層和 MLP 打分層不需要特別重的框架。我一般用 PyTorch 來復(fù)現(xiàn)因?yàn)樽⒁饬?quán)重的調(diào)試比較直觀。先建一個干凈的虛擬環(huán)境把依賴固定下來。這里給出一個可復(fù)制的 requirements 片段路徑按你自己的項目根目錄來# requirements.txt torch2.1.0 numpy1.24.3 pandas2.0.3 scikit-learn1.3.0 tqdm4.66.1安裝命令python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt數(shù)據(jù)集方面Session-based Recommendation 最常用的兩個公開數(shù)據(jù)集是 Diginetica 和 Yoochoose現(xiàn)在多叫 RetailRocket 的變體。它們都是會話-點(diǎn)擊序列-下一個點(diǎn)擊的格式。預(yù)處理要做的事很固定按時間戳切會話、過濾掉長度小于 2 的會話、把 item id 重映射成從 1 開始的連續(xù)整數(shù)0 留給 padding。這里有個容易踩的坑item 重映射一定要在切完訓(xùn)練/測試集之后統(tǒng)一做否則訓(xùn)練集和測試集的 id 空間對不上模型跑起來 loss 會莫名其妙地不降。我一般寫一個build_vocab函數(shù)先掃全量數(shù)據(jù)建映射表再分別處理各集合。如果你在團(tuán)隊里做協(xié)作模型代碼和配置建議放到一個統(tǒng)一的地方管理。我平時會把實(shí)驗(yàn)配置、模型權(quán)重路徑、日志目錄都寫進(jìn)一個config.yaml這樣換數(shù)據(jù)集時只改配置不改代碼。至于模型訓(xùn)練本身STAMP 對顯存要求不高單卡 8G 就能跑中等規(guī)模數(shù)據(jù)集batch size 設(shè) 128 或 256 都行。環(huán)境準(zhǔn)備好之后下一步就是真正把 STAMP 的結(jié)構(gòu)寫出來。這里要特別注意STAMP 有兩個版本一個是 STMP不帶注意力一個是 STAMP帶注意力。很多人復(fù)現(xiàn)時直接上 STAMP結(jié)果發(fā)現(xiàn)和論文對不上其實(shí)是因?yàn)闆]先跑通 STMP 做對照。建議兩個都實(shí)現(xiàn)方便驗(yàn)證注意力層到底帶來了多少提升。3. 可復(fù)制的 STAMP 模型結(jié)構(gòu)與訓(xùn)練配置這一節(jié)是核心直接給可運(yùn)行的模型定義和訓(xùn)練參數(shù)。先看 STAMP 的結(jié)構(gòu)邏輯輸入是一個會話的 item 序列經(jīng)過 embedding 層得到每個 item 的向量然后分兩路一路對序列做平均得到整體興趣表示一路取最后一個 item 的向量作為當(dāng)前興趣表示接著用注意力機(jī)制計算每個歷史 item 對當(dāng)前興趣的權(quán)重加權(quán)求和得到短期興趣表示最后把整體興趣、當(dāng)前興趣、短期興趣拼接或相加后送入 MLP輸出每個候選 item 的得分。下面是一個精簡但完整的 PyTorch 實(shí)現(xiàn)你可以直接復(fù)制到model.pyimport torch import torch.nn as nn import torch.nn.functional as F class STAMP(nn.Module): def __init__(self, num_items, embed_dim100, hidden_dim100): super(STAMP, self).__init__() self.embedding nn.Embedding(num_items 1, embed_dim, padding_idx0) self.attn_mlp nn.Sequential( nn.Linear(embed_dim * 2, hidden_dim), nn.Sigmoid() ) self.fc1 nn.Linear(embed_dim * 3, hidden_dim) self.fc2 nn.Linear(hidden_dim, embed_dim) def forward(self, seq, mask): # seq: [batch, seq_len], mask: [batch, seq_len] emb self.embedding(seq) # [B, L, D] last emb[:, -1, :] # 當(dāng)前興趣 [B, D] avg (emb * mask.unsqueeze(-1)).sum(1) / mask.sum(1, keepdimTrue) # 整體興趣 # 注意力每個歷史 item 與當(dāng)前興趣的交互 last_exp last.unsqueeze(1).expand_as(emb) # [B, L, D] attn_input torch.cat([emb, last_exp], dim-1) attn_score self.attn_mlp(attn_input).sum(-1) # [B, L] attn_score attn_score.masked_fill(mask 0, -1e9) attn_weight F.softmax(attn_score, dim-1) # [B, L] short (emb * attn_weight.unsqueeze(-1)).sum(1) # 短期興趣 [B, D] concat torch.cat([avg, last, short], dim-1) out self.fc2(F.relu(self.fc1(concat))) return out, attn_weight對應(yīng)的訓(xùn)練配置我一般寫成一個config.yaml路徑和參數(shù)都固定下來方便復(fù)現(xiàn)data: train_path: ./data/train.txt test_path: ./data/test.txt max_seq_len: 50 model: embed_dim: 100 hidden_dim: 100 train: batch_size: 256 lr: 0.001 epochs: 30 optimizer: Adam loss: CrossEntropyLoss weight_decay: 0.00001訓(xùn)練循環(huán)里有個細(xì)節(jié)要注意STAMP 的損失函數(shù)是標(biāo)準(zhǔn)的交叉熵但負(fù)樣本的構(gòu)造方式會影響效果。論文里用的是對每個正樣本隨機(jī)采樣若干負(fù)樣本的方式我實(shí)測下來如果直接用全量 item 做 softmax計算量大且收斂慢建議先用負(fù)采樣跑通再考慮全量。另外注意力權(quán)重的可視化對調(diào)試很有幫助。你可以在驗(yàn)證階段把a(bǔ)ttn_weight存下來看看模型是不是真的把高權(quán)重給了最近幾個點(diǎn)擊。如果權(quán)重分布很均勻說明注意力層沒學(xué)到東西可能是學(xué)習(xí)率太大或者 embedding 維度太小。4. 驗(yàn)證請求與成功結(jié)果離線評估怎么跑模型訓(xùn)練完之后必須做離線評估否則你不知道它到底有沒有比 baseline 好。Session-based Recommendation 最常用的指標(biāo)是 Recall20 和 MRR20這兩個指標(biāo)在論文里也是主要對比項。評估流程是這樣的對測試集里的每個會話取前 n-1 個 item 作為輸入預(yù)測第 n 個 item模型輸出所有候選 item 的得分取 top-20看真實(shí) item 是否在里面。代碼大致如下def evaluate(model, test_loader, topk20): model.eval() recall, mrr, total 0.0, 0.0, 0 with torch.no_grad(): for seq, mask, target in test_loader: scores, _ model(seq, mask) _, topk_idx torch.topk(scores, topk, dim-1) for i in range(target.size(0)): total 1 rank (topk_idx[i] target[i]).nonzero() if rank.numel() 0: recall 1 mrr 1.0 / (rank.item() 1) return recall / total, mrr / total跑通之后你會看到類似這樣的輸出Epoch 30 | Loss: 2.134 | Recall20: 0.512 | MRR20: 0.221這個數(shù)字在 Diginetica 上屬于正常范圍。如果你跑出來 Recall20 只有 0.1 左右大概率是數(shù)據(jù)預(yù)處理出了問題比如 item id 映射錯位或者 padding 沒處理好。驗(yàn)證階段還有一個實(shí)用技巧把 STAMP 和 STMP 的評估結(jié)果放在一起對比。如果 STAMP 的 Recall20 比 STMP 高 3-5 個點(diǎn)說明注意力層確實(shí)起作用了如果兩者差不多那就要檢查注意力權(quán)重是不是退化了。另外評估時要注意測試集的會話長度分布。如果大部分會話都很短比如只有 2-3 個 item那 STAMP 的優(yōu)勢可能不明顯因?yàn)槎唐谂d趣和整體興趣幾乎重合。這種情況下可以單獨(dú)統(tǒng)計長會話長度大于 10上的指標(biāo)更能看出模型差異。5. 本篇常見錯排查從 401 到注意力權(quán)重異常復(fù)現(xiàn) STAMP 的過程中報錯主要集中在幾個地方。我把自己踩過的坑列出來對照著排查會快很多。第一個常見錯誤是RuntimeError: expected scalar type Long but found Float。這通常是因?yàn)?embedding 層的輸入要求是整數(shù)類型的 item id但你在預(yù)處理時把 id 轉(zhuǎn)成了 float。解決辦法是檢查seq的數(shù)據(jù)類型確保它是torch.long。在 DataLoader 里加一句seq seq.long()就能解決。第二個是IndexError: index out of range in self。這是 embedding 的經(jīng)典問題你的 item id 最大值超過了num_items。比如你建 vocab 時統(tǒng)計的是訓(xùn)練集但測試集里出現(xiàn)了訓(xùn)練集沒有的 item。解決辦法是在預(yù)處理階段統(tǒng)一建 vocab或者給未知 item 留一個專門的 id。第三個是注意力權(quán)重全為 0 或者全相等。這通常發(fā)生在 mask 處理不當(dāng)?shù)臅r候。如果你的mask是 bool 類型masked_fill要用mask 0如果是 float 類型要確保 padding 位置確實(shí)是 0。我一般會在 forward 里打印一次attn_weight的均值和方差確認(rèn)它不是一個常數(shù)。第四個是 loss 不下降或者震蕩。除了學(xué)習(xí)率太大之外還有一個容易被忽略的原因負(fù)采樣數(shù)量太少。如果每個正樣本只采 1 個負(fù)樣本梯度噪聲會很大。建議至少采 5-10 個或者直接用全量 softmax 跑小數(shù)據(jù)集驗(yàn)證。第五個是評估指標(biāo)異常低。除了數(shù)據(jù)預(yù)處理問題還要檢查評估時是不是把 padding 也當(dāng)成了候選 item。正確的做法是在計算 top-k 時把 padding 位置的得分設(shè)為負(fù)無窮。如果你在接入外部服務(wù)做實(shí)驗(yàn)管理時遇到401 Unauthorized或local proxy failed這類報錯通常是鑒權(quán)信息沒配對。這時候可以檢查一下 API Key 是否寫進(jìn)了環(huán)境變量以及 Base URL 是否指向了正確的地址。模型側(cè)和平臺側(cè)的配置要分開排查別混在一起調(diào)。6. 語義一致的接入與后續(xù)實(shí)驗(yàn)建議把 STAMP 跑通之后下一步通常是把它接入到實(shí)際的實(shí)驗(yàn)流程里。如果你需要統(tǒng)一管理模型對話、API Key 和編碼計劃可以按下面的路徑操作模型對話調(diào)試入口https://taotoken.net/api?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteAPI Key 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite接入文檔https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite如果你打算長期做編碼和 Agent 相關(guān)的實(shí)驗(yàn)Coding Plan 入口在這里https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite控制臺地址https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite官網(wǎng)首頁https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite回到模型本身STAMP 之后可以嘗試的改進(jìn)方向有幾個一是把注意力機(jī)制換成多頭注意力看能不能捕捉更細(xì)的短期興趣二是把 item 的 side information比如類別、價格拼進(jìn) embedding緩解冷啟動三是把 STAMP 和 GRU4Rec 做 ensemble取長補(bǔ)短。這些實(shí)驗(yàn)都可以在現(xiàn)有代碼基礎(chǔ)上改不需要重寫整個框架。最后提醒一句復(fù)現(xiàn)論文模型時別急著追 SOTA先把 baseline 跑穩(wěn)。STAMP 的價值不在于它有多復(fù)雜而在于它用很輕的結(jié)構(gòu)把短期興趣優(yōu)先這個直覺落到了實(shí)處。你把 STMP 和 STAMP 的對照實(shí)驗(yàn)做扎實(shí)比盲目堆模塊有用得多。 STAMP 模型解析：短期注意力與記憶優(yōu)先機(jī)制在會話推薦中的落地實(shí)踐
1. 從一次線上推薦效果回退說起STAMP 到底解決什么問題如果你做過電商或內(nèi)容平臺的推薦系統(tǒng)大概率遇到過這種場景用戶剛點(diǎn)進(jìn)來時推薦還算準(zhǔn)但點(diǎn)了三四個商品之后推薦結(jié)果開始跑偏越推越像用戶很久以前的興趣而不是他此刻正在逛的東西。這個問題在 Session-based Recommendation基于會話的推薦里特別典型因?yàn)闀挶旧砗芏逃脩魶]有歷史畫像模型只能靠這一次點(diǎn)擊序列來猜他下一步想要什么。STAMPShort-Term Attention/Memory Priority Model就是沖著這個痛點(diǎn)來的。它的核心主張很直接用戶的興趣由兩部分組成一部分是這次會話里累積出來的整體興趣general interest另一部分是他最后一次點(diǎn)擊所代表的當(dāng)前興趣current interest。傳統(tǒng)做法用 LSTM 把整個序列編碼成一個隱狀態(tài)理論上能記住長期依賴但作者在論文里指出LSTM 對長會話的建模其實(shí)并不夠有效——序列一長早期信息被稀釋最后那個隱狀態(tài)未必能準(zhǔn)確反映用戶現(xiàn)在想要什么。STAMP 的解法是不再只依賴 LSTM 的最終隱狀態(tài)而是顯式地把會話平均表示和最后一次點(diǎn)擊表示都拿出來用一個注意力網(wǎng)絡(luò)去算每個歷史 item 對當(dāng)前興趣的貢獻(xiàn)權(quán)重再加權(quán)求和。這樣既保留了整體興趣的穩(wěn)定性又強(qiáng)化了短期興趣的優(yōu)先級。適合誰看如果你正在做推薦系統(tǒng)、想復(fù)現(xiàn)一個結(jié)構(gòu)不復(fù)雜但效果扎實(shí)的 baseline或者你已經(jīng)在用 LSTM/GRU 做序列推薦但效果卡住了這篇的配置和驗(yàn)證步驟可以直接拿去跑。我試過在公開數(shù)據(jù)集上把 STAMP 和純 LSTM 版本做對照差距在短會話上尤其明顯。下面從模型結(jié)構(gòu)、配置、訓(xùn)練到排障一步步拆開講。2. 環(huán)境與依賴準(zhǔn)備TaoToken 接入前的模型側(cè)配置在真正寫 STAMP 之前先把運(yùn)行環(huán)境和依賴?yán)砬宄?。STAMP 本身是一個相對輕量的模型核心就是 embedding 層、注意力層和 MLP 打分層不需要特別重的框架。我一般用 PyTorch 來復(fù)現(xiàn)因?yàn)樽⒁饬?quán)重的調(diào)試比較直觀。先建一個干凈的虛擬環(huán)境把依賴固定下來。這里給出一個可復(fù)制的 requirements 片段路徑按你自己的項目根目錄來# requirements.txt torch2.1.0 numpy1.24.3 pandas2.0.3 scikit-learn1.3.0 tqdm4.66.1安裝命令python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt數(shù)據(jù)集方面Session-based Recommendation 最常用的兩個公開數(shù)據(jù)集是 Diginetica 和 Yoochoose現(xiàn)在多叫 RetailRocket 的變體。它們都是會話-點(diǎn)擊序列-下一個點(diǎn)擊的格式。預(yù)處理要做的事很固定按時間戳切會話、過濾掉長度小于 2 的會話、把 item id 重映射成從 1 開始的連續(xù)整數(shù)0 留給 padding。這里有個容易踩的坑item 重映射一定要在切完訓(xùn)練/測試集之后統(tǒng)一做否則訓(xùn)練集和測試集的 id 空間對不上模型跑起來 loss 會莫名其妙地不降。我一般寫一個build_vocab函數(shù)先掃全量數(shù)據(jù)建映射表再分別處理各集合。如果你在團(tuán)隊里做協(xié)作模型代碼和配置建議放到一個統(tǒng)一的地方管理。我平時會把實(shí)驗(yàn)配置、模型權(quán)重路徑、日志目錄都寫進(jìn)一個config.yaml這樣換數(shù)據(jù)集時只改配置不改代碼。至于模型訓(xùn)練本身STAMP 對顯存要求不高單卡 8G 就能跑中等規(guī)模數(shù)據(jù)集batch size 設(shè) 128 或 256 都行。環(huán)境準(zhǔn)備好之后下一步就是真正把 STAMP 的結(jié)構(gòu)寫出來。這里要特別注意STAMP 有兩個版本一個是 STMP不帶注意力一個是 STAMP帶注意力。很多人復(fù)現(xiàn)時直接上 STAMP結(jié)果發(fā)現(xiàn)和論文對不上其實(shí)是因?yàn)闆]先跑通 STMP 做對照。建議兩個都實(shí)現(xiàn)方便驗(yàn)證注意力層到底帶來了多少提升。3. 可復(fù)制的 STAMP 模型結(jié)構(gòu)與訓(xùn)練配置這一節(jié)是核心直接給可運(yùn)行的模型定義和訓(xùn)練參數(shù)。先看 STAMP 的結(jié)構(gòu)邏輯輸入是一個會話的 item 序列經(jīng)過 embedding 層得到每個 item 的向量然后分兩路一路對序列做平均得到整體興趣表示一路取最后一個 item 的向量作為當(dāng)前興趣表示接著用注意力機(jī)制計算每個歷史 item 對當(dāng)前興趣的權(quán)重加權(quán)求和得到短期興趣表示最后把整體興趣、當(dāng)前興趣、短期興趣拼接或相加后送入 MLP輸出每個候選 item 的得分。下面是一個精簡但完整的 PyTorch 實(shí)現(xiàn)你可以直接復(fù)制到model.pyimport torch import torch.nn as nn import torch.nn.functional as F class STAMP(nn.Module): def __init__(self, num_items, embed_dim100, hidden_dim100): super(STAMP, self).__init__() self.embedding nn.Embedding(num_items 1, embed_dim, padding_idx0) self.attn_mlp nn.Sequential( nn.Linear(embed_dim * 2, hidden_dim), nn.Sigmoid() ) self.fc1 nn.Linear(embed_dim * 3, hidden_dim) self.fc2 nn.Linear(hidden_dim, embed_dim) def forward(self, seq, mask): # seq: [batch, seq_len], mask: [batch, seq_len] emb self.embedding(seq) # [B, L, D] last emb[:, -1, :] # 當(dāng)前興趣 [B, D] avg (emb * mask.unsqueeze(-1)).sum(1) / mask.sum(1, keepdimTrue) # 整體興趣 # 注意力每個歷史 item 與當(dāng)前興趣的交互 last_exp last.unsqueeze(1).expand_as(emb) # [B, L, D] attn_input torch.cat([emb, last_exp], dim-1) attn_score self.attn_mlp(attn_input).sum(-1) # [B, L] attn_score attn_score.masked_fill(mask 0, -1e9) attn_weight F.softmax(attn_score, dim-1) # [B, L] short (emb * attn_weight.unsqueeze(-1)).sum(1) # 短期興趣 [B, D] concat torch.cat([avg, last, short], dim-1) out self.fc2(F.relu(self.fc1(concat))) return out, attn_weight對應(yīng)的訓(xùn)練配置我一般寫成一個config.yaml路徑和參數(shù)都固定下來方便復(fù)現(xiàn)data: train_path: ./data/train.txt test_path: ./data/test.txt max_seq_len: 50 model: embed_dim: 100 hidden_dim: 100 train: batch_size: 256 lr: 0.001 epochs: 30 optimizer: Adam loss: CrossEntropyLoss weight_decay: 0.00001訓(xùn)練循環(huán)里有個細(xì)節(jié)要注意STAMP 的損失函數(shù)是標(biāo)準(zhǔn)的交叉熵但負(fù)樣本的構(gòu)造方式會影響效果。論文里用的是對每個正樣本隨機(jī)采樣若干負(fù)樣本的方式我實(shí)測下來如果直接用全量 item 做 softmax計算量大且收斂慢建議先用負(fù)采樣跑通再考慮全量。另外注意力權(quán)重的可視化對調(diào)試很有幫助。你可以在驗(yàn)證階段把a(bǔ)ttn_weight存下來看看模型是不是真的把高權(quán)重給了最近幾個點(diǎn)擊。如果權(quán)重分布很均勻說明注意力層沒學(xué)到東西可能是學(xué)習(xí)率太大或者 embedding 維度太小。4. 驗(yàn)證請求與成功結(jié)果離線評估怎么跑模型訓(xùn)練完之后必須做離線評估否則你不知道它到底有沒有比 baseline 好。Session-based Recommendation 最常用的指標(biāo)是 Recall20 和 MRR20這兩個指標(biāo)在論文里也是主要對比項。評估流程是這樣的對測試集里的每個會話取前 n-1 個 item 作為輸入預(yù)測第 n 個 item模型輸出所有候選 item 的得分取 top-20看真實(shí) item 是否在里面。代碼大致如下def evaluate(model, test_loader, topk20): model.eval() recall, mrr, total 0.0, 0.0, 0 with torch.no_grad(): for seq, mask, target in test_loader: scores, _ model(seq, mask) _, topk_idx torch.topk(scores, topk, dim-1) for i in range(target.size(0)): total 1 rank (topk_idx[i] target[i]).nonzero() if rank.numel() 0: recall 1 mrr 1.0 / (rank.item() 1) return recall / total, mrr / total跑通之后你會看到類似這樣的輸出Epoch 30 | Loss: 2.134 | Recall20: 0.512 | MRR20: 0.221這個數(shù)字在 Diginetica 上屬于正常范圍。如果你跑出來 Recall20 只有 0.1 左右大概率是數(shù)據(jù)預(yù)處理出了問題比如 item id 映射錯位或者 padding 沒處理好。驗(yàn)證階段還有一個實(shí)用技巧把 STAMP 和 STMP 的評估結(jié)果放在一起對比。如果 STAMP 的 Recall20 比 STMP 高 3-5 個點(diǎn)說明注意力層確實(shí)起作用了如果兩者差不多那就要檢查注意力權(quán)重是不是退化了。另外評估時要注意測試集的會話長度分布。如果大部分會話都很短比如只有 2-3 個 item那 STAMP 的優(yōu)勢可能不明顯因?yàn)槎唐谂d趣和整體興趣幾乎重合。這種情況下可以單獨(dú)統(tǒng)計長會話長度大于 10上的指標(biāo)更能看出模型差異。5. 本篇常見錯排查從 401 到注意力權(quán)重異常復(fù)現(xiàn) STAMP 的過程中報錯主要集中在幾個地方。我把自己踩過的坑列出來對照著排查會快很多。第一個常見錯誤是RuntimeError: expected scalar type Long but found Float。這通常是因?yàn)?embedding 層的輸入要求是整數(shù)類型的 item id但你在預(yù)處理時把 id 轉(zhuǎn)成了 float。解決辦法是檢查seq的數(shù)據(jù)類型確保它是torch.long。在 DataLoader 里加一句seq seq.long()就能解決。第二個是IndexError: index out of range in self。這是 embedding 的經(jīng)典問題你的 item id 最大值超過了num_items。比如你建 vocab 時統(tǒng)計的是訓(xùn)練集但測試集里出現(xiàn)了訓(xùn)練集沒有的 item。解決辦法是在預(yù)處理階段統(tǒng)一建 vocab或者給未知 item 留一個專門的 id。第三個是注意力權(quán)重全為 0 或者全相等。這通常發(fā)生在 mask 處理不當(dāng)?shù)臅r候。如果你的mask是 bool 類型masked_fill要用mask 0如果是 float 類型要確保 padding 位置確實(shí)是 0。我一般會在 forward 里打印一次attn_weight的均值和方差確認(rèn)它不是一個常數(shù)。第四個是 loss 不下降或者震蕩。除了學(xué)習(xí)率太大之外還有一個容易被忽略的原因負(fù)采樣數(shù)量太少。如果每個正樣本只采 1 個負(fù)樣本梯度噪聲會很大。建議至少采 5-10 個或者直接用全量 softmax 跑小數(shù)據(jù)集驗(yàn)證。第五個是評估指標(biāo)異常低。除了數(shù)據(jù)預(yù)處理問題還要檢查評估時是不是把 padding 也當(dāng)成了候選 item。正確的做法是在計算 top-k 時把 padding 位置的得分設(shè)為負(fù)無窮。如果你在接入外部服務(wù)做實(shí)驗(yàn)管理時遇到401 Unauthorized或local proxy failed這類報錯通常是鑒權(quán)信息沒配對。這時候可以檢查一下 API Key 是否寫進(jìn)了環(huán)境變量以及 Base URL 是否指向了正確的地址。模型側(cè)和平臺側(cè)的配置要分開排查別混在一起調(diào)。6. 語義一致的接入與后續(xù)實(shí)驗(yàn)建議把 STAMP 跑通之后下一步通常是把它接入到實(shí)際的實(shí)驗(yàn)流程里。如果你需要統(tǒng)一管理模型對話、API Key 和編碼計劃可以按下面的路徑操作模型對話調(diào)試入口https://taotoken.net/api?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteAPI Key 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite接入文檔https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite如果你打算長期做編碼和 Agent 相關(guān)的實(shí)驗(yàn)Coding Plan 入口在這里https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite控制臺地址https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite官網(wǎng)首頁https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite回到模型本身STAMP 之后可以嘗試的改進(jìn)方向有幾個一是把注意力機(jī)制換成多頭注意力看能不能捕捉更細(xì)的短期興趣二是把 item 的 side information比如類別、價格拼進(jìn) embedding緩解冷啟動三是把 STAMP 和 GRU4Rec 做 ensemble取長補(bǔ)短。這些實(shí)驗(yàn)都可以在現(xiàn)有代碼基礎(chǔ)上改不需要重寫整個框架。最后提醒一句復(fù)現(xiàn)論文模型時別急著追 SOTA先把 baseline 跑穩(wěn)。STAMP 的價值不在于它有多復(fù)雜而在于它用很輕的結(jié)構(gòu)把短期興趣優(yōu)先這個直覺落到了實(shí)處。你把 STMP 和 STAMP 的對照實(shí)驗(yàn)做扎實(shí)比盲目堆模塊有用得多。