1. 先把問題說透深度圖聚類到底卡在哪一步圖聚類這件事說到底就是把一張圖里的節(jié)點(diǎn)分成若干組使得組內(nèi)連接密集、組間連接稀疏。聽起來像個(gè)老問題譜聚類、模塊度優(yōu)化、標(biāo)簽傳播這些方法已經(jīng)跑了幾十年。但只要真拿它們?nèi)ヌ幚憩F(xiàn)實(shí)中的圖問題立刻冒出來節(jié)點(diǎn)數(shù)上百萬、特征維度幾千、圖結(jié)構(gòu)還帶噪聲傳統(tǒng)方法要么算不動(dòng)拉普拉斯矩陣的特征分解要么得手工設(shè)計(jì)相似度核稍微換個(gè)數(shù)據(jù)集就得重新調(diào)參。深度圖聚類Deep Graph ClusteringDGC就是在這種背景下被推上前臺(tái)的——用圖神經(jīng)網(wǎng)絡(luò)做編碼器把結(jié)構(gòu)和特征一起壓進(jìn)低維表示再在表示空間里做劃分。我最早接觸這個(gè)方向的時(shí)候思路還停留在GAE 重構(gòu)鄰接矩陣 KMeans的組合上跑完發(fā)現(xiàn)指標(biāo)比譜聚類好不了多少。后來才明白問題不在于編碼器不夠深而在于優(yōu)化目標(biāo)和聚類目標(biāo)根本不是一回事。重構(gòu)損失關(guān)心的是能不能把邊還原出來聚類關(guān)心的是哪些點(diǎn)該在一起兩者之間存在天然的錯(cuò)位。對(duì)比學(xué)習(xí)進(jìn)入這個(gè)領(lǐng)域恰恰是為了補(bǔ)上這個(gè)錯(cuò)位——它不依賴標(biāo)簽通過構(gòu)造正負(fù)樣本對(duì)直接約束表示空間的幾何結(jié)構(gòu)。這篇文章我會(huì)把對(duì)比學(xué)習(xí)在圖聚類里的幾種典型落法、關(guān)鍵參數(shù)怎么定、代碼怎么落地、以及實(shí)際跑下來會(huì)遇到哪些坑一次性講清楚。適合已經(jīng)了解 GNN 基礎(chǔ)、想往無監(jiān)督方向深入的同學(xué)也適合手上有一批無標(biāo)注圖數(shù)據(jù)、急需一個(gè)可落地方案的工程同學(xué)。1.1 從譜聚類到圖自編碼器深度模型為什么非上不可先說清楚深度模型進(jìn)來的理由不然很容易陷入為了深而深的誤區(qū)。傳統(tǒng)譜聚類本質(zhì)上是對(duì)圖的拉普拉斯矩陣做特征分解取前 k 個(gè)特征向量再做 KMeans。它的理論很漂亮但工程上有兩個(gè)硬傷一是特征分解的復(fù)雜度在節(jié)點(diǎn)數(shù)上是立方級(jí)的幾萬個(gè)節(jié)點(diǎn)就開始吃力二是它只用了圖的拓?fù)浣Y(jié)構(gòu)節(jié)點(diǎn)自帶的特征文本、畫像、屬性完全用不上?，F(xiàn)實(shí)場(chǎng)景里節(jié)點(diǎn)的屬性信息往往比邊更有區(qū)分度比如社交網(wǎng)絡(luò)里用戶的興趣標(biāo)簽、電商圖里商品的類目文本。圖自編碼器GAE/VGAE把這個(gè)問題解決了一半編碼器用 GCN 把特征和結(jié)構(gòu)一起編碼解碼器重構(gòu)鄰接矩陣訓(xùn)練完成后取中間層表示做聚類。這條路子在當(dāng)時(shí)確實(shí)打開了局面但它把學(xué)表示和做聚類拆成了兩個(gè)階段中間沒有任何反饋。編碼器學(xué)到的表示是最有利于還原邊的而還原邊這件事對(duì)稠密社區(qū)內(nèi)部的區(qū)分度并不敏感——一個(gè)節(jié)點(diǎn)和它鄰居的邊很容易還原但它在社區(qū)邊界上的歸屬重構(gòu)損失根本不管。更麻煩的是重構(gòu)目標(biāo)會(huì)讓表示偏向于保留局部結(jié)構(gòu)長程的社區(qū)結(jié)構(gòu)反而被稀釋掉。后來出現(xiàn)的一批方法開始嘗試聯(lián)合優(yōu)化比如在編碼器后面接一個(gè)聚類頭用 KL 散度把軟分配往目標(biāo)分布上推形成自訓(xùn)練閉環(huán)。這類思路確實(shí)把兩個(gè)階段捏到了一起但也引入了新的麻煩自訓(xùn)練依賴偽標(biāo)簽偽標(biāo)簽來自當(dāng)前聚類結(jié)果一旦早期劃分偏了后面就會(huì)一路錯(cuò)下去越訓(xùn)越自信。這就是我下面要展開的核心痛點(diǎn)。1.2 三個(gè)真痛點(diǎn)表示坍塌、偽標(biāo)簽噪聲、目標(biāo)錯(cuò)位表示坍塌是最致命也最隱蔽的一個(gè)。所謂坍塌是指編碼器輸出的表示在空間里擠成一團(tuán)所有節(jié)點(diǎn)的向量幾乎平行余弦相似度接近 1。這時(shí)候你做 KMeans它會(huì)把所有點(diǎn)分到一兩個(gè)簇里剩下的簇全是空的或者只有零星幾個(gè)點(diǎn)。指標(biāo)看上去 ACC 可能還有 30% 多因?yàn)榇蟠厍『酶采w了某個(gè)真實(shí)類別但模型實(shí)際上什么都沒學(xué)到。坍塌在純重構(gòu)目標(biāo)下不容易發(fā)生但在對(duì)比學(xué)習(xí)或者聚類自訓(xùn)練目標(biāo)下非常容易出現(xiàn)因?yàn)檫@兩類目標(biāo)都存在把所有東西映射到同一個(gè)點(diǎn)就能讓損失最小的退化解。偽標(biāo)簽噪聲是自訓(xùn)練路線的通病。軟分配矩陣?yán)锔咧眯哦鹊墓?jié)點(diǎn)通常是度數(shù)高、特征典型的節(jié)點(diǎn)低置信度的往往是邊界節(jié)點(diǎn)。自訓(xùn)練會(huì)不斷強(qiáng)化高置信度那部分邊界節(jié)點(diǎn)的歸屬被永久固化。我在一個(gè)引文網(wǎng)絡(luò)上做過統(tǒng)計(jì)訓(xùn)練到 200 輪之后置信度低于 0.4 的節(jié)點(diǎn)大概占 15%這些節(jié)點(diǎn)的劃分結(jié)果和初始化時(shí)的 KMeans 結(jié)果重合度超過 90%——也就是說后半程的訓(xùn)練對(duì)它們幾乎沒有任何修正作用。目標(biāo)錯(cuò)位則是一個(gè)結(jié)構(gòu)性矛盾。重構(gòu)損失、聚類損失、對(duì)比損失三者的梯度方向未必一致。重構(gòu)想讓鄰居表示接近聚類想讓同簇節(jié)點(diǎn)接近對(duì)比想讓正對(duì)接近負(fù)對(duì)遠(yuǎn)離。當(dāng)圖的社區(qū)結(jié)構(gòu)和局部鄰接不一致時(shí)比如存在大量跨社區(qū)的橋邊這幾個(gè)目標(biāo)就會(huì)互相拉扯表現(xiàn)出來就是損失在降但指標(biāo)在震蕩。提示判斷是否發(fā)生坍塌有個(gè)特別快的土辦法——隨機(jī)抽 200 個(gè)節(jié)點(diǎn)算兩兩余弦相似度的均值。健康情況下這個(gè)值在 0.1~0.5 之間如果超過 0.9基本可以斷定塌了。1.3 對(duì)比學(xué)習(xí)補(bǔ)的到底是哪塊板對(duì)比學(xué)習(xí)的價(jià)值用一句話概括它提供了一個(gè)不依賴標(biāo)簽、又能直接約束表示幾何結(jié)構(gòu)的自監(jiān)督信號(hào)。InfoNCE 這類損失可以拆成兩項(xiàng)看一項(xiàng)是對(duì)齊性alignment拉近正樣本對(duì)另一項(xiàng)是均勻性u(píng)niformity把表示推向超球面的均勻分布。均勻性這一項(xiàng)天生就是反坍塌的——所有點(diǎn)擠在一起均勻性損失會(huì)爆炸。更關(guān)鍵的是它不需要重構(gòu)鄰接矩陣。傳統(tǒng)的重構(gòu)目標(biāo)隱含了一個(gè)假設(shè)鄰居的表示應(yīng)該相似這個(gè)假設(shè)在異配圖heterophily上直接失效。對(duì)比學(xué)習(xí)可以通過視圖構(gòu)造繞開這個(gè)假設(shè)比如對(duì)同一張圖做兩次不同的擾動(dòng)要求兩次編碼結(jié)果一致這個(gè)約束只關(guān)心擾動(dòng)不該改變語義而不關(guān)心誰和誰相連。這個(gè)視角的轉(zhuǎn)換是深度圖聚類這幾年最大的思路變化。我在實(shí)際項(xiàng)目里的體會(huì)是對(duì)比項(xiàng)最好當(dāng)骨架用聚類項(xiàng)當(dāng)導(dǎo)向用。骨架負(fù)責(zé)把表示空間撐開、防止塌縮導(dǎo)向負(fù)責(zé)把表示往簇結(jié)構(gòu)上拉。兩者缺一不可但配比很講究后面第 3 節(jié)會(huì)詳細(xì)說。2. 四種落法對(duì)比學(xué)習(xí)和圖聚類怎么拼對(duì)比學(xué)習(xí)和圖聚類的結(jié)合方式目前主流能歸成四類。這四類不是互斥的很多方法會(huì)取兩三種混著用。我把它們的構(gòu)造邏輯、優(yōu)缺點(diǎn)和適用場(chǎng)景挨個(gè)拆開講你在選型時(shí)可以直接對(duì)號(hào)入座。2.1 視圖級(jí)對(duì)比給同一張圖照兩張影子視圖級(jí)對(duì)比是最直觀的一類思路來自圖像領(lǐng)域的 SimCLR同一張圖做兩次隨機(jī)增強(qiáng)得到兩個(gè)視圖同一個(gè)節(jié)點(diǎn)在兩個(gè)視圖里的表示構(gòu)成正對(duì)不同節(jié)點(diǎn)的表示構(gòu)成負(fù)對(duì)。圖上的增強(qiáng)手段主要有三種——邊擾動(dòng)隨機(jī)刪掉一部分邊、特征掩碼把部分特征維度置零、子圖采樣隨機(jī)采樣一個(gè)子圖。這套東西的好處是實(shí)現(xiàn)簡單、通用性強(qiáng)幾乎不用改編碼器結(jié)構(gòu)。缺點(diǎn)也很明顯增強(qiáng)的力度極難拿捏。增強(qiáng)太弱兩個(gè)視圖幾乎一樣正對(duì)太容易區(qū)分學(xué)不到東西增強(qiáng)太強(qiáng)圖的語義被破壞正對(duì)之間的一致性假設(shè)不成立了模型反而在學(xué)噪聲。我在引文網(wǎng)絡(luò)上試過邊擾動(dòng)率 0.6 的配置訓(xùn)練損失降得很漂亮但聚類 NMI 比不加對(duì)比還低——因?yàn)閳D已經(jīng)被打散成隨機(jī)圖了。另一個(gè)隱藏成本是負(fù)樣本。標(biāo)準(zhǔn) InfoNCE 要求每個(gè)正對(duì)配一批負(fù)樣本節(jié)點(diǎn)數(shù)是 N 的話相似度矩陣是 N×N幾萬個(gè)節(jié)點(diǎn)直接爆顯存。工程上一般用兩種繞法一是每個(gè) batch 內(nèi)做對(duì)比batch 內(nèi)的其他樣本當(dāng)負(fù)樣本二是對(duì)每個(gè)節(jié)點(diǎn)隨機(jī)采樣固定數(shù)量的負(fù)樣本比如 256 個(gè)。前者實(shí)現(xiàn)簡單但受 batch size 限制后者需要額外寫采樣邏輯。2.2 節(jié)點(diǎn)與原型對(duì)比把簇心直接放進(jìn)表示空間原型對(duì)比prototype contrast是我個(gè)人最偏好的做法因?yàn)樗丫垲惤Y(jié)構(gòu)直接編進(jìn)了對(duì)比目標(biāo)里。具體做法是維護(hù) k 個(gè)可學(xué)習(xí)的原型向量可以理解成簇心每個(gè)節(jié)點(diǎn)和自己所屬的原型構(gòu)成正對(duì)和其他原型構(gòu)成負(fù)對(duì)。原型本身也可以通過聚類中心的滑動(dòng)平均來更新不一定非要當(dāng)可學(xué)習(xí)參數(shù)。這么設(shè)計(jì)的好處是對(duì)比目標(biāo)和聚類目標(biāo)在語義上完全對(duì)齊了——節(jié)點(diǎn)往自己簇心靠、遠(yuǎn)離別的簇心這本身就是聚類想要的效果。它不需要構(gòu)造兩個(gè)視圖也就不存在增強(qiáng)力度難調(diào)的問題。同時(shí)負(fù)樣本數(shù)量天然等于 k-1計(jì)算量只和簇?cái)?shù)有關(guān)跟節(jié)點(diǎn)數(shù)無關(guān)擴(kuò)展性很好?？釉谟谠偷某跏蓟Ｈ绻?k 個(gè)原型初始化得太近早期所有節(jié)點(diǎn)都會(huì)被拉到同一個(gè)原型上形成事實(shí)上的坍塌。我的做法是用一次 KMeans 的結(jié)果初始化原型或者干脆從表示空間里隨機(jī)挑 k 個(gè)相距較遠(yuǎn)的節(jié)點(diǎn)當(dāng)初始原型。另外原型數(shù)量 k 如果設(shè)錯(cuò)比如真實(shí)類別是 7 類但你設(shè)了 10多出來的原型會(huì)搶走一部分節(jié)點(diǎn)指標(biāo)會(huì)掉得很難看。這一點(diǎn)目前沒有特別優(yōu)雅的無監(jiān)督解法實(shí)踐中一般靠肘部法、輪廓系數(shù)或者譜分析的特征值間隙來估。2.3 簇級(jí)對(duì)比與難負(fù)樣本讓同類靠攏、異類推開簇級(jí)對(duì)比是把對(duì)比的粒度從節(jié)點(diǎn)提升到簇。做法是先對(duì)當(dāng)前表示做一次軟聚類得到每個(gè)簇的質(zhì)心表示然后讓簇和簇之間互相排斥——同一簇內(nèi)的節(jié)點(diǎn)表示要緊湊不同簇的質(zhì)心要拉開距離。這類方法和原型對(duì)比有點(diǎn)像區(qū)別在于簇質(zhì)心是動(dòng)態(tài)算出來的不是可學(xué)習(xí)參數(shù)。難負(fù)樣本挖掘是另一個(gè)常被忽視的點(diǎn)。隨機(jī)采的負(fù)樣本里絕大多數(shù)和錨點(diǎn)節(jié)點(diǎn)的相似度都很低梯度貢獻(xiàn)接近零等于白算。真正有用的是那些看起來像但實(shí)際不同類的難負(fù)樣本。常見的挖法是先算所有候選的相似度取相似度最高的一批但排除正樣本作為負(fù)樣本。這里的風(fēng)險(xiǎn)是假負(fù)樣本——兩個(gè)節(jié)點(diǎn)視覺上很像實(shí)際上是同一類但被誤判成負(fù)對(duì)強(qiáng)行推開會(huì)破壞表示。緩解辦法是用聚類置信度做過濾只在高置信度的不同簇之間構(gòu)造負(fù)對(duì)。2.4 停梯度與無負(fù)樣本繞開大 batch 的取舍BYOL 那條路線證明了不用負(fù)樣本也能避免坍塌關(guān)鍵在于停梯度stop-gradient和非對(duì)稱結(jié)構(gòu)一個(gè)分支帶預(yù)測(cè)頭另一個(gè)分支不帶且不回傳梯度給另一分支。圖領(lǐng)域有對(duì)應(yīng)的工作把這套搬了過來用動(dòng)量編碼器更新目標(biāo)分支主分支去預(yù)測(cè)目標(biāo)分支的輸出。這種做法的最大好處是不依賴大 batch也不依賴負(fù)樣本采樣在十萬級(jí)節(jié)點(diǎn)的圖上跑起來很舒服。代價(jià)是訓(xùn)練更敏感動(dòng)量系數(shù)、預(yù)測(cè)頭結(jié)構(gòu)、學(xué)習(xí)率三者耦合很緊稍微不對(duì)就容易塌。而且它缺少均勻性約束表示的分布容易偏向某些方向。我一般會(huì)在它上面再加一個(gè)輕量的均勻性正則項(xiàng)把表示協(xié)方差矩陣往單位陣推實(shí)測(cè)能明顯改善簇的均衡度。方法類型需要負(fù)樣本計(jì)算開銷調(diào)參難度適合的圖規(guī)模視圖級(jí)對(duì)比是中到高高增強(qiáng)力度敏感中小規(guī)模節(jié)點(diǎn)-原型對(duì)比是k-1 個(gè)低中任意規(guī)模簇級(jí)對(duì)比 難負(fù)樣本是中中高中小規(guī)模停梯度無負(fù)樣本否低高大規(guī)模3. 參數(shù)怎么定增強(qiáng)力度、溫度與損失配比這一節(jié)是我認(rèn)為整篇文章最該反復(fù)看的部分。對(duì)比學(xué)習(xí)類的方法結(jié)構(gòu)和公式都是公開的真正決定結(jié)果的是那幾個(gè)標(biāo)量超參。下面每個(gè)參數(shù)我都給出取值邏輯和實(shí)測(cè)區(qū)間。3.1 圖增強(qiáng)邊擾動(dòng)和特征掩碼的取值邏輯邊擾動(dòng)率 p_e 的本質(zhì)是控制視圖之間的信息差。太低正對(duì)太簡單太高語義被破壞。取值和一個(gè)圖的平均度強(qiáng)相關(guān)平均度高的稠密圖可以承受更高的擾動(dòng)率因?yàn)閯h掉一部分邊之后局部結(jié)構(gòu)還在稀疏圖平均度 2~3就很脆弱p_e 超過 0.3 就容易把節(jié)點(diǎn)變成孤島。我的經(jīng)驗(yàn)區(qū)間圖類型平均度邊擾動(dòng)率 p_e特征掩碼率 p_f稀疏引文網(wǎng)絡(luò)2~50.1~0.20.1~0.3中等密度社交圖10~300.2~0.40.2~0.4稠密共現(xiàn)圖500.3~0.50.3~0.5特征掩碼率 p_f 的取值還要看特征維度。特征維度高、且信息冗余比如 TF-IDF 向量時(shí)掩掉 30% 也不太傷特征維度低比如只有 10 維畫像特征掩 20% 就可能把關(guān)鍵信號(hào)抹掉了。有個(gè)技巧是按特征的重要度加權(quán)掩碼用特征方差或者互信息做權(quán)重重要特征少掩、冗余特征多掩實(shí)測(cè)比均勻掩碼好 1~2 個(gè)點(diǎn)。注意邊擾動(dòng)一定要做無向化處理。刪邊的時(shí)候如果只刪一個(gè)方向剩下的單向邊會(huì)讓 GCN 的聚合結(jié)果出現(xiàn)方向性偏差這個(gè)坑我踩過一次找了兩天才定位到。3.2 溫度系數(shù) τ分母里的那把尺子溫度系數(shù) τ 出現(xiàn)在 InfoNCE 的分母里控制 softmax 的尖銳程度。公式寫出來是這樣的$$L_{i} -\log \frac{\exp(\text{sim}(z_i, z_i^{})/\tau)}{\sum_{j}\exp(\text{sim}(z_i, z_j)/\tau)}$$τ 越小分布越尖銳模型越關(guān)注那些相似度高的難負(fù)樣本梯度也越大τ 越大分布越平滑所有負(fù)樣本的權(quán)重被拉平對(duì)比信號(hào)變?nèi)?。常見取?0.2~0.5圖像領(lǐng)域 SimCLR 用的是 0.5圖領(lǐng)域因?yàn)樨?fù)樣本質(zhì)量參差很多人用 0.2~0.3。有個(gè)容易被忽視的耦合關(guān)系τ 的合理取值和 batch size 有關(guān)。batch 小的時(shí)候負(fù)樣本少需要更小的 τ 來放大有限負(fù)樣本之間的差異batch 大了負(fù)樣本多τ 可以適當(dāng)放大。我做過一組對(duì)照節(jié)點(diǎn)數(shù) 2708 的引文網(wǎng)絡(luò)batch 取全圖時(shí) τ0.5 表現(xiàn)最好如果改成 batch256 的小批量τ0.2 反而更優(yōu)。如果你不確定就從這個(gè)網(wǎng)格里搜τ ∈ {0.1, 0.2, 0.3, 0.5, 0.8}。別嫌麻煩這個(gè)參數(shù)對(duì)結(jié)果的影響經(jīng)常比網(wǎng)絡(luò)層數(shù)還大。3.3 對(duì)比項(xiàng)與聚類項(xiàng)的配比 λ聯(lián)合損失一般是這個(gè)形式$$L L_{cluster} \lambda L_{contrast}$$λ 控制兩者的相對(duì)權(quán)重。λ 太大模型只顧著撐開表示空間簇結(jié)構(gòu)反而被沖淡表現(xiàn)為簇的劃分和真實(shí)類別對(duì)不上λ 太小對(duì)比項(xiàng)起不到防坍塌的作用聚類項(xiàng)會(huì)把表示往退化方向拽。我的建議是分段式而不是固定權(quán)重。前 100~200 輪只訓(xùn)對(duì)比項(xiàng)相當(dāng)于預(yù)訓(xùn)練讓表示空間先被撐開之后把 λ 設(shè)成 0.1~1.0 的固定值聯(lián)合訓(xùn)練。這個(gè)策略比一上來就聯(lián)合訓(xùn)練效果好得多因?yàn)樵缙诰垲惤Y(jié)果本身很不可靠用不可靠的偽標(biāo)簽去引導(dǎo)表示等于給模型喂噪聲。如果你非要用固定權(quán)重那就從 λ1.0 起步觀察聚類項(xiàng)的 KL 損失和對(duì)比損失的量級(jí)讓兩者大致在同一個(gè)數(shù)量級(jí)上。數(shù)量級(jí)差太多的話小的那一項(xiàng)基本等于不存在。3.4 三道防坍塌保險(xiǎn)坍塌是對(duì)比學(xué)習(xí)圖聚類里最容易翻車的地方我一般會(huì)同時(shí)上三道保險(xiǎn)第一道是投影頭加停梯度。編碼器輸出 z再加一個(gè)兩層 MLP 投影頭得到 h對(duì)比損失算在 h 上聚類損失算在 z 上。這個(gè)設(shè)計(jì)的道理是投影頭吸收掉了對(duì)比學(xué)習(xí)為了區(qū)分樣本而引入的過度信息讓 z 保留更多和聚類相關(guān)的語義。梯度只回傳到編碼器的一部分也能抑制塌縮。第二道是均勻性正則。直接對(duì)表示矩陣算一個(gè)均勻性損失把歸一化后的表示往均勻分布上推$$L_{uni} \log \mathbb{E}_{i,j}\left[\exp(-2| \tilde{z}_i - \tilde{z}_j |^2)\right]$$這一項(xiàng)權(quán)重給很小0.01~0.1就夠了主要是兜底。第三道是聚類均衡約束。每次更新后檢查各簇的樣本數(shù)如果最大的簇占比超過 40%就把它的原型往外推一點(diǎn)或者對(duì)分配矩陣做一次 Sinkhorn 歸一化強(qiáng)制讓各簇的邊緣分布接近均勻。這一道對(duì)指標(biāo)提升最直接尤其是在類別不平衡沒那么極端的圖上。4. 從零跑通一版代碼與訓(xùn)練流程光說原理容易飄我把一套能直接跑的最小實(shí)現(xiàn)貼出來基于 PyTorch 和 PyG。這套代碼我在好幾個(gè)中等規(guī)模的圖上驗(yàn)證過節(jié)點(diǎn)數(shù)幾千到幾萬都能跑。4.1 數(shù)據(jù)與預(yù)處理先做兩件最基礎(chǔ)的事特征行歸一化、邊去重和無向化。特征歸一化不是可選項(xiàng)GCN 第一層的聚合對(duì)特征尺度非常敏感不做歸一化的話方差大的那幾維會(huì)主導(dǎo)整個(gè)表示。邊去重是因?yàn)楹芏喙_數(shù)據(jù)集的邊表里有重復(fù)邊重復(fù)邊在 GCN 里等價(jià)于給這條邊加權(quán)會(huì)扭曲聚合結(jié)果。import torch import torch.nn.functional as F from torch_geometric.utils import to_undirected, remove_self_loops def preprocess(data): x data.x.float() x F.normalize(x, p2, dim1) edge_index, _ remove_self_loops(data.edge_index) edge_index to_undirected(edge_index, num_nodesdata.num_nodes) return x, edge_index4.2 編碼器、投影頭與聚類頭編碼器用兩層 GCN 就夠了。這里我要強(qiáng)調(diào)一下層數(shù)圖聚類任務(wù)上兩層幾乎總是最優(yōu)的三層以上的表示會(huì)出現(xiàn)過平滑——節(jié)點(diǎn)表示趨同簇的邊界被抹平。我做過對(duì)照同一套對(duì)比損失兩層 GCN 的 NMI 比三層高 5~8 個(gè)點(diǎn)比四層高十幾個(gè)點(diǎn)。如果你的圖確實(shí)需要更大的感受野用 APPNP 或者帶殘差的跳連別硬堆層數(shù)。from torch_geometric.nn import GCNConv class Encoder(torch.nn.Module): def __init__(self, in_dim, hid_dim, out_dim, dropout0.5): super().__init__() self.conv1 GCNConv(in_dim, hid_dim) self.conv2 GCNConv(hid_dim, out_dim) self.dropout dropout def forward(self, x, edge_index): x self.conv1(x, edge_index) x F.relu(x) x F.dropout(x, pself.dropout, trainingself.training) x self.conv2(x, edge_index) return x class Projector(torch.nn.Module): def __init__(self, dim, hid_dim256): super().__init__() self.net torch.nn.Sequential( torch.nn.Linear(dim, hid_dim), torch.nn.ReLU(), torch.nn.Linear(hid_dim, dim) ) def forward(self, z): return F.normalize(self.net(z), dim1)聚類頭直接用軟分配不需要額外的參數(shù)矩陣簇心單獨(dú)維護(hù)def soft_assign(z, centers, alpha1.0): # Student-t 核alpha1 時(shí)即 DEC 的標(biāo)準(zhǔn)形式 dist torch.cdist(z, centers, p2) ** 2 q (1.0 dist / alpha).pow(-(alpha 1) / 2) q q / q.sum(dim1, keepdimTrue) return q def target_dist(q): weight q ** 2 / q.sum(dim0, keepdimTrue) return (weight.t() / weight.sum(dim1)).t()4.3 增強(qiáng)、對(duì)比損失與聯(lián)合目標(biāo)增強(qiáng)函數(shù)和對(duì)比損失from torch_geometric.utils import dropout_edge, mask_feature def augment(x, edge_index, p_e0.2, p_f0.2): ei, _ dropout_edge(edge_index, pp_e, force_undirectedTrue) x_aug, _ mask_feature(x, pp_f, modemultinomial) return x_aug, ei def info_nce(h1, h2, tau0.3): logits h1 h2.t() / tau labels torch.arange(h1.size(0), deviceh1.device) loss_a F.cross_entropy(logits, labels) loss_b F.cross_entropy(logits.t(), labels) return (loss_a loss_b) / 2注意這里做了雙向計(jì)算再取平均。原因是相似度矩陣本身不對(duì)稱雖然 h1h2.T 在歸一化后理論上對(duì)稱但因?yàn)樨?fù)樣本集合的視角不同兩個(gè)方向的梯度貢獻(xiàn)不一樣雙向計(jì)算能讓每個(gè)節(jié)點(diǎn)既當(dāng)一次錨點(diǎn)也當(dāng)一次負(fù)樣本實(shí)測(cè)比單向高 1~3 個(gè)點(diǎn)。節(jié)點(diǎn)數(shù)超過兩萬的時(shí)候全量相似度矩陣會(huì)吃掉大量顯存。這時(shí)候改成隨機(jī)負(fù)采樣版本def info_nce_sampled(h1, h2, tau0.3, n_neg256): h1 F.normalize(h1, dim1) h2 F.normalize(h2, dim1) n h1.size(0) idx torch.randint(0, n, (n, n_neg), deviceh1.device) neg h2[idx] # [n, n_neg, d] pos (h1 * h2).sum(dim1, keepdimTrue) / tau neg_sim torch.bmm(neg, h1.unsqueeze(2)).squeeze(2) / tau logits torch.cat([pos, neg_sim], dim1) labels torch.zeros(n, dtypetorch.long, deviceh1.device) return F.cross_entropy(logits, labels)4.4 訓(xùn)練循環(huán)與監(jiān)控指標(biāo)整體訓(xùn)練分兩段前段只跑對(duì)比后段聯(lián)合。每輪都要記錄三個(gè)數(shù)對(duì)比損失、聚類 KL 損失、以及簇大小的最大占比。第三個(gè)數(shù)是坍塌的早期預(yù)警一旦超過 0.5 就該停下來檢查。def train(model, projector, x, edge_index, k, epochs400, warmup150, lam0.5, tau0.3): opt torch.optim.Adam( list(model.parameters()) list(projector.parameters()), lr1e-3, weight_decay5e-4 ) # 用一次前向 KMeans 初始化簇心 with torch.no_grad(): z model(x, edge_index) from sklearn.cluster import KMeans km KMeans(n_clustersk, n_init20).fit(z.cpu().numpy()) centers torch.tensor(km.cluster_centers_, dtypetorch.float, devicez.device) for ep in range(epochs): model.train(); projector.train() opt.zero_grad() x1, ei1 augment(x, edge_index) x2, ei2 augment(x, edge_index) z1 model(x1, ei1) z2 model(x2, ei2) loss_c info_nce(projector(z1), projector(z2), tau) if ep warmup: q soft_assign(z1, centers) p target_dist(q) loss_k F.kl_div(q.log(), p, reductionbatchmean) loss loss_k lam * loss_c else: loss_k torch.tensor(0.0) loss loss_c loss.backward() opt.step() if ep warmup: with torch.no_grad(): q soft_assign(z1, centers) centers (q.t() z1) / q.sum(dim0, keepdimTrue).t().clamp(min1e-6) if ep % 20 0: with torch.no_grad(): q soft_assign(model(x, edge_index), centers) share q.max(dim1).values.mean().item() size_max (q.argmax(1).bincount(minlengthk).max().item() / x.size(0)) print(fep {ep} | c {loss_c:.4f} | k {loss_k:.4f} | conf {share:.3f} | maxshare {size_max:.3f}) return model, centers4.5 評(píng)測(cè)ACC、NMI、ARI 的三個(gè)對(duì)齊坑第一個(gè)坑是聚類標(biāo)簽對(duì)齊。KMeans 輸出的簇編號(hào)和真實(shí)類別的編號(hào)沒有對(duì)應(yīng)關(guān)系算 ACC 之前必須做一次最優(yōu)匹配。用匈牙利算法scipy.optimize.linear_sum_assignment在混淆矩陣上做最小代價(jià)匹配別自己寫貪心匹配貪心在類別數(shù)多的時(shí)候會(huì)明顯低估。import numpy as np from scipy.optimize import linear_sum_assignment from sklearn.metrics import confusion_matrix def cluster_acc(y_true, y_pred): cm confusion_matrix(y_true, y_pred) row, col linear_sum_assignment(-cm) return cm[row, col].sum() / cm.sum()第二個(gè)坑是 KMeans 的隨機(jī)性。同一套表示跑五次 KMeans 的 ACC 波動(dòng)可能有 2~3 個(gè)點(diǎn)。所以評(píng)測(cè)時(shí)必須跑多次取平均我一般跑 10 次并且報(bào)告標(biāo)準(zhǔn)差。只報(bào)最好那一次的結(jié)果說服力很弱。第三個(gè)坑是用標(biāo)簽調(diào)超參。這是這個(gè)領(lǐng)域里公開的秘密——不少工作嘴上說無監(jiān)督實(shí)際上拿真實(shí)標(biāo)簽反復(fù)調(diào) τ、λ、學(xué)習(xí)率。你自己做實(shí)驗(yàn)的時(shí)候一定要留出一部分標(biāo)簽完全不看只用它做最終評(píng)測(cè)。否則線上換一批數(shù)據(jù)指標(biāo)會(huì)掉得你懷疑人生。5. 排查手冊(cè)跑不出結(jié)果的七種典型情況這一節(jié)全是我自己踩過的坑按癥狀歸類你可以直接當(dāng)速查表用。5.1 損失在降聚類指標(biāo)不動(dòng)這是最常見的情況十有八九是對(duì)比項(xiàng)和聚類項(xiàng)各干各的。具體表現(xiàn)是對(duì)比損失從 5 降到 1但 NMI 一直在 0.3 附近晃。原因通常是兩者作用在不同的表示上或者 λ 設(shè)得太小讓聚類項(xiàng)的梯度被淹沒。排查順序先看聚類 KL 損失有沒有在降。如果 KL 也不降說明簇心的更新有問題檢查中心更新的分母是否用了 clamp 防止除零。如果 KL 在降但 NMI 不漲說明模型在優(yōu)化一個(gè)錯(cuò)誤的劃分——通常是初始化太差KMeans 一開始就分錯(cuò)了后面只是把這個(gè)錯(cuò)誤固化了。解法是重跑幾次不同的 KMeans 初始化取 KL 最終值最低的那次或者在 warmup 階段把對(duì)比損失權(quán)重拉滿讓表示充分撐開再聚類。5.2 所有點(diǎn)擠進(jìn)一兩個(gè)簇典型坍塌。按概率從高到低排查癥狀可能原因處理方式表示余弦相似度均值 0.9缺少反坍塌機(jī)制加投影頭 停梯度或加均勻性正則對(duì)比損失極低0.5溫度 τ 太大 / 增強(qiáng)太弱τ 降到 0.2增強(qiáng)力度調(diào)高簇心之間距離接近 0中心更新發(fā)散檢查中心更新的分母加 L2 歸一化最大簇占比 0.5類別不均衡 無均衡約束加 Sinkhorn 歸一化或簇大小正則我遇到過一次特別隱蔽的情況所有簇心在初始化時(shí)被設(shè)成了同一個(gè)值代碼里torch.zeros忘了改模型訓(xùn)了 300 輪全部塌到一個(gè)簇?fù)p失還特別好看。這個(gè)問題靠肉眼看損失根本發(fā)現(xiàn)不了必須監(jiān)控簇心之間的距離。5.3 顯存爆掉與訓(xùn)練慢節(jié)點(diǎn)數(shù)超過三萬全量相似度矩陣基本就撐不住了。三個(gè)解法按推薦順序一是改隨機(jī)負(fù)采樣把負(fù)樣本數(shù)固定到 128~256二是改小批量訓(xùn)練但要注意小批量會(huì)破壞圖的結(jié)構(gòu)完整性需要用鄰居采樣比如 GraphSAINT 那類思路來保證每個(gè) batch 里的子圖結(jié)構(gòu)合理三是用半精度訓(xùn)練torch.cuda.amp兩行代碼就能開顯存能省 40% 左右注意在計(jì)算 KL 散度時(shí)把 q 轉(zhuǎn)回 fp32否則會(huì)出現(xiàn) log(0) 的數(shù)值問題。5.4 相鄰層表示幾乎一樣過平滑。兩層以上的 GCN 在圖聚類任務(wù)上收益遞減三層開始掉點(diǎn)。判斷方法很簡單算每一層輸出表示的兩兩平均距離如果第三層的距離不到第一層的一半說明已經(jīng)在趨同了。緩解手段有殘差連接、PairNorm、或者干脆停在兩層。我個(gè)人更推薦后者簡單有效別為了架構(gòu)好看硬堆深度。5.5 換數(shù)據(jù)集就崩超參過擬合。在引文網(wǎng)絡(luò)上調(diào)到 NMI 0.6換到共現(xiàn)網(wǎng)絡(luò)上直接掉到 0.35。根本原因是不同圖的平均度、特征稀疏度、類別均衡度差異太大一套超參吃不遍。我的處理辦法是讓超參跟著圖統(tǒng)計(jì)量走比如把邊擾動(dòng)率設(shè)成0.5 / log(平均度 1)這種形式讓它在稀疏圖上自動(dòng)變小、在稠密圖上自動(dòng)變大。這個(gè)經(jīng)驗(yàn)公式?jīng)]什么理論基礎(chǔ)但在十幾個(gè)數(shù)據(jù)集上試下來比固定值靠譜得多。6. 影響范圍這套思路還能搬去哪對(duì)比學(xué)習(xí)加圖聚類表面上是學(xué)術(shù)問題但它解決的問題——無標(biāo)簽圖數(shù)據(jù)的結(jié)構(gòu)化分組——在實(shí)際場(chǎng)景里到處都是。我把見過的落地場(chǎng)景和對(duì)應(yīng)的改造要點(diǎn)列一下。6.1 場(chǎng)景清單與改造要點(diǎn)場(chǎng)景數(shù)據(jù)形態(tài)關(guān)鍵改造點(diǎn)用戶分群行為二部圖投影成用戶圖邊權(quán)重要映射成采樣概率別用二值化文本主題聚類文檔-詞共現(xiàn)圖 TF-IDF特征掩碼率調(diào)到 0.4 以上文本特征冗余度高單細(xì)胞類型劃分細(xì)胞相似度圖特征高維稀疏必須做特征降維否則前 50 維主導(dǎo)表示異常群體識(shí)別設(shè)備-行為圖對(duì)比項(xiàng)用局部子圖采樣異常點(diǎn)天然稀疏商品類目發(fā)現(xiàn)共現(xiàn)/共購圖類別數(shù)不確定需要用特征值間隙估 k用戶分群這塊我做得最多。有一個(gè)特別實(shí)際的體會(huì)真實(shí)業(yè)務(wù)圖里邊的權(quán)重幾乎都是有意義的購買次數(shù)、互動(dòng)頻率直接二值化會(huì)丟掉大量信息。把邊權(quán)歸一化成采樣概率做邊擾動(dòng)比統(tǒng)一丟 20% 的邊效果好很多。6.2 后續(xù)還能往哪擴(kuò)三個(gè)方向我覺得值得投入。異質(zhì)圖是目前最大的空白真實(shí)場(chǎng)景里節(jié)點(diǎn)類型往往不止一種現(xiàn)有的對(duì)比方法大多假設(shè)同質(zhì)圖處理異質(zhì)圖時(shí)要么先做元路徑投影會(huì)丟信息要么得重新設(shè)計(jì)視圖構(gòu)造方式。動(dòng)態(tài)圖是另一個(gè)方向社區(qū)結(jié)構(gòu)隨時(shí)間演化對(duì)比學(xué)習(xí)的正對(duì)可以從同一時(shí)刻的兩個(gè)視圖擴(kuò)展到相鄰時(shí)刻的同一節(jié)點(diǎn)這個(gè)思路已經(jīng)有工作在做了但工程落地的經(jīng)驗(yàn)還很少。大規(guī)模分布式訓(xùn)練則是純工程問題十萬級(jí)節(jié)點(diǎn)以上單機(jī)怎么調(diào)都吃力得考慮圖分區(qū)加參數(shù)服務(wù)器那套。6.3 一點(diǎn)個(gè)人體會(huì)最后說個(gè)我覺得最值錢的經(jīng)驗(yàn)。這套方法里80% 的效果來自三件事表示別塌、簇心初始化別太差、評(píng)測(cè)別作弊。網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)的具體形式、增強(qiáng)策略的精細(xì)設(shè)計(jì)加起來大概只占 20%。我見過太多人一上來就魔改損失函數(shù)加各種花哨的對(duì)比項(xiàng)結(jié)果基礎(chǔ)的三件事沒做好指標(biāo)還不如一個(gè)調(diào)好參數(shù)的 DEC。還有一個(gè)反直覺的點(diǎn)別過早引入聚類損失。warmup 階段給足讓對(duì)比學(xué)習(xí)把表示空間充分撐開簇結(jié)構(gòu)會(huì)自然浮現(xiàn)出來。急著聚類等于在噪聲上做決策。我在一個(gè)四萬節(jié)點(diǎn)的圖上把 warmup 從 100 輪加到 300 輪其他一概不動(dòng)NMI 從 0.41 漲到 0.53。這個(gè)改動(dòng)成本幾乎為零但很多人懶得等。