)
第一次認(rèn)真琢磨 hindsight 這個詞不是因為心理學(xué)教材而是在調(diào)試一個機械臂抓取仿真環(huán)境。機械臂抓了幾萬次都沒碰到目標(biāo)球獎勵曲線像條死魚一樣躺平。直到我把 HERHindsight Experience Replay跑起來曲線才終于有了抬頭的意思。那一刻我突然覺得hindsight 這個詞很有意思——它既是人類認(rèn)知里一個出了名的坑又是強化學(xué)習(xí)里一門精妙的算法。同一個詞一端是我早就知道會這樣的自我欺騙另一端卻是從失敗里重新定義目標(biāo)的高效學(xué)習(xí)。這篇文章就順著這兩條線展開先講大腦里的 hindsight 是怎么坑人的再拆開 HER 算法的技術(shù)內(nèi)核最后落回一套日常真正用得上的復(fù)盤方法論。無論你是做算法的、帶項目的還是單純想讓自己別那么事后諸葛亮都能從里面拿走點東西。1. hindsight的雙重身份認(rèn)知里的坑算法里的藥1.1 后見之明偏差大腦的事后修正機制有個著名的實驗值得先說。心理學(xué)家Fischhoff在1975年給被試呈現(xiàn)了幾段歷史事件請他們先預(yù)測概率然后告知真實結(jié)果再請他們回憶自己最初預(yù)測的概率。結(jié)果發(fā)現(xiàn)被告知結(jié)果之后被試會不自覺地把自己當(dāng)初的預(yù)測拉高覺得自己早就押中了。哪怕實驗設(shè)計完全防止了作弊這種記憶扭曲依然穩(wěn)定出現(xiàn)。這就是后見之明偏差hindsight bias的標(biāo)準(zhǔn)定義事情發(fā)生后人們傾向于認(rèn)為結(jié)果本來就很顯然并在記憶里美化自己當(dāng)初的判斷。這個偏差之所以普遍是因為大腦本身不是一個忠實記錄器而是一個意義制造機。事件一旦發(fā)生你的認(rèn)知系統(tǒng)就忙著把結(jié)果解釋成順理成章的敘事于是原有的不確定性被覆蓋記憶里的中間狀態(tài)也被改寫。用大白話說大腦為了讓世界顯得可預(yù)測會在事后偷偷幫你修圖把不確定的過去修成確定的故事。對個人來說這能帶來一點心理安慰——至少我不是傻子事情果然會那樣。但對決策質(zhì)量來說這是一種慢性毒藥。它會直接毀掉復(fù)盤的價值。最常見的場景是項目復(fù)盤會如果結(jié)果不好大家盯著結(jié)果反推很容易得出方案一開始就該放棄這個風(fēng)險早就該預(yù)判到的結(jié)論。每個人回憶當(dāng)初的判斷時都覺得自己已經(jīng)預(yù)警過了?？雌饋頃h開得挺熱鬧但其實沒有任何增量信息沉淀下來因為所有人都在用結(jié)果倒推決策而不是還原當(dāng)時的決策情景。1.2 HER算法讓機器從失敗里事后找目標(biāo)把視角切到強化學(xué)習(xí)。機器人抓取、導(dǎo)航、推箱子這類任務(wù)里最折磨人的不是模型容量不夠而是稀疏獎勵。環(huán)境只在成功那一瞬間給一個1其余所有步驟都是0。沒有密集獎勵策略梯度幾乎學(xué)不到東西智能體就像在黑暗里亂撞的盲人永遠(yuǎn)不知道往哪個方向走能靠近獎勵。HER就是針對這個問題的著名解法由OpenAI團(tuán)隊在2017年提出Andrychowicz et al., 2017核心思想只有一句話當(dāng)智能體沒達(dá)成目標(biāo)時不要只把這次失敗當(dāng)作失敗而是把最終到達(dá)的狀態(tài)重新設(shè)為一個虛擬目標(biāo)讓這條經(jīng)驗變成有正獎勵的成功經(jīng)驗重新學(xué)一遍。舉個例子機械臂原本的目標(biāo)是把積木推到位置A結(jié)果它把積木推到了位置B。普通經(jīng)驗回放里這條軌跡因為沒碰到A而全是零獎勵信息量很低。HER會主動生成一批新經(jīng)驗把目標(biāo)改成B那么積木到達(dá)B這一瞬間就變成命中目標(biāo)獎勵變成正數(shù)整條軌跡瞬間擁有了學(xué)習(xí)信號。一條失敗的軌跡被你重新解讀成一條成功軌跡。這不就是人類事后想明白的機器版本嗎只不過人類的后見之明經(jīng)常失真而算法里的后見之明是顯式、可控、可復(fù)現(xiàn)的。2. HER算法技術(shù)拆解如何把稀疏獎勵變成密集信號2.1 稀疏獎勵到底難在哪先說清楚問題根源。強化學(xué)習(xí)的核心是讓智能體最大化累積獎勵但獎勵信號如果大部分時間都是0智能體就沒法判斷動作A比動作B好在哪里。在Q-learning這類基于值函數(shù)的方法里目標(biāo)值是reward gamma * max Q(s,a)如果reward恒為0誤差信號幾乎全部來自Q函數(shù)自身學(xué)習(xí)效率極低。策略梯度類方法更慘動作的權(quán)重完全由獎勵驅(qū)動零獎勵的軌跡對梯度貢獻(xiàn)趨近于零。更麻煩的是探索。假設(shè)一個動作序列需要連續(xù)走對20步才能碰到獎勵那么在隨機策略下碰到獎勵的概率就是每一步成功概率的乘積指數(shù)級衰減。你讓智能體隨便亂試試到天荒地老也很難撞上一次正獎勵。沒有正獎勵就沒有學(xué)習(xí)信號沒有學(xué)習(xí)信號就繼續(xù)瞎試——這形成了一個死循環(huán)。我當(dāng)年第一次跑這個場景時耐心被消磨殆盡訓(xùn)練了十來萬步成功率紋絲不動甚至偶爾出現(xiàn)一次成功Q值泛化到相鄰狀態(tài)之后又迅速崩掉。后來我才明白稀疏獎勵環(huán)境下單純加大訓(xùn)練步數(shù)沒用你需要的不是更多數(shù)據(jù)而是更聰明的數(shù)據(jù)標(biāo)注方式。HER走的就是第二條路。2.2 目標(biāo)重定義核心思路與訓(xùn)練流程HER全稱里的Hindsight就是后見之明——既然事后已經(jīng)知道最終狀態(tài)干脆把目標(biāo)改成最終狀態(tài)讓經(jīng)驗重新?lián)碛幸饬x。這個思路之所以成立依賴一個前提你的任務(wù)必須是目標(biāo)條件化的。也就是說策略輸入里必須包含目標(biāo)g環(huán)境的狀態(tài)轉(zhuǎn)移和獎勵計算都能針對某個g給出明確判定。公式化一點policy: (obs, goal) - action獎勵函數(shù)r 1 if achieve(obs_next, goal) else 0。訓(xùn)練流程按這個順序走用當(dāng)前策略采樣一整條episode記錄每一步的(s, a, r, s_next, done, g)。在這條episode基礎(chǔ)上為每若干步生成一個新的事后目標(biāo)g采樣策略見下一節(jié)。用g重新計算每一步的獎勵r。因為g通常取自最終狀態(tài)或未來狀態(tài)至少有一瞬間能達(dá)到r1。把原始經(jīng)驗與事后經(jīng)驗按一定比例混入經(jīng)驗回放池。從回放池采樣訓(xùn)練更新。關(guān)鍵點是第四步的比例。我見很多初學(xué)者直接把事后經(jīng)驗無腦灌進(jìn)去結(jié)果原始目標(biāo)幾乎被淹沒策略變成只會朝最終狀態(tài)走的貪心鬼。實踐中我習(xí)慣按1:1保留原始經(jīng)驗最多1:2加事后經(jīng)驗寧可少一點也保證目標(biāo)分布不偏。這個比例算是一個經(jīng)驗常數(shù)不寫在論文里但非常影響穩(wěn)定性。2.3 目標(biāo)采樣策略的4種選型final、episode、future、random怎么選論文里比較了從同一episode里生成事后目標(biāo)的幾種策略這個細(xì)節(jié)很多人略過但它直接決定了HER有多強。final只取episode的最終狀態(tài)作為事后目標(biāo)。最簡單適合單峰值任務(wù)但損失了軌跡中段的信息。episode從episode的任意狀態(tài)里隨機抽一個作為目標(biāo)。覆蓋面大但可能選到和當(dāng)前狀態(tài)太遠(yuǎn)的目標(biāo)產(chǎn)生噪聲。future只從當(dāng)前時刻之后的狀態(tài)里抽目標(biāo)。這是論文里效果最好的策略原因在于它在時間上順勢而為選的目標(biāo)很可能是后續(xù)真實到達(dá)的狀態(tài)而不是跳回過去某個早已不可能到達(dá)的狀態(tài)。random從整個回放池里隨機抽一個狀態(tài)當(dāng)目標(biāo)。最發(fā)散一般不直接用只用來做對比基線。實際操作里我沒見過誰用random做主力future是最穩(wěn)的選擇。這里還有個工程小細(xì)節(jié)生成事后目標(biāo)時不是每步都生成而是隔幾步生成幾個就夠。因為一條軌跡里連續(xù)的狀態(tài)高度相關(guān)全量生成除了占內(nèi)存沒有額外增益。我一般對每條episode均勻抽3到5個目標(biāo)再批量重算獎勵比逐狀態(tài)生成快很多訓(xùn)練效果沒有明顯下降。2.4 落地細(xì)節(jié)偽代碼、超參與顯式目標(biāo)判定給一個最小可讀的偽代碼基于Python思路幫你把主線串起來def rollout(env, policy, goal): episode [] obs, _ env.reset(goalgoal) for _ in range(max_steps): action policy.act(obs, goal) nxt, reward, done, _ env.step(action) episode.append((obs, action, reward, nxt, done, goal)) obs nxt if done: break return episode def relabel(episode, strategyfuture): extra [] states [e[0] for e in episode] for i, (obs, action, reward, nxt, done, g) in enumerate(episode): if strategy future: idx random.randint(i, len(episode) - 1) g2 states[idx] else: g2 states[-1] # final 為例 r2 1.0 if achieve(nxt, g2) else 0.0 extra.append((obs, action, r2, nxt, done, g2)) return extra這個偽代碼省略了批量化的效率優(yōu)化但足以表達(dá)HER的靈魂一條episode進(jìn)來產(chǎn)出一份原始經(jīng)驗加一份事后經(jīng)驗共同進(jìn)入回放池。超參數(shù)方面值得記幾個坑。第一網(wǎng)絡(luò)要對goal和obs做同樣的歸一化否則目標(biāo)維度數(shù)值范圍差距大的話Q網(wǎng)絡(luò)很容易被帶偏。第二事后目標(biāo)的獎勵計算必須和環(huán)境的achievement判定嚴(yán)格一致否則網(wǎng)絡(luò)會學(xué)到矛盾信號。第三HER適合配合off-policy算法使用比如DQN、DDPG、SAC因為它依賴經(jīng)驗回放對PPO這類on-policy算法要套HER得先改造成帶回放池的變體復(fù)雜度直接上一個臺階不建議新手直接上。還有適用邊界HER解決的是目標(biāo)明確但獎勵稀疏的問題如果任務(wù)本身沒有可定義的目標(biāo)或者目標(biāo)空間和狀態(tài)空間混在一起無法區(qū)分想用HER就得先重寫環(huán)境接口。另外對于極端稀疏且隨機性極大的任務(wù)HER能緩解但未必根治必要時還是得疊加其他探索策略。3. 正確的事后審視一套能直接抄的復(fù)盤方法3.1 為什么復(fù)盤經(jīng)常變成事后諸葛亮大會回到人類場景。幾乎每家公司都在做復(fù)盤但真正能沉淀經(jīng)驗的團(tuán)隊少之又少。原因在于復(fù)盤這個動作天然會激活大腦的hindsight bias結(jié)果已經(jīng)知道了所有人的記憶都會向結(jié)果靠攏最后發(fā)言的人往往最像預(yù)言家。一旦會議室里充滿了我早就覺得有問題的聲音復(fù)盤就死掉了。我參加過很多次這樣的會議觀察到一個規(guī)律越是在結(jié)果出來之前沒有做過書面預(yù)測的人在結(jié)果出來之后越容易宣稱自己早有預(yù)感。反過來真正記錄了決策理由的人反而更容易承認(rèn)當(dāng)初的不確定性。所以預(yù)防復(fù)盤變味的第一道防線不是開會時強調(diào)大家要客觀而是在行動之前留下預(yù)測和理由的可追溯記錄。沒有事前記錄所有事后反思都建立在記憶沙地上你只是在給自己編故事。那些流傳很廣的復(fù)盤方法論本質(zhì)都是提供結(jié)構(gòu)化的追問框架。結(jié)構(gòu)化的目的就是用流程約束對抗認(rèn)知偏差。別以為這多玄乎一句話給大腦裝上軌道它才不亂跑。3.2 項目復(fù)盤四步法目標(biāo)、結(jié)果、根因、規(guī)則我用的復(fù)盤框架很簡單因為框架復(fù)雜了沒人用。四個步驟四組問題。第一步回顧目標(biāo)。當(dāng)初到底要達(dá)成什么目標(biāo)是誰定的怎么定的有沒有量化口徑很多團(tuán)隊復(fù)盤到一半才發(fā)現(xiàn)目標(biāo)本身是模糊的這時候成功/失敗根本沒有討論基礎(chǔ)。第二步陳述結(jié)果。用數(shù)據(jù)說話實際做到什么程度和目標(biāo)的差距是多少注意這一步先不討論原因只陳述事實防止有人在結(jié)果描述里就開始選擇性記憶。第三步分析根因。這是最吃功夫的一步。我要求每個人先寫出當(dāng)時的決策依據(jù)再看結(jié)果把視角切回決策時刻用事前信息事前邏輯去推演而不是拿最終結(jié)果倒推。根因一般分三類信息缺失、分析錯誤、執(zhí)行偏差。先分好類再討論改進(jìn)避免混成一團(tuán)。第四步提煉規(guī)則。輸出必須是可操作的東西下次遇到類似情境我們應(yīng)該查什么、問誰、用什么指標(biāo)提前報警。如果復(fù)盤結(jié)論只是一句以后要更努力等于沒復(fù)盤。每一步的時間配比也有講究。我見過太多團(tuán)隊把80%時間花在第二和第三步的爭論上唯獨不寫結(jié)論。我的習(xí)慣是目標(biāo)10%、結(jié)果20%、根因50%、規(guī)則20%規(guī)則部分哪怕只寫三條也比喧鬧一小時的深刻反思有價值。3.3 一頁紙復(fù)盤模板現(xiàn)場就能用的工具把四步法做成模板可以拿來就填。不用寫長文每格三五行就夠了。步驟問題輸出回顧目標(biāo)當(dāng)初目標(biāo)是什么量化口徑是什么手寫陳述結(jié)果實際結(jié)果是什么偏差多少手寫根因分析決策時有條件拿到什么信息決策邏輯成立嗎信息缺失/分析錯誤/執(zhí)行偏差提煉規(guī)則下次遇到同類情境先做什么找誰報警指標(biāo)是三條以內(nèi)的行動清單這張表最大的作用是強制分開寫?，F(xiàn)實里大多數(shù)人會把目標(biāo)、結(jié)果和理由混在一個長敘述里混合敘述會讓偏差溜進(jìn)來——你現(xiàn)在知道結(jié)果所以敘述里不自覺地把失敗目標(biāo)說得更含糊把成功結(jié)果說得更必然。分開填寫每個格子只處理一類內(nèi)容偏差就沒了藏身處。我自己的項目日志也沿用這個模板每周五下午花半小時填一遍。填了半年之后最大的變化是很多當(dāng)初拍腦袋的決策在事后看確實幼稚但因為是白紙黑字記錄的你不會因為當(dāng)時忘了為什么而丟經(jīng)驗也不會因為結(jié)果不好就顛倒評價當(dāng)初的判斷。4. 常見的回顧陷阱與排查技巧實錄4.1 五個踩坑現(xiàn)場復(fù)盤跑偏的典型姿勢整理幾個我見過的典型翻車現(xiàn)場附帶一點排查建議?？右粡?fù)盤會開成甩鍋會。表現(xiàn)是全程在找誰的責(zé)任而不是找什么原因?qū)е?。推進(jìn)會一直指向個人最終解釋全部落到態(tài)度問題上沒人討論系統(tǒng)設(shè)計、流程和信息傳遞的缺陷。解法立一個規(guī)矩禁止在結(jié)果陳述環(huán)節(jié)使用是因為某人才失敗的句式改成是什么機制允許了失敗發(fā)生?？佣脭?shù)據(jù)但只看最終數(shù)字。比如只盯上線后轉(zhuǎn)化率下降30%卻不看中間過程的漏斗和分群數(shù)據(jù)。這時候復(fù)盤往往得出方案不行這種粗糙結(jié)論掩蓋了真正的救命信息。排查思路把結(jié)果拆成決策質(zhì)量執(zhí)行質(zhì)量運氣三因子再逐項找證據(jù)?？尤粡?fù)盤失敗不復(fù)盤成功。成功的項目不做復(fù)盤等于把運氣當(dāng)實力。下次換了個環(huán)境立刻翻車。解法成功復(fù)盤更要注意哪些因素是客觀可控的哪些只是偶然運氣好別把市場紅利當(dāng)自己能力?？铀膹?fù)盤的結(jié)論沒有落到下一次。滿篇感慨卻無行動下一次依然踩同樣的坑。解法每次復(fù)盤必須產(chǎn)出三條以內(nèi)可執(zhí)行動作并指定負(fù)責(zé)人和截止日期不然不開會。坑五單次復(fù)盤太輕率。一兩件事就下一個規(guī)律性結(jié)論樣本量不足的時候容易過度擬合。比如一次客戶流失就得出產(chǎn)品定位有問題其實可能只是價格頁文案寫歪了。解法區(qū)分單點教訓(xùn)和模式規(guī)律單點教訓(xùn)記入事項清單模式規(guī)律才值得改造流程。4.2 后見之明 vs 經(jīng)驗沉淀如何區(qū)分真學(xué)習(xí)和假自信判斷一段事后總結(jié)到底是有效學(xué)習(xí)還是hindsight bias我有三個自檢問題。第一這條結(jié)論在事前能否被合理推導(dǎo)出來如果必須依賴事后才知道的信息才能得出那它就不是經(jīng)驗是馬后炮。比如早知道當(dāng)時該多囤一點庫存這種話在事前信息下根本無法驗證。第二這條結(jié)論有沒有具體的可觀測信號以后要注意風(fēng)險沒有用以后供應(yīng)商合同必須寫明交付延遲賠償條款才有用因為它可以檢查。第三這條結(jié)論是降低了不確定性還是增加了確定性有效學(xué)習(xí)應(yīng)該讓你理解什么時候該相信什么、什么時候不該相信什么而不是讓你覺得世界變得更確定。我用這三個問題過濾所有復(fù)盤輸出答不上來的結(jié)論一律不放進(jìn)行動清單。這比任何流程約束都有效因為它的底層是統(tǒng)計思維單個結(jié)果不能證明決策質(zhì)量決策質(zhì)量要看它在不確定條件下的期望收益。一個項目失敗不一定決策錯一個項目成功也不一定決策對。把結(jié)果和決策分開評價這個世界瞬間清晰很多。4.3 兩個心態(tài)開關(guān)結(jié)果歸因時的自我保護(hù)機制復(fù)盤不只是技術(shù)活更是心理活。如果心態(tài)沒擺正再好的模板都會被情緒帶歪。我經(jīng)驗里最關(guān)鍵的兩個心態(tài)開關(guān)如下。第一個開關(guān)分開決策質(zhì)量和結(jié)果質(zhì)量。人的本能是看結(jié)果評價決策但這是典型的勝者偏差。你需要刻意練習(xí)在得到結(jié)果之前做的決策用當(dāng)時的期望值來評價結(jié)果只是樣本罷了。哪怕結(jié)果是壞的只要決策邏輯在期望上是對的也值得肯定反之一個導(dǎo)致好結(jié)果的爛決策恰恰是未來最大的風(fēng)險隱患。這個開關(guān)一旦打開你和團(tuán)隊就不容易被運氣帶偏。第二個開關(guān)不以我早就說過為目標(biāo)。復(fù)盤的目標(biāo)是改進(jìn)下一輪而不是證明自己聰明。在團(tuán)隊里一旦有人以我早就說過開局其他成員就會防御性沉默信息鏈路就斷了。我自己的做法是復(fù)盤歸因時多用系統(tǒng)流程信息為主語少用他我你做人稱主語。語言會悄悄決定思維方向。這兩個開關(guān)配合前面的模板使用才能真正形成閉環(huán)事前留痕、事中監(jiān)測、事后歸因、回傳流程。這本質(zhì)上已經(jīng)是一個小型的組織學(xué)習(xí)系統(tǒng)了。我自己的感受是hindsight這個詞的奇妙之處在于它在人類身上是一種天然失真在算法里卻成了一種刻意設(shè)計。做強化學(xué)習(xí)讓我養(yǎng)成一個習(xí)慣——先給失敗的軌跡重新標(biāo)注目標(biāo)再問這條軌跡里到底有什么可學(xué)的而不是直接扔進(jìn)回收站。后來我把這個習(xí)慣遷移到工作和生活里項目沒做好我不急著批評自己先回到做決策的那個當(dāng)下看看當(dāng)時手里的牌到底是什么再把如果重來會怎么做寫成一句可操作的備忘。幾年下來這個習(xí)慣幫我省掉大量內(nèi)耗也讓每一次失敗變得更值錢。如果你也想擺脫事后諸葛亮的自我欺騙真正從過往里擠出經(jīng)驗不妨就從今晚寫一頁紙復(fù)盤開始別等下一次摔跤。 后見之明偏差與HER算法：從失敗中重新定義目標(biāo)
第一次認(rèn)真琢磨 hindsight 這個詞不是因為心理學(xué)教材而是在調(diào)試一個機械臂抓取仿真環(huán)境。機械臂抓了幾萬次都沒碰到目標(biāo)球獎勵曲線像條死魚一樣躺平。直到我把 HERHindsight Experience Replay跑起來曲線才終于有了抬頭的意思。那一刻我突然覺得hindsight 這個詞很有意思——它既是人類認(rèn)知里一個出了名的坑又是強化學(xué)習(xí)里一門精妙的算法。同一個詞一端是我早就知道會這樣的自我欺騙另一端卻是從失敗里重新定義目標(biāo)的高效學(xué)習(xí)。這篇文章就順著這兩條線展開先講大腦里的 hindsight 是怎么坑人的再拆開 HER 算法的技術(shù)內(nèi)核最后落回一套日常真正用得上的復(fù)盤方法論。無論你是做算法的、帶項目的還是單純想讓自己別那么事后諸葛亮都能從里面拿走點東西。1. hindsight的雙重身份認(rèn)知里的坑算法里的藥1.1 后見之明偏差大腦的事后修正機制有個著名的實驗值得先說。心理學(xué)家Fischhoff在1975年給被試呈現(xiàn)了幾段歷史事件請他們先預(yù)測概率然后告知真實結(jié)果再請他們回憶自己最初預(yù)測的概率。結(jié)果發(fā)現(xiàn)被告知結(jié)果之后被試會不自覺地把自己當(dāng)初的預(yù)測拉高覺得自己早就押中了。哪怕實驗設(shè)計完全防止了作弊這種記憶扭曲依然穩(wěn)定出現(xiàn)。這就是后見之明偏差hindsight bias的標(biāo)準(zhǔn)定義事情發(fā)生后人們傾向于認(rèn)為結(jié)果本來就很顯然并在記憶里美化自己當(dāng)初的判斷。這個偏差之所以普遍是因為大腦本身不是一個忠實記錄器而是一個意義制造機。事件一旦發(fā)生你的認(rèn)知系統(tǒng)就忙著把結(jié)果解釋成順理成章的敘事于是原有的不確定性被覆蓋記憶里的中間狀態(tài)也被改寫。用大白話說大腦為了讓世界顯得可預(yù)測會在事后偷偷幫你修圖把不確定的過去修成確定的故事。對個人來說這能帶來一點心理安慰——至少我不是傻子事情果然會那樣。但對決策質(zhì)量來說這是一種慢性毒藥。它會直接毀掉復(fù)盤的價值。最常見的場景是項目復(fù)盤會如果結(jié)果不好大家盯著結(jié)果反推很容易得出方案一開始就該放棄這個風(fēng)險早就該預(yù)判到的結(jié)論。每個人回憶當(dāng)初的判斷時都覺得自己已經(jīng)預(yù)警過了?？雌饋頃h開得挺熱鬧但其實沒有任何增量信息沉淀下來因為所有人都在用結(jié)果倒推決策而不是還原當(dāng)時的決策情景。1.2 HER算法讓機器從失敗里事后找目標(biāo)把視角切到強化學(xué)習(xí)。機器人抓取、導(dǎo)航、推箱子這類任務(wù)里最折磨人的不是模型容量不夠而是稀疏獎勵。環(huán)境只在成功那一瞬間給一個1其余所有步驟都是0。沒有密集獎勵策略梯度幾乎學(xué)不到東西智能體就像在黑暗里亂撞的盲人永遠(yuǎn)不知道往哪個方向走能靠近獎勵。HER就是針對這個問題的著名解法由OpenAI團(tuán)隊在2017年提出Andrychowicz et al., 2017核心思想只有一句話當(dāng)智能體沒達(dá)成目標(biāo)時不要只把這次失敗當(dāng)作失敗而是把最終到達(dá)的狀態(tài)重新設(shè)為一個虛擬目標(biāo)讓這條經(jīng)驗變成有正獎勵的成功經(jīng)驗重新學(xué)一遍。舉個例子機械臂原本的目標(biāo)是把積木推到位置A結(jié)果它把積木推到了位置B。普通經(jīng)驗回放里這條軌跡因為沒碰到A而全是零獎勵信息量很低。HER會主動生成一批新經(jīng)驗把目標(biāo)改成B那么積木到達(dá)B這一瞬間就變成命中目標(biāo)獎勵變成正數(shù)整條軌跡瞬間擁有了學(xué)習(xí)信號。一條失敗的軌跡被你重新解讀成一條成功軌跡。這不就是人類事后想明白的機器版本嗎只不過人類的后見之明經(jīng)常失真而算法里的后見之明是顯式、可控、可復(fù)現(xiàn)的。2. HER算法技術(shù)拆解如何把稀疏獎勵變成密集信號2.1 稀疏獎勵到底難在哪先說清楚問題根源。強化學(xué)習(xí)的核心是讓智能體最大化累積獎勵但獎勵信號如果大部分時間都是0智能體就沒法判斷動作A比動作B好在哪里。在Q-learning這類基于值函數(shù)的方法里目標(biāo)值是reward gamma * max Q(s,a)如果reward恒為0誤差信號幾乎全部來自Q函數(shù)自身學(xué)習(xí)效率極低。策略梯度類方法更慘動作的權(quán)重完全由獎勵驅(qū)動零獎勵的軌跡對梯度貢獻(xiàn)趨近于零。更麻煩的是探索。假設(shè)一個動作序列需要連續(xù)走對20步才能碰到獎勵那么在隨機策略下碰到獎勵的概率就是每一步成功概率的乘積指數(shù)級衰減。你讓智能體隨便亂試試到天荒地老也很難撞上一次正獎勵。沒有正獎勵就沒有學(xué)習(xí)信號沒有學(xué)習(xí)信號就繼續(xù)瞎試——這形成了一個死循環(huán)。我當(dāng)年第一次跑這個場景時耐心被消磨殆盡訓(xùn)練了十來萬步成功率紋絲不動甚至偶爾出現(xiàn)一次成功Q值泛化到相鄰狀態(tài)之后又迅速崩掉。后來我才明白稀疏獎勵環(huán)境下單純加大訓(xùn)練步數(shù)沒用你需要的不是更多數(shù)據(jù)而是更聰明的數(shù)據(jù)標(biāo)注方式。HER走的就是第二條路。2.2 目標(biāo)重定義核心思路與訓(xùn)練流程HER全稱里的Hindsight就是后見之明——既然事后已經(jīng)知道最終狀態(tài)干脆把目標(biāo)改成最終狀態(tài)讓經(jīng)驗重新?lián)碛幸饬x。這個思路之所以成立依賴一個前提你的任務(wù)必須是目標(biāo)條件化的。也就是說策略輸入里必須包含目標(biāo)g環(huán)境的狀態(tài)轉(zhuǎn)移和獎勵計算都能針對某個g給出明確判定。公式化一點policy: (obs, goal) - action獎勵函數(shù)r 1 if achieve(obs_next, goal) else 0。訓(xùn)練流程按這個順序走用當(dāng)前策略采樣一整條episode記錄每一步的(s, a, r, s_next, done, g)。在這條episode基礎(chǔ)上為每若干步生成一個新的事后目標(biāo)g采樣策略見下一節(jié)。用g重新計算每一步的獎勵r。因為g通常取自最終狀態(tài)或未來狀態(tài)至少有一瞬間能達(dá)到r1。把原始經(jīng)驗與事后經(jīng)驗按一定比例混入經(jīng)驗回放池。從回放池采樣訓(xùn)練更新。關(guān)鍵點是第四步的比例。我見很多初學(xué)者直接把事后經(jīng)驗無腦灌進(jìn)去結(jié)果原始目標(biāo)幾乎被淹沒策略變成只會朝最終狀態(tài)走的貪心鬼。實踐中我習(xí)慣按1:1保留原始經(jīng)驗最多1:2加事后經(jīng)驗寧可少一點也保證目標(biāo)分布不偏。這個比例算是一個經(jīng)驗常數(shù)不寫在論文里但非常影響穩(wěn)定性。2.3 目標(biāo)采樣策略的4種選型final、episode、future、random怎么選論文里比較了從同一episode里生成事后目標(biāo)的幾種策略這個細(xì)節(jié)很多人略過但它直接決定了HER有多強。final只取episode的最終狀態(tài)作為事后目標(biāo)。最簡單適合單峰值任務(wù)但損失了軌跡中段的信息。episode從episode的任意狀態(tài)里隨機抽一個作為目標(biāo)。覆蓋面大但可能選到和當(dāng)前狀態(tài)太遠(yuǎn)的目標(biāo)產(chǎn)生噪聲。future只從當(dāng)前時刻之后的狀態(tài)里抽目標(biāo)。這是論文里效果最好的策略原因在于它在時間上順勢而為選的目標(biāo)很可能是后續(xù)真實到達(dá)的狀態(tài)而不是跳回過去某個早已不可能到達(dá)的狀態(tài)。random從整個回放池里隨機抽一個狀態(tài)當(dāng)目標(biāo)。最發(fā)散一般不直接用只用來做對比基線。實際操作里我沒見過誰用random做主力future是最穩(wěn)的選擇。這里還有個工程小細(xì)節(jié)生成事后目標(biāo)時不是每步都生成而是隔幾步生成幾個就夠。因為一條軌跡里連續(xù)的狀態(tài)高度相關(guān)全量生成除了占內(nèi)存沒有額外增益。我一般對每條episode均勻抽3到5個目標(biāo)再批量重算獎勵比逐狀態(tài)生成快很多訓(xùn)練效果沒有明顯下降。2.4 落地細(xì)節(jié)偽代碼、超參與顯式目標(biāo)判定給一個最小可讀的偽代碼基于Python思路幫你把主線串起來def rollout(env, policy, goal): episode [] obs, _ env.reset(goalgoal) for _ in range(max_steps): action policy.act(obs, goal) nxt, reward, done, _ env.step(action) episode.append((obs, action, reward, nxt, done, goal)) obs nxt if done: break return episode def relabel(episode, strategyfuture): extra [] states [e[0] for e in episode] for i, (obs, action, reward, nxt, done, g) in enumerate(episode): if strategy future: idx random.randint(i, len(episode) - 1) g2 states[idx] else: g2 states[-1] # final 為例 r2 1.0 if achieve(nxt, g2) else 0.0 extra.append((obs, action, r2, nxt, done, g2)) return extra這個偽代碼省略了批量化的效率優(yōu)化但足以表達(dá)HER的靈魂一條episode進(jìn)來產(chǎn)出一份原始經(jīng)驗加一份事后經(jīng)驗共同進(jìn)入回放池。超參數(shù)方面值得記幾個坑。第一網(wǎng)絡(luò)要對goal和obs做同樣的歸一化否則目標(biāo)維度數(shù)值范圍差距大的話Q網(wǎng)絡(luò)很容易被帶偏。第二事后目標(biāo)的獎勵計算必須和環(huán)境的achievement判定嚴(yán)格一致否則網(wǎng)絡(luò)會學(xué)到矛盾信號。第三HER適合配合off-policy算法使用比如DQN、DDPG、SAC因為它依賴經(jīng)驗回放對PPO這類on-policy算法要套HER得先改造成帶回放池的變體復(fù)雜度直接上一個臺階不建議新手直接上。還有適用邊界HER解決的是目標(biāo)明確但獎勵稀疏的問題如果任務(wù)本身沒有可定義的目標(biāo)或者目標(biāo)空間和狀態(tài)空間混在一起無法區(qū)分想用HER就得先重寫環(huán)境接口。另外對于極端稀疏且隨機性極大的任務(wù)HER能緩解但未必根治必要時還是得疊加其他探索策略。3. 正確的事后審視一套能直接抄的復(fù)盤方法3.1 為什么復(fù)盤經(jīng)常變成事后諸葛亮大會回到人類場景。幾乎每家公司都在做復(fù)盤但真正能沉淀經(jīng)驗的團(tuán)隊少之又少。原因在于復(fù)盤這個動作天然會激活大腦的hindsight bias結(jié)果已經(jīng)知道了所有人的記憶都會向結(jié)果靠攏最后發(fā)言的人往往最像預(yù)言家。一旦會議室里充滿了我早就覺得有問題的聲音復(fù)盤就死掉了。我參加過很多次這樣的會議觀察到一個規(guī)律越是在結(jié)果出來之前沒有做過書面預(yù)測的人在結(jié)果出來之后越容易宣稱自己早有預(yù)感。反過來真正記錄了決策理由的人反而更容易承認(rèn)當(dāng)初的不確定性。所以預(yù)防復(fù)盤變味的第一道防線不是開會時強調(diào)大家要客觀而是在行動之前留下預(yù)測和理由的可追溯記錄。沒有事前記錄所有事后反思都建立在記憶沙地上你只是在給自己編故事。那些流傳很廣的復(fù)盤方法論本質(zhì)都是提供結(jié)構(gòu)化的追問框架。結(jié)構(gòu)化的目的就是用流程約束對抗認(rèn)知偏差。別以為這多玄乎一句話給大腦裝上軌道它才不亂跑。3.2 項目復(fù)盤四步法目標(biāo)、結(jié)果、根因、規(guī)則我用的復(fù)盤框架很簡單因為框架復(fù)雜了沒人用。四個步驟四組問題。第一步回顧目標(biāo)。當(dāng)初到底要達(dá)成什么目標(biāo)是誰定的怎么定的有沒有量化口徑很多團(tuán)隊復(fù)盤到一半才發(fā)現(xiàn)目標(biāo)本身是模糊的這時候成功/失敗根本沒有討論基礎(chǔ)。第二步陳述結(jié)果。用數(shù)據(jù)說話實際做到什么程度和目標(biāo)的差距是多少注意這一步先不討論原因只陳述事實防止有人在結(jié)果描述里就開始選擇性記憶。第三步分析根因。這是最吃功夫的一步。我要求每個人先寫出當(dāng)時的決策依據(jù)再看結(jié)果把視角切回決策時刻用事前信息事前邏輯去推演而不是拿最終結(jié)果倒推。根因一般分三類信息缺失、分析錯誤、執(zhí)行偏差。先分好類再討論改進(jìn)避免混成一團(tuán)。第四步提煉規(guī)則。輸出必須是可操作的東西下次遇到類似情境我們應(yīng)該查什么、問誰、用什么指標(biāo)提前報警。如果復(fù)盤結(jié)論只是一句以后要更努力等于沒復(fù)盤。每一步的時間配比也有講究。我見過太多團(tuán)隊把80%時間花在第二和第三步的爭論上唯獨不寫結(jié)論。我的習(xí)慣是目標(biāo)10%、結(jié)果20%、根因50%、規(guī)則20%規(guī)則部分哪怕只寫三條也比喧鬧一小時的深刻反思有價值。3.3 一頁紙復(fù)盤模板現(xiàn)場就能用的工具把四步法做成模板可以拿來就填。不用寫長文每格三五行就夠了。步驟問題輸出回顧目標(biāo)當(dāng)初目標(biāo)是什么量化口徑是什么手寫陳述結(jié)果實際結(jié)果是什么偏差多少手寫根因分析決策時有條件拿到什么信息決策邏輯成立嗎信息缺失/分析錯誤/執(zhí)行偏差提煉規(guī)則下次遇到同類情境先做什么找誰報警指標(biāo)是三條以內(nèi)的行動清單這張表最大的作用是強制分開寫?，F(xiàn)實里大多數(shù)人會把目標(biāo)、結(jié)果和理由混在一個長敘述里混合敘述會讓偏差溜進(jìn)來——你現(xiàn)在知道結(jié)果所以敘述里不自覺地把失敗目標(biāo)說得更含糊把成功結(jié)果說得更必然。分開填寫每個格子只處理一類內(nèi)容偏差就沒了藏身處。我自己的項目日志也沿用這個模板每周五下午花半小時填一遍。填了半年之后最大的變化是很多當(dāng)初拍腦袋的決策在事后看確實幼稚但因為是白紙黑字記錄的你不會因為當(dāng)時忘了為什么而丟經(jīng)驗也不會因為結(jié)果不好就顛倒評價當(dāng)初的判斷。4. 常見的回顧陷阱與排查技巧實錄4.1 五個踩坑現(xiàn)場復(fù)盤跑偏的典型姿勢整理幾個我見過的典型翻車現(xiàn)場附帶一點排查建議?？右粡?fù)盤會開成甩鍋會。表現(xiàn)是全程在找誰的責(zé)任而不是找什么原因?qū)е?。推進(jìn)會一直指向個人最終解釋全部落到態(tài)度問題上沒人討論系統(tǒng)設(shè)計、流程和信息傳遞的缺陷。解法立一個規(guī)矩禁止在結(jié)果陳述環(huán)節(jié)使用是因為某人才失敗的句式改成是什么機制允許了失敗發(fā)生?？佣脭?shù)據(jù)但只看最終數(shù)字。比如只盯上線后轉(zhuǎn)化率下降30%卻不看中間過程的漏斗和分群數(shù)據(jù)。這時候復(fù)盤往往得出方案不行這種粗糙結(jié)論掩蓋了真正的救命信息。排查思路把結(jié)果拆成決策質(zhì)量執(zhí)行質(zhì)量運氣三因子再逐項找證據(jù)?？尤粡?fù)盤失敗不復(fù)盤成功。成功的項目不做復(fù)盤等于把運氣當(dāng)實力。下次換了個環(huán)境立刻翻車。解法成功復(fù)盤更要注意哪些因素是客觀可控的哪些只是偶然運氣好別把市場紅利當(dāng)自己能力?？铀膹?fù)盤的結(jié)論沒有落到下一次。滿篇感慨卻無行動下一次依然踩同樣的坑。解法每次復(fù)盤必須產(chǎn)出三條以內(nèi)可執(zhí)行動作并指定負(fù)責(zé)人和截止日期不然不開會。坑五單次復(fù)盤太輕率。一兩件事就下一個規(guī)律性結(jié)論樣本量不足的時候容易過度擬合。比如一次客戶流失就得出產(chǎn)品定位有問題其實可能只是價格頁文案寫歪了。解法區(qū)分單點教訓(xùn)和模式規(guī)律單點教訓(xùn)記入事項清單模式規(guī)律才值得改造流程。4.2 后見之明 vs 經(jīng)驗沉淀如何區(qū)分真學(xué)習(xí)和假自信判斷一段事后總結(jié)到底是有效學(xué)習(xí)還是hindsight bias我有三個自檢問題。第一這條結(jié)論在事前能否被合理推導(dǎo)出來如果必須依賴事后才知道的信息才能得出那它就不是經(jīng)驗是馬后炮。比如早知道當(dāng)時該多囤一點庫存這種話在事前信息下根本無法驗證。第二這條結(jié)論有沒有具體的可觀測信號以后要注意風(fēng)險沒有用以后供應(yīng)商合同必須寫明交付延遲賠償條款才有用因為它可以檢查。第三這條結(jié)論是降低了不確定性還是增加了確定性有效學(xué)習(xí)應(yīng)該讓你理解什么時候該相信什么、什么時候不該相信什么而不是讓你覺得世界變得更確定。我用這三個問題過濾所有復(fù)盤輸出答不上來的結(jié)論一律不放進(jìn)行動清單。這比任何流程約束都有效因為它的底層是統(tǒng)計思維單個結(jié)果不能證明決策質(zhì)量決策質(zhì)量要看它在不確定條件下的期望收益。一個項目失敗不一定決策錯一個項目成功也不一定決策對。把結(jié)果和決策分開評價這個世界瞬間清晰很多。4.3 兩個心態(tài)開關(guān)結(jié)果歸因時的自我保護(hù)機制復(fù)盤不只是技術(shù)活更是心理活。如果心態(tài)沒擺正再好的模板都會被情緒帶歪。我經(jīng)驗里最關(guān)鍵的兩個心態(tài)開關(guān)如下。第一個開關(guān)分開決策質(zhì)量和結(jié)果質(zhì)量。人的本能是看結(jié)果評價決策但這是典型的勝者偏差。你需要刻意練習(xí)在得到結(jié)果之前做的決策用當(dāng)時的期望值來評價結(jié)果只是樣本罷了。哪怕結(jié)果是壞的只要決策邏輯在期望上是對的也值得肯定反之一個導(dǎo)致好結(jié)果的爛決策恰恰是未來最大的風(fēng)險隱患。這個開關(guān)一旦打開你和團(tuán)隊就不容易被運氣帶偏。第二個開關(guān)不以我早就說過為目標(biāo)。復(fù)盤的目標(biāo)是改進(jìn)下一輪而不是證明自己聰明。在團(tuán)隊里一旦有人以我早就說過開局其他成員就會防御性沉默信息鏈路就斷了。我自己的做法是復(fù)盤歸因時多用系統(tǒng)流程信息為主語少用他我你做人稱主語。語言會悄悄決定思維方向。這兩個開關(guān)配合前面的模板使用才能真正形成閉環(huán)事前留痕、事中監(jiān)測、事后歸因、回傳流程。這本質(zhì)上已經(jīng)是一個小型的組織學(xué)習(xí)系統(tǒng)了。我自己的感受是hindsight這個詞的奇妙之處在于它在人類身上是一種天然失真在算法里卻成了一種刻意設(shè)計。做強化學(xué)習(xí)讓我養(yǎng)成一個習(xí)慣——先給失敗的軌跡重新標(biāo)注目標(biāo)再問這條軌跡里到底有什么可學(xué)的而不是直接扔進(jìn)回收站。后來我把這個習(xí)慣遷移到工作和生活里項目沒做好我不急著批評自己先回到做決策的那個當(dāng)下看看當(dāng)時手里的牌到底是什么再把如果重來會怎么做寫成一句可操作的備忘。幾年下來這個習(xí)慣幫我省掉大量內(nèi)耗也讓每一次失敗變得更值錢。如果你也想擺脫事后諸葛亮的自我欺騙真正從過往里擠出經(jīng)驗不妨就從今晚寫一頁紙復(fù)盤開始別等下一次摔跤。