最近圈里不少人在討論一個詞Autoresearch翻譯過來就是自主科研。這詞的傳播有一大半功勞要記在 Karpathy 頭上他在公開場合反復(fù)表達過一個態(tài)度AI 的終極場景不該只是幫你寫代碼、寫郵件、做 PPT而是讓它自己當研究員——自己讀文獻、自己提出假設(shè)、自己設(shè)計實驗、自己分析數(shù)據(jù)、自己寫論文像一位真正的科研人員一樣形成完整產(chǎn)出閉環(huán)。坦白說我第一次看到這種表述時第一反應(yīng)是工程樂觀主義的又一次表演。因為過去兩年我也被各種AI 要取代某某職業(yè)的論調(diào)轟炸過多數(shù)后來都被證明是標題黨。但這次不太一樣因為提出這個觀點的人自己就是一線技術(shù)人而且他給出的理由其實非常樸素科研流程里大量環(huán)節(jié)是執(zhí)行不是創(chuàng)造而凡是執(zhí)行就有自動化空間。所以這篇文章我想站在一個重度使用 AI 工具、同時自己也常年蹲在一線做研究的普通從業(yè)者角度把 Autoresearch 這個命題拆開揉碎聊聊它到底有沒有戲、哪些環(huán)節(jié)真有戲、哪些環(huán)節(jié)短期內(nèi)基本沒戲。如果你也在關(guān)注 AI 與科研的結(jié)合想知道自主科研是不是又一個包裝出來的概念希望這篇文章能給你一個比熱搜更扎實的參考。1. 先搞明白Autoresearch 說的不是助手是研究員1.1 從副駕駛到正駕駛一次徹底的定位切換過去兩年AI 產(chǎn)品給用戶最常見的身份設(shè)定是協(xié)作者。寫代碼時它是 copilot寫文檔時它是你的初稿機器人做數(shù)據(jù)分析時它幫你生成圖表和結(jié)論。這個模式下主線任務(wù)始終是人的人定義問題、人驗收結(jié)果、人來兜底。AI 的存在價值是把那些最消耗時間的執(zhí)行環(huán)節(jié)壓榨到分鐘級。坦白說這種模式已經(jīng)讓我省下了大量時間但它本質(zhì)上還是人指揮、AI 執(zhí)行的單向關(guān)系。Autoresearch 的野心顯然不止于此。它想做的事情是把 AI 放到任務(wù)的中心位置讓 AI 成為正駕駛而人變成站在旁邊看儀表盤的乘客。這個切換絕不是換個提示詞那么輕松背后牽扯到整個系統(tǒng)的職責分配。你可以把現(xiàn)在的 AI 理解成一個很聰明但沒有方向感的實習生交給它一個明確的子任務(wù)它能做得又快又好可一旦沒有人給它下發(fā)指令、沒有人驗收中間結(jié)果它很容易在錯誤的路徑上自信地跑出很遠。所以我的看法是Karpathy 關(guān)于AI 自主科研的表達真正的價值不在自動兩個字而在閉環(huán)兩個字。人和 AI 的協(xié)作從每一步都需要人確認變成一個可以長期運轉(zhuǎn)的自動循環(huán)——人只需要在最開始給出大方向、在最末尾做最終驗收中間的過程完全交給 AI 去折騰。這個設(shè)想是否真正落地取決于技術(shù)棧的成熟度也是我下一章要拆的東西。1.2 它不是 AutoML也不是AI 科學家概念要分清Autoresearch 這個詞很容易和幾個聽起來差不多的概念搞混。如果不先把這些概念梳理清楚后面的判斷就很容易被帶偏。AutoML 解決的是給定數(shù)據(jù)自動搜索模型結(jié)構(gòu)、超參數(shù)的窄問題。它本質(zhì)上是一個工程問題評估標準極其明確——精度、召回、訓練開銷。它不需要管研究問題里的創(chuàng)新性解釋力可遷移性這類軟指標因為它就是為工程落地服務(wù)的。你可以把 AutoML 理解成一臺專門加工某個零件的機器臂它很擅長它的那條流水線但從來沒打算接管整座工廠。最近社區(qū)里也出現(xiàn)了一批號稱AI 科學家的開源項目這些項目大多只覆蓋了科研流程中的一小段給定一個研究主題AI 自動生成方法、跑實驗、產(chǎn)出論文初稿。這類項目的問題在于它們把科研簡化為把論文流程走一遍對科研真正的核心——判斷問題的價值、識別實驗中的異常信號、理解結(jié)果為什么不符合預(yù)期——其實沒有實際觸及。和這些概念相比Autoresearch 更像是一個總目標它試圖把 AutoML 式的參數(shù)搜索、agent 式的工具調(diào)用、語言模型的知識推理全部串在同一個閉環(huán)里由 AI 自主決定下一步該做什么。我用一個比喻幫助你理解三者的區(qū)別AutoML 是流水線上的一臺機器臂AI 科學家項目是一個演示用的機器人模型而 Autoresearch 是描述整條智能流水線的系統(tǒng)愿景。如果你把這三者混為一談討論起來就會各說各話。維度AutoMLAI 科學家類項目Autoresearch目標層級單一工程問題演示型科研流水線系統(tǒng)性科研閉環(huán)核心能力參數(shù)搜索與模型選擇文本生成跑實驗問題發(fā)現(xiàn)實驗設(shè)計失敗歸因評價指標精度、開銷論文格式完整度科研貢獻的真實價值當前成熟度已工程化原型階段概念驗證階段2. 一個 AI 研究員要過五關(guān)斬六將拆解全流程技術(shù)棧如果把AI 自主科研當成一個剛?cè)雽W的博士生來培養(yǎng)你會發(fā)現(xiàn)它要面對的學習曲線遠比想象中陡峭。我用關(guān)卡的方式來拆解整個流程每一關(guān)都對應(yīng)一個目前還沒有被完全解決的技術(shù)問題。2.1 第一關(guān)提出一個值得研究的問題任何研究項目的起點都是提出好問題。這一環(huán)在如今的大模型身上表現(xiàn)得最像人但也最容易被高估。模型訓練過程中吸收了海量論文和學術(shù)討論確實對同一個領(lǐng)域里哪些話題熱度高、哪些矛盾沒有解決有很強的統(tǒng)計直覺。你問它這個方向有什么值得研究的問題它能給你列出一份看起來非常學術(shù)的清單。但看起來學術(shù)和真值得做之間隔著一條巨大的鴻溝。有價值的研究問題通常需要同時滿足三個條件第一是新穎性也就是這個問題沒有被其他團隊在相似設(shè)定下回答過第二是可行性也就是以現(xiàn)有人力、數(shù)據(jù)和算力能夠真正開展研究第三是影響力也就是回答之后對領(lǐng)域推進有實際幫助。對大模型來說第一條可以靠搜索歷史論文語義比對實現(xiàn)一個粗糙版本第二條比較難因為它對真實資源的感知很差經(jīng)常提出一些需要一個超算集群才能驗證的問題第三條本質(zhì)上依賴科研品味而品味是長年累月的負面反饋累積出來的當前架構(gòu)很難在訓練階段獲得這種信號。所以在這一關(guān)最現(xiàn)實的形態(tài)是人給方向、AI 給候選問題列表AI 負責發(fā)散人負責收斂。如果要求 AI 自己完成發(fā)散加收斂它大概率會給你一個在統(tǒng)計意義上最安全的問題——這類問題往往已經(jīng)被大量團隊做過了。換句話說現(xiàn)階段它能給你的是參考系而不是指路明燈。2.2 第二關(guān)把自然語言假設(shè)翻譯成可執(zhí)行的實驗假設(shè)一旦確定接下來就是把它變成一套實驗方案。這一關(guān)是語言模型的主場也是 agent 框架目前進展最明顯的環(huán)節(jié)。我這里說的 agent 框架你可以理解為一個會使用外部工具的 AI 系統(tǒng)。它不再是你問一句、它答一句的聊天框而是一個被賦予了任務(wù)目標之后自己去調(diào)用代碼解釋器、跑環(huán)境、讀寫文件、檢查報錯、再做下一步?jīng)Q定的執(zhí)行器。function calling 機制讓模型可以輸出結(jié)構(gòu)化調(diào)用指令讓外部程序真正去操作數(shù)據(jù)庫、啟動實驗?zāi)_本、保存結(jié)果。在計算型學科里——比如計算機視覺、機器學習、計算物理、部分生物信息方向——大量實驗本質(zhì)上就是寫代碼、調(diào)模型、跑數(shù)值實驗這個環(huán)節(jié)的自動化程度已經(jīng)相當高。我見過不少同行用 agent 自動跑完一整條數(shù)據(jù)管線的預(yù)處理、特征工程和 baseline 對比中間反復(fù)報錯它就反復(fù)修復(fù)人的參與只剩下給環(huán)境和預(yù)算設(shè)定邊界。這確實節(jié)省了大量時間而且效果比想象中穩(wěn)定。但要注意會執(zhí)行不等于會設(shè)計。語言模型拿到一個目標時傾向于復(fù)用訓練數(shù)據(jù)里最常見的方法組合而科研實驗偏偏經(jīng)常需要反直覺的路線設(shè)計。這個問題會在實驗初始階段埋下隱患AI 會用一個看起來很合理的路徑錯過真正可能出結(jié)果的方向。就好比給一個學生布置一道數(shù)學題他會用訓練集里最常見的解法卻不一定能看出那道題需要換一個坐標系才能解出來。2.3 第三關(guān)從失敗中學習而不是換一個提示詞這是整個 Autoresearch 閉環(huán)里最硬的門檻我在實操中感受極深?？蒲泻凸こ滩煌瑢嶒灥牡谝惠喗Y(jié)果大概率是不符合預(yù)期的。人類研究者的能力體現(xiàn)恰恰在于面對不符合預(yù)期的結(jié)果時能判斷出問題到底出在哪個環(huán)節(jié)是假設(shè)錯了、實驗設(shè)計有漏洞、數(shù)據(jù)有噪聲還是執(zhí)行代碼里有 bug。目前的大模型生態(tài)里這個歸因環(huán)節(jié)是最薄弱的。agent 在遇到報錯時很擅長修 bug因為錯誤信息明確、搜索空間小但遇到結(jié)果很差但程序沒報錯的情況它往往會掉進兩個坑。第一個坑是無限調(diào)參與過度搜索。模型會把結(jié)果不佳歸因于參數(shù)沒調(diào)好于是開始一輪又一輪的網(wǎng)格搜索浪費大量算力之后得出的結(jié)論可能依然不可靠。第二個坑更隱蔽模型會悄悄把結(jié)果往正向方向解釋。如果實驗指標沒提升它會生成一段性能沒有明顯下降說明方法是魯棒的這樣的表述。這種表述在學術(shù)寫作里偶爾確實成立但長期來看一個系統(tǒng)如果總是給失敗找合理解釋它就永遠無法學會如何避免失敗。真正的科研失敗閉環(huán)要求系統(tǒng)能夠區(qū)分實驗失敗導致假設(shè)被證偽和實驗失敗但假設(shè)仍可能成立兩種情況并據(jù)此決定是終止這個方向、調(diào)整實驗設(shè)計還是修改核心假設(shè)。這個能力所需的推理復(fù)雜度遠高于目前 agent 能穩(wěn)定做到的水平。我的判斷是短期內(nèi)這個環(huán)節(jié)仍然需要人作為失敗仲裁者介入這是自主科研無法繞開的人工瓶頸。2.4 底層四張牌文獻、代碼、數(shù)據(jù)、算力如果把前三關(guān)當作 AI 研究員的認知能力那這一節(jié)說的就是它的基礎(chǔ)設(shè)施。任何科研閉環(huán)的長期穩(wěn)定運行都依賴四張底牌。文獻層是它的大腦外接知識庫通過向量檢索和知識圖譜讓模型在提出假設(shè)、設(shè)計實驗時能召回相關(guān)過往工作。代碼層是它的雙手決定它能調(diào)動多少工具庫、多大范圍的實驗框架。數(shù)據(jù)層是它的眼睛科學數(shù)據(jù)的質(zhì)量、版本管理、標注可信度直接決定下游結(jié)論的可靠性。算力層是它的體能任何一個決策循環(huán)里模型自己推理要燒 token跑實驗要燒 GPU兩者的消耗都遠超普通對話場景。這四張牌缺一張整個閉環(huán)就會卡死。尤其數(shù)據(jù)層經(jīng)常被討論 Autoresearch 的人忽略。我現(xiàn)在做數(shù)據(jù)密集型研究時最耗時的環(huán)節(jié)其實是數(shù)據(jù)清洗和版本對齊而不是建模。如果 AI 連數(shù)據(jù)管線都無法自動維護那自主科研就只是一個短暫的演示不可能長期穩(wěn)定運行。這也是為什么我不太擔心明天醒來全實驗室都被 AI 接管那種敘事——因為底層基礎(chǔ)設(shè)施的自動化還遠沒有到位。技術(shù)圈里經(jīng)常出現(xiàn)一種現(xiàn)象Demo 看起來都完美一旦進入長期運行各種邊角問題就會把你拖回現(xiàn)實。Autoresearch 同理它目前更像一個漂亮的演示而不是一個能扛起科研大旗的穩(wěn)定系統(tǒng)。3. 理想很豐滿現(xiàn)實中的五個卡脖子問題3.1 幻覺是默認配置不是臨時故障語言模型在生成文本時可能以極高的流暢度說出完全不成立的事實。日常對話里它是個偶爾編造但無傷大雅的聊天伙伴但放到科研流程里一次幻覺可能讓整個研究走向錯誤的方向。最怕的不是那些明顯的胡說八道而是看似合理、實則錯誤的中間結(jié)論。比如讓 AI 去給一輪實驗數(shù)據(jù)寫分析報告它可能會平滑地補全實驗中并不存在的趨勢甚至引用一篇不存在的文獻來支持自己的解釋。人類研究者看到這些內(nèi)容時如果沒有逐一核驗很容易被看起來合理的敘述帶偏。我在自己的項目中就遇到過這樣的事讓 AI 幫忙整理文獻背景它引用了一篇標題、作者、年份都完全一致的真實論文但結(jié)論被我核對之后發(fā)現(xiàn)根本不支持它在綜述里寫的那個觀點。說實話這個場景比它直接編一篇假文獻更危險——因為造假可以被快速識破而半真半假的錯誤會在寫論文環(huán)節(jié)埋下一顆延遲爆炸的雷。所以任何聲稱能做自主科研的系統(tǒng)第一道質(zhì)檢關(guān)卡必須是對自己的論斷做事實核驗這一步目前沒有現(xiàn)成方案能做好。3.2 可復(fù)現(xiàn)性AI 說實驗成功了你信嗎科研的生命線是可復(fù)現(xiàn)性。一個實驗結(jié)論要是在同一條件下跑不出第二次基本就等于沒有結(jié)論。Autoresearch 系統(tǒng)的隱憂在于AI 在自動執(zhí)行實驗時每一次運行的隨機種子、環(huán)境依賴版本、數(shù)據(jù)采樣都可能不同而它產(chǎn)出的實驗記錄是否完整保留了這些信息完全取決于它的自我報告。這個問題在AI 生成論文類項目里已經(jīng)暴露得很明顯了。那些項目的輸出看起來有完整的實驗設(shè)置、指標表格和顯著性分析但不少人嘗試復(fù)跑之后發(fā)現(xiàn)生成報告和真實日志之間會有各種微妙的不一致。這個現(xiàn)象其實不難理解模型在寫實驗章節(jié)的時候善于總結(jié)而不善于忠實轉(zhuǎn)錄它會用統(tǒng)計上最尋常的方式來描述結(jié)果哪怕真實日志里的數(shù)字并不支持。人類研究者犯這個錯誤的概率也不低但人至少知道實驗記錄要保留原始日志、代碼版本和隨機種子這本質(zhì)上是一種科研規(guī)范。讓 AI 遵守科研規(guī)范需要在 agent 的設(shè)計里把記錄原始數(shù)據(jù)設(shè)定為不可跳過的步驟。這中間涉及很多工程上的細節(jié)目前社區(qū)還沒有形成共識。換句話說就算 AI 做實驗的速度比人快一百倍如果它做完之后不能給你一份可信的記錄這些速度優(yōu)勢就全部失去了意義。3.3 成本賬自主科研不是免費的聊技術(shù)問題時很少有人認真算一筆經(jīng)濟賬。一個自主科研 agent 要消耗的 token 量是普通問答場景的幾百倍甚至上千倍。它要讀幾十篇文獻、生成多個候選方案、跑多輪實驗、反復(fù)調(diào)試代碼、最終成文每一步對模型都是持續(xù)消耗。以目前的大模型 API 價格來估算最保守的小規(guī)模探索型實驗單日運行成本也不會太低如果全自主跑一個完整的小課題花費輕易就能超過一個初級研究實習生一個月的人力成本?？紤]到 API 計算和 GPU 實驗算力是疊加消耗總賬還會更高。有人會說和博士生的工資成本比這些花銷也不算離譜。但問題在于博士生不只會跑實驗還會在實驗室討論中產(chǎn)生靈感、在失敗中積累判斷力、在論文返修中打磨表達這些能力在當前版本的 AI 系統(tǒng)里幾乎為零。所以用單位實驗成本來對比人和 AI 的性價比其實是刻舟求劍?，F(xiàn)階段 AI 替代的只是最標化的部分而那部分成本本身就不貴。3.4 評價閉環(huán)誰來定義有貢獻很多人在唱衰 Autoresearch 時會抓住實驗?zāi)芰Σ蛔銇碚f事。但我反而覺得最要命的是評價環(huán)節(jié)缺位?？蒲欣镒罾щy的不是做實驗而是判斷一個結(jié)果到底值不值得做成一篇論文。學術(shù)社區(qū)的價值認定體系極其復(fù)雜審稿人看你的問題是否重要、方法是否有洞察、實驗是否扎實讀者關(guān)心你的結(jié)論能否遷移到他們的場景。一個自主科研系統(tǒng)要形成發(fā)現(xiàn)結(jié)果—評估價值—決定是否繼續(xù)投入的自我調(diào)節(jié)機制必須有品味這種看似玄學的量。你可以訓練一個模型去預(yù)測什么樣的論文會被接受這確實能做到一定準確率。但科研歷史上很多開創(chuàng)性工作恰恰是違背當時主流審美的。如果 Autoresearch 的評估器只學了過去的數(shù)據(jù)它只會產(chǎn)出越來越像過去主流論文的東西卻極大抑制了真正創(chuàng)新的可能性。換句話說全自動科研系統(tǒng)最大的風險不是做不出結(jié)果而是它做出的是統(tǒng)計意義上的安全結(jié)果——格式規(guī)范、邏輯通順、毫無驚喜。3.5 數(shù)據(jù)污染與安全邊界還有一個被討論得比較少的點數(shù)據(jù)污染?？茖W數(shù)據(jù)在過去幾年里大量涌入互聯(lián)網(wǎng)而大模型的訓練語料幾乎覆蓋了整個公開互聯(lián)網(wǎng)這意味著模型可能已經(jīng)記住了很多實驗數(shù)據(jù)集和 benchmark 的結(jié)果。當模型在沒有真正運行實驗的情況下憑記憶生成一份看起來符合預(yù)期的實驗報告時這到底算不算學術(shù)不端我覺得這是 Autoresearch 落地之前必須正面回答的問題。更尷尬的是如果社區(qū)里越來越多論文由這種系統(tǒng)生成它們又會成為下一代模型訓練數(shù)據(jù)的來源形成質(zhì)量下降的循環(huán)污染——這個循環(huán)一旦開始整個學術(shù)生態(tài)的信譽都會受影響。安全邊界也不容忽視。自主系統(tǒng)如果獲得調(diào)用外部工具的權(quán)限可以在互聯(lián)網(wǎng)上抓取數(shù)據(jù)、運行代碼、甚至調(diào)用數(shù)據(jù)庫資源那么提示注入攻擊就是一個繞不開的風險。惡意構(gòu)造的網(wǎng)頁內(nèi)容可能讓 agent 偏離原始目標執(zhí)行危險動作這在封閉環(huán)境內(nèi)問題還不大一旦放到開放的科研網(wǎng)絡(luò)里就會成為體系級別的安全隱患。4. 我的判斷哪里會先跑通哪里十年都難4.1 最可能先跑的三個場景先給結(jié)論我不是AI 自主科研馬上要接管世界的樂觀派也不是AI 永遠當不了科學家的保守派。我的觀察是它會在特定場景里先跑通然后逐步擴張。最先跑通的是文獻綜述類任務(wù)。給定一個主題AI 檢索、聚類、總結(jié)、找出研究空白這個流程已經(jīng)在很多商業(yè)化工具里實現(xiàn)得相當不錯。雖然會有幻覺問題但評價標準很明確人工可以快速抽檢總體收益遠大于風險。第二個場景是純計算型實驗。只要實驗全程都能數(shù)字化AI 就能通過代碼執(zhí)行完成閉環(huán)比如模型對比、消融實驗、數(shù)據(jù)挖掘任務(wù)。這個場景不需要物理世界參與天然適合 agent 自動化也是目前工程上最接近成熟的領(lǐng)域。第三個場景是數(shù)據(jù)流水線和復(fù)現(xiàn)工作。把一段已有論文的實驗流程交給 AI讓它下載數(shù)據(jù)、寫復(fù)現(xiàn)腳本、比對結(jié)果這類執(zhí)行型科研最容易被自動化而且市場上這部分需求極大。我甚至覺得在 Autoresearch 真正成熟之前它能先以超級科研助理的形態(tài)養(yǎng)活一大批工具公司。4.2 十年內(nèi)很難突破的兩個禁區(qū)第一個禁區(qū)是閉環(huán)式物理實驗。讓 AI 在實驗室里操作移液槍、培養(yǎng)細胞、維護設(shè)備需要機器人技術(shù)和實驗設(shè)計的深度耦合這已經(jīng)不是語言模型能力范圍內(nèi)的事了。目前的機器人精度和傳感器反饋也很難支撐自主長流程實驗。你可以讓 AI 生成一個完美的實驗方案但完美方案和完美操作之間的距離要靠一整套硬件基礎(chǔ)設(shè)施來填平。第二個禁區(qū)是真正開放性的科學問題。那些可以問十年、甚至耗盡幾代科學家的問題——比如智能的本質(zhì)、宇宙運行的基本規(guī)律、復(fù)雜疾病的根源——需要的不是更強的搜索能力和執(zhí)行效率而是打破已有認知框架的能力。這種突破往往來自跨領(lǐng)域類比、看似無關(guān)的觀察以及被主流忽略的異?，F(xiàn)象?，F(xiàn)有 AI 的評估機制和訓練目標天然不鼓勵這種偏航行為。4.3 形態(tài)預(yù)期從全自動退到半自動閉環(huán)基于上面的判斷我認為 Autoresearch 未來五年內(nèi)最可能的產(chǎn)品形態(tài)不是一個輸入問題、輸出論文的黑盒而是一個半自動閉環(huán)。在這個閉環(huán)里AI 負責從文獻調(diào)研到實驗初稿的全流程執(zhí)行人負責在三個關(guān)鍵節(jié)點介入課題選擇之前、失敗歸因之時、論文成稿之后。人不再動手寫大部分代碼和段落但人的判斷仍然是整個系統(tǒng)質(zhì)量的核心來源。我挺喜歡 Karpathy 討論這個話題時常給的一個樸素邏輯科研流程里的大部分環(huán)節(jié)是執(zhí)行不是創(chuàng)造而執(zhí)行是可以被自動化的。這句話的實踐意義在于我們可以把精力從流程執(zhí)行中抽出來放到真正困難的價值判斷上。哪怕 Autoresearch 最終沒有成為一個全自主研究員它也會重塑科研工作者的定義——將來的一線研究者可能更像是科研導演而不是科研勞作者。5. 普通研究者現(xiàn)在就能用上的準自主科研實操清單5.1 文獻工作流自動化從讀論文到讓 AI 讀論文不需要等 Autoresearch 成熟現(xiàn)在就能把文獻處理流程做成準閉環(huán)狀態(tài)。我用一個組合方式已經(jīng)跑了大半年把每個月新出的論文 PDF 丟進本地文檔庫用向量化工具建立索引再用語言模型做結(jié)構(gòu)化摘要包括問題、方法、數(shù)據(jù)集、核心結(jié)論、局限性以及和我的研究最相關(guān)的三個可借鑒點。然后我會讓模型順便生成一個這份摘要與我的研究主題的沖突點列表專門挑那些和我的既有假設(shè)不一致的地方。這個操作最大的價值不是省掉讀論文的時間而是讓模型主動暴露矛盾。這點在自主科研里對應(yīng)的是發(fā)現(xiàn)問題、提出新假設(shè)的能力。如果你只是讓 AI 幫你總結(jié)論文內(nèi)容你得到的是一份信息壓縮件但如果你讓它幫你找矛盾你得到的就是一個研究雷達。建議你把這一步也加入自己的工作流它會改變你對 AI 的使用方式。5.2 讓 AI 當魔鬼代言人我一個比較堅持的工作習慣是在研究假設(shè)定稿之前先讓 AI 反駁我三輪。第一輪要求模型列出所有它認為這個假設(shè)不成立的理由基于現(xiàn)有文獻和常識第二輪要求模型假設(shè)自己是持有相反觀點的審稿人寫出一段三段式拒稿意見第三輪讓它給實驗設(shè)計挑漏洞比如樣本量不足、混雜變量未控制、baseline 不公平。這個魔鬼代言人流程聽起來很簡單但執(zhí)行起來需要一些提示詞技巧。關(guān)鍵是要求模型找出盡可能多的問題而不是給出全面評價。模型在給負面意見時容易因為禮貌性傾向而收斂你需要強迫它發(fā)散。我實測下來這個流程能發(fā)現(xiàn)一到兩個你沒想到的薄弱點成本只是幾次 API 調(diào)用比事后被審稿人抓住要劃算得多。5.3 小規(guī)模 agent 實驗記錄、匯報、復(fù)現(xiàn)如果你有一定編程基礎(chǔ)現(xiàn)在就可以搭一個小規(guī)模 agent 跑實驗記錄閉環(huán)。做法很簡單啟動一個對話會話讓 AI 在每次實驗結(jié)束后生成一份固定格式的實驗日志包括超參數(shù)、運行時間、指標變化、錯誤信息以及下一次實驗的計劃。我在實踐中發(fā)現(xiàn)要讓這種 agent 真正可用核心不是讓模型多聰明而是把實驗日志規(guī)范寫在系統(tǒng)提示里甚至做成強制 JSON 模式輸出。日志規(guī)范的好處是讓 AI 的自我報告可結(jié)構(gòu)化復(fù)現(xiàn)不至于漏掉關(guān)鍵參數(shù)。順帶一提如果預(yù)算有限不要在對話歷史里無限累積上下文超過一定長度后模型表現(xiàn)會明顯下降。我的做法是每三輪實驗就讓 agent 把歷史總結(jié)成一份研究進展摘要再清空上下文繼續(xù)。這個摘要化記憶機制很關(guān)鍵它其實就是模擬了人類研究者做實驗筆記的做法。5.4 我踩過的坑不加核驗是最大的坑最后講一個真實的教訓也是我試用各種 AI 科研工具以來最貴的一次。有一陣子為了趕項目節(jié)點我讓 AI 直接生成了實驗章節(jié)的初稿里面包含統(tǒng)計結(jié)果、顯著性差異以及一組看起來很完整的圖表描述。我當時只檢查了圖表數(shù)字和日志基本對得上就提交了內(nèi)部版本。結(jié)果團隊里做統(tǒng)計的同事在復(fù)核時發(fā)現(xiàn)那些顯著性檢驗的 p 值被合理地調(diào)整過與原始統(tǒng)計結(jié)果存在不一致。倒不是模型故意造假而是它在生成敘述時自動把結(jié)果往更好的方向規(guī)整了。那次之后我立了一個規(guī)矩凡是 AI 生成的任何數(shù)值結(jié)論一律要求附上原始日志路徑凡是 AI 引用的文獻必須點開原文核驗關(guān)鍵句凡是 AI 寫出的成功實驗都要重跑至少一次對比。這個規(guī)矩讓我的使用成本上升了大概三分之一但換來的是信任。提示信任模型輸出的每一個字是 AI 輔助科研里最貴的錯覺。這個錯覺我付出過學費希望你不用。我在實際操作中的體會是Autoresearch 到底有沒有戲答案其實不是非黑即白的。它在文獻綜述、計算型實驗、數(shù)據(jù)流水線這些環(huán)節(jié)已經(jīng)展現(xiàn)出遠超人類的效率優(yōu)勢但在問題發(fā)現(xiàn)、失敗歸因、價值判斷這些真正決定科研高度的環(huán)節(jié)它仍然需要人類坐在駕駛座上。與其爭論AI 能不能自主科研不如先把那些能自動化的環(huán)節(jié)自動化把自己從重復(fù)勞動里解放出來把省下的時間用來做真正需要判斷力的事情。這可能才是AI 自主科研這個概念留給當下研究者最現(xiàn)實也最有價值的遺產(chǎn)。