解析)
開篇先聊一個很有意思的現(xiàn)象近兩年生物醫(yī)學(xué)領(lǐng)域的論文里越來越多出現(xiàn)“delve”深入探究、“meticulous”細(xì)致、“commendable”值得稱贊這類高頻詞匯。如果你經(jīng)常讀 PubMed 或 ScienceDirect 上的文章一定會有這種感覺——文字很流暢結(jié)構(gòu)很規(guī)范但隱約透著一股“機(jī)器味”。最近有一項(xiàng)統(tǒng)計研究提出一個判斷大多數(shù)生物醫(yī)學(xué)出版物已經(jīng)顯示出“LLM 輔助寫作”的痕跡。換句話說用大語言模型來潤色甚至起草論文摘要、方法段落、討論部分已經(jīng)不是個例而是普遍現(xiàn)象。這篇博客不是來討論“該不該用 LLM”的道德問題而是想從技術(shù)角度拆解兩件事第一研究者是怎么從文本里識別出 LLM 輔助寫作痕跡的第二作為開發(fā)者或科研人員我們應(yīng)該怎么看待、怎么檢測、怎么負(fù)責(zé)任地使用這類技術(shù)。本文適合對 LLM 應(yīng)用、文本挖掘、科研寫作感興趣的同學(xué)也適合正在做論文寫作輔助工具、學(xué)術(shù)文本分析系統(tǒng)的開發(fā)者。讀完你會掌握LLM 輔助寫作在詞匯和句法層面的典型特征、檢測分類器的構(gòu)建思路以及一個可以擴(kuò)展的 Python 文本特征分析示例。1. 現(xiàn)象背后的技術(shù)邏輯LLM 輔助寫作為什么能被識別1.1 什么是“LLM 輔助寫作的痕跡”先澄清一個概念所謂“LLM 輔助寫作痕跡”并不是指文本里出現(xiàn)了“作為AI……”這樣的水印也不是說整篇文章都是大模型生成的。它指的是作者在寫作過程中使用了 ChatGPT、Claude、文心一言、DeepSeek 等大語言模型來幫忙潤色句子、優(yōu)化措辭、總結(jié)文獻(xiàn)或梳理邏輯導(dǎo)致文本在某些語言特征上偏離了人類作者的自然寫作習(xí)慣。這些特征非常細(xì)微肉眼很難全部發(fā)現(xiàn)。比如詞匯選擇偏向某些“LLM 高頻詞”句子結(jié)構(gòu)過度標(biāo)準(zhǔn)化同義詞替換出現(xiàn)模式化傾向轉(zhuǎn)折詞、強(qiáng)調(diào)詞的使用頻率異常研究者就是抓住這些分布差異通過統(tǒng)計對比來判斷一篇論文是否可能經(jīng)過 LLM 輔助寫作。1.2 大語言模型為什么會有固定的語言偏好這要從 LLM 的訓(xùn)練目標(biāo)說起。大語言模型本質(zhì)上是在預(yù)測“給定上文下一個詞最可能是什么”而訓(xùn)練數(shù)據(jù)整理過程中普遍會進(jìn)行清洗、去重、格式統(tǒng)一。這些預(yù)處理操作雖然在提高數(shù)據(jù)質(zhì)量但也間接讓模型學(xué)到了“規(guī)范但缺乏個人風(fēng)格”的表達(dá)方式。更關(guān)鍵的是對齊訓(xùn)練RLHF 等會讓模型傾向于生成“看起來更專業(yè)、更自信、更有條理”的文本。于是模型會頻繁選擇復(fù)雜詞匯替代簡單詞匯比如用 utilize 替代 use強(qiáng)化邏輯關(guān)系的連接詞如 moreover、furthermore、consequently對形容詞的堆疊和精修如 comprehensive、robust、novel、significant人類作者當(dāng)然也會用這些詞但使用頻率的分布規(guī)律不同。人類寫作的詞匯頻次往往呈長尾分布個體差異很大而 LLM 輔助寫作會顯著縮小這種個體差異讓不同論文的用詞分布趨向一致。1.3 為什么生物醫(yī)學(xué)領(lǐng)域尤其明顯生物醫(yī)學(xué)論文有非常固定的結(jié)構(gòu)摘要普遍采用“背景-方法-結(jié)果-結(jié)論”四段式討論部分也有一條標(biāo)準(zhǔn)的敘事線。這種高度格式化的文體對 LLM 來說非常“友好”因?yàn)槟Ｐ鸵姂T了類似結(jié)構(gòu)的文本生成時幾乎不會跑偏。另一方面生物醫(yī)學(xué)研究者普遍面臨“發(fā)表壓力”英語非母語的作者尤其需要 LLM 進(jìn)行語言潤色。這使得生物醫(yī)學(xué)領(lǐng)域成為 LLM 輔助寫作滲透率最高的學(xué)科之一。你去看那些詞匯風(fēng)格變化的研究醫(yī)學(xué)期刊的論文往往是變化最顯著的那部分。1.4 檢測的基本思路既然 LLM 輔助寫作會留下統(tǒng)計特征那檢測思路就順理成章了第一步收集大規(guī)模論文語料按時間線對比詞匯分布變化 第二步找出“LLM 高頻詞”的顯著上升趨勢 第三步用這些特征訓(xùn)練二分類模型區(qū)分“人類寫作”和“LLM 輔助寫作” 第四步在獨(dú)立測試集上驗(yàn)證泛化能力。這個思路和文本分類、情感分析、作者識別等技術(shù)高度重合。下面我們進(jìn)入具體的實(shí)現(xiàn)層面。2. 從文本到數(shù)據(jù)核心特征怎么提取2.1 詞頻分布特征最直接的特征是詞頻。給定一篇文本統(tǒng)計每個詞出現(xiàn)的次數(shù)然后與已知的“LLM 高頻詞表”或“人類寫作常規(guī)詞表”做對照。實(shí)際操作中計算相對詞頻比絕對詞頻更有意義。假設(shè)一篇摘要共 300 個詞其中 “delve” 出現(xiàn) 2 次那它的相對詞頻就是 2/300 ≈ 0.0067。拿這個值去和基線語料庫中該詞的平均相對詞頻比較如果顯著偏高說明存在 LLM 輔助寫作的可能。代碼示例思路# 文件路徑src/frequency_analysis.py import re from collections import Counter def get_word_frequency(text: str) - dict: 統(tǒng)計文本詞頻返回相對詞頻字典 words re.findall(r[a-zA-Z], text.lower()) total_words len(words) if total_words 0: return {} counter Counter(words) return {word: count / total_words for word, count in counter.items()} # 示例文本 sample_text The study provides a comprehensive analysis of the novel biomarker, demonstrating a robust correlation with clinical outcomes. Furthermore, the findings underscore the significance of early detection. freq get_word_frequency(sample_text) print(freq)輸出結(jié)果類似{the: 0.08695652173913043, study: 0.043478260869565216, ...}這段代碼把原始文本轉(zhuǎn)成小寫去掉標(biāo)點(diǎn)再計算每個詞的相對頻率。這是后續(xù)所有分析的基礎(chǔ)。2.2 困惑度Perplexity困惑度是語言模型領(lǐng)域一個經(jīng)典指標(biāo)用來衡量“模型對文本的驚訝程度”。如果一段文本由 LLM 生成模型對其應(yīng)該非常熟悉困惑度低如果是人類寫作風(fēng)格更自由困惑度相對高。但在實(shí)際檢測中困惑度不能單獨(dú)作為判斷依據(jù)。原因很簡單不同模型的詞表不同訓(xùn)練數(shù)據(jù)不同同一個詞在不同模型里的困惑度差異很大。更合理的做法是把困惑度作為眾多特征之一而不是唯一標(biāo)準(zhǔn)。用 HuggingFace Transformers 庫可以快速計算一段文本的困惑度# 文件路徑src/perplexity_score.py import torch from transformers import GPT2LMHeadModel, GPT2Tokenizer model_name gpt2 tokenizer GPT2Tokenizer.from_pretrained(model_name) model GPT2LMHeadModel.from_pretrained(model_name) def calculate_perplexity(text: str) - float: 計算文本的困惑度 encodings tokenizer(text, return_tensorspt, truncationTrue, max_length512) input_ids encodings.input_ids with torch.no_grad(): outputs model(input_ids, labelsinput_ids) loss outputs.loss return float(torch.exp(loss)) sample_text Early diagnosis of cancer is critical for patient survival. ppl calculate_perplexity(sample_text) print(fPerplexity: {ppl:.2f})備注這段代碼依賴torch和transformers首次運(yùn)行會下載模型文件。運(yùn)行環(huán)境需要聯(lián)網(wǎng)并且建議使用 GPU 加速。2.3 句法多樣性與“突發(fā)性”Burstiness除了詞頻和困惑度還有一個在學(xué)術(shù)檢測中很重要的特征句法多樣性有時也叫“突發(fā)性”。它的含義是文本中句子長度、復(fù)雜度是否出現(xiàn)自然波動。人類寫作時注意力會變化句子時短時長信息密度也有起伏。LLM 生成文本則傾向于保持一種“禮貌的穩(wěn)定”——每個句子長度差不多結(jié)構(gòu)都很完整轉(zhuǎn)折詞分布均勻。這種穩(wěn)定恰恰是可疑點(diǎn)。量化方式之一計算句子長度標(biāo)準(zhǔn)差和變異系數(shù)。# 文件路徑src/sentence_variability.py import re import statistics def sentence_length_stats(text: str) - dict: 計算句子長度均值和標(biāo)準(zhǔn)差 sentences re.split(r[.!?], text) sentences [s.strip() for s in sentences if len(s.strip()) 5] lengths [len(s.split()) for s in sentences] if not lengths: return {mean: 0, std: 0, cv: 0} mean_len statistics.mean(lengths) std_len statistics.stdev(lengths) if len(lengths) 1 else 0 cv std_len / mean_len if mean_len 0 else 0 return {mean: mean_len, std: std_len, cv: cv} sample_text ( We analyzed patient records. The results showed significant improvement. However, long-term follow-up is still necessary. We believe this finding will impact clinical practice. ) print(sentence_length_stats(sample_text))cv變異系數(shù)越大說明句子長度波動越明顯越接近人類自然寫作越小說明句子越均勻越可能是模型生成的產(chǎn)物。2.4 二元語法與三元語法頻率單獨(dú)看單詞頻率還不夠語言模型經(jīng)常生成某些固定的詞組搭配。比如“play a crucial role in”、“contributes to our understanding of”、“sheds light on”這類學(xué)術(shù)套話在不同論文里反復(fù)出現(xiàn)。通過統(tǒng)計二元語法bigram和三元語法trigram的相對頻率可以捕捉到這一類模式化表達(dá)。# 文件路徑src/ngram_features.py from collections import Counter import re def get_ngrams(text: str, n: int) - dict: 提取 n-gram 并計算相對頻率 words re.findall(r[a-zA-Z], text.lower()) ngrams zip(*[words[i:] for i in range(n)]) counter Counter(ngrams) total sum(counter.values()) return {ng: cnt / total for ng, cnt in counter.items()} sample_text This study provides valuable insights into the molecular mechanism. trigrams get_ngrams(sample_text, 3) for ng, freq in list(trigrams.items())[:5]: print(ng, round(freq, 4))這些 n-gram 特征和詞頻特征組合起來可以作為分類模型的一維向量。3. 搭建一個 LLM 輔助寫作檢測分類器理解特征之后我們來看一個更接近實(shí)戰(zhàn)的環(huán)節(jié)訓(xùn)練一個簡單的二分類模型判斷一篇文本是“更可能由 LLM 輔助寫作”還是“更像純?nèi)祟悓懽鳌薄Ｐ枰崆罢f明的是這是教學(xué)演示真正發(fā)表在論文里的檢測模型要復(fù)雜得多數(shù)據(jù)量也是這個示例的幾百倍。但這個框架能幫你理解全過程。3.1 數(shù)據(jù)集準(zhǔn)備策略訓(xùn)練檢測模型需要兩類語料正樣本人類寫作建議使用 2000 年以前的生物醫(yī)學(xué)論文摘要。那個年代沒有 LLM 輔助寫作文本是天然的人類寫作樣本。負(fù)樣本LLM 輔助寫作一種是讓多個 LLM 直接生成論文摘要另一種是拿人類寫作的摘要用 LLM 做“潤色改寫”保留原意但用模型風(fēng)格重新表達(dá)。從實(shí)際操作角度第二種樣本更接近真實(shí)場景因?yàn)榇蟛糠盅芯空卟皇亲?LLM 從零寫整篇論文而是潤色已有初稿。數(shù)據(jù)格式建議采用 JSON 數(shù)組每個元素包含text和label兩個字段[ {text: The mechanism by which..., label: 0}, {text: In this study, we delve into..., label: 1} ]其中 0 表示人類寫作1 表示 LLM 輔助寫作。3.2 特征工程把文本轉(zhuǎn)換成語義向量是分類的第一步。為了避免復(fù)雜的中文分詞問題這里以英文論文為例。常用的特征組合TF-IDF 向量詞袋模型詞頻統(tǒng)計特征句長統(tǒng)計特征困惑度特征可選高頻 LLM 風(fēng)格詞占比下面用一個綜合方法構(gòu)建特征# 文件路徑src/build_features.py import re import statistics import joblib from sklearn.feature_extraction.text import TfidfVectorizer LLM_STYLE_WORDS { delve, meticulous, commendable, moreover, furthermore, notably, underscore, comprehensive, robust, novel, significant, pivotal, crucial, indeed, overall } def text_stat_features(text: str) - list: 提取文本統(tǒng)計特征 words re.findall(r[a-zA-Z], text.lower()) total_words len(words) if total_words 0: return [0.0, 0.0, 0.0, 0.0] # LLM 風(fēng)格詞占比 style_word_count sum(1 for w in words if w in LLM_STYLE_WORDS) style_ratio style_word_count / total_words # 平均詞長 avg_word_len sum(len(w) for w in words) / total_words # 句子數(shù)量 sentences re.split(r[.!?], text) sentences [s for s in sentences if len(s.strip()) 5] sentence_count len(sentences) # 句長變異系數(shù) lengths [len(s.split()) for s in sentences] cv 0.0 if len(lengths) 1: mean_len statistics.mean(lengths) std_len statistics.stdev(lengths) if mean_len 0: cv std_len / mean_len return [style_ratio, avg_word_len, sentence_count, cv] def build_feature_pipeline(texts): 向量化文本 拼接統(tǒng)計特征示例框架 # 這一步只是演示思路實(shí)際訓(xùn)練時要把 TF-IDF 和統(tǒng)計特征拼接 tfidf TfidfVectorizer(max_features5000, ngram_range(1, 2)) tfidf_matrix tfidf.fit_transform(texts) joblib.dump(tfidf, models/tfidf.joblib) return tfidf_matrix需要注意build_feature_pipeline只是向量化文本實(shí)際訓(xùn)練時還要把統(tǒng)計特征拼接到 TF-IDF 矩陣后面。你可以用scipy.sparse.hstack實(shí)現(xiàn)矩陣橫向拼接。3.3 模型選擇與訓(xùn)練對于這種中小規(guī)模文本分類任務(wù)隨機(jī)森林或梯度提升樹LightGBM、XGBoost往往比深度模型更好用因?yàn)樘卣骶S度不高訓(xùn)練速度快而且可解釋性強(qiáng)。下面給出一個參考實(shí)現(xiàn)# 文件路徑src/train_detector.py import joblib import numpy as np from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report from scipy.sparse import hstack # 假設(shè)已經(jīng)構(gòu)建好了 tfidf_matrix 和 stats_matrix # X 是特征矩陣y 是標(biāo)簽列表 def train_model(X, y): X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) clf RandomForestClassifier( n_estimators300, max_depth20, random_state42, n_jobs-1 ) clf.fit(X_train, y_train) pred clf.predict(X_test) print(classification_report(y_test, pred, target_names[human, llm_assisted])) joblib.dump(clf, models/llm_writing_detector.joblib) return clf # 使用示例偽代碼實(shí)際需要先構(gòu)造 X 和 y # tfidf_matrix joblib.load(models/tfidf.joblib) # 注意實(shí)際應(yīng)該保存轉(zhuǎn)換后的矩陣 # X_combined hstack([tfidf_matrix, np.array(stats_matrix)]) # train_model(X_combined, y)這里給出的代碼是訓(xùn)練流程的核心結(jié)構(gòu)實(shí)際使用時要根據(jù)你的數(shù)據(jù)格式調(diào)整數(shù)據(jù)加載部分。3.4 評估指標(biāo)與閾值選擇檢測 LLM 輔助寫作不能只看準(zhǔn)確率因?yàn)檎?fù)樣本比例可能失衡。更合理的指標(biāo)是精確率Precision被判定為 LLM 輔助寫作的文本中真正是 LLM 輔助寫作的比例。召回率Recall所有 LLM 輔助寫作文本中被正確識別出來的比例。F1 得分精確率和召回率的調(diào)和平均值。在實(shí)際應(yīng)用中需要根據(jù)場景調(diào)整閾值。如果目標(biāo)是期刊編輯初審希望把疑似論文挑出來人工復(fù)核那么可以適當(dāng)降低閾值提高召回率代價是誤報會增加。反過來如果目標(biāo)是保護(hù)作者不想誤傷就要提高閾值。4. 實(shí)戰(zhàn)分析一篇論文摘要的 LLM 痕跡下面做一個可運(yùn)行的完整示例。假設(shè)我們手頭有一篇英文論文摘要想初步判斷它是否存在 LLM 輔助寫作的痕跡。我們不用復(fù)雜的深度學(xué)習(xí)模型而是用統(tǒng)計特征做一個快速評估。4.1 環(huán)境準(zhǔn)備建議使用 Python 3.9 以上版本安裝以下依賴pip install scikit-learn joblib nltk如果要用 GPT-2 計算困惑度還需要安裝pip install torch transformers4.2 編寫完整分析腳本# 文件路徑src/llm_trace_analyzer.py import re import statistics import joblib from collections import Counter # 常見 LLM 風(fēng)格詞匯表演示用實(shí)際應(yīng)通過大規(guī)模統(tǒng)計得到 LLM_STYLE_WORDS { delve, meticulous, commendable, moreover, furthermore, notably, underscore, comprehensive, robust, novel, significant, pivotal, crucial, indeed, overall, foster, facilitate, highlight, elucidate, demonstrate, showcase, emphasize, underscore, landscape, realm } # 人類寫作更喜歡用的表達(dá)作為對比參考 HUMAN_STYLE_WORDS { maybe, sometimes, often, seems, however, but, i think, we found, unfortunately, interestingly, roughly, approximately } def load_text(file_path: str) - str: 讀取文本文件 with open(file_path, r, encodingutf-8) as f: return f.read() def tokenize_words(text: str) - list: 分詞 return re.findall(r[a-zA-Z], text.lower()) def sentence_lengths(text: str) - list: 統(tǒng)計句子長度 sentences re.split(r[.!?], text) sentences [s.strip() for s in sentences if len(s.strip()) 5] return [len(s.split()) for s in sentences] def analyze(text: str) - dict: 綜合分析文本中的 LLM 寫作痕跡 words tokenize_words(text) total_words len(words) if total_words 0: return {error: empty text} word_counter Counter(words) style_word_count sum(word_counter[w] for w in LLM_STYLE_WORDS if w in word_counter) human_word_count sum(word_counter[w] for w in HUMAN_STYLE_WORDS if w in word_counter) style_ratio style_word_count / total_words human_ratio human_word_count / total_words lens sentence_lengths(text) cv 0.0 if len(lens) 1: mean_len statistics.mean(lens) std_len statistics.stdev(lens) cv std_len / mean_len # 簡單評分規(guī)則 score 0.0 score style_ratio * 100 if cv 0.3: score 15 elif cv 0.5: score 8 return { total_words: total_words, style_ratio: round(style_ratio, 6), human_ratio: round(human_ratio, 6), sentence_cv: round(cv, 4), style_score: round(score, 2) } if __name__ __main__: # 測試文本 abstract This study provides a comprehensive analysis of a novel biomarker for early cancer detection. Moreover, the findings underscore the significance of integrating multimodal imaging with molecular profiling. Our robust methodology demonstrates that combining these approaches can facilitate more precise diagnosis. Furthermore, we observed that the proposed model exhibits a notable improvement over existing techniques. Overall, this work highlights the pivotal role of artificial intelligence in modern oncology and paves the way for further clinical translation. result analyze(abstract) print( LLM 寫作痕跡分析結(jié)果 ) for key, value in result.items(): print(f{key}: {value}) # 對比更有人類風(fēng)格的表達(dá) human_abstract In this paper, we looked at how often LLM-based tools are used during medical manuscript preparation. We searched PubMed and found that some words became much more common after 2022. This was a surprise. However, we need to be careful about the limitations. Maybe some authors just changed their writing style naturally. result2 analyze(human_abstract) print(\n 對照文本分析結(jié)果 ) for key, value in result2.items(): print(f{key}: {value})4.3 運(yùn)行結(jié)果說明運(yùn)行腳本后第一段高度結(jié)構(gòu)化、充滿“comprehensive、novel、moreover、Furthermore、Overall”等表達(dá)的文本style_ratio會顯著高于對照文本風(fēng)格評分也更高。而第二段帶有“we looked at”、“This was a surprise”、“Maybe”這類口語化表達(dá)的文本human_ratio更高風(fēng)格評分更低。這個示例的核心價值不在于準(zhǔn)確檢測某一段文本而在于展示一個可解釋的、可擴(kuò)展的分析框架。你可以在此基礎(chǔ)上加入困惑度、詞向量相似度、perplexity 距離等更復(fù)雜的特征。4.4 從單篇到批量如果要處理幾千篇論文手動讀文件效率太低。可以做成一個自動化腳本遍歷文件夾中的所有文本文件把結(jié)果匯總成一個 CSV# 文件路徑src/batch_analyze.py import os import csv from llm_trace_analyzer import analyze, load_text def batch_analyze(input_dir: str, output_csv: str): results [] for filename in os.listdir(input_dir): if not filename.endswith(.txt): continue file_path os.path.join(input_dir, filename) text load_text(file_path) result analyze(text) result[filename] filename results.append(result) with open(output_csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnameslist(results[0].keys())) writer.writeheader() writer.writerows(results) print(fResults saved to {output_csv}) if __name__ __main__: batch_analyze(papers_corpus, analysis_results.csv)這段代碼會把指定目錄下所有.txt文件的特征批量計算出來并輸出成 CSV 表格方便后續(xù)用 Excel 或 pandas 做進(jìn)一步分析。5. 常見問題與誤用風(fēng)險問題方向具體現(xiàn)象原因分析正確處理方式誤報率偏高普通論文被判為 LLM 輔助寫作統(tǒng)計特征本身有重疊人類寫作也可能用“furthermore”用多模型融合、人工復(fù)核不能只依賴單一指標(biāo)時間偏差2023 年后的檢測模型對 2025 年文本失效LLM 寫作風(fēng)格隨時間迭代新模型偏好詞會變化定期更新訓(xùn)練語料加入最新論文樣本學(xué)科差異計算機(jī)論文和醫(yī)學(xué)論文的基線不同不同學(xué)科常用詞差別大按學(xué)科分別訓(xùn)練檢測模型而不是用一個通用模型改寫導(dǎo)致特征消失LLM 輔助寫作被人工改寫后檢測不出人類干預(yù)會抹掉部分統(tǒng)計痕跡檢測工具只能作為輔助不能替代同行評議語言差異中文學(xué)術(shù)論文的檢測難度更高中文分詞、語序、標(biāo)點(diǎn)規(guī)則不同需要針對中文語料重新訓(xùn)練特征提取器規(guī)避手段有人用“反檢測提示詞”壓制特征本質(zhì)是對抗攻擊學(xué)術(shù)場景不鼓勵規(guī)避重點(diǎn)是守住誠信底線這里特別提醒一點(diǎn)任何檢測工具都不是百分百可靠。在科研評價場景中檢測結(jié)果只能作為線索不能作為直接定罪的依據(jù)。期刊編輯和科研管理者要做的是“證據(jù)鏈完整后謹(jǐn)慎處理”而不是看到高分就判定學(xué)術(shù)不端。6. 科研誠信與負(fù)責(zé)任使用 LLM6.1 期刊政策的差異關(guān)于 LLM 在論文寫作中的使用不同期刊的態(tài)度不完全一致。有的期刊明確允許在 Methods 部分披露“使用了 AI 輔助工具進(jìn)行語言潤色”有的期刊要求作者必須聲明還有一部分期刊禁止將 LLM 列為作者因?yàn)樽髡弑仨殞W(xué)術(shù)內(nèi)容負(fù)責(zé)。目前較主流的共識是LLM 可以用于語言潤色和表達(dá)優(yōu)化。LLM 生成的實(shí)質(zhì)性科學(xué)內(nèi)容如實(shí)驗(yàn)設(shè)計、結(jié)果解釋必須由人類作者驗(yàn)證并負(fù)責(zé)。使用 LLM 后應(yīng)在論文中披露。LLM 不能完全替代作者對數(shù)據(jù)的可重復(fù)性和真實(shí)性的責(zé)任。6.2 作者和開發(fā)者應(yīng)該怎么遵守規(guī)范從作者角度如果只是用 LLM 潤色語言按期刊要求在 acknowledgments 或 methods 中說明即可。將 LLM 生成的文本視為“初稿”必須人工驗(yàn)證數(shù)據(jù)、引用和結(jié)論。不要在論文中隱瞞使用情況這是學(xué)術(shù)誠信的基本要求。從開發(fā)角度如果你在構(gòu)建論文寫作輔助工具應(yīng)該提供系統(tǒng)日志記錄哪些部分被 LLM 修改過。在 UI 中明確提示“AI 生成內(nèi)容需要人工審查”。對引用生成保持謹(jǐn)慎不要自動生成不存在的參考文獻(xiàn)。安全設(shè)計上堅持“最小權(quán)限”和“人工復(fù)核”原則。6.3 檢測技術(shù)是一把雙刃劍檢測 LLM 痕跡是一項(xiàng)技術(shù)但它可能被濫用。比如出版社可能用它篩查大批投稿作者可能用它規(guī)避標(biāo)記工具之間也會形成攻防循環(huán)。從這個角度看檢測系統(tǒng)的設(shè)計者應(yīng)該公開模型的局限性和誤差區(qū)間而不是輸出一個看似精確但實(shí)際無法解釋的分?jǐn)?shù)。這也是為什么在學(xué)術(shù)場景里任何自動檢測工具都應(yīng)該保持“可解釋、可審計、可申訴”的原則。7. 總結(jié)與下一步學(xué)習(xí)方向回到開頭的現(xiàn)象“大多數(shù)生物醫(yī)學(xué)出版物顯示出 LLM 輔助寫作的痕跡”。這句話聽起來像是一個靜態(tài)判斷但從技術(shù)上拆解它其實(shí)揭示了三個重要事實(shí)第一LLM 輔助寫作在學(xué)術(shù)界已經(jīng)深度滲透語言習(xí)慣正在被新技術(shù)重塑 第二這種滲透可以通過詞頻、句法統(tǒng)計等 NLP 技術(shù)檢測出來 第三檢測不是目的如何在提升寫作效率的同時守住科研誠信邊界才是更值得關(guān)注的問題。本文從原理講到實(shí)踐涉及了詞頻分析、困惑度計算、句長變異系數(shù)、n-gram 特征構(gòu)建、分類器訓(xùn)練以及一個可運(yùn)行的 Python 文本分析腳本。你可以基于這個框架做三件事用真實(shí)論文語料訓(xùn)練一個屬于自己的“寫作痕跡檢測器”給自己最近的論文做一個快速自檢看看是否無意中混入了過多 LLM 風(fēng)格表達(dá)如果你在做學(xué)術(shù)寫作工具把“AI 改編審計日志”作為產(chǎn)品功能設(shè)計進(jìn)去。下一步的學(xué)習(xí)路線可以這樣規(guī)劃深入學(xué)習(xí) TF-IDF、word2vec、BERT 等文本表示方法掌握transformers庫和預(yù)訓(xùn)練語言模型的使用了解對抗樣本和文本擾動技術(shù)理解為什么檢測模型會被繞過閱讀關(guān)于學(xué)術(shù)不端檢測、水印技術(shù)、AI 生成內(nèi)容標(biāo)注等方向的最新論文自己動手寫一個小規(guī)模數(shù)據(jù)集對比不同檢測模型的效果差異。如果你對 LLM 文本檢測、科研寫作自動化或者學(xué)術(shù)文本挖掘有興趣可以先把本文的代碼跑一遍再用自己的語料做驗(yàn)證。如果你在實(shí)踐中遇到了有意思的現(xiàn)象歡迎在評論區(qū)分享你的觀察。 如何識別論文中的AI痕跡？LLM輔助寫作檢測技術(shù)解析
開篇先聊一個很有意思的現(xiàn)象近兩年生物醫(yī)學(xué)領(lǐng)域的論文里越來越多出現(xiàn)“delve”深入探究、“meticulous”細(xì)致、“commendable”值得稱贊這類高頻詞匯。如果你經(jīng)常讀 PubMed 或 ScienceDirect 上的文章一定會有這種感覺——文字很流暢結(jié)構(gòu)很規(guī)范但隱約透著一股“機(jī)器味”。最近有一項(xiàng)統(tǒng)計研究提出一個判斷大多數(shù)生物醫(yī)學(xué)出版物已經(jīng)顯示出“LLM 輔助寫作”的痕跡。換句話說用大語言模型來潤色甚至起草論文摘要、方法段落、討論部分已經(jīng)不是個例而是普遍現(xiàn)象。這篇博客不是來討論“該不該用 LLM”的道德問題而是想從技術(shù)角度拆解兩件事第一研究者是怎么從文本里識別出 LLM 輔助寫作痕跡的第二作為開發(fā)者或科研人員我們應(yīng)該怎么看待、怎么檢測、怎么負(fù)責(zé)任地使用這類技術(shù)。本文適合對 LLM 應(yīng)用、文本挖掘、科研寫作感興趣的同學(xué)也適合正在做論文寫作輔助工具、學(xué)術(shù)文本分析系統(tǒng)的開發(fā)者。讀完你會掌握LLM 輔助寫作在詞匯和句法層面的典型特征、檢測分類器的構(gòu)建思路以及一個可以擴(kuò)展的 Python 文本特征分析示例。1. 現(xiàn)象背后的技術(shù)邏輯LLM 輔助寫作為什么能被識別1.1 什么是“LLM 輔助寫作的痕跡”先澄清一個概念所謂“LLM 輔助寫作痕跡”并不是指文本里出現(xiàn)了“作為AI……”這樣的水印也不是說整篇文章都是大模型生成的。它指的是作者在寫作過程中使用了 ChatGPT、Claude、文心一言、DeepSeek 等大語言模型來幫忙潤色句子、優(yōu)化措辭、總結(jié)文獻(xiàn)或梳理邏輯導(dǎo)致文本在某些語言特征上偏離了人類作者的自然寫作習(xí)慣。這些特征非常細(xì)微肉眼很難全部發(fā)現(xiàn)。比如詞匯選擇偏向某些“LLM 高頻詞”句子結(jié)構(gòu)過度標(biāo)準(zhǔn)化同義詞替換出現(xiàn)模式化傾向轉(zhuǎn)折詞、強(qiáng)調(diào)詞的使用頻率異常研究者就是抓住這些分布差異通過統(tǒng)計對比來判斷一篇論文是否可能經(jīng)過 LLM 輔助寫作。1.2 大語言模型為什么會有固定的語言偏好這要從 LLM 的訓(xùn)練目標(biāo)說起。大語言模型本質(zhì)上是在預(yù)測“給定上文下一個詞最可能是什么”而訓(xùn)練數(shù)據(jù)整理過程中普遍會進(jìn)行清洗、去重、格式統(tǒng)一。這些預(yù)處理操作雖然在提高數(shù)據(jù)質(zhì)量但也間接讓模型學(xué)到了“規(guī)范但缺乏個人風(fēng)格”的表達(dá)方式。更關(guān)鍵的是對齊訓(xùn)練RLHF 等會讓模型傾向于生成“看起來更專業(yè)、更自信、更有條理”的文本。于是模型會頻繁選擇復(fù)雜詞匯替代簡單詞匯比如用 utilize 替代 use強(qiáng)化邏輯關(guān)系的連接詞如 moreover、furthermore、consequently對形容詞的堆疊和精修如 comprehensive、robust、novel、significant人類作者當(dāng)然也會用這些詞但使用頻率的分布規(guī)律不同。人類寫作的詞匯頻次往往呈長尾分布個體差異很大而 LLM 輔助寫作會顯著縮小這種個體差異讓不同論文的用詞分布趨向一致。1.3 為什么生物醫(yī)學(xué)領(lǐng)域尤其明顯生物醫(yī)學(xué)論文有非常固定的結(jié)構(gòu)摘要普遍采用“背景-方法-結(jié)果-結(jié)論”四段式討論部分也有一條標(biāo)準(zhǔn)的敘事線。這種高度格式化的文體對 LLM 來說非常“友好”因?yàn)槟Ｐ鸵姂T了類似結(jié)構(gòu)的文本生成時幾乎不會跑偏。另一方面生物醫(yī)學(xué)研究者普遍面臨“發(fā)表壓力”英語非母語的作者尤其需要 LLM 進(jìn)行語言潤色。這使得生物醫(yī)學(xué)領(lǐng)域成為 LLM 輔助寫作滲透率最高的學(xué)科之一。你去看那些詞匯風(fēng)格變化的研究醫(yī)學(xué)期刊的論文往往是變化最顯著的那部分。1.4 檢測的基本思路既然 LLM 輔助寫作會留下統(tǒng)計特征那檢測思路就順理成章了第一步收集大規(guī)模論文語料按時間線對比詞匯分布變化 第二步找出“LLM 高頻詞”的顯著上升趨勢 第三步用這些特征訓(xùn)練二分類模型區(qū)分“人類寫作”和“LLM 輔助寫作” 第四步在獨(dú)立測試集上驗(yàn)證泛化能力。這個思路和文本分類、情感分析、作者識別等技術(shù)高度重合。下面我們進(jìn)入具體的實(shí)現(xiàn)層面。2. 從文本到數(shù)據(jù)核心特征怎么提取2.1 詞頻分布特征最直接的特征是詞頻。給定一篇文本統(tǒng)計每個詞出現(xiàn)的次數(shù)然后與已知的“LLM 高頻詞表”或“人類寫作常規(guī)詞表”做對照。實(shí)際操作中計算相對詞頻比絕對詞頻更有意義。假設(shè)一篇摘要共 300 個詞其中 “delve” 出現(xiàn) 2 次那它的相對詞頻就是 2/300 ≈ 0.0067。拿這個值去和基線語料庫中該詞的平均相對詞頻比較如果顯著偏高說明存在 LLM 輔助寫作的可能。代碼示例思路# 文件路徑src/frequency_analysis.py import re from collections import Counter def get_word_frequency(text: str) - dict: 統(tǒng)計文本詞頻返回相對詞頻字典 words re.findall(r[a-zA-Z], text.lower()) total_words len(words) if total_words 0: return {} counter Counter(words) return {word: count / total_words for word, count in counter.items()} # 示例文本 sample_text The study provides a comprehensive analysis of the novel biomarker, demonstrating a robust correlation with clinical outcomes. Furthermore, the findings underscore the significance of early detection. freq get_word_frequency(sample_text) print(freq)輸出結(jié)果類似{the: 0.08695652173913043, study: 0.043478260869565216, ...}這段代碼把原始文本轉(zhuǎn)成小寫去掉標(biāo)點(diǎn)再計算每個詞的相對頻率。這是后續(xù)所有分析的基礎(chǔ)。2.2 困惑度Perplexity困惑度是語言模型領(lǐng)域一個經(jīng)典指標(biāo)用來衡量“模型對文本的驚訝程度”。如果一段文本由 LLM 生成模型對其應(yīng)該非常熟悉困惑度低如果是人類寫作風(fēng)格更自由困惑度相對高。但在實(shí)際檢測中困惑度不能單獨(dú)作為判斷依據(jù)。原因很簡單不同模型的詞表不同訓(xùn)練數(shù)據(jù)不同同一個詞在不同模型里的困惑度差異很大。更合理的做法是把困惑度作為眾多特征之一而不是唯一標(biāo)準(zhǔn)。用 HuggingFace Transformers 庫可以快速計算一段文本的困惑度# 文件路徑src/perplexity_score.py import torch from transformers import GPT2LMHeadModel, GPT2Tokenizer model_name gpt2 tokenizer GPT2Tokenizer.from_pretrained(model_name) model GPT2LMHeadModel.from_pretrained(model_name) def calculate_perplexity(text: str) - float: 計算文本的困惑度 encodings tokenizer(text, return_tensorspt, truncationTrue, max_length512) input_ids encodings.input_ids with torch.no_grad(): outputs model(input_ids, labelsinput_ids) loss outputs.loss return float(torch.exp(loss)) sample_text Early diagnosis of cancer is critical for patient survival. ppl calculate_perplexity(sample_text) print(fPerplexity: {ppl:.2f})備注這段代碼依賴torch和transformers首次運(yùn)行會下載模型文件。運(yùn)行環(huán)境需要聯(lián)網(wǎng)并且建議使用 GPU 加速。2.3 句法多樣性與“突發(fā)性”Burstiness除了詞頻和困惑度還有一個在學(xué)術(shù)檢測中很重要的特征句法多樣性有時也叫“突發(fā)性”。它的含義是文本中句子長度、復(fù)雜度是否出現(xiàn)自然波動。人類寫作時注意力會變化句子時短時長信息密度也有起伏。LLM 生成文本則傾向于保持一種“禮貌的穩(wěn)定”——每個句子長度差不多結(jié)構(gòu)都很完整轉(zhuǎn)折詞分布均勻。這種穩(wěn)定恰恰是可疑點(diǎn)。量化方式之一計算句子長度標(biāo)準(zhǔn)差和變異系數(shù)。# 文件路徑src/sentence_variability.py import re import statistics def sentence_length_stats(text: str) - dict: 計算句子長度均值和標(biāo)準(zhǔn)差 sentences re.split(r[.!?], text) sentences [s.strip() for s in sentences if len(s.strip()) 5] lengths [len(s.split()) for s in sentences] if not lengths: return {mean: 0, std: 0, cv: 0} mean_len statistics.mean(lengths) std_len statistics.stdev(lengths) if len(lengths) 1 else 0 cv std_len / mean_len if mean_len 0 else 0 return {mean: mean_len, std: std_len, cv: cv} sample_text ( We analyzed patient records. The results showed significant improvement. However, long-term follow-up is still necessary. We believe this finding will impact clinical practice. ) print(sentence_length_stats(sample_text))cv變異系數(shù)越大說明句子長度波動越明顯越接近人類自然寫作越小說明句子越均勻越可能是模型生成的產(chǎn)物。2.4 二元語法與三元語法頻率單獨(dú)看單詞頻率還不夠語言模型經(jīng)常生成某些固定的詞組搭配。比如“play a crucial role in”、“contributes to our understanding of”、“sheds light on”這類學(xué)術(shù)套話在不同論文里反復(fù)出現(xiàn)。通過統(tǒng)計二元語法bigram和三元語法trigram的相對頻率可以捕捉到這一類模式化表達(dá)。# 文件路徑src/ngram_features.py from collections import Counter import re def get_ngrams(text: str, n: int) - dict: 提取 n-gram 并計算相對頻率 words re.findall(r[a-zA-Z], text.lower()) ngrams zip(*[words[i:] for i in range(n)]) counter Counter(ngrams) total sum(counter.values()) return {ng: cnt / total for ng, cnt in counter.items()} sample_text This study provides valuable insights into the molecular mechanism. trigrams get_ngrams(sample_text, 3) for ng, freq in list(trigrams.items())[:5]: print(ng, round(freq, 4))這些 n-gram 特征和詞頻特征組合起來可以作為分類模型的一維向量。3. 搭建一個 LLM 輔助寫作檢測分類器理解特征之后我們來看一個更接近實(shí)戰(zhàn)的環(huán)節(jié)訓(xùn)練一個簡單的二分類模型判斷一篇文本是“更可能由 LLM 輔助寫作”還是“更像純?nèi)祟悓懽鳌薄Ｐ枰崆罢f明的是這是教學(xué)演示真正發(fā)表在論文里的檢測模型要復(fù)雜得多數(shù)據(jù)量也是這個示例的幾百倍。但這個框架能幫你理解全過程。3.1 數(shù)據(jù)集準(zhǔn)備策略訓(xùn)練檢測模型需要兩類語料正樣本人類寫作建議使用 2000 年以前的生物醫(yī)學(xué)論文摘要。那個年代沒有 LLM 輔助寫作文本是天然的人類寫作樣本。負(fù)樣本LLM 輔助寫作一種是讓多個 LLM 直接生成論文摘要另一種是拿人類寫作的摘要用 LLM 做“潤色改寫”保留原意但用模型風(fēng)格重新表達(dá)。從實(shí)際操作角度第二種樣本更接近真實(shí)場景因?yàn)榇蟛糠盅芯空卟皇亲?LLM 從零寫整篇論文而是潤色已有初稿。數(shù)據(jù)格式建議采用 JSON 數(shù)組每個元素包含text和label兩個字段[ {text: The mechanism by which..., label: 0}, {text: In this study, we delve into..., label: 1} ]其中 0 表示人類寫作1 表示 LLM 輔助寫作。3.2 特征工程把文本轉(zhuǎn)換成語義向量是分類的第一步。為了避免復(fù)雜的中文分詞問題這里以英文論文為例。常用的特征組合TF-IDF 向量詞袋模型詞頻統(tǒng)計特征句長統(tǒng)計特征困惑度特征可選高頻 LLM 風(fēng)格詞占比下面用一個綜合方法構(gòu)建特征# 文件路徑src/build_features.py import re import statistics import joblib from sklearn.feature_extraction.text import TfidfVectorizer LLM_STYLE_WORDS { delve, meticulous, commendable, moreover, furthermore, notably, underscore, comprehensive, robust, novel, significant, pivotal, crucial, indeed, overall } def text_stat_features(text: str) - list: 提取文本統(tǒng)計特征 words re.findall(r[a-zA-Z], text.lower()) total_words len(words) if total_words 0: return [0.0, 0.0, 0.0, 0.0] # LLM 風(fēng)格詞占比 style_word_count sum(1 for w in words if w in LLM_STYLE_WORDS) style_ratio style_word_count / total_words # 平均詞長 avg_word_len sum(len(w) for w in words) / total_words # 句子數(shù)量 sentences re.split(r[.!?], text) sentences [s for s in sentences if len(s.strip()) 5] sentence_count len(sentences) # 句長變異系數(shù) lengths [len(s.split()) for s in sentences] cv 0.0 if len(lengths) 1: mean_len statistics.mean(lengths) std_len statistics.stdev(lengths) if mean_len 0: cv std_len / mean_len return [style_ratio, avg_word_len, sentence_count, cv] def build_feature_pipeline(texts): 向量化文本 拼接統(tǒng)計特征示例框架 # 這一步只是演示思路實(shí)際訓(xùn)練時要把 TF-IDF 和統(tǒng)計特征拼接 tfidf TfidfVectorizer(max_features5000, ngram_range(1, 2)) tfidf_matrix tfidf.fit_transform(texts) joblib.dump(tfidf, models/tfidf.joblib) return tfidf_matrix需要注意build_feature_pipeline只是向量化文本實(shí)際訓(xùn)練時還要把統(tǒng)計特征拼接到 TF-IDF 矩陣后面。你可以用scipy.sparse.hstack實(shí)現(xiàn)矩陣橫向拼接。3.3 模型選擇與訓(xùn)練對于這種中小規(guī)模文本分類任務(wù)隨機(jī)森林或梯度提升樹LightGBM、XGBoost往往比深度模型更好用因?yàn)樘卣骶S度不高訓(xùn)練速度快而且可解釋性強(qiáng)。下面給出一個參考實(shí)現(xiàn)# 文件路徑src/train_detector.py import joblib import numpy as np from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report from scipy.sparse import hstack # 假設(shè)已經(jīng)構(gòu)建好了 tfidf_matrix 和 stats_matrix # X 是特征矩陣y 是標(biāo)簽列表 def train_model(X, y): X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) clf RandomForestClassifier( n_estimators300, max_depth20, random_state42, n_jobs-1 ) clf.fit(X_train, y_train) pred clf.predict(X_test) print(classification_report(y_test, pred, target_names[human, llm_assisted])) joblib.dump(clf, models/llm_writing_detector.joblib) return clf # 使用示例偽代碼實(shí)際需要先構(gòu)造 X 和 y # tfidf_matrix joblib.load(models/tfidf.joblib) # 注意實(shí)際應(yīng)該保存轉(zhuǎn)換后的矩陣 # X_combined hstack([tfidf_matrix, np.array(stats_matrix)]) # train_model(X_combined, y)這里給出的代碼是訓(xùn)練流程的核心結(jié)構(gòu)實(shí)際使用時要根據(jù)你的數(shù)據(jù)格式調(diào)整數(shù)據(jù)加載部分。3.4 評估指標(biāo)與閾值選擇檢測 LLM 輔助寫作不能只看準(zhǔn)確率因?yàn)檎?fù)樣本比例可能失衡。更合理的指標(biāo)是精確率Precision被判定為 LLM 輔助寫作的文本中真正是 LLM 輔助寫作的比例。召回率Recall所有 LLM 輔助寫作文本中被正確識別出來的比例。F1 得分精確率和召回率的調(diào)和平均值。在實(shí)際應(yīng)用中需要根據(jù)場景調(diào)整閾值。如果目標(biāo)是期刊編輯初審希望把疑似論文挑出來人工復(fù)核那么可以適當(dāng)降低閾值提高召回率代價是誤報會增加。反過來如果目標(biāo)是保護(hù)作者不想誤傷就要提高閾值。4. 實(shí)戰(zhàn)分析一篇論文摘要的 LLM 痕跡下面做一個可運(yùn)行的完整示例。假設(shè)我們手頭有一篇英文論文摘要想初步判斷它是否存在 LLM 輔助寫作的痕跡。我們不用復(fù)雜的深度學(xué)習(xí)模型而是用統(tǒng)計特征做一個快速評估。4.1 環(huán)境準(zhǔn)備建議使用 Python 3.9 以上版本安裝以下依賴pip install scikit-learn joblib nltk如果要用 GPT-2 計算困惑度還需要安裝pip install torch transformers4.2 編寫完整分析腳本# 文件路徑src/llm_trace_analyzer.py import re import statistics import joblib from collections import Counter # 常見 LLM 風(fēng)格詞匯表演示用實(shí)際應(yīng)通過大規(guī)模統(tǒng)計得到 LLM_STYLE_WORDS { delve, meticulous, commendable, moreover, furthermore, notably, underscore, comprehensive, robust, novel, significant, pivotal, crucial, indeed, overall, foster, facilitate, highlight, elucidate, demonstrate, showcase, emphasize, underscore, landscape, realm } # 人類寫作更喜歡用的表達(dá)作為對比參考 HUMAN_STYLE_WORDS { maybe, sometimes, often, seems, however, but, i think, we found, unfortunately, interestingly, roughly, approximately } def load_text(file_path: str) - str: 讀取文本文件 with open(file_path, r, encodingutf-8) as f: return f.read() def tokenize_words(text: str) - list: 分詞 return re.findall(r[a-zA-Z], text.lower()) def sentence_lengths(text: str) - list: 統(tǒng)計句子長度 sentences re.split(r[.!?], text) sentences [s.strip() for s in sentences if len(s.strip()) 5] return [len(s.split()) for s in sentences] def analyze(text: str) - dict: 綜合分析文本中的 LLM 寫作痕跡 words tokenize_words(text) total_words len(words) if total_words 0: return {error: empty text} word_counter Counter(words) style_word_count sum(word_counter[w] for w in LLM_STYLE_WORDS if w in word_counter) human_word_count sum(word_counter[w] for w in HUMAN_STYLE_WORDS if w in word_counter) style_ratio style_word_count / total_words human_ratio human_word_count / total_words lens sentence_lengths(text) cv 0.0 if len(lens) 1: mean_len statistics.mean(lens) std_len statistics.stdev(lens) cv std_len / mean_len # 簡單評分規(guī)則 score 0.0 score style_ratio * 100 if cv 0.3: score 15 elif cv 0.5: score 8 return { total_words: total_words, style_ratio: round(style_ratio, 6), human_ratio: round(human_ratio, 6), sentence_cv: round(cv, 4), style_score: round(score, 2) } if __name__ __main__: # 測試文本 abstract This study provides a comprehensive analysis of a novel biomarker for early cancer detection. Moreover, the findings underscore the significance of integrating multimodal imaging with molecular profiling. Our robust methodology demonstrates that combining these approaches can facilitate more precise diagnosis. Furthermore, we observed that the proposed model exhibits a notable improvement over existing techniques. Overall, this work highlights the pivotal role of artificial intelligence in modern oncology and paves the way for further clinical translation. result analyze(abstract) print( LLM 寫作痕跡分析結(jié)果 ) for key, value in result.items(): print(f{key}: {value}) # 對比更有人類風(fēng)格的表達(dá) human_abstract In this paper, we looked at how often LLM-based tools are used during medical manuscript preparation. We searched PubMed and found that some words became much more common after 2022. This was a surprise. However, we need to be careful about the limitations. Maybe some authors just changed their writing style naturally. result2 analyze(human_abstract) print(\n 對照文本分析結(jié)果 ) for key, value in result2.items(): print(f{key}: {value})4.3 運(yùn)行結(jié)果說明運(yùn)行腳本后第一段高度結(jié)構(gòu)化、充滿“comprehensive、novel、moreover、Furthermore、Overall”等表達(dá)的文本style_ratio會顯著高于對照文本風(fēng)格評分也更高。而第二段帶有“we looked at”、“This was a surprise”、“Maybe”這類口語化表達(dá)的文本human_ratio更高風(fēng)格評分更低。這個示例的核心價值不在于準(zhǔn)確檢測某一段文本而在于展示一個可解釋的、可擴(kuò)展的分析框架。你可以在此基礎(chǔ)上加入困惑度、詞向量相似度、perplexity 距離等更復(fù)雜的特征。4.4 從單篇到批量如果要處理幾千篇論文手動讀文件效率太低。可以做成一個自動化腳本遍歷文件夾中的所有文本文件把結(jié)果匯總成一個 CSV# 文件路徑src/batch_analyze.py import os import csv from llm_trace_analyzer import analyze, load_text def batch_analyze(input_dir: str, output_csv: str): results [] for filename in os.listdir(input_dir): if not filename.endswith(.txt): continue file_path os.path.join(input_dir, filename) text load_text(file_path) result analyze(text) result[filename] filename results.append(result) with open(output_csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnameslist(results[0].keys())) writer.writeheader() writer.writerows(results) print(fResults saved to {output_csv}) if __name__ __main__: batch_analyze(papers_corpus, analysis_results.csv)這段代碼會把指定目錄下所有.txt文件的特征批量計算出來并輸出成 CSV 表格方便后續(xù)用 Excel 或 pandas 做進(jìn)一步分析。5. 常見問題與誤用風(fēng)險問題方向具體現(xiàn)象原因分析正確處理方式誤報率偏高普通論文被判為 LLM 輔助寫作統(tǒng)計特征本身有重疊人類寫作也可能用“furthermore”用多模型融合、人工復(fù)核不能只依賴單一指標(biāo)時間偏差2023 年后的檢測模型對 2025 年文本失效LLM 寫作風(fēng)格隨時間迭代新模型偏好詞會變化定期更新訓(xùn)練語料加入最新論文樣本學(xué)科差異計算機(jī)論文和醫(yī)學(xué)論文的基線不同不同學(xué)科常用詞差別大按學(xué)科分別訓(xùn)練檢測模型而不是用一個通用模型改寫導(dǎo)致特征消失LLM 輔助寫作被人工改寫后檢測不出人類干預(yù)會抹掉部分統(tǒng)計痕跡檢測工具只能作為輔助不能替代同行評議語言差異中文學(xué)術(shù)論文的檢測難度更高中文分詞、語序、標(biāo)點(diǎn)規(guī)則不同需要針對中文語料重新訓(xùn)練特征提取器規(guī)避手段有人用“反檢測提示詞”壓制特征本質(zhì)是對抗攻擊學(xué)術(shù)場景不鼓勵規(guī)避重點(diǎn)是守住誠信底線這里特別提醒一點(diǎn)任何檢測工具都不是百分百可靠。在科研評價場景中檢測結(jié)果只能作為線索不能作為直接定罪的依據(jù)。期刊編輯和科研管理者要做的是“證據(jù)鏈完整后謹(jǐn)慎處理”而不是看到高分就判定學(xué)術(shù)不端。6. 科研誠信與負(fù)責(zé)任使用 LLM6.1 期刊政策的差異關(guān)于 LLM 在論文寫作中的使用不同期刊的態(tài)度不完全一致。有的期刊明確允許在 Methods 部分披露“使用了 AI 輔助工具進(jìn)行語言潤色”有的期刊要求作者必須聲明還有一部分期刊禁止將 LLM 列為作者因?yàn)樽髡弑仨殞W(xué)術(shù)內(nèi)容負(fù)責(zé)。目前較主流的共識是LLM 可以用于語言潤色和表達(dá)優(yōu)化。LLM 生成的實(shí)質(zhì)性科學(xué)內(nèi)容如實(shí)驗(yàn)設(shè)計、結(jié)果解釋必須由人類作者驗(yàn)證并負(fù)責(zé)。使用 LLM 后應(yīng)在論文中披露。LLM 不能完全替代作者對數(shù)據(jù)的可重復(fù)性和真實(shí)性的責(zé)任。6.2 作者和開發(fā)者應(yīng)該怎么遵守規(guī)范從作者角度如果只是用 LLM 潤色語言按期刊要求在 acknowledgments 或 methods 中說明即可。將 LLM 生成的文本視為“初稿”必須人工驗(yàn)證數(shù)據(jù)、引用和結(jié)論。不要在論文中隱瞞使用情況這是學(xué)術(shù)誠信的基本要求。從開發(fā)角度如果你在構(gòu)建論文寫作輔助工具應(yīng)該提供系統(tǒng)日志記錄哪些部分被 LLM 修改過。在 UI 中明確提示“AI 生成內(nèi)容需要人工審查”。對引用生成保持謹(jǐn)慎不要自動生成不存在的參考文獻(xiàn)。安全設(shè)計上堅持“最小權(quán)限”和“人工復(fù)核”原則。6.3 檢測技術(shù)是一把雙刃劍檢測 LLM 痕跡是一項(xiàng)技術(shù)但它可能被濫用。比如出版社可能用它篩查大批投稿作者可能用它規(guī)避標(biāo)記工具之間也會形成攻防循環(huán)。從這個角度看檢測系統(tǒng)的設(shè)計者應(yīng)該公開模型的局限性和誤差區(qū)間而不是輸出一個看似精確但實(shí)際無法解釋的分?jǐn)?shù)。這也是為什么在學(xué)術(shù)場景里任何自動檢測工具都應(yīng)該保持“可解釋、可審計、可申訴”的原則。7. 總結(jié)與下一步學(xué)習(xí)方向回到開頭的現(xiàn)象“大多數(shù)生物醫(yī)學(xué)出版物顯示出 LLM 輔助寫作的痕跡”。這句話聽起來像是一個靜態(tài)判斷但從技術(shù)上拆解它其實(shí)揭示了三個重要事實(shí)第一LLM 輔助寫作在學(xué)術(shù)界已經(jīng)深度滲透語言習(xí)慣正在被新技術(shù)重塑 第二這種滲透可以通過詞頻、句法統(tǒng)計等 NLP 技術(shù)檢測出來 第三檢測不是目的如何在提升寫作效率的同時守住科研誠信邊界才是更值得關(guān)注的問題。本文從原理講到實(shí)踐涉及了詞頻分析、困惑度計算、句長變異系數(shù)、n-gram 特征構(gòu)建、分類器訓(xùn)練以及一個可運(yùn)行的 Python 文本分析腳本。你可以基于這個框架做三件事用真實(shí)論文語料訓(xùn)練一個屬于自己的“寫作痕跡檢測器”給自己最近的論文做一個快速自檢看看是否無意中混入了過多 LLM 風(fēng)格表達(dá)如果你在做學(xué)術(shù)寫作工具把“AI 改編審計日志”作為產(chǎn)品功能設(shè)計進(jìn)去。下一步的學(xué)習(xí)路線可以這樣規(guī)劃深入學(xué)習(xí) TF-IDF、word2vec、BERT 等文本表示方法掌握transformers庫和預(yù)訓(xùn)練語言模型的使用了解對抗樣本和文本擾動技術(shù)理解為什么檢測模型會被繞過閱讀關(guān)于學(xué)術(shù)不端檢測、水印技術(shù)、AI 生成內(nèi)容標(biāo)注等方向的最新論文自己動手寫一個小規(guī)模數(shù)據(jù)集對比不同檢測模型的效果差異。如果你對 LLM 文本檢測、科研寫作自動化或者學(xué)術(shù)文本挖掘有興趣可以先把本文的代碼跑一遍再用自己的語料做驗(yàn)證。如果你在實(shí)踐中遇到了有意思的現(xiàn)象歡迎在評論區(qū)分享你的觀察。