報(bào)電話會(huì)議中的AI生產(chǎn)力信號(hào))
企業(yè)財(cái)報(bào)電話會(huì)議是觀察AI落地的重要窗口。越來越多的公司在股東電話會(huì)議中提到AI但高層說“AI提升生產(chǎn)力”和現(xiàn)實(shí)中AI真正影響運(yùn)營之間往往隔著一段需要定量分析的證據(jù)鏈。這篇文章從一個(gè)可以落地的分析視角來拆解這件事用 Python 和大型語言模型把財(cái)報(bào)電話會(huì)議文本轉(zhuǎn)化為可追蹤、可驗(yàn)證的 AI 生產(chǎn)力信號(hào)。你會(huì)看到一張完整的分析管線包括數(shù)據(jù)準(zhǔn)備、文本清洗、AI 相關(guān)語句召回、生產(chǎn)力維度分類、指標(biāo)設(shè)計(jì)、結(jié)果驗(yàn)證和生產(chǎn)化改造整個(gè)過程可以在本地復(fù)現(xiàn)也可以擴(kuò)展成自動(dòng)化分析服務(wù)。1. 財(cái)報(bào)電話會(huì)議中的AI敘事為什么值得做技術(shù)分析1.1 從“提到AI”到“AI影響生產(chǎn)力”的語義斷層財(cái)報(bào)電話會(huì)議Earnings Call是上市公司管理層與分析師之間的公開對(duì)話通常包含 CEO、CFO 對(duì)經(jīng)營成果的陳述和分析師提問。近幾年“AI”這個(gè)詞在電話會(huì)議中被頻繁提及但這并不等于公司已經(jīng)在用 AI 改善生產(chǎn)力。這里存在一個(gè)語義斷層管理層可以說“我們正在利用 AI 提升客戶滿意度”也可能說“AI 相關(guān)云服務(wù)收入同比增長(zhǎng) 30%”。前者是模糊的愿景敘述后者是相對(duì)可驗(yàn)證的經(jīng)營結(jié)果。如果只統(tǒng)計(jì)“AI”出現(xiàn)次數(shù)會(huì)把兩類完全不同的信息混在一起。技術(shù)分析要做的事情就是把“提到 AI”的句子進(jìn)一步拆分成幾個(gè)維度是否涉及具體的生產(chǎn)力場(chǎng)景例如自動(dòng)化流程、降低客服成本、輔助編程、供應(yīng)鏈預(yù)測(cè)。是否提到可以觀察的證據(jù)例如節(jié)省工時(shí)、縮短交付周期、人員結(jié)構(gòu)調(diào)整、收入增量。是否包含時(shí)間、部門、產(chǎn)品或財(cái)務(wù)指標(biāo)還是停留在“戰(zhàn)略布局”層面。這一層拆解本質(zhì)上是一次文本分類和信息抽取任務(wù)。輸入是電話會(huì)議的逐字稿文本輸出是結(jié)構(gòu)化的“AI 生產(chǎn)力信號(hào)”片段方便后續(xù)按公司、按季度、按行業(yè)做趨勢(shì)分析。1.2 分析目標(biāo)把敘事文本轉(zhuǎn)成可驗(yàn)證信號(hào)如果把財(cái)報(bào)電話會(huì)議當(dāng)成一個(gè)非結(jié)構(gòu)化數(shù)據(jù)集每一句話都是一個(gè)樣本。分析管線的整體目標(biāo)可以定義成輸入一段會(huì)議文本輸出該文本中與“AI 生產(chǎn)力”相關(guān)的關(guān)鍵證據(jù)列表每條證據(jù)至少包含原始語句、所屬公司、會(huì)議日期、涉及的生產(chǎn)力維度、證據(jù)強(qiáng)度、情感傾向。這樣做的價(jià)值在于分析師不必再人工翻閱幾十份 PDF 逐字稿投資研究團(tuán)隊(duì)可以批量跟蹤“AI 從戰(zhàn)略敘事走向?qū)嶋H運(yùn)營”的季度變化產(chǎn)品團(tuán)隊(duì)也可以透過公開信息判斷競(jìng)品在 AI 自動(dòng)化上的進(jìn)展。從技術(shù)實(shí)現(xiàn)上這條管線并不需要一開始就做得非常復(fù)雜。先用規(guī)則做候選句召回再用大模型做細(xì)粒度判斷最后用人工抽樣評(píng)估效果是起步階段最穩(wěn)妥的方案。下面用一個(gè)最小可運(yùn)行案例來搭建這條管線。為了讓讀者能直接看到輸入輸出本文示例會(huì)使用公開的會(huì)議記錄片段和模擬數(shù)據(jù)實(shí)際項(xiàng)目中請(qǐng)?zhí)鎿Q成你自己獲取的授權(quán)數(shù)據(jù)。2. 搭建文本分析環(huán)境依賴、模型與數(shù)據(jù)來源2.1 Python環(huán)境與核心依賴建議使用 Python 3.10 或更高版本。核心依賴分成四類數(shù)據(jù)處理、NLP 基礎(chǔ)能力、大模型接口、可視化。依賴庫用途安裝方式pandas表格數(shù)據(jù)處理pip install pandasnumpy數(shù)值計(jì)算pip install numpyjieba中文分詞可選pip install jiebaopenai兼容大模型 API 調(diào)用pip install openaimatplotlib指標(biāo)趨勢(shì)圖pip install matplotlibpyyaml配置文件讀取pip install pyyaml建議先創(chuàng)建一個(gè)獨(dú)立虛擬環(huán)境避免和系統(tǒng) Python 環(huán)境相互污染。python -m venv venv source venv/bin/activate # Windows 下使用 venv\Scripts\activate pip install pandas numpy openai matplotlib pyyaml jieba這里有一個(gè)容易忽略的點(diǎn)openai庫本身并不局限于官方接口很多國產(chǎn)大模型服務(wù)商都提供“OpenAI 兼容”的 HTTP 接口只需要修改base_url和api_key。示例代碼會(huì)統(tǒng)一使用這種兼容模式方便切換模型供應(yīng)商。2.2 大模型接入方式與成本控制大模型在本項(xiàng)目中負(fù)責(zé)兩個(gè)任務(wù)語義判斷和信息抽取?？紤]到財(cái)報(bào)電話會(huì)議是英文會(huì)議記錄占多數(shù)但中文媒體轉(zhuǎn)寫的會(huì)議摘要也大量存在至少要讓模型同時(shí)支持中英文。接入方式建議用環(huán)境變量保存密鑰不要在代碼里寫死export LLM_API_KEYyour_api_key_here export LLM_BASE_URLhttps://your-llm-endpoint.example.com/v1 export LLM_MODELyour-model-name在 Python 中讀取import os api_key os.getenv(LLM_API_KEY) base_url os.getenv(LLM_BASE_URL) model os.getenv(LLM_MODEL, gpt-4o-mini) from openai import OpenAI client OpenAI(api_keyapi_key, base_urlbase_url)成本控制的核心是減少 Token 消耗。財(cái)報(bào)電話會(huì)議全文可能長(zhǎng)達(dá)數(shù)萬詞如果每個(gè)句子都調(diào)用一次大模型費(fèi)用和耗時(shí)都不可控。推薦做法是先做規(guī)則召回只把“疑似涉及 AI 的句子”送入大模型把調(diào)用量壓縮一個(gè)數(shù)量級(jí)。后續(xù)代碼中會(huì)體現(xiàn)這一策略。2.3 數(shù)據(jù)獲取的合規(guī)路徑公開渠道可以獲取財(cái)報(bào)電話會(huì)議逐字稿的來源包括美國 SEC EDGAR 系統(tǒng)中部分公司會(huì)提交包含電話會(huì)議內(nèi)容的 8-K 附件。財(cái)經(jīng)數(shù)據(jù)供應(yīng)商提供的電話會(huì)議文本數(shù)據(jù)集。公司投資者關(guān)系網(wǎng)站公開的財(cái)報(bào)電話會(huì)議記錄 PDF。學(xué)術(shù)或研究機(jī)構(gòu)發(fā)布的金融文本數(shù)據(jù)集。需要注意這些來源的許可證與使用限制不完全相同。用于學(xué)習(xí)研究時(shí)盡量選擇明確授權(quán)公開的數(shù)據(jù)。如果是商業(yè)用途要核對(duì)服務(wù)條款。原始文本既可以是 CSV 文件也可以是 JSON 文件下面是兩種常見結(jié)構(gòu)。CSV 示例company,ticker,date,quarter,speaker,text Acme Corp,ACM,2024-11-01,Q3 2024,CEO,Our AI-driven recommendation engine has reduced response time by 30%. Acme Corp,ACM,2024-11-01,Q3 2024,CFO,We expect automation to lower operating costs in the next fiscal year.JSON 示例[ { company: Acme Corp, ticker: ACM, date: 2024-11-01, quarter: Q3 2024, speaker: CEO, text: Our AI-driven recommendation engine has reduced response time by 30%. } ]進(jìn)入代碼之前需要先確認(rèn)字段完整性。項(xiàng)目代碼可以加一個(gè)簡(jiǎn)單校驗(yàn)函數(shù)import pandas as pd required_cols [company, ticker, date, quarter, speaker, text] def load_transcripts(path): df pd.read_csv(path) missing [col for col in required_cols if col not in df.columns] if missing: raise ValueError(f缺少必要字段: {missing}) df[text] df[text].astype(str) return df這樣在數(shù)據(jù)加載階段就能發(fā)現(xiàn)字段缺失問題而不是等到分析時(shí)才發(fā)現(xiàn)某條記錄是空字符串。3. 預(yù)處理財(cái)報(bào)電話會(huì)議文本從原始文本到可分析片段3.1 原始文本的特點(diǎn)財(cái)報(bào)電話會(huì)議的原始文本通常來自自動(dòng)語音識(shí)別或人工轉(zhuǎn)寫存在幾個(gè)典型問題包含大量填充詞例如 “um”、“uh”、“well”、“you know”。有主持人提示語例如 “Operator: Your next question comes from...”。一句話可能被換行或標(biāo)點(diǎn)切割成多段尤其是英文逗號(hào)、分號(hào)混在一起。中英文混排時(shí)標(biāo)點(diǎn)和空格不規(guī)范。如果直接把這整段文本送入模型會(huì)讓召回結(jié)果噪聲很大。所以預(yù)處理要按“會(huì)議 ID - 發(fā)言片段 - 句子”的層級(jí)拆分。3.2 分句與片段化策略可以用re.split按句號(hào)、問號(hào)、感嘆號(hào)分句但需要注意小數(shù)點(diǎn)、縮寫詞造成的誤切。英文中 “Mr.”、“e.g.” 這類縮寫如果直接按句號(hào)切分會(huì)把一句完整的話拆成兩段。一個(gè)簡(jiǎn)單策略是先用正則做保守切分再做合并。示例代碼import re def split_sentences(text: str) - list[str]: # 保護(hù)常見縮寫 text re.sub(r\b(Mr|Ms|Dr|e\.g|i\.e|vs)\., r\1DOT, text) parts re.split(r(?[.!?。])\s, text.strip()) cleaned [] for part in parts: part part.replace(DOT, .) if part.strip(): cleaned.append(part.strip()) return cleaned這里用DOT占位符保留縮寫中的句點(diǎn)避免把一句話切碎。對(duì)于中文文本如果原始語料沒有明確標(biāo)點(diǎn)可以先使用jieba分詞或模型做斷句但生產(chǎn)項(xiàng)目中更推薦使用專門的句子分割模型或高質(zhì)量轉(zhuǎn)寫工具。3.3 數(shù)據(jù)清洗規(guī)則數(shù)據(jù)清洗按順序執(zhí)行刪除主持人操作語例如 “Your line is open.”、“Please go ahead.”。刪除純數(shù)字、時(shí)間戳、音頻轉(zhuǎn)寫標(biāo)識(shí)。合并由于換行導(dǎo)致的半句話。統(tǒng)一全角和半角標(biāo)點(diǎn)。去除多余空格但保留句子內(nèi)部換行信息用于后續(xù)定位。清洗函數(shù)示例def clean_text(text: str) - str: text re.sub(r\s, , text) text text.replace(’, ).replace(“, ).replace(”, ) text re.sub(r\[.*?\], , text) # 刪除轉(zhuǎn)寫方括號(hào)內(nèi)容 text re.sub(r\(.*?\), , text) # 根據(jù)場(chǎng)景決定是否刪除括號(hào) return text.strip()需要說明刪除括號(hào)內(nèi)容并不總是安全的。如果括號(hào)中是分析師姓名或職位可以刪如果是財(cái)務(wù)數(shù)據(jù)如 “(GAAP EPS: $1.20)”刪掉會(huì)丟失關(guān)鍵證據(jù)。建議把這一步作為可配置項(xiàng)不要寫死。預(yù)處理完成后把每條句子打上會(huì)議和發(fā)言者信息生成一個(gè)長(zhǎng)表供下一步召回使用。def build_sentence_df(df: pd.DataFrame) - pd.DataFrame: rows [] for _, row in df.iterrows(): for sent in split_sentences(clean_text(row[text])): rows.append({ company: row[company], ticker: row[ticker], date: row[date], quarter: row[quarter], speaker: row[speaker], sentence: sent }) return pd.DataFrame(rows)4. 設(shè)計(jì)AI生產(chǎn)力信號(hào)提取管線4.1 第一步規(guī)則召回AI相關(guān)語句為了控制大模型調(diào)用量先用關(guān)鍵詞規(guī)則把候選句召回。這里需要覆蓋英文和中文常見表達(dá)。英文關(guān)鍵詞可以包括ai,artificial intelligence,machine learning,deep learning,automation,intelligent,copilot,agent,generative ai,nlp,computer vision。中文關(guān)鍵詞包括人工智能、AI、大模型、機(jī)器學(xué)習(xí)、自動(dòng)化、智能體、算法、模型。注意大小寫問題。AI是全大寫詞但ai也可能是某些單詞的一部分例如said中并不包含ai但email包含ai。召回時(shí)需要按詞邊界匹配。import re AI_KEYWORDS [ r\bai\b, r\bartificial intelligence\b, r\bmachine learning\b, r\bdeep learning\b, r\bautomation\b, r\bintelligent\b, r\bcopilot\b, r\bagent\b, r\bgenerative ai\b, r\bnlp\b, r\bcomputer vision\b, r人工智能, r大模型, r機(jī)器學(xué)習(xí), r自動(dòng)化, r智能體, r算法, r智能 ] def recall_candidates(sentence: str) - bool: lower sentence.lower() for pattern in AI_KEYWORDS: if re.search(pattern, lower): return True return False召回階段寧可多召回也不要漏掉關(guān)鍵句。因?yàn)楹竺嬗写竽Ｐ妥黾?xì)粒度判斷召回多一些只會(huì)增加少量成本漏掉則會(huì)直接丟失信號(hào)。4.2 第二步LLM判斷生產(chǎn)力維度候選句進(jìn)入大模型后需要讓它輸出結(jié)構(gòu)化 JSON。這里的關(guān)鍵是定義清楚分類維度?？梢园选吧a(chǎn)力信號(hào)”分成五個(gè)維度維度含義示例句效率提升明確提到速度、響應(yīng)時(shí)間、人均產(chǎn)出變化AI客服降低了平均響應(yīng)時(shí)間成本優(yōu)化提到成本下降、運(yùn)營費(fèi)用減少、資源利用率提升自動(dòng)化幫助我們減少外包支出收入貢獻(xiàn)提到AI直接或間接帶來收入AI相關(guān)訂閱收入同比增長(zhǎng)20%人員與組織提到編制、崗位、技能變化我們重新培訓(xùn)客服團(tuán)隊(duì)使用AI助手戰(zhàn)略與研發(fā)提到研發(fā)投入、產(chǎn)品路線、合作投資公司計(jì)劃在2025年擴(kuò)大AI研發(fā)預(yù)算大模型只需要判斷“這句話是否包含上述維度的生產(chǎn)力證據(jù)”并輸出證據(jù)強(qiáng)度等級(jí)high、medium、low、none。none表示提到了 AI 但只是愿景或泛泛而談沒有生產(chǎn)力證據(jù)。Prompt 設(shè)計(jì)示例SYSTEM_PROMPT 你是一個(gè)嚴(yán)謹(jǐn)?shù)呢?cái)報(bào)文本分析助手。 你的任務(wù)是從一句話中判斷它是否包含 AI 或自動(dòng)化對(duì)生產(chǎn)力影響的證據(jù)。 判斷維度 - efficiency: 效率提升 - cost: 成本優(yōu)化 - revenue: 收入貢獻(xiàn) - people: 人員與組織 - strategy: 戰(zhàn)略與研發(fā) 輸出 JSON 格式 { contains_evidence: true, dimension: efficiency, strength: high, reason: 簡(jiǎn)要說明判斷依據(jù) } 規(guī)則 1. 如果只是提到 AI 但沒有具體影響strength 為 lowcontains_evidence 為 false。 2. 如果提到了時(shí)間、比例、金額、人員數(shù)量等可驗(yàn)證信息strength 可設(shè)為 high。 3. 不要自行補(bǔ)充原文不存在的信息。 調(diào)用模型時(shí)把候選句放入 user 消息。為了提升穩(wěn)定性可以設(shè)置temperature0并輸出約束到 JSON。def analyze_sentence(sentence: str) - dict: completion client.chat.completions.create( modelmodel, temperature0, response_format{type: json_object}, messages[ {role: system, content: SYSTEM_PROMPT}, {role: user, content: fSentence: {sentence}} ] ) content completion.choices[0].message.content import json return json.loads(content)4.3 第三步防止AI幻覺的驗(yàn)證機(jī)制大模型在分類時(shí)可能產(chǎn)生幻覺常見有兩種模型把原文沒有的數(shù)據(jù)補(bǔ)充到理由里。模型因?yàn)檫^度擬合訓(xùn)練數(shù)據(jù)把 “AI strategy” 錯(cuò)誤分類成 “high impact”。在提示詞中約束只能引用原文是第一步。第二步是在后處理中做校驗(yàn)檢查strength字段是否在合法枚舉中。如果strength high要求理由里必須出現(xiàn)原文中的數(shù)字、百分比、時(shí)間詞否則降級(jí)為medium。如果contains_evidencefalse但是該句命中多個(gè)生產(chǎn)力關(guān)鍵詞標(biāo)記為待人工復(fù)核。示例校驗(yàn)函數(shù)def validate_result(original_sentence: str, parsed: dict) - dict: allowed_strength {high, medium, low, none} strength parsed.get(strength, none) if strength not in allowed_strength: parsed[strength] none if strength in {high, medium}: # 關(guān)鍵字校驗(yàn)high 強(qiáng)度必須包含數(shù)字證據(jù) has_number bool(re.search(r\d(\.\d)?%?, original_sentence)) has_evidence_word any(w in original_sentence.lower() for w in [ increase, reduce, decrease, improve, saving, time, cost, revenue, 提升, 降低, 減少, 收入, 成本 ]) if not (has_number or has_evidence_word): parsed[strength] low parsed[flag] weak_evidence return parsed4.4 核心代碼實(shí)現(xiàn)下面這段主流程把召回、分析、校驗(yàn)串起來。實(shí)際項(xiàng)目中建議增加緩存避免重復(fù)調(diào)用 API。def extract_ai_productivity_signals(sentence_df: pd.DataFrame, batch_size: int 10) - pd.DataFrame: results [] candidate_count 0 for _, row in sentence_df.iterrows(): sentence row[sentence] if not recall_candidates(sentence): continue candidate_count 1 parsed {} try: parsed analyze_sentence(sentence) except Exception as exc: parsed { contains_evidence: None, dimension: unknown, strength: none, reason: fAPI_ERROR: {exc} } parsed validate_result(sentence, parsed) results.append({**row, **parsed}) if len(results) % batch_size 0: print(f已處理 {len(results)} 條候選句) print(f候選句總數(shù): {candidate_count}) return pd.DataFrame(results)這一段邏輯并不復(fù)雜但已經(jīng)能形成一個(gè)最小閉環(huán)。你只需要準(zhǔn)備一個(gè) CSV 文件運(yùn)行后就能得到包含dimension和strength的 DataFrame。5. 構(gòu)建可量化的AI生產(chǎn)力指標(biāo)5.1 指標(biāo)定義與計(jì)算邏輯提取出的結(jié)構(gòu)化結(jié)果可以聚合成若干指標(biāo)。本文定義四個(gè)核心指標(biāo)。首先是 AI 提及密度。它計(jì)算每篇電話會(huì)議中“提到 AI 的句子數(shù)”占“總句子數(shù)”的比例用來衡量管理層討論 AI 的活躍程度。def ai_mention_density(group: pd.DataFrame) - float: total len(group) if total 0: return 0.0 ai_sentences group[sentence].apply(recall_candidates).sum() return round(ai_sentences / total, 4)其次是生產(chǎn)力信號(hào)占比。它只統(tǒng)計(jì)被模型標(biāo)記為contains_evidenceTrue的句子數(shù)占 AI 相關(guān)句子數(shù)的比例。這個(gè)指標(biāo)比單純提 AI 更接近“AI 是否真實(shí)作用于運(yùn)營”。def productivity_signal_ratio(group: pd.DataFrame) - float: ai_candidates group[group[sentence].apply(recall_candidates)] if len(ai_candidates) 0: return 0.0 evidence_count ai_candidates[ai_candidates[contains_evidence] True].shape[0] return round(evidence_count / len(ai_candidates), 4)第三是證據(jù)強(qiáng)度得分。對(duì)strength做加權(quán)打分high3medium2low1none0?？梢钥闯鲆患夜緩摹翱陬^提AI”到“給出數(shù)據(jù)證據(jù)”的進(jìn)階程度。第四是維度分布。統(tǒng)計(jì)五大維度分別出現(xiàn)多少次用于判斷公司當(dāng)前 AI 落地的側(cè)重點(diǎn)是降本、增效還是創(chuàng)收。def dimension_distribution(df: pd.DataFrame) - pd.Series: evidence_df df[df[contains_evidence] True] return evidence_df[dimension].value_counts()5.2 指標(biāo)解釋和閾值選擇指標(biāo)不能只給數(shù)值還要解釋業(yè)務(wù)含義。指標(biāo)計(jì)算口徑數(shù)值偏低數(shù)值偏高AI提及密度AI句子數(shù) / 總句子數(shù)業(yè)務(wù)與AI關(guān)聯(lián)弱敘事驅(qū)動(dòng)明顯需要進(jìn)一步看證據(jù)生產(chǎn)力信號(hào)占比有效性證據(jù)句 / AI候選句多數(shù)只是戰(zhàn)略口號(hào)AI已進(jìn)入具體業(yè)務(wù)環(huán)節(jié)證據(jù)強(qiáng)度得分high3, medium2, low1缺少量化描述存在時(shí)間、金額、比例等可驗(yàn)證數(shù)據(jù)閾值沒有統(tǒng)一標(biāo)準(zhǔn)。用于橫向比較時(shí)建議分行業(yè)分季度看相對(duì)變化。一家傳統(tǒng)零售公司的 AI 提及密度可能一直低于科技公司但若它連續(xù)兩個(gè)季度從 0.5% 升到 1.5%同時(shí)生產(chǎn)力信號(hào)占比同步提升就是一個(gè)值得追蹤的信號(hào)。5.3 可視化輸出把時(shí)間序列繪制成折線圖方便觀察變化趨勢(shì)。import matplotlib.pyplot as plt def plot_trend(summary_df: pd.DataFrame, metric: str, title: str): plt.figure(figsize(10, 5)) plt.plot(summary_df[date], summary_df[metric], markero) plt.title(title) plt.xlabel(會(huì)議日期) plt.ylabel(metric) plt.xticks(rotation45) plt.tight_layout() plt.savefig(f{metric}_trend.png) plt.show()這里summary_df是按季度匯總后的指標(biāo)表。如果公司數(shù)量較多可以先篩選 top N 公司再繪圖避免圖形過于擁擠。6. 運(yùn)行驗(yàn)證與結(jié)果解讀6.1 小樣本人工標(biāo)注在把自動(dòng)分析結(jié)果用于任何正式研究前必須做人工抽樣驗(yàn)證。建議從輸出結(jié)果中隨機(jī)抽取 50 到 100 條記錄由兩個(gè)人分別標(biāo)注最后計(jì)算一致率。標(biāo)注界面可以是一張簡(jiǎn)單的表格包含原始句子、模型判斷維度、證據(jù)強(qiáng)度、人工判斷。人工標(biāo)注主要看三個(gè)問題這句話是否真的涉及 AI 生產(chǎn)力。模型判斷的維度是否正確。證據(jù)強(qiáng)度是否和原文描述的量化程度匹配。計(jì)算準(zhǔn)確率時(shí)把“模型判斷維度與人工一致”記為正確。如果兩輪標(biāo)注結(jié)果不一致需要重新定義 prompt 或規(guī)則。6.2 輸出示例與口徑說明假設(shè)輸入文本是Our AI-powered support bot has reduced average response time from 4 hours to 30 minutes.模型可能輸出{ contains_evidence: true, dimension: efficiency, strength: high, reason: 原文提到了響應(yīng)時(shí)間從4小時(shí)下降到30分鐘量化證據(jù)充分。 }這里strengthhigh是合理的因?yàn)橛忻鞔_數(shù)字和時(shí)間單位。但需要注意這只能說明管理層提到了結(jié)果并不代表財(cái)務(wù)數(shù)據(jù)已經(jīng)驗(yàn)證。分析口徑要寫成“電話會(huì)議中披露的 AI 生產(chǎn)力聲明”而不是“AI 真實(shí)生產(chǎn)力提升”。在結(jié)果報(bào)告中必須區(qū)分這兩個(gè)口徑否則會(huì)把敘事當(dāng)成事實(shí)。6.3 常見偏差和修正方案自動(dòng)分析容易出現(xiàn)系統(tǒng)性偏差。偏差一是語言偏差。英文語料中AI匹配規(guī)則較穩(wěn)定但中文語料中“智能”一詞使用范圍很廣例如“智能制造能力”“智能化轉(zhuǎn)型”這些詞不一定代表 AI 生產(chǎn)力證據(jù)。修正方法是增加否定詞或場(chǎng)景詞過濾或單獨(dú)訓(xùn)練一個(gè)二分類器。偏差二是行業(yè)偏差。銀行和制造商會(huì)用“算法”“模型”指代傳統(tǒng)統(tǒng)計(jì)模型而不是生成式 AI?？梢栽谡倩仉A段加入llm、generative ai、大模型等更明確的詞并允許人工配置行業(yè)詞典。偏差三是時(shí)間偏差。一段話可能在回顧過去的 AI 投入效果也可能在描述未來計(jì)劃。模型默認(rèn)不會(huì)區(qū)分時(shí)態(tài)所以 prompt 應(yīng)加入一個(gè)time_horizon字段輸出past、present、future之一。這在投資分析中尤其重要因?yàn)槲磥硪?guī)劃不能算已實(shí)現(xiàn)的生產(chǎn)力。def classify_time(sentence: str) - str: past_words [已, 完成, 降低, 提升, 節(jié)省, reduced, improved, saved] future_words [計(jì)劃, 預(yù)計(jì), 將, will, plan, expect, goal] lower sentence.lower() if any(w in lower for w in future_words): return future if any(w in lower for w in past_words): return past return present這個(gè)簡(jiǎn)單函數(shù)可以作為兜底更精確的做法是讓模型輸出time_horizon字段。7. 常見問題排查從API報(bào)錯(cuò)到信號(hào)誤判下面這張表總結(jié)了運(yùn)行本管線時(shí)最常遇到的問題按“現(xiàn)象 - 原因 - 檢查方式 - 處理建議”列出。問題現(xiàn)象常見原因檢查方式處理建議API 返回 401 或 403API Key 錯(cuò)誤、沒有讀取環(huán)境變量檢查環(huán)境變量是否生效打印 key 前綴確認(rèn) key 寫入正確的 shell 環(huán)境不要在代碼中硬編碼輸出不是合法 JSON模型返回了 Markdown 或額外解釋打印模型原始返回內(nèi)容在 prompt 中增加response_format后處理中增加 JSON 解析兜底候選句數(shù)量極其少關(guān)鍵詞規(guī)則太嚴(yán)格或文本為空打印sentence列統(tǒng)計(jì)放寬關(guān)鍵詞確認(rèn)清洗沒有誤刪全部?jī)?nèi)容高比例contains_evidencetrue模型過于寬松喜歡給出肯定判斷抽樣人工標(biāo)注調(diào)整 prompt 規(guī)則增加none示例高比例strengthlow原文多是戰(zhàn)略表述缺少量化證據(jù)檢查原始語料是否只包含管理層主旨發(fā)言同時(shí)檢查分析師問答部分里面經(jīng)常有更具體的數(shù)字中文文本召回效果差關(guān)鍵詞沒有覆蓋“大模型”“智能體”檢查分詞和關(guān)鍵詞列表增加中文領(lǐng)域詞表必要時(shí)增加同義詞映射結(jié)果不穩(wěn)定重復(fù)運(yùn)行不同temperature 不為 0 或模型非確定性固定 temperature0固定隨機(jī)種子對(duì)同一批數(shù)據(jù)跑多次并做多數(shù)投票費(fèi)用增長(zhǎng)過快每句話都調(diào)用 API沒有做召回統(tǒng)計(jì)調(diào)用次數(shù)先做規(guī)則召回再對(duì)候選句調(diào)用模型使用緩存排查順序可以按“數(shù)據(jù) - 規(guī)則 - 模型 - 校驗(yàn) - 聚合”推進(jìn)。不要先懷疑模型先確認(rèn)數(shù)據(jù)清洗是否正確再確認(rèn)召回規(guī)則是否覆蓋了常見表達(dá)最后才調(diào)整模型參數(shù)。8. 從分析原型到生產(chǎn)級(jí)應(yīng)用8.1 學(xué)習(xí)環(huán)境與生產(chǎn)環(huán)境的差距本地跑通原型只需要一個(gè) CSV 和 Jupyter Notebook但生產(chǎn)環(huán)境需要另外考慮四件事。第一是調(diào)度。財(cái)報(bào)電話會(huì)議通常按季度集中發(fā)布需要定時(shí)任務(wù)自動(dòng)抓取新文本并觸發(fā)分析流程?？梢允褂?Airflow、Dagster 或最簡(jiǎn)單的事件觸發(fā)函數(shù)甚至 GitHub Actions 定時(shí)運(yùn)行腳本。第二是存儲(chǔ)。原始文本、模型輸出、人工標(biāo)注結(jié)果要分別落庫。推薦使用 PostgreSQL 或更輕量的 DuckDB。表結(jié)構(gòu)至少包含transcript_id、sentence_id、analysis_id、model_version、raw_output。第三是監(jiān)控。每天記錄 API 調(diào)用量、失敗數(shù)、Token 消耗、人工復(fù)核隊(duì)列長(zhǎng)度。大模型輸出質(zhì)量會(huì)隨模型版本變化需要記錄模型版本號(hào)否則無法定位結(jié)果漂移。第四是安全合規(guī)。不要把會(huì)議文本直接發(fā)送到不受控的外部模型除非已經(jīng)獲得數(shù)據(jù)公開授權(quán)。企業(yè)內(nèi)部私有化部署模型時(shí)還要做好訪問控制和日志審計(jì)。8.2 引入AI Agent后的自動(dòng)化擴(kuò)展當(dāng)分析需求變多后可以考慮把流程拆成多個(gè) Agent 任務(wù)數(shù)據(jù)采集 Agent定時(shí)訪問數(shù)據(jù)源下載新增電話會(huì)議 PDF 或文本。文本解析 Agent把 PDF 轉(zhuǎn)成結(jié)構(gòu)化文本并按發(fā)言者分句。信號(hào)提取 Agent調(diào)用大模型輸出證據(jù)列表。人工復(fù)核 Agent把低置信度結(jié)果推送給審核隊(duì)列。報(bào)表 Agent生成季度趨勢(shì)報(bào)告并推送到企業(yè)微信、釘釘或郵件。每個(gè) Agent 本質(zhì)上是原來的一個(gè)小函數(shù)只是加上了狀態(tài)管理、重試和任務(wù)隊(duì)列。這樣做的收益是讓不同崗位的人只關(guān)注自己負(fù)責(zé)的環(huán)節(jié)降低大模型調(diào)用出問題時(shí)的排查范圍。8.3 回歸測(cè)試與模型更新生產(chǎn)環(huán)境不能每次改 prompt 后就直接上線。要把一批已經(jīng)人工標(biāo)注好的句子作為回歸測(cè)試集例如 200 條覆蓋五個(gè)維度的樣本。改 prompt 后先用這批樣本跑指標(biāo)對(duì)比只有當(dāng)準(zhǔn)確率和召回率沒有顯著下降時(shí)才進(jìn)入正式流程。最好把回歸測(cè)試集成到 CI/CD 中。每次更新 prompt 或切換模型時(shí)自動(dòng)執(zhí)行一遍回歸測(cè)試并輸出一個(gè)對(duì)比報(bào)告。這個(gè)機(jī)制對(duì)于依賴大模型的分析系統(tǒng)尤其重要因?yàn)槟Ｐ托袨椴⒉煌耆煽亍?.4 實(shí)踐建議清單環(huán)境檢查Python 版本、依賴包版本、API 地址和模型名稱都記錄在一個(gè)配置文件中。數(shù)據(jù)檢查加載后執(zhí)行空值、重復(fù)項(xiàng)、編碼格式檢查中文編碼統(tǒng)一為 UTF-8。召回檢查統(tǒng)計(jì)每篇電話會(huì)議召回候選句數(shù)量并設(shè)定上下界低于閾值要告警。模型檢查先跑 5 條樣例對(duì)比輸出結(jié)構(gòu)和 prompt 定義是否一致。人工復(fù)核對(duì)強(qiáng)度為 high 的記錄優(yōu)先復(fù)核因?yàn)檫@類記錄對(duì)結(jié)論影響最大。版本記錄每次運(yùn)行都保存模型版本、prompt 版本、運(yùn)行時(shí)間、原始輸出。成本優(yōu)化對(duì)同一會(huì)議多次分析使用緩存按會(huì)議 ID 和模型版本建立唯一鍵。結(jié)果解釋所有指標(biāo)都要附帶口徑說明避免把“管理層披露”寫成“實(shí)際提升”。這篇文章的核心思路是把 AI 敘事拆成可以反復(fù)計(jì)算和驗(yàn)證的信號(hào)。從關(guān)鍵詞召回到大模型分類再到強(qiáng)度校驗(yàn)每一步都服務(wù)于一個(gè)目標(biāo)降低把“嘴上的 AI”誤當(dāng)成“業(yè)務(wù)里的 AI”的風(fēng)險(xiǎn)。下一步你可以根據(jù)自己的數(shù)據(jù)源繼續(xù)擴(kuò)展比如加入股票收益分析、同行業(yè)橫向?qū)Ρ取⒐芾韺诱Z氣分析或者用更細(xì)粒度的事件抽取模型識(shí)別 AI 投資金額和產(chǎn)品發(fā)布時(shí)間。對(duì)剛?cè)腴T的讀者建議先用一兩家公司的小數(shù)據(jù)集跑通完整流程再逐步擴(kuò)大范圍。 利用Python與LLM提取財(cái)報(bào)電話會(huì)議中的AI生產(chǎn)力信號(hào)
企業(yè)財(cái)報(bào)電話會(huì)議是觀察AI落地的重要窗口。越來越多的公司在股東電話會(huì)議中提到AI但高層說“AI提升生產(chǎn)力”和現(xiàn)實(shí)中AI真正影響運(yùn)營之間往往隔著一段需要定量分析的證據(jù)鏈。這篇文章從一個(gè)可以落地的分析視角來拆解這件事用 Python 和大型語言模型把財(cái)報(bào)電話會(huì)議文本轉(zhuǎn)化為可追蹤、可驗(yàn)證的 AI 生產(chǎn)力信號(hào)。你會(huì)看到一張完整的分析管線包括數(shù)據(jù)準(zhǔn)備、文本清洗、AI 相關(guān)語句召回、生產(chǎn)力維度分類、指標(biāo)設(shè)計(jì)、結(jié)果驗(yàn)證和生產(chǎn)化改造整個(gè)過程可以在本地復(fù)現(xiàn)也可以擴(kuò)展成自動(dòng)化分析服務(wù)。1. 財(cái)報(bào)電話會(huì)議中的AI敘事為什么值得做技術(shù)分析1.1 從“提到AI”到“AI影響生產(chǎn)力”的語義斷層財(cái)報(bào)電話會(huì)議Earnings Call是上市公司管理層與分析師之間的公開對(duì)話通常包含 CEO、CFO 對(duì)經(jīng)營成果的陳述和分析師提問。近幾年“AI”這個(gè)詞在電話會(huì)議中被頻繁提及但這并不等于公司已經(jīng)在用 AI 改善生產(chǎn)力。這里存在一個(gè)語義斷層管理層可以說“我們正在利用 AI 提升客戶滿意度”也可能說“AI 相關(guān)云服務(wù)收入同比增長(zhǎng) 30%”。前者是模糊的愿景敘述后者是相對(duì)可驗(yàn)證的經(jīng)營結(jié)果。如果只統(tǒng)計(jì)“AI”出現(xiàn)次數(shù)會(huì)把兩類完全不同的信息混在一起。技術(shù)分析要做的事情就是把“提到 AI”的句子進(jìn)一步拆分成幾個(gè)維度是否涉及具體的生產(chǎn)力場(chǎng)景例如自動(dòng)化流程、降低客服成本、輔助編程、供應(yīng)鏈預(yù)測(cè)。是否提到可以觀察的證據(jù)例如節(jié)省工時(shí)、縮短交付周期、人員結(jié)構(gòu)調(diào)整、收入增量。是否包含時(shí)間、部門、產(chǎn)品或財(cái)務(wù)指標(biāo)還是停留在“戰(zhàn)略布局”層面。這一層拆解本質(zhì)上是一次文本分類和信息抽取任務(wù)。輸入是電話會(huì)議的逐字稿文本輸出是結(jié)構(gòu)化的“AI 生產(chǎn)力信號(hào)”片段方便后續(xù)按公司、按季度、按行業(yè)做趨勢(shì)分析。1.2 分析目標(biāo)把敘事文本轉(zhuǎn)成可驗(yàn)證信號(hào)如果把財(cái)報(bào)電話會(huì)議當(dāng)成一個(gè)非結(jié)構(gòu)化數(shù)據(jù)集每一句話都是一個(gè)樣本。分析管線的整體目標(biāo)可以定義成輸入一段會(huì)議文本輸出該文本中與“AI 生產(chǎn)力”相關(guān)的關(guān)鍵證據(jù)列表每條證據(jù)至少包含原始語句、所屬公司、會(huì)議日期、涉及的生產(chǎn)力維度、證據(jù)強(qiáng)度、情感傾向。這樣做的價(jià)值在于分析師不必再人工翻閱幾十份 PDF 逐字稿投資研究團(tuán)隊(duì)可以批量跟蹤“AI 從戰(zhàn)略敘事走向?qū)嶋H運(yùn)營”的季度變化產(chǎn)品團(tuán)隊(duì)也可以透過公開信息判斷競(jìng)品在 AI 自動(dòng)化上的進(jìn)展。從技術(shù)實(shí)現(xiàn)上這條管線并不需要一開始就做得非常復(fù)雜。先用規(guī)則做候選句召回再用大模型做細(xì)粒度判斷最后用人工抽樣評(píng)估效果是起步階段最穩(wěn)妥的方案。下面用一個(gè)最小可運(yùn)行案例來搭建這條管線。為了讓讀者能直接看到輸入輸出本文示例會(huì)使用公開的會(huì)議記錄片段和模擬數(shù)據(jù)實(shí)際項(xiàng)目中請(qǐng)?zhí)鎿Q成你自己獲取的授權(quán)數(shù)據(jù)。2. 搭建文本分析環(huán)境依賴、模型與數(shù)據(jù)來源2.1 Python環(huán)境與核心依賴建議使用 Python 3.10 或更高版本。核心依賴分成四類數(shù)據(jù)處理、NLP 基礎(chǔ)能力、大模型接口、可視化。依賴庫用途安裝方式pandas表格數(shù)據(jù)處理pip install pandasnumpy數(shù)值計(jì)算pip install numpyjieba中文分詞可選pip install jiebaopenai兼容大模型 API 調(diào)用pip install openaimatplotlib指標(biāo)趨勢(shì)圖pip install matplotlibpyyaml配置文件讀取pip install pyyaml建議先創(chuàng)建一個(gè)獨(dú)立虛擬環(huán)境避免和系統(tǒng) Python 環(huán)境相互污染。python -m venv venv source venv/bin/activate # Windows 下使用 venv\Scripts\activate pip install pandas numpy openai matplotlib pyyaml jieba這里有一個(gè)容易忽略的點(diǎn)openai庫本身并不局限于官方接口很多國產(chǎn)大模型服務(wù)商都提供“OpenAI 兼容”的 HTTP 接口只需要修改base_url和api_key。示例代碼會(huì)統(tǒng)一使用這種兼容模式方便切換模型供應(yīng)商。2.2 大模型接入方式與成本控制大模型在本項(xiàng)目中負(fù)責(zé)兩個(gè)任務(wù)語義判斷和信息抽取?？紤]到財(cái)報(bào)電話會(huì)議是英文會(huì)議記錄占多數(shù)但中文媒體轉(zhuǎn)寫的會(huì)議摘要也大量存在至少要讓模型同時(shí)支持中英文。接入方式建議用環(huán)境變量保存密鑰不要在代碼里寫死export LLM_API_KEYyour_api_key_here export LLM_BASE_URLhttps://your-llm-endpoint.example.com/v1 export LLM_MODELyour-model-name在 Python 中讀取import os api_key os.getenv(LLM_API_KEY) base_url os.getenv(LLM_BASE_URL) model os.getenv(LLM_MODEL, gpt-4o-mini) from openai import OpenAI client OpenAI(api_keyapi_key, base_urlbase_url)成本控制的核心是減少 Token 消耗。財(cái)報(bào)電話會(huì)議全文可能長(zhǎng)達(dá)數(shù)萬詞如果每個(gè)句子都調(diào)用一次大模型費(fèi)用和耗時(shí)都不可控。推薦做法是先做規(guī)則召回只把“疑似涉及 AI 的句子”送入大模型把調(diào)用量壓縮一個(gè)數(shù)量級(jí)。后續(xù)代碼中會(huì)體現(xiàn)這一策略。2.3 數(shù)據(jù)獲取的合規(guī)路徑公開渠道可以獲取財(cái)報(bào)電話會(huì)議逐字稿的來源包括美國 SEC EDGAR 系統(tǒng)中部分公司會(huì)提交包含電話會(huì)議內(nèi)容的 8-K 附件。財(cái)經(jīng)數(shù)據(jù)供應(yīng)商提供的電話會(huì)議文本數(shù)據(jù)集。公司投資者關(guān)系網(wǎng)站公開的財(cái)報(bào)電話會(huì)議記錄 PDF。學(xué)術(shù)或研究機(jī)構(gòu)發(fā)布的金融文本數(shù)據(jù)集。需要注意這些來源的許可證與使用限制不完全相同。用于學(xué)習(xí)研究時(shí)盡量選擇明確授權(quán)公開的數(shù)據(jù)。如果是商業(yè)用途要核對(duì)服務(wù)條款。原始文本既可以是 CSV 文件也可以是 JSON 文件下面是兩種常見結(jié)構(gòu)。CSV 示例company,ticker,date,quarter,speaker,text Acme Corp,ACM,2024-11-01,Q3 2024,CEO,Our AI-driven recommendation engine has reduced response time by 30%. Acme Corp,ACM,2024-11-01,Q3 2024,CFO,We expect automation to lower operating costs in the next fiscal year.JSON 示例[ { company: Acme Corp, ticker: ACM, date: 2024-11-01, quarter: Q3 2024, speaker: CEO, text: Our AI-driven recommendation engine has reduced response time by 30%. } ]進(jìn)入代碼之前需要先確認(rèn)字段完整性。項(xiàng)目代碼可以加一個(gè)簡(jiǎn)單校驗(yàn)函數(shù)import pandas as pd required_cols [company, ticker, date, quarter, speaker, text] def load_transcripts(path): df pd.read_csv(path) missing [col for col in required_cols if col not in df.columns] if missing: raise ValueError(f缺少必要字段: {missing}) df[text] df[text].astype(str) return df這樣在數(shù)據(jù)加載階段就能發(fā)現(xiàn)字段缺失問題而不是等到分析時(shí)才發(fā)現(xiàn)某條記錄是空字符串。3. 預(yù)處理財(cái)報(bào)電話會(huì)議文本從原始文本到可分析片段3.1 原始文本的特點(diǎn)財(cái)報(bào)電話會(huì)議的原始文本通常來自自動(dòng)語音識(shí)別或人工轉(zhuǎn)寫存在幾個(gè)典型問題包含大量填充詞例如 “um”、“uh”、“well”、“you know”。有主持人提示語例如 “Operator: Your next question comes from...”。一句話可能被換行或標(biāo)點(diǎn)切割成多段尤其是英文逗號(hào)、分號(hào)混在一起。中英文混排時(shí)標(biāo)點(diǎn)和空格不規(guī)范。如果直接把這整段文本送入模型會(huì)讓召回結(jié)果噪聲很大。所以預(yù)處理要按“會(huì)議 ID - 發(fā)言片段 - 句子”的層級(jí)拆分。3.2 分句與片段化策略可以用re.split按句號(hào)、問號(hào)、感嘆號(hào)分句但需要注意小數(shù)點(diǎn)、縮寫詞造成的誤切。英文中 “Mr.”、“e.g.” 這類縮寫如果直接按句號(hào)切分會(huì)把一句完整的話拆成兩段。一個(gè)簡(jiǎn)單策略是先用正則做保守切分再做合并。示例代碼import re def split_sentences(text: str) - list[str]: # 保護(hù)常見縮寫 text re.sub(r\b(Mr|Ms|Dr|e\.g|i\.e|vs)\., r\1DOT, text) parts re.split(r(?[.!?。])\s, text.strip()) cleaned [] for part in parts: part part.replace(DOT, .) if part.strip(): cleaned.append(part.strip()) return cleaned這里用DOT占位符保留縮寫中的句點(diǎn)避免把一句話切碎。對(duì)于中文文本如果原始語料沒有明確標(biāo)點(diǎn)可以先使用jieba分詞或模型做斷句但生產(chǎn)項(xiàng)目中更推薦使用專門的句子分割模型或高質(zhì)量轉(zhuǎn)寫工具。3.3 數(shù)據(jù)清洗規(guī)則數(shù)據(jù)清洗按順序執(zhí)行刪除主持人操作語例如 “Your line is open.”、“Please go ahead.”。刪除純數(shù)字、時(shí)間戳、音頻轉(zhuǎn)寫標(biāo)識(shí)。合并由于換行導(dǎo)致的半句話。統(tǒng)一全角和半角標(biāo)點(diǎn)。去除多余空格但保留句子內(nèi)部換行信息用于后續(xù)定位。清洗函數(shù)示例def clean_text(text: str) - str: text re.sub(r\s, , text) text text.replace(’, ).replace(“, ).replace(”, ) text re.sub(r\[.*?\], , text) # 刪除轉(zhuǎn)寫方括號(hào)內(nèi)容 text re.sub(r\(.*?\), , text) # 根據(jù)場(chǎng)景決定是否刪除括號(hào) return text.strip()需要說明刪除括號(hào)內(nèi)容并不總是安全的。如果括號(hào)中是分析師姓名或職位可以刪如果是財(cái)務(wù)數(shù)據(jù)如 “(GAAP EPS: $1.20)”刪掉會(huì)丟失關(guān)鍵證據(jù)。建議把這一步作為可配置項(xiàng)不要寫死。預(yù)處理完成后把每條句子打上會(huì)議和發(fā)言者信息生成一個(gè)長(zhǎng)表供下一步召回使用。def build_sentence_df(df: pd.DataFrame) - pd.DataFrame: rows [] for _, row in df.iterrows(): for sent in split_sentences(clean_text(row[text])): rows.append({ company: row[company], ticker: row[ticker], date: row[date], quarter: row[quarter], speaker: row[speaker], sentence: sent }) return pd.DataFrame(rows)4. 設(shè)計(jì)AI生產(chǎn)力信號(hào)提取管線4.1 第一步規(guī)則召回AI相關(guān)語句為了控制大模型調(diào)用量先用關(guān)鍵詞規(guī)則把候選句召回。這里需要覆蓋英文和中文常見表達(dá)。英文關(guān)鍵詞可以包括ai,artificial intelligence,machine learning,deep learning,automation,intelligent,copilot,agent,generative ai,nlp,computer vision。中文關(guān)鍵詞包括人工智能、AI、大模型、機(jī)器學(xué)習(xí)、自動(dòng)化、智能體、算法、模型。注意大小寫問題。AI是全大寫詞但ai也可能是某些單詞的一部分例如said中并不包含ai但email包含ai。召回時(shí)需要按詞邊界匹配。import re AI_KEYWORDS [ r\bai\b, r\bartificial intelligence\b, r\bmachine learning\b, r\bdeep learning\b, r\bautomation\b, r\bintelligent\b, r\bcopilot\b, r\bagent\b, r\bgenerative ai\b, r\bnlp\b, r\bcomputer vision\b, r人工智能, r大模型, r機(jī)器學(xué)習(xí), r自動(dòng)化, r智能體, r算法, r智能 ] def recall_candidates(sentence: str) - bool: lower sentence.lower() for pattern in AI_KEYWORDS: if re.search(pattern, lower): return True return False召回階段寧可多召回也不要漏掉關(guān)鍵句。因?yàn)楹竺嬗写竽Ｐ妥黾?xì)粒度判斷召回多一些只會(huì)增加少量成本漏掉則會(huì)直接丟失信號(hào)。4.2 第二步LLM判斷生產(chǎn)力維度候選句進(jìn)入大模型后需要讓它輸出結(jié)構(gòu)化 JSON。這里的關(guān)鍵是定義清楚分類維度?？梢园选吧a(chǎn)力信號(hào)”分成五個(gè)維度維度含義示例句效率提升明確提到速度、響應(yīng)時(shí)間、人均產(chǎn)出變化AI客服降低了平均響應(yīng)時(shí)間成本優(yōu)化提到成本下降、運(yùn)營費(fèi)用減少、資源利用率提升自動(dòng)化幫助我們減少外包支出收入貢獻(xiàn)提到AI直接或間接帶來收入AI相關(guān)訂閱收入同比增長(zhǎng)20%人員與組織提到編制、崗位、技能變化我們重新培訓(xùn)客服團(tuán)隊(duì)使用AI助手戰(zhàn)略與研發(fā)提到研發(fā)投入、產(chǎn)品路線、合作投資公司計(jì)劃在2025年擴(kuò)大AI研發(fā)預(yù)算大模型只需要判斷“這句話是否包含上述維度的生產(chǎn)力證據(jù)”并輸出證據(jù)強(qiáng)度等級(jí)high、medium、low、none。none表示提到了 AI 但只是愿景或泛泛而談沒有生產(chǎn)力證據(jù)。Prompt 設(shè)計(jì)示例SYSTEM_PROMPT 你是一個(gè)嚴(yán)謹(jǐn)?shù)呢?cái)報(bào)文本分析助手。 你的任務(wù)是從一句話中判斷它是否包含 AI 或自動(dòng)化對(duì)生產(chǎn)力影響的證據(jù)。 判斷維度 - efficiency: 效率提升 - cost: 成本優(yōu)化 - revenue: 收入貢獻(xiàn) - people: 人員與組織 - strategy: 戰(zhàn)略與研發(fā) 輸出 JSON 格式 { contains_evidence: true, dimension: efficiency, strength: high, reason: 簡(jiǎn)要說明判斷依據(jù) } 規(guī)則 1. 如果只是提到 AI 但沒有具體影響strength 為 lowcontains_evidence 為 false。 2. 如果提到了時(shí)間、比例、金額、人員數(shù)量等可驗(yàn)證信息strength 可設(shè)為 high。 3. 不要自行補(bǔ)充原文不存在的信息。 調(diào)用模型時(shí)把候選句放入 user 消息。為了提升穩(wěn)定性可以設(shè)置temperature0并輸出約束到 JSON。def analyze_sentence(sentence: str) - dict: completion client.chat.completions.create( modelmodel, temperature0, response_format{type: json_object}, messages[ {role: system, content: SYSTEM_PROMPT}, {role: user, content: fSentence: {sentence}} ] ) content completion.choices[0].message.content import json return json.loads(content)4.3 第三步防止AI幻覺的驗(yàn)證機(jī)制大模型在分類時(shí)可能產(chǎn)生幻覺常見有兩種模型把原文沒有的數(shù)據(jù)補(bǔ)充到理由里。模型因?yàn)檫^度擬合訓(xùn)練數(shù)據(jù)把 “AI strategy” 錯(cuò)誤分類成 “high impact”。在提示詞中約束只能引用原文是第一步。第二步是在后處理中做校驗(yàn)檢查strength字段是否在合法枚舉中。如果strength high要求理由里必須出現(xiàn)原文中的數(shù)字、百分比、時(shí)間詞否則降級(jí)為medium。如果contains_evidencefalse但是該句命中多個(gè)生產(chǎn)力關(guān)鍵詞標(biāo)記為待人工復(fù)核。示例校驗(yàn)函數(shù)def validate_result(original_sentence: str, parsed: dict) - dict: allowed_strength {high, medium, low, none} strength parsed.get(strength, none) if strength not in allowed_strength: parsed[strength] none if strength in {high, medium}: # 關(guān)鍵字校驗(yàn)high 強(qiáng)度必須包含數(shù)字證據(jù) has_number bool(re.search(r\d(\.\d)?%?, original_sentence)) has_evidence_word any(w in original_sentence.lower() for w in [ increase, reduce, decrease, improve, saving, time, cost, revenue, 提升, 降低, 減少, 收入, 成本 ]) if not (has_number or has_evidence_word): parsed[strength] low parsed[flag] weak_evidence return parsed4.4 核心代碼實(shí)現(xiàn)下面這段主流程把召回、分析、校驗(yàn)串起來。實(shí)際項(xiàng)目中建議增加緩存避免重復(fù)調(diào)用 API。def extract_ai_productivity_signals(sentence_df: pd.DataFrame, batch_size: int 10) - pd.DataFrame: results [] candidate_count 0 for _, row in sentence_df.iterrows(): sentence row[sentence] if not recall_candidates(sentence): continue candidate_count 1 parsed {} try: parsed analyze_sentence(sentence) except Exception as exc: parsed { contains_evidence: None, dimension: unknown, strength: none, reason: fAPI_ERROR: {exc} } parsed validate_result(sentence, parsed) results.append({**row, **parsed}) if len(results) % batch_size 0: print(f已處理 {len(results)} 條候選句) print(f候選句總數(shù): {candidate_count}) return pd.DataFrame(results)這一段邏輯并不復(fù)雜但已經(jīng)能形成一個(gè)最小閉環(huán)。你只需要準(zhǔn)備一個(gè) CSV 文件運(yùn)行后就能得到包含dimension和strength的 DataFrame。5. 構(gòu)建可量化的AI生產(chǎn)力指標(biāo)5.1 指標(biāo)定義與計(jì)算邏輯提取出的結(jié)構(gòu)化結(jié)果可以聚合成若干指標(biāo)。本文定義四個(gè)核心指標(biāo)。首先是 AI 提及密度。它計(jì)算每篇電話會(huì)議中“提到 AI 的句子數(shù)”占“總句子數(shù)”的比例用來衡量管理層討論 AI 的活躍程度。def ai_mention_density(group: pd.DataFrame) - float: total len(group) if total 0: return 0.0 ai_sentences group[sentence].apply(recall_candidates).sum() return round(ai_sentences / total, 4)其次是生產(chǎn)力信號(hào)占比。它只統(tǒng)計(jì)被模型標(biāo)記為contains_evidenceTrue的句子數(shù)占 AI 相關(guān)句子數(shù)的比例。這個(gè)指標(biāo)比單純提 AI 更接近“AI 是否真實(shí)作用于運(yùn)營”。def productivity_signal_ratio(group: pd.DataFrame) - float: ai_candidates group[group[sentence].apply(recall_candidates)] if len(ai_candidates) 0: return 0.0 evidence_count ai_candidates[ai_candidates[contains_evidence] True].shape[0] return round(evidence_count / len(ai_candidates), 4)第三是證據(jù)強(qiáng)度得分。對(duì)strength做加權(quán)打分high3medium2low1none0?？梢钥闯鲆患夜緩摹翱陬^提AI”到“給出數(shù)據(jù)證據(jù)”的進(jìn)階程度。第四是維度分布。統(tǒng)計(jì)五大維度分別出現(xiàn)多少次用于判斷公司當(dāng)前 AI 落地的側(cè)重點(diǎn)是降本、增效還是創(chuàng)收。def dimension_distribution(df: pd.DataFrame) - pd.Series: evidence_df df[df[contains_evidence] True] return evidence_df[dimension].value_counts()5.2 指標(biāo)解釋和閾值選擇指標(biāo)不能只給數(shù)值還要解釋業(yè)務(wù)含義。指標(biāo)計(jì)算口徑數(shù)值偏低數(shù)值偏高AI提及密度AI句子數(shù) / 總句子數(shù)業(yè)務(wù)與AI關(guān)聯(lián)弱敘事驅(qū)動(dòng)明顯需要進(jìn)一步看證據(jù)生產(chǎn)力信號(hào)占比有效性證據(jù)句 / AI候選句多數(shù)只是戰(zhàn)略口號(hào)AI已進(jìn)入具體業(yè)務(wù)環(huán)節(jié)證據(jù)強(qiáng)度得分high3, medium2, low1缺少量化描述存在時(shí)間、金額、比例等可驗(yàn)證數(shù)據(jù)閾值沒有統(tǒng)一標(biāo)準(zhǔn)。用于橫向比較時(shí)建議分行業(yè)分季度看相對(duì)變化。一家傳統(tǒng)零售公司的 AI 提及密度可能一直低于科技公司但若它連續(xù)兩個(gè)季度從 0.5% 升到 1.5%同時(shí)生產(chǎn)力信號(hào)占比同步提升就是一個(gè)值得追蹤的信號(hào)。5.3 可視化輸出把時(shí)間序列繪制成折線圖方便觀察變化趨勢(shì)。import matplotlib.pyplot as plt def plot_trend(summary_df: pd.DataFrame, metric: str, title: str): plt.figure(figsize(10, 5)) plt.plot(summary_df[date], summary_df[metric], markero) plt.title(title) plt.xlabel(會(huì)議日期) plt.ylabel(metric) plt.xticks(rotation45) plt.tight_layout() plt.savefig(f{metric}_trend.png) plt.show()這里summary_df是按季度匯總后的指標(biāo)表。如果公司數(shù)量較多可以先篩選 top N 公司再繪圖避免圖形過于擁擠。6. 運(yùn)行驗(yàn)證與結(jié)果解讀6.1 小樣本人工標(biāo)注在把自動(dòng)分析結(jié)果用于任何正式研究前必須做人工抽樣驗(yàn)證。建議從輸出結(jié)果中隨機(jī)抽取 50 到 100 條記錄由兩個(gè)人分別標(biāo)注最后計(jì)算一致率。標(biāo)注界面可以是一張簡(jiǎn)單的表格包含原始句子、模型判斷維度、證據(jù)強(qiáng)度、人工判斷。人工標(biāo)注主要看三個(gè)問題這句話是否真的涉及 AI 生產(chǎn)力。模型判斷的維度是否正確。證據(jù)強(qiáng)度是否和原文描述的量化程度匹配。計(jì)算準(zhǔn)確率時(shí)把“模型判斷維度與人工一致”記為正確。如果兩輪標(biāo)注結(jié)果不一致需要重新定義 prompt 或規(guī)則。6.2 輸出示例與口徑說明假設(shè)輸入文本是Our AI-powered support bot has reduced average response time from 4 hours to 30 minutes.模型可能輸出{ contains_evidence: true, dimension: efficiency, strength: high, reason: 原文提到了響應(yīng)時(shí)間從4小時(shí)下降到30分鐘量化證據(jù)充分。 }這里strengthhigh是合理的因?yàn)橛忻鞔_數(shù)字和時(shí)間單位。但需要注意這只能說明管理層提到了結(jié)果并不代表財(cái)務(wù)數(shù)據(jù)已經(jīng)驗(yàn)證。分析口徑要寫成“電話會(huì)議中披露的 AI 生產(chǎn)力聲明”而不是“AI 真實(shí)生產(chǎn)力提升”。在結(jié)果報(bào)告中必須區(qū)分這兩個(gè)口徑否則會(huì)把敘事當(dāng)成事實(shí)。6.3 常見偏差和修正方案自動(dòng)分析容易出現(xiàn)系統(tǒng)性偏差。偏差一是語言偏差。英文語料中AI匹配規(guī)則較穩(wěn)定但中文語料中“智能”一詞使用范圍很廣例如“智能制造能力”“智能化轉(zhuǎn)型”這些詞不一定代表 AI 生產(chǎn)力證據(jù)。修正方法是增加否定詞或場(chǎng)景詞過濾或單獨(dú)訓(xùn)練一個(gè)二分類器。偏差二是行業(yè)偏差。銀行和制造商會(huì)用“算法”“模型”指代傳統(tǒng)統(tǒng)計(jì)模型而不是生成式 AI?？梢栽谡倩仉A段加入llm、generative ai、大模型等更明確的詞并允許人工配置行業(yè)詞典。偏差三是時(shí)間偏差。一段話可能在回顧過去的 AI 投入效果也可能在描述未來計(jì)劃。模型默認(rèn)不會(huì)區(qū)分時(shí)態(tài)所以 prompt 應(yīng)加入一個(gè)time_horizon字段輸出past、present、future之一。這在投資分析中尤其重要因?yàn)槲磥硪?guī)劃不能算已實(shí)現(xiàn)的生產(chǎn)力。def classify_time(sentence: str) - str: past_words [已, 完成, 降低, 提升, 節(jié)省, reduced, improved, saved] future_words [計(jì)劃, 預(yù)計(jì), 將, will, plan, expect, goal] lower sentence.lower() if any(w in lower for w in future_words): return future if any(w in lower for w in past_words): return past return present這個(gè)簡(jiǎn)單函數(shù)可以作為兜底更精確的做法是讓模型輸出time_horizon字段。7. 常見問題排查從API報(bào)錯(cuò)到信號(hào)誤判下面這張表總結(jié)了運(yùn)行本管線時(shí)最常遇到的問題按“現(xiàn)象 - 原因 - 檢查方式 - 處理建議”列出。問題現(xiàn)象常見原因檢查方式處理建議API 返回 401 或 403API Key 錯(cuò)誤、沒有讀取環(huán)境變量檢查環(huán)境變量是否生效打印 key 前綴確認(rèn) key 寫入正確的 shell 環(huán)境不要在代碼中硬編碼輸出不是合法 JSON模型返回了 Markdown 或額外解釋打印模型原始返回內(nèi)容在 prompt 中增加response_format后處理中增加 JSON 解析兜底候選句數(shù)量極其少關(guān)鍵詞規(guī)則太嚴(yán)格或文本為空打印sentence列統(tǒng)計(jì)放寬關(guān)鍵詞確認(rèn)清洗沒有誤刪全部?jī)?nèi)容高比例contains_evidencetrue模型過于寬松喜歡給出肯定判斷抽樣人工標(biāo)注調(diào)整 prompt 規(guī)則增加none示例高比例strengthlow原文多是戰(zhàn)略表述缺少量化證據(jù)檢查原始語料是否只包含管理層主旨發(fā)言同時(shí)檢查分析師問答部分里面經(jīng)常有更具體的數(shù)字中文文本召回效果差關(guān)鍵詞沒有覆蓋“大模型”“智能體”檢查分詞和關(guān)鍵詞列表增加中文領(lǐng)域詞表必要時(shí)增加同義詞映射結(jié)果不穩(wěn)定重復(fù)運(yùn)行不同temperature 不為 0 或模型非確定性固定 temperature0固定隨機(jī)種子對(duì)同一批數(shù)據(jù)跑多次并做多數(shù)投票費(fèi)用增長(zhǎng)過快每句話都調(diào)用 API沒有做召回統(tǒng)計(jì)調(diào)用次數(shù)先做規(guī)則召回再對(duì)候選句調(diào)用模型使用緩存排查順序可以按“數(shù)據(jù) - 規(guī)則 - 模型 - 校驗(yàn) - 聚合”推進(jìn)。不要先懷疑模型先確認(rèn)數(shù)據(jù)清洗是否正確再確認(rèn)召回規(guī)則是否覆蓋了常見表達(dá)最后才調(diào)整模型參數(shù)。8. 從分析原型到生產(chǎn)級(jí)應(yīng)用8.1 學(xué)習(xí)環(huán)境與生產(chǎn)環(huán)境的差距本地跑通原型只需要一個(gè) CSV 和 Jupyter Notebook但生產(chǎn)環(huán)境需要另外考慮四件事。第一是調(diào)度。財(cái)報(bào)電話會(huì)議通常按季度集中發(fā)布需要定時(shí)任務(wù)自動(dòng)抓取新文本并觸發(fā)分析流程?？梢允褂?Airflow、Dagster 或最簡(jiǎn)單的事件觸發(fā)函數(shù)甚至 GitHub Actions 定時(shí)運(yùn)行腳本。第二是存儲(chǔ)。原始文本、模型輸出、人工標(biāo)注結(jié)果要分別落庫。推薦使用 PostgreSQL 或更輕量的 DuckDB。表結(jié)構(gòu)至少包含transcript_id、sentence_id、analysis_id、model_version、raw_output。第三是監(jiān)控。每天記錄 API 調(diào)用量、失敗數(shù)、Token 消耗、人工復(fù)核隊(duì)列長(zhǎng)度。大模型輸出質(zhì)量會(huì)隨模型版本變化需要記錄模型版本號(hào)否則無法定位結(jié)果漂移。第四是安全合規(guī)。不要把會(huì)議文本直接發(fā)送到不受控的外部模型除非已經(jīng)獲得數(shù)據(jù)公開授權(quán)。企業(yè)內(nèi)部私有化部署模型時(shí)還要做好訪問控制和日志審計(jì)。8.2 引入AI Agent后的自動(dòng)化擴(kuò)展當(dāng)分析需求變多后可以考慮把流程拆成多個(gè) Agent 任務(wù)數(shù)據(jù)采集 Agent定時(shí)訪問數(shù)據(jù)源下載新增電話會(huì)議 PDF 或文本。文本解析 Agent把 PDF 轉(zhuǎn)成結(jié)構(gòu)化文本并按發(fā)言者分句。信號(hào)提取 Agent調(diào)用大模型輸出證據(jù)列表。人工復(fù)核 Agent把低置信度結(jié)果推送給審核隊(duì)列。報(bào)表 Agent生成季度趨勢(shì)報(bào)告并推送到企業(yè)微信、釘釘或郵件。每個(gè) Agent 本質(zhì)上是原來的一個(gè)小函數(shù)只是加上了狀態(tài)管理、重試和任務(wù)隊(duì)列。這樣做的收益是讓不同崗位的人只關(guān)注自己負(fù)責(zé)的環(huán)節(jié)降低大模型調(diào)用出問題時(shí)的排查范圍。8.3 回歸測(cè)試與模型更新生產(chǎn)環(huán)境不能每次改 prompt 后就直接上線。要把一批已經(jīng)人工標(biāo)注好的句子作為回歸測(cè)試集例如 200 條覆蓋五個(gè)維度的樣本。改 prompt 后先用這批樣本跑指標(biāo)對(duì)比只有當(dāng)準(zhǔn)確率和召回率沒有顯著下降時(shí)才進(jìn)入正式流程。最好把回歸測(cè)試集成到 CI/CD 中。每次更新 prompt 或切換模型時(shí)自動(dòng)執(zhí)行一遍回歸測(cè)試并輸出一個(gè)對(duì)比報(bào)告。這個(gè)機(jī)制對(duì)于依賴大模型的分析系統(tǒng)尤其重要因?yàn)槟Ｐ托袨椴⒉煌耆煽亍?.4 實(shí)踐建議清單環(huán)境檢查Python 版本、依賴包版本、API 地址和模型名稱都記錄在一個(gè)配置文件中。數(shù)據(jù)檢查加載后執(zhí)行空值、重復(fù)項(xiàng)、編碼格式檢查中文編碼統(tǒng)一為 UTF-8。召回檢查統(tǒng)計(jì)每篇電話會(huì)議召回候選句數(shù)量并設(shè)定上下界低于閾值要告警。模型檢查先跑 5 條樣例對(duì)比輸出結(jié)構(gòu)和 prompt 定義是否一致。人工復(fù)核對(duì)強(qiáng)度為 high 的記錄優(yōu)先復(fù)核因?yàn)檫@類記錄對(duì)結(jié)論影響最大。版本記錄每次運(yùn)行都保存模型版本、prompt 版本、運(yùn)行時(shí)間、原始輸出。成本優(yōu)化對(duì)同一會(huì)議多次分析使用緩存按會(huì)議 ID 和模型版本建立唯一鍵。結(jié)果解釋所有指標(biāo)都要附帶口徑說明避免把“管理層披露”寫成“實(shí)際提升”。這篇文章的核心思路是把 AI 敘事拆成可以反復(fù)計(jì)算和驗(yàn)證的信號(hào)。從關(guān)鍵詞召回到大模型分類再到強(qiáng)度校驗(yàn)每一步都服務(wù)于一個(gè)目標(biāo)降低把“嘴上的 AI”誤當(dāng)成“業(yè)務(wù)里的 AI”的風(fēng)險(xiǎn)。下一步你可以根據(jù)自己的數(shù)據(jù)源繼續(xù)擴(kuò)展比如加入股票收益分析、同行業(yè)橫向?qū)Ρ取⒐芾韺诱Z氣分析或者用更細(xì)粒度的事件抽取模型識(shí)別 AI 投資金額和產(chǎn)品發(fā)布時(shí)間。對(duì)剛?cè)腴T的讀者建議先用一兩家公司的小數(shù)據(jù)集跑通完整流程再逐步擴(kuò)大范圍。