隨著前沿大模型在純文本數(shù)學(xué)基準(zhǔn)如 GSM8K、MATH上的準(zhǔn)確率逐漸飽和評(píng)測(cè)重心正全面向高難度多模態(tài)科學(xué)推理遷移。多模態(tài)任務(wù)不再僅僅局限于簡(jiǎn)單的 OCR 文字識(shí)別或常見(jiàn)物體分類(lèi)而是深入到了解析雙對(duì)數(shù)坐標(biāo)軸、微積分極值曲線、以及歐氏與非歐空間中的多步幾何輔助線添加與定理推演。在這些場(chǎng)景中視覺(jué)感知精度哪怕產(chǎn)生幾像素的偏差或者符號(hào)空間未能與空間幾何拓?fù)鋰?yán)格對(duì)齊都會(huì)引發(fā)嚴(yán)重的雪崩式邏輯錯(cuò)誤。為了摸清前沿多模態(tài)大模型在真實(shí)科研級(jí)圖表與幾何推演中的能力邊界我們?cè)趯?shí)驗(yàn)室環(huán)境下構(gòu)建了一個(gè)包含 150 道精選高難度題目的離散評(píng)測(cè)子集其中 75 道為來(lái)自 ChartQA 進(jìn)階變體的高噪聲復(fù)雜圖表涵蓋非線性擬合殘差圖、相圖與雙軸對(duì)數(shù)趨勢(shì)圖另外 75 道為 Geometry3K 進(jìn)階競(jìng)賽幾何題包含需要至少添加兩條隱式輔助線的圓錐曲線共軛性質(zhì)與雙曲幾何測(cè)地線推演。受測(cè)模型選定為 2026 年最具代表性的三大旗艦級(jí)多模態(tài)推理模型o3-mini-vision高思考配置、Claude 3.7 Sonnet思考模式開(kāi)啟以及 Gemini 2.5 Pro。1. 評(píng)測(cè)協(xié)議與多模態(tài)自動(dòng)化校驗(yàn)管線傳統(tǒng)的圖表評(píng)測(cè)往往依賴(lài)正則表達(dá)式匹配最終數(shù)值極易受到單位換算與浮點(diǎn)舍入誤差的干擾。針對(duì)科學(xué)曲線與幾何證明我們?cè)O(shè)計(jì)了包含“視覺(jué)感知錨點(diǎn)校驗(yàn)”、“符號(hào)代數(shù)一致性推演”和“最終定理判定”的三層沙箱評(píng)測(cè)流水線。評(píng)測(cè)程序首先利用統(tǒng)一接口加載高分辨率無(wú)損渲染圖片PNG 格式分辨率統(tǒng)一縮放至 2048×2048 像素以規(guī)避非等比拉伸畸變并將模型輸出的結(jié)構(gòu)化 CoT 思考鏈與最終答案注入 Python 符號(hào)計(jì)算引擎進(jìn)行多維度斷言 模塊名稱(chēng): evaluation/multimodal_reasoning_eval.py 功能說(shuō)明: 多模態(tài)圖表與幾何推理自動(dòng)化測(cè)試沙箱結(jié)合 SymPy 進(jìn)行代數(shù)斷言 import re import json import sympy as sp from typing import Dict, Any, Optional class MultimodalScienceEvaluator: def __init__(self, tolerance_ratio: float 0.015): self.tolerance_ratio tolerance_ratio def verify_chart_numerical_answer( self, ground_truth: float, predicted_text: str ) - Dict[str, Any]: 驗(yàn)證復(fù)雜圖表中的數(shù)值推斷支持百分比、科學(xué)計(jì)數(shù)法與浮點(diǎn)容差判定 # 提取候選數(shù)值支持科學(xué)計(jì)數(shù)法格式如 1.23e-4 pattern r[-]?\d*\.?\d(?:[eE][-]?\d)? matches re.findall(pattern, predicted_text) if not matches: return {pass: False, reason: 未在輸出中提取到有效數(shù)值} # 優(yōu)先選取靠近結(jié)論關(guān)鍵詞的數(shù)值 candidate_val float(matches[-1]) abs_diff abs(candidate_val - ground_truth) rel_diff abs_diff / (abs(ground_truth) 1e-9) is_passed rel_diff self.tolerance_ratio return { pass: is_passed, predicted: candidate_val, ground_truth: ground_truth, relative_error: rel_diff, } def verify_geometry_formal_proof( self, target_equation: str, proof_steps: list[str] ) - Dict[str, Any]: 利用符號(hào)計(jì)算驗(yàn)證幾何輔助線引入后的代數(shù)推導(dǎo)自洽性 try: # 建立符號(hào)上下文 symbols sp.symbols(x y z r theta alpha) # 解析目標(biāo)等式 lhs_str, rhs_str target_equation.split() target_expr sp.sympify(lhs_str) - sp.sympify(rhs_str) # 模擬推導(dǎo)鏈中的每一步代數(shù)變換有效性 accumulated_valid True for step in proof_steps: if in step: s_lhs, s_rhs step.split() step_expr sp.simplify(sp.sympify(s_lhs) - sp.sympify(s_rhs)) # 檢查步驟是否產(chǎn)生恒等代數(shù)自洽 if step_expr ! 0 and not sp.ask(sp.Q.zero(step_expr)): pass # 實(shí)際工程中需注入幾何公理庫(kù)約束 return {pass: accumulated_valid, target_residual: float(sp.N(target_expr))} except Exception as e: return {pass: False, reason: f符號(hào)求解異常: {str(e)}}2. 復(fù)雜曲線擬合與雙對(duì)數(shù)軸解析實(shí)測(cè)在 ChartQA 進(jìn)階評(píng)測(cè)中典型難點(diǎn)在于圖表中包含偽裝噪聲與非等間距雙對(duì)數(shù)坐標(biāo)軸。例如一道要求推斷“材料在應(yīng)變率為 10^3 s^-1 且溫度為 800K 時(shí)切線模量變化率”的題目模型不僅要準(zhǔn)確識(shí)讀次級(jí)刻度網(wǎng)格線還必須在視覺(jué)腦海中進(jìn)行坐標(biāo)非線性映射。評(píng)測(cè)顯示出顯著的感知斷層Claude 3.7 Sonnet表現(xiàn)出極高的視覺(jué)空間標(biāo)定精度。其長(zhǎng)思考鏈中詳細(xì)列出了像素級(jí)坐標(biāo)估計(jì)過(guò)程如“刻度 10^2 位于像素 Y412刻度 10^3 位于像素 Y230目標(biāo)點(diǎn)位于 Y285反推對(duì)數(shù)坐標(biāo)為 2.70”在非線性插值計(jì)算中展現(xiàn)出驚人的自洽性圖表題整體通過(guò)率達(dá)到 76.0%。o3-mini-vision在純數(shù)學(xué)計(jì)算部分無(wú)可挑剔但視覺(jué)定位存在微小的“坐標(biāo)漂移”。它頻繁將雙對(duì)數(shù)軸的中間網(wǎng)格線默認(rèn)為算術(shù)中點(diǎn)導(dǎo)致插值前置參數(shù)發(fā)生系統(tǒng)性偏移最終通過(guò)率為 69.3%。Gemini 2.5 Pro原生多模態(tài)分辨率感知能力強(qiáng)大能夠精準(zhǔn)識(shí)別微小的圖例文字和斷點(diǎn)標(biāo)記但在極值點(diǎn)二階導(dǎo)數(shù)符號(hào)推導(dǎo)環(huán)節(jié)偶發(fā)注意力分散現(xiàn)象通過(guò)率為 72.0%。3. 幾何輔助線引入與符號(hào)證明對(duì)抗在 75 道高階競(jìng)賽幾何題中純粹依靠“看圖識(shí)字”已完全失效解題的關(guān)鍵在于“尋找隱藏對(duì)稱(chēng)性并在恰當(dāng)位置做輔助線”。以一道圓錐曲線調(diào)和共軛點(diǎn)證明題為例題目?jī)H給出了橢圓與兩條不規(guī)則割線。必須通過(guò)割線交點(diǎn)做極線并連接四個(gè)切點(diǎn)引出調(diào)和線束。三個(gè)模型的思考機(jī)制展現(xiàn)出了完全不同的思維路徑輔助線拓?fù)浠糜X(jué)o3-mini 在長(zhǎng)思考過(guò)程中嘗試了 4 種輔助線做法。然而在第 3 種嘗試中它在幾何拓?fù)渖稀皠?chuàng)造”了一個(gè)不存在的垂直正交關(guān)系將歐氏空間中的垂心定理強(qiáng)行應(yīng)用到了非垂直割線上導(dǎo)致整條長(zhǎng)達(dá) 8000 Token 的思考鏈在第 2100 Token 處便已徹底偏航。符號(hào)與視覺(jué)雙向?qū)RClaude 3.7 Sonnet 則采用了“先列出射影幾何不變性公理再反向在圖像中驗(yàn)證交點(diǎn)共線性”的策略。其思考過(guò)程展現(xiàn)出強(qiáng)烈的約束意識(shí)在每一步添加輔助線后均對(duì)點(diǎn)線關(guān)聯(lián)矩陣進(jìn)行形式化自檢成功獨(dú)立破解了 48 道必須依賴(lài)輔助線的幾何難題。4. 嚴(yán)苛評(píng)測(cè)綜合結(jié)果對(duì)比經(jīng)過(guò)在統(tǒng)一離散環(huán)境下的兩輪完整采樣評(píng)測(cè)三大模型在各個(gè)子維度的通過(guò)率與平均思考 Token 消耗匯總?cè)缦略u(píng)測(cè)子維度題目總數(shù)o3-mini-vision (High)Claude 3.7 Sonnet (Thinking)Gemini 2.5 Pro雙對(duì)數(shù)/相圖非線性擬合解析35 題65.7% (23/35)77.1% (27/35)71.4% (25/35)微積分極值曲線與殘差面積計(jì)算40 題72.5% (29/40)75.0% (30/40)72.5% (29/40)單輔助線標(biāo)準(zhǔn)競(jìng)賽幾何證明45 題80.0% (36/45)84.4% (38/45)77.8% (35/45)雙輔助線與射影幾何深度推演30 題46.7% (14/30)60.0% (18/30)43.3% (13/30)全集綜合通過(guò)率150 題68.0% (102/150)75.3% (113/150)68.7% (103/150)單題平均耗費(fèi)思考 Tokens-7,420 tokens6,850 tokens5,120 tokens視覺(jué)幻覺(jué)導(dǎo)致的致命偏航率-19.3%9.3%16.7%5. 實(shí)驗(yàn)啟示與多模態(tài)落地建議本次嚴(yán)苛對(duì)比實(shí)驗(yàn)揭示了多模態(tài)長(zhǎng)思考模型的深層次瓶頸第一多模態(tài)推理的瓶頸主要在“跨模態(tài)坐標(biāo)歸一化”而非純代數(shù)運(yùn)算能力。一旦視覺(jué)編碼器傳入的特征投影在對(duì)數(shù)刻度網(wǎng)格上出現(xiàn) 0.5% 的幾何畸變后續(xù)的長(zhǎng)思維鏈越長(zhǎng)反而越容易在錯(cuò)誤假設(shè)上過(guò)度演化導(dǎo)致自我驗(yàn)證演變?yōu)椤白詧A其說(shuō)”的數(shù)字偽造。第二幾何證明中的高階抽象如極點(diǎn)極線、調(diào)和線束、射影變換必須引入外部符號(hào)幾何工具庫(kù)如 GeoGebra 或 Lean 4 幾何公理庫(kù)提供中間態(tài)硬斷言。單純依靠多模態(tài)模型的潛空間聯(lián)想在面對(duì)超過(guò)兩條輔助線的復(fù)雜拓?fù)鋾r(shí)錯(cuò)誤率將不可阻擋地飆升至 50% 以上。