多模態(tài) LLM 實(shí)戰(zhàn)一張圖等于多少 token賬怎么算結(jié)論先放這兒圖像視覺 token 數(shù)16px patch 估算336 × 336441512 × 51210241024 × 10244096長(zhǎng)截圖 1280 × 400020000一張高分辨率截圖輕松吃掉幾千到兩萬個(gè)視覺 token比一段長(zhǎng)文字貴得多。多模態(tài)的賬先算圖像側(cè)再算文本側(cè)混著估會(huì)翻車。一、圖像怎么變成 token視覺模型把圖片切成小方塊每個(gè)方塊過一個(gè)編碼器變成一個(gè)向量這就是視覺 token。切法通常按固定邊長(zhǎng)14 或 16 像素劃網(wǎng)格token 數(shù)就是幾何題import math def vision_tokens(width, height, patch16): return (width // patch) * (height // patch) for w, h in [(336, 336), (512, 512), (1024, 1024), (1280, 4000)]: print(w, x, h, -, vision_tokens(w, h), token)分辨率翻一倍token 數(shù)翻四倍成本跟著平方漲。這也是很多產(chǎn)品在上傳前先壓縮圖片的原因畫質(zhì)損失可接受省下來的賬單實(shí)在。二、分辨率和成本的三筆賬第一筆輸入計(jì)費(fèi)。視覺 token 按輸入價(jià)計(jì)費(fèi)一張 1024 見方的圖約 4000 token按常見價(jià)格折算比一段幾百字的中文還貴。批量截圖理解的場(chǎng)景先把圖壓到模型能認(rèn)清的最小尺寸。第二筆上下文窗口。視覺 token 和文本 token 共享同一個(gè)窗口。塞幾張高分辨率圖留給對(duì)話歷史的余量就被擠掉多圖任務(wù)先算總賬。第三筆延遲。視覺 token 越多首 token 延遲越長(zhǎng)。實(shí)時(shí)場(chǎng)景截圖問答、攝像頭流要么降分辨率要么只送關(guān)鍵幀。三、選型注意各家模型對(duì)圖像的處理方式不一樣。有的固定分辨率切一格超過就壓縮到規(guī)格內(nèi)有的動(dòng)態(tài)分辨率按長(zhǎng)寬比切塊長(zhǎng)圖切成多塊逐塊編碼。選型時(shí)先看兩點(diǎn)支持的圖像 token 上限和計(jì)費(fèi)方式再把你的真實(shí)圖片樣本跑一遍實(shí)測(cè) token 數(shù)別拿文檔示例當(dāng)自己場(chǎng)景的賬。實(shí)測(cè)方法和 Tokenizer 篇一個(gè)道理同一段內(nèi)容不同編碼差異很大圖像側(cè)同理# 用 API 返回的 usage 對(duì)賬圖像 token 通常單列 # usage.prompt_tokens_details.image_tokens 或類似字段四、三個(gè)坑坑一整頁長(zhǎng)圖直接塞。一張 4000 像素高的長(zhǎng)截圖就是兩萬 token先按視口切段再喂每段配一行說明?？佣砀癞?dāng)圖片送。表格類截圖用視覺模型提取容易丟行列能轉(zhuǎn)文本OCR 或結(jié)構(gòu)化輸出的先轉(zhuǎn)視覺模型留給圖表和示意圖?？尤浂鄨D累積。十張圖的對(duì)話視覺 token 累積進(jìn)歷史后續(xù)每一輪都在為它付費(fèi)。歷史里的舊圖及時(shí)替換成摘要。寫在最后多模態(tài)的賬分圖像側(cè)和文本側(cè)圖像側(cè)是幾何題token 數(shù)隨分辨率平方漲。上傳前壓圖、長(zhǎng)圖切段、表格先轉(zhuǎn)文本、歷史舊圖換摘要四招下來成本差數(shù)倍。把真實(shí)圖片樣本跑一遍實(shí)測(cè)再定預(yù)算。實(shí)測(cè)口徑以各家 API 返回的 usage 為準(zhǔn)估自己的賬要用自己的圖片樣本。