1. 為什么要在 WorkBuddy 里接入本地模型1.1 從“積分焦慮”說起用 WorkBuddy 有一段時間的人大概都有體會云端模型確實(shí)省事但積分消耗速度經(jīng)常超出預(yù)期。尤其是做批量代碼審查、長文檔摘要、多輪對話調(diào)試這類任務(wù)時積分就像沙漏里的沙子肉眼可見地往下掉。我自己的使用習(xí)慣是每天固定跑幾輪代碼重構(gòu)建議和文檔整理一個月下來積分消耗相當(dāng)可觀。本地模型的價值就在這里。把 Ollama 跑起來之后WorkBuddy 通過 OpenAI 兼容協(xié)議對接本地推理服務(wù)所有請求都走本機(jī)回環(huán)地址不經(jīng)過任何外部接口自然也就不消耗積分。對于日常高頻、對模型能力要求不是極端苛刻的場景本地模型完全夠用。像 Qwen 系列的中小參數(shù)版本、Llama 系列的量化版本在消費(fèi)級顯卡甚至純 CPU 上都能跑出可接受的速度。這個方案適合幾類人一是積分預(yù)算有限但使用頻率高的重度用戶二是對數(shù)據(jù)隱私有要求、不希望內(nèi)容離開本機(jī)的開發(fā)者三是想折騰本地推理、順便把 WorkBuddy 當(dāng)成統(tǒng)一入口來管理多個模型的人。如果你屬于其中任何一類接下來的三步走流程值得完整走一遍。1.2 整體思路三步走的邏輯所謂“三步走”本質(zhì)是把整條鏈路拆成三個獨(dú)立可驗證的環(huán)節(jié)裝 Ollama、拉模型、配 WorkBuddy。每一步都能單獨(dú)測試出問題也容易定位。很多人一上來就把三件事混在一起做結(jié)果報錯了根本不知道是 Ollama 沒起來、模型沒拉下來還是 WorkBuddy 的配置寫錯了。我建議的順序是先確保 Ollama 服務(wù)本身能正常響應(yīng)再用命令行驗證模型能對話最后才去動 WorkBuddy 的配置文件。這樣每一步都有明確的驗收標(biāo)準(zhǔn)不會出現(xiàn)“全配完了但不知道哪壞了”的情況。提示整個流程的核心是 OpenAI 兼容協(xié)議。Ollama 默認(rèn)在 11434 端口暴露了一個兼容 OpenAI 接口規(guī)范的服務(wù)端點(diǎn)WorkBuddy 只要把 base_url 指過去、填一個占位的 api_key就能像調(diào)用云端模型一樣調(diào)用本地模型。2. 第一步把 Ollama 裝好并跑起來2.1 各平臺的安裝方式選擇Ollama 的安裝在不同系統(tǒng)上差異不小選對方式能省很多事。Windows 用戶直接去官網(wǎng)下載安裝包雙擊一路下一步即可。安裝完成后 Ollama 會常駐在系統(tǒng)托盤默認(rèn)開機(jī)自啟。這里有個細(xì)節(jié)Windows 版的模型默認(rèn)存放在C:\Users\你的用戶名\.ollama\models如果 C 盤空間緊張一定要在拉模型之前改掉存儲路徑否則后面幾個大模型下來幾十 GB 就沒了。macOS 用戶同樣下載 dmg 安裝包拖進(jìn) Applications 就行。Apple Silicon 芯片的機(jī)器跑 Ollama 體驗相當(dāng)好統(tǒng)一內(nèi)存架構(gòu)讓模型加載和推理都比較順暢。Linux 用戶推薦用官方的一鍵腳本安裝curl -fsSL https://ollama.com/install.sh | sh裝完之后用systemctl status ollama檢查服務(wù)狀態(tài)。如果顯示 active (running) 就說明后臺服務(wù)已經(jīng)起來了。注意Linux 上如果遇到服務(wù)起不來的情況先看journalctl -u ollama -n 50的日志。常見原因是顯卡驅(qū)動沒裝好或者端口被占用。2.2 驗證服務(wù)是否正常裝完之后別急著拉模型先確認(rèn)服務(wù)本身是通的。打開終端執(zhí)行curl http://localhost:11434/api/tags如果返回一個 JSON里面是空的 models 列表說明服務(wù)正常只是還沒拉模型。如果連接被拒絕那就是服務(wù)沒起來回去檢查安裝步驟。另一個驗證方式是直接跑ollama list這個命令會列出本地已有的模型。能正常輸出就說明命令行工具和服務(wù)之間的通信沒問題。2.3 修改模型存儲路徑可選但推薦前面提到 C 盤空間的問題這里給出具體做法。Windows 上設(shè)置系統(tǒng)環(huán)境變量OLLAMA_MODELS指向你想要的目錄比如D:\ollama-models。設(shè)置完重啟 Ollama 服務(wù)生效。Linux 上則是編輯 systemd 服務(wù)文件sudo systemctl edit ollama在打開的編輯器里加入[Service] EnvironmentOLLAMA_MODELS/data/ollama-models保存后sudo systemctl daemon-reload sudo systemctl restart ollama。這個改動一定要在拉模型之前做已經(jīng)拉下來的模型不會自動遷移得手動搬。3. 第二步拉取適合你的本地模型3.1 模型選型的幾個維度Ollama 上的模型成百上千選哪個直接決定了后續(xù)體驗。我一般從三個維度考慮參數(shù)量、量化等級、任務(wù)類型。參數(shù)量決定了模型的基礎(chǔ)能力上限但也直接決定了顯存占用和推理速度。7B 到 9B 這個區(qū)間是消費(fèi)級硬件的甜點(diǎn)區(qū)8GB 顯存基本能跑量化版本。14B 以上就需要 12GB 甚至 16GB 顯存了。如果只有 CPU那建議從 3B 到 4B 起步否則速度會讓你懷疑人生。量化等級用 Q4、Q5、Q8 這樣的標(biāo)記表示數(shù)字越大精度越高、體積越大。Q4_K_M 是性價比最高的選擇精度損失很小體積卻比 Q8 小一半左右。任務(wù)類型方面代碼相關(guān)任務(wù)優(yōu)先考慮 Qwen 系列和 DeepSeek 系列的代碼版本通用對話和文檔處理Qwen 的通用版本表現(xiàn)均衡如果要做英文為主的任務(wù)Llama 系列也是穩(wěn)妥選擇。3.2 拉模型的命令與國內(nèi)加速基本命令很簡單ollama pull qwen2.5:7b但國內(nèi)直接拉經(jīng)常慢得讓人抓狂幾十 GB 的模型下幾個小時是常事。解決辦法是配置鏡像源。Ollama 支持通過環(huán)境變量指定鏡像具體地址可以在社區(qū)里找當(dāng)前可用的配置方式是在啟動服務(wù)前設(shè)置OLLAMA_HOST或者使用支持鏡像的拉取工具。另一個思路是找離線安裝包。有些社區(qū)會打包好常用模型的完整文件下載后放到OLLAMA_MODELS目錄下對應(yīng)的文件夾里Ollama 啟動時能直接識別。這個方式適合網(wǎng)絡(luò)條件實(shí)在不行的場景。提示拉模型的時候可以另開一個終端跑ollama list看進(jìn)度或者直接觀察模型目錄的大小變化。大模型拉取中斷是常事Ollama 支持?jǐn)帱c(diǎn)續(xù)傳重新執(zhí)行 pull 命令會接著下。3.3 驗證模型能正常對話模型拉完之后先用命令行確認(rèn)它能跑ollama run qwen2.5:7b進(jìn)入交互界面后隨便問一句比如“用一句話解釋什么是遞歸”。能正常返回就說明模型加載和推理都沒問題。這時候可以按 CtrlD 退出。這一步很關(guān)鍵因為如果模型本身有問題后面 WorkBuddy 報錯你會以為是配置問題白白浪費(fèi)時間排查。命令行能跑通才說明問題不在 Ollama 這一側(cè)。4. 第三步配置 WorkBuddy 對接本地模型4.1 找到配置文件的位置WorkBuddy 的模型配置通常放在用戶配置目錄下的models.json文件里。不同系統(tǒng)路徑不一樣系統(tǒng)典型路徑Windows%APPDATA%\WorkBuddy\models.jsonmacOS~/Library/Application Support/WorkBuddy/models.jsonLinux~/.config/WorkBuddy/models.json如果找不到這個文件可以在 WorkBuddy 的設(shè)置界面里找“模型管理”或“自定義模型”相關(guān)的入口通常會有“打開配置文件”的按鈕。實(shí)在找不到就全局搜一下models.json。4.2 models.json 的寫法配置文件的核心是聲明一個 OpenAI 兼容的模型條目。結(jié)構(gòu)大致如下{ models: [ { name: local-qwen, provider: openai, base_url: http://localhost:11434/v1, api_key: ollama, model: qwen2.5:7b } ] }幾個字段的含義需要說清楚。provider填openai是因為 Ollama 暴露的是 OpenAI 兼容接口WorkBuddy 會按 OpenAI 的協(xié)議去發(fā)請求。base_url指向 Ollama 的 v1 端點(diǎn)注意結(jié)尾的/v1不能少。api_key隨便填一個非空字符串就行Ollama 不校驗這個值但 WorkBuddy 可能要求字段存在。model字段必須和ollama list里顯示的模型名完全一致大小寫和標(biāo)簽都不能錯。4.3 保存后重啟與驗證改完配置文件后一定要完全退出 WorkBuddy 再重新打開光關(guān)窗口不夠得確保進(jìn)程真的結(jié)束了。重啟后在模型選擇列表里應(yīng)該能看到local-qwen這個條目選中它發(fā)一條消息如果正常返回就說明整條鏈路通了。如果報錯先看 WorkBuddy 的錯誤提示。常見的error report里如果提到連接失敗多半是 Ollama 服務(wù)沒起來或者端口不對如果提到模型不存在就是model字段和實(shí)際模型名對不上。5. 常見問題與排查技巧實(shí)錄5.1 連接類問題速查現(xiàn)象可能原因排查方法連接被拒絕Ollama 服務(wù)未啟動curl localhost:11434/api/tags測試404 錯誤base_url 缺少 /v1檢查配置里的路徑超時端口被防火墻攔截檢查本機(jī)防火墻規(guī)則模型不存在model 字段名不匹配ollama list核對名稱連接類問題占了報錯的大多數(shù)。我踩過的一個坑是Windows 上 Ollama 裝完后服務(wù)是起來了但 WorkBuddy 用的是另一個用戶賬戶運(yùn)行的導(dǎo)致訪問 localhost 時解析到了不同的網(wǎng)絡(luò)上下文。解決辦法是確認(rèn)兩者在同一用戶會話下運(yùn)行。5.2 性能類問題“接入本地模型后反應(yīng)非常慢”是高頻反饋。原因通常有三個模型太大硬件帶不動、量化等級選太高、或者上下文長度設(shè)置過長。先看硬件。用nvidia-smi看推理時顯存占用如果顯存爆了會退到內(nèi)存甚至 CPU速度斷崖式下跌。這時候要么換更小的模型要么換更低的量化等級。上下文長度也是隱形殺手。WorkBuddy 默認(rèn)可能給很長的上下文窗口本地模型處理長上下文時顯存占用會線性增長。在配置里把上下文限制調(diào)小比如 4096 或 8192速度會明顯改善。5.3 配置保存失敗的處理“保存本地模型配置失敗”通常和文件權(quán)限有關(guān)。Linux 和 macOS 上檢查models.json的屬主是不是當(dāng)前用戶Windows 上檢查文件是不是被其他進(jìn)程占用。另一個可能是 JSON 格式寫錯了比如多了個逗號或者少了引號用 JSON 校驗工具過一遍就能發(fā)現(xiàn)。提示改配置文件前先備份一份改壞了能快速回滾。這個習(xí)慣在折騰各種配置時能救命。5.4 幾個實(shí)操心得第一模型名里的標(biāo)簽別省略。qwen2.5:7b和qwen2.5在 Ollama 里可能是不同的東西配置里寫全最保險。第二如果同時用多個本地模型可以在 models.json 里配多個條目用不同的 name 區(qū)分WorkBuddy 的模型列表里就能切換。第三本地模型不消耗積分這一點(diǎn)在批量任務(wù)里優(yōu)勢特別明顯。我習(xí)慣把代碼格式化、注釋生成、簡單重構(gòu)這類重復(fù)性工作全部交給本地模型云端模型只留給真正需要強(qiáng)推理的任務(wù)積分消耗直接降了一個數(shù)量級。第四Ollama 的日志在排查問題時很有用。Linux 上用journalctl -u ollama -f實(shí)時看Windows 上在托盤圖標(biāo)右鍵能找到日志入口。請求進(jìn)來時日志里會有記錄能確認(rèn) WorkBuddy 的請求到底有沒有到達(dá) Ollama。6. 把本地模型用出效率的幾個進(jìn)階思路6.1 按任務(wù)分配模型本地模型和云端模型不是替代關(guān)系而是分工關(guān)系。我的做法是在 WorkBuddy 里同時保留本地和云端兩個模型條目簡單任務(wù)切本地復(fù)雜任務(wù)切云端。判斷標(biāo)準(zhǔn)很簡單如果這個任務(wù)你自己看一眼就能給出答案本地模型基本夠用如果需要多步推理或者涉及大量背景知識交給云端。這種分工帶來的積分節(jié)省是實(shí)打?qū)嵉?。以前一個月積分不夠用現(xiàn)在同樣的工作量還能剩下一半。6.2 模型文件的復(fù)用與遷移Ollama 的模型文件是自包含的整個models目錄可以直接拷貝到另一臺機(jī)器上復(fù)用。換電腦或者給團(tuán)隊其他成員部署時把目錄拷過去、配好環(huán)境變量省去重新下載的時間。這個技巧在批量部署時特別有用。6.3 保持 Ollama 更新Ollama 的迭代速度很快新版本經(jīng)常帶來推理性能優(yōu)化和新模型支持。定期更新能白嫖到不少性能提升。Linux 上重新跑一遍安裝腳本就是更新Windows 和 macOS 下載新安裝包覆蓋安裝即可。更新前記得確認(rèn)模型目錄不會被清掉正常情況下模型文件是保留的。6.4 關(guān)于 OpenAI 兼容協(xié)議的更多可能理解了 Ollama 暴露的是 OpenAI 兼容接口這一點(diǎn)之后你會發(fā)現(xiàn)很多工具都能接進(jìn)來。任何支持自定義 OpenAI 端點(diǎn)的應(yīng)用理論上都能把 base_url 指向http://localhost:11434/v1來使用本地模型。這意味著你搭好一套 Ollama能同時服務(wù)多個工具邊際成本幾乎為零。這也是我推薦優(yōu)先用 Ollama 而不是其他本地推理方案的原因之一——生態(tài)兼容性帶來的復(fù)用價值太高了。我自己現(xiàn)在的配置是Ollama 常駐后臺WorkBuddy 作為主力入口偶爾用其他支持 OpenAI 協(xié)議的工具做補(bǔ)充。整套跑下來本地模型承擔(dān)了大概七成的日常請求積分消耗降到了原來的三成左右而體驗上除了極端復(fù)雜的推理任務(wù)基本感覺不到差別。如果你也在為積分發(fā)愁這套三步走的方案值得花一個下午完整搭一遍。