我最早接觸 Ollama 時(shí)其實(shí)沒(méi)太當(dāng)回事。畢竟本地跑大模型聽(tīng)起來(lái)很酷但總讓人覺(jué)得是折騰硬件的老手才玩得轉(zhuǎn)的事情。直到我自己實(shí)際把模型拉到筆記本上跑起來(lái)才發(fā)現(xiàn)這東西對(duì)小白程序員友好得有點(diǎn)過(guò)分不需要懂太多底層原理不需要自己配 Python 環(huán)境、搞 GPU 驅(qū)動(dòng)一條命令就能把開(kāi)源模型下載下來(lái)另一條命令就能開(kāi)始聊天。真有點(diǎn)“原來(lái)如此”的感覺(jué)。如果你也想在本地部署和使用大模型想離線調(diào)用、想把公司數(shù)據(jù)留在機(jī)器里、想低成本做 AI 實(shí)驗(yàn)?zāi)?Ollama 基本是當(dāng)下最合適的起點(diǎn)。它解決了一個(gè)很核心的問(wèn)題把大模型的安裝復(fù)雜度降到最低。這篇文章不跟你聊虛的我直接按自己踩過(guò)坑的順序來(lái)寫(xiě)從安裝、選模型、跑對(duì)話到把模型包裝成能對(duì)接代碼的本地服務(wù)一步步說(shuō)清楚。適合剛接觸大模型的程序員也適合那些想在公司內(nèi)網(wǎng)搭一套私有 AI 工具的人。1. 在動(dòng)手之前先搞清楚你圖什么1.1 一句話講清 Ollama 到底是什么Ollama 是一個(gè)開(kāi)源工具專門(mén)用來(lái)在本地運(yùn)行和調(diào)用大語(yǔ)言模型。你可以把它理解成一個(gè)“模型運(yùn)行時(shí)管理器”它會(huì)自動(dòng)幫你把模型文件下載到本地把模型運(yùn)行所需的依賴、推理引擎、交互命令都封裝好讓你不用關(guān)心底層環(huán)境搭建。在傳統(tǒng)做法里你要是想跑一個(gè)開(kāi)源模型得先裝 Python、裝推理框架、配 CUDA、處理各種依賴沖突光是環(huán)境問(wèn)題就能勸退一大批人。Ollama 的出現(xiàn)基本把這個(gè)門(mén)檻踩平了。它開(kāi)箱即用支持 Windows、macOS 和 Linux 三個(gè)平臺(tái)裝完之后就是兩條核心命令一個(gè)負(fù)責(zé)下載模型一個(gè)負(fù)責(zé)啟動(dòng)對(duì)話。它甚至自帶了 HTTP API這意味著你跑的同一個(gè)模型既能當(dāng)聊天工具用又能當(dāng)成一個(gè)本地服務(wù)接口去對(duì)接業(yè)務(wù)代碼。1.2 本地跑大模型到底解決了哪些實(shí)際問(wèn)題很多人會(huì)問(wèn)一個(gè)問(wèn)題在線大模型 API 用得好好的為什么要費(fèi)勁在本地搭一套我自己的體驗(yàn)是本地部署解決的是下面這幾類痛點(diǎn)。第一是數(shù)據(jù)隱私和合規(guī)問(wèn)題。公司內(nèi)部文檔、客戶信息、代碼片段這些內(nèi)容直接貼到在線服務(wù)里很多團(tuán)隊(duì)是不放心的。本地部署之后所有數(shù)據(jù)都在自己機(jī)器上跑網(wǎng)絡(luò)不通也能用敏感信息不會(huì)出內(nèi)網(wǎng)。這一點(diǎn)對(duì)醫(yī)療、金融、政務(wù)類項(xiàng)目尤其重要。第二是長(zhǎng)期成本問(wèn)題。在線 API 按 token 計(jì)費(fèi)用得頻繁了賬單會(huì)很可觀。本地部署只要硬件頂?shù)米”举|(zhì)上就是電費(fèi)成本長(zhǎng)期頻繁調(diào)用是劃算的。第三是可定制和可調(diào)試。在本地你可以隨便改系統(tǒng)提示詞可以通過(guò) Modelfile 定制一個(gè)偏向某個(gè)場(chǎng)景的模型分身也可以直接看日志、測(cè)參數(shù)、調(diào)溫度享受“完全掌控”的感覺(jué)。1.3 你需要什么樣的基礎(chǔ)這篇文章面向的是“小白程序員”但我覺(jué)得只要你會(huì)開(kāi)終端甚至不需要很熟練就能跟著走完流程。有一點(diǎn)命令行基礎(chǔ)當(dāng)然更好因?yàn)楹竺鏁?huì)用到一些設(shè)置環(huán)境變量的操作。如果你的機(jī)器上沒(méi)有獨(dú)立顯卡也不用擔(dān)心Ollama 在純 CPU 機(jī)器上也能跑小尺寸模型無(wú)非速度慢一些但體驗(yàn)流程完全沒(méi)問(wèn)題。硬件方面我給一句實(shí)在話內(nèi)存 16GB 以上體驗(yàn)會(huì)比較舒服如果只有 8GB也可以跑 2B、3B 級(jí)別的小模型。沒(méi)有 GPU 也能玩但想流暢跑 7B 以上的模型最好還是有一張顯存 6GB 以上的顯卡。這個(gè)等后面講模型選擇時(shí)再細(xì)說(shuō)。2. 環(huán)境準(zhǔn)備與安裝三個(gè)平臺(tái)都能裝2.1 Windows、macOS、Linux 的安裝方式Ollama 官方提供了各平臺(tái)的安裝包。Windows 用戶直接去官網(wǎng)下載OllamaSetup.exe雙擊安裝一路下一步就行。macOS 用戶下載對(duì)應(yīng)壓縮包解壓后把 Ollama 圖標(biāo)拖進(jìn)應(yīng)用程序文件夾第一次打開(kāi)時(shí)系統(tǒng)會(huì)提示“無(wú)法驗(yàn)證開(kāi)發(fā)者”需要去系統(tǒng)設(shè)置里允許運(yùn)行。Linux 最簡(jiǎn)單終端執(zhí)行官方的安裝腳本curl -fsSL https://ollama.com/install.sh | sh如果你是手工黨也可以在 GitHub Releases 頁(yè)面里下載二進(jìn)制壓縮包解壓到/usr/local/bin之類的位置然后手動(dòng)把服務(wù)跑起來(lái)。不過(guò)對(duì)大多數(shù)新手來(lái)說(shuō)官方腳本已經(jīng)足夠穩(wěn)妥它會(huì)自動(dòng)檢測(cè)系統(tǒng)架構(gòu)、下載對(duì)應(yīng)版本、注冊(cè) systemd 服務(wù)還會(huì)把當(dāng)前用戶加入ollama用戶組。安裝完成后記得新開(kāi)一個(gè)終端窗口先跑一下版本驗(yàn)證ollama --version能輸出版本號(hào)說(shuō)明安裝這一步就算過(guò)去了。2.2 裝完后的第一件事拉一個(gè)最小模型試運(yùn)行安裝完成后的第一件事我建議馬上跑一個(gè)非常小的模型來(lái)驗(yàn)證鏈路是否通暢而不是一上來(lái)就拉 70B 大模型。這里用極簡(jiǎn)模型做冒煙測(cè)試最合適ollama run qwen2.5:0.5b首次運(yùn)行會(huì)自動(dòng)下載模型文件下載完成后會(huì)進(jìn)入一個(gè)交互式對(duì)話界面。你輸入一句“你好”如果它正?；貜?fù)那整個(gè)安裝鏈路包括下載、模型加載、推理輸出就全部驗(yàn)證通過(guò)了。退出對(duì)話用/bye或者直接按Ctrl D。這一步的價(jià)值在于它能在幾分鐘內(nèi)告訴你環(huán)境有沒(méi)有問(wèn)題。如果第一次就跑一個(gè) 7B 模型下載就要半小時(shí)到時(shí)候再發(fā)現(xiàn)驅(qū)動(dòng)或內(nèi)存不對(duì)勁排查起來(lái)會(huì)很痛苦。小模型雖然能力有限但用來(lái)驗(yàn)證技術(shù)棧是非常合適的。2.3 安裝階段最容易踩的坑這三個(gè)平臺(tái)的坑我都踩過(guò)提前列出來(lái)能省你不少時(shí)間。Windows 上最常見(jiàn)的坑是殺毒軟件攔截。某些安全軟件會(huì)把 Ollama 的模型下載模塊誤判成異常行為導(dǎo)致下載到一半失敗或者運(yùn)行時(shí)報(bào) DLL 錯(cuò)誤。解決辦法是把 Ollama 的安裝目錄加入信任區(qū)之后再?gòu)墓倬W(wǎng)重新下載安裝。macOS 上主要是“已損壞無(wú)法打開(kāi)”的報(bào)錯(cuò)。這不是安裝包壞了而是系統(tǒng)安全策略的鍋。打開(kāi)“系統(tǒng)設(shè)置 - 隱私與安全性”在下方找到被攔截的應(yīng)用點(diǎn)擊“仍要打開(kāi)”即可。如果你看到“無(wú)法驗(yàn)證開(kāi)發(fā)者”的字樣先不要急著刪安裝包去設(shè)置里手動(dòng)放行。Linux 上常見(jiàn)的坑是 glibc 版本過(guò)低。Ollama 官方版本要求較高的系統(tǒng)基礎(chǔ)庫(kù)版本如果你的系統(tǒng)比較老直接跑二進(jìn)制可能會(huì)報(bào)GLIBC_2.28 not found。這種情況不用硬湊要么升級(jí)系統(tǒng)組件要么裝一個(gè)適合的容器環(huán)境去運(yùn)行。還有一個(gè)很基礎(chǔ)但不得不提的問(wèn)題磁盤(pán)空間。模型文件通常有幾個(gè) GB 到幾十 GB安裝前先看一眼磁盤(pán)剩余別等到下到一半才發(fā)現(xiàn)空間不足。3. 選模型先搞懂參數(shù)、量化與顯存的三角關(guān)系3.1 三個(gè)核心概念用大白話講清楚新手選模型時(shí)看到滿屏的7b、14b、Q4、顯存不夠很容易懵。我先用最生活化的方式把這些概念捋一遍。參數(shù)量B 代表 Billion可以理解為模型的知識(shí)倉(cāng)庫(kù)容量。7B 就是 70 億參數(shù)70B 就是 700 億參數(shù)。參數(shù)越多模型通常越聰明但需要的計(jì)算資源也越大。你可以把它想成藏書(shū)量書(shū)越多知識(shí)越全但找書(shū)和讀書(shū)的成本也越高。量化Quantization則像把一本厚書(shū)壓縮成精簡(jiǎn)版。原始模型權(quán)重是 16 位或 8 位浮點(diǎn)數(shù)經(jīng)過(guò)量化后變成 4 位甚至更低精度體積和計(jì)算量都下降不少不過(guò)準(zhǔn)確率也會(huì)輕微損失。Ollama 里常見(jiàn)的q4_0、q5_K_M就是不同的量化檔次。選模型時(shí)盡量找量化版本不追求極致精度的話q4或q5的日常體驗(yàn)最劃算。顯存可以理解成工作臺(tái)的大小。模型加載時(shí)需要把權(quán)重?cái)?shù)據(jù)放進(jìn)工作臺(tái)里計(jì)算工作臺(tái)太小就放不下放不下就只能借用內(nèi)存速度會(huì)明顯變慢。所以選模型前最好是先估算一下它需要多少顯存再看自己的機(jī)器能不能承受。3.2 一張速查表幫你大致估算需求下面這個(gè)表格是我個(gè)人實(shí)踐中的經(jīng)驗(yàn)值不是絕對(duì)精確但用來(lái)做選型參考已經(jīng)足夠模型規(guī)模量化后大約體積推薦內(nèi)存/顯存體驗(yàn)場(chǎng)景0.5B - 1B0.5 GB - 1 GB4 GB 內(nèi)存即可冒煙測(cè)試、簡(jiǎn)單的文本分類2B - 3B1.5 GB - 3 GB8 GB 內(nèi)存代碼補(bǔ)全、簡(jiǎn)單問(wèn)答7B - 8B4 GB - 7 GB16 GB 內(nèi)存或 6 GB 以上顯存通用對(duì)話、文本總結(jié)、代碼生成14B8 GB - 12 GB32 GB 內(nèi)存或 12 GB 以上顯存復(fù)雜推理、長(zhǎng)文本處理32B18 GB - 24 GB64 GB 內(nèi)存或 24 GB 以上顯存高質(zhì)量寫(xiě)作、復(fù)雜任務(wù)70B35 GB - 50 GB工作站級(jí)別配置領(lǐng)域?qū)＜?、模擬復(fù)雜場(chǎng)景注意這里說(shuō)的內(nèi)存需求是指讓模型能“跑起來(lái)”的最低配置。如果你只有 CPU模型跑起來(lái)后所有參數(shù)都要在內(nèi)存里過(guò)內(nèi)存不夠會(huì)直接卡死或報(bào)錯(cuò)。最好比這個(gè)表里的最低需求再留出一些余量給系統(tǒng)本身。3.3 新手優(yōu)先考慮的模型梯隊(duì)我自己的建議是入門(mén)階段不要盲目追求最大參數(shù)先選一個(gè) 7B 級(jí)別的綜合模型把流程跑通再根據(jù)自己的實(shí)際需求去升級(jí)。從語(yǔ)言效果來(lái)看如果你主要用中文優(yōu)先考慮中文語(yǔ)料優(yōu)化較好的開(kāi)源模型如果你主要處理英文或代碼選一些在英文場(chǎng)景表現(xiàn)突出的模型會(huì)更趁手。這里我給三類典型選擇你可以按自己的機(jī)器條件去對(duì)號(hào)入座第一梯隊(duì)是低配置友好型適合 8GB 內(nèi)存的老筆記本跑 2B 到 3B 的模型做個(gè)問(wèn)答摘要夠用。第二梯隊(duì)是主流均衡型適合 16GB 內(nèi)存或者入門(mén)級(jí)顯卡跑 7B 到 8B 的模型這是目前綜合性價(jià)比最高的區(qū)域也是我推薦大多數(shù)人入門(mén)的起點(diǎn)。第三梯隊(duì)是性能追求型適合有 24GB 以上顯存或者大內(nèi)存的工作站跑 14B 甚至 32B 模型邏輯推理和生成質(zhì)量會(huì)有質(zhì)的飛躍。還有一個(gè)選型細(xì)節(jié)在 Ollama 的模型庫(kù)里同一個(gè)系列的模型往往有不同尺寸標(biāo)簽比如qwen2.5:7b、qwen2.5:14b它們之間只是參數(shù)規(guī)模不同代碼用法完全一致。所以你完全可以從最小的跑起跑順了再換大尺寸不需要重新學(xué)習(xí)任何東西。4. 實(shí)操?gòu)睦∧Ｐ偷降谝淮螌?duì)話4.1 拉取模型的正確姿勢(shì)Ollama 的模型拉取命令極其簡(jiǎn)單ollama pull qwen2.5:7b這條命令會(huì)把指定模型下載到本地。如果你不確定模型名稱可以先去官方的模型庫(kù)頁(yè)面搜索頁(yè)面上會(huì)直接給你對(duì)應(yīng)的命令。每次拉取之前我建議做兩件事一是確認(rèn)磁盤(pán)空間至少留出模型體積兩倍的余量因?yàn)橄螺d過(guò)程可能有臨時(shí)文件二是直接指定標(biāo)簽比如:7b和:latest拉下來(lái)的可能不是同一個(gè)版本明確標(biāo)簽才能保證可控。值得多說(shuō)一句的是Ollama 的下載支持?jǐn)帱c(diǎn)續(xù)傳。如果你下載到一半網(wǎng)絡(luò)斷了重新執(zhí)行一次同樣的 pull 命令它會(huì)從上次的進(jìn)度繼續(xù)不會(huì)推倒重來(lái)。所以遇到下載中斷別急著刪文件重跑命令就好。4.2 通過(guò)交互對(duì)話快速體驗(yàn)?zāi)Ｐ拖螺d完成后直接運(yùn)行ollama run qwen2.5:7b你會(huì)進(jìn)入一個(gè)聊天界面。在這里直接打字提問(wèn)模型會(huì)逐字輸出。這個(gè)交互界面支持幾個(gè)常用斜杠命令/bye退出、/clear清空上下文、/set temperature 0.7調(diào)整采樣溫度、/show info查看當(dāng)前模型的參數(shù)。如果你想讓模型扮演某個(gè)角色也可以在對(duì)話開(kāi)始時(shí)直接說(shuō)“從現(xiàn)在開(kāi)始你是一個(gè)資深 Python 工程師請(qǐng)用簡(jiǎn)潔的代碼風(fēng)格回答我的問(wèn)題。”模型的上下文跟隨能力通常能支撐這樣簡(jiǎn)單的角色設(shè)定。這里我要提示一個(gè)新手容易忽略的點(diǎn)交互模式下同一段對(duì)話中前面的內(nèi)容會(huì)作為上下文喂給模型所以它會(huì)記住你說(shuō)過(guò)的話。如果你不想讓它受之前內(nèi)容影響就用/clear清空上下文再問(wèn)。4.3 非交互式調(diào)用一條命令處理文本除了聊天Ollama 還支持非交互式調(diào)用這在寫(xiě)腳本、處理文本時(shí)特別方便。非交互模式的意思是命令執(zhí)行完就直接退出不會(huì)進(jìn)入聊天界面。最簡(jiǎn)單的用法是直接拼接提示詞ollama run qwen2.5:7b 用三句話解釋什么是事務(wù)更實(shí)用的是配合管道或重定向把文件內(nèi)容或前一個(gè)命令的輸出喂給模型cat meeting_notes.txt | ollama run qwen2.5:7b 請(qǐng)總結(jié)這份會(huì)議紀(jì)要列出待辦事項(xiàng)這條命令的模式對(duì)日常工作非常實(shí)用。比如你想批量給代碼生成注釋可以把幾個(gè)源文件拼起來(lái)交給模型你想給一段日志做錯(cuò)誤歸類也可以直接管道進(jìn)去。本質(zhì)上Ollama 把模型變成了一個(gè)終端里的“文本處理工具”這意味著你可以用 shell 腳本組合出無(wú)數(shù)種自動(dòng)化流程。4.4 管理你已經(jīng)下載的模型隨著你嘗試的模型越來(lái)越多管理本地模型庫(kù)就成了必須掌握的技能。常用的管理命令有這幾條# 查看本地已有模型列表 ollama list # 查看某個(gè)模型的詳細(xì)信息包括體積、參數(shù)、量化方式 ollama show qwen2.5:7b # 刪除某個(gè)不再使用的模型釋放磁盤(pán)空間 ollama rm qwen2.5:7bollama show里有模態(tài)信息、上下文長(zhǎng)度、參數(shù)大小等是一個(gè)容易被忽視但很有價(jià)值的命令。當(dāng)你糾結(jié)“這個(gè)模型是不是占空間太大”時(shí)用它看一下就一目了然。刪除模型時(shí)注意名字要寫(xiě)全帶標(biāo)簽比如ollama rm qwen2.5:7b否則匹配不到。5. 把 Ollama 變成你自己的本地 AI 后端服務(wù)5.1 通過(guò) HTTP API 調(diào)用模型Ollama 最讓我欣賞的地方是它自帶 HTTP 接口。這意味著你不需要進(jìn)入聊天界面也能從任意編程語(yǔ)言里調(diào)用大模型。當(dāng)你執(zhí)行ollama serve或者直接運(yùn)行ollama run時(shí)本地服務(wù)已經(jīng)默認(rèn)跑在localhost:11434上了。最簡(jiǎn)單的接口測(cè)試用 curl 就能做。下面這段命令會(huì)向本地模型發(fā)送一個(gè)生成請(qǐng)求并關(guān)閉流式輸出curl -X POST http://localhost:11434/api/generate -H Content-Type: application/json -d { model: qwen2.5:7b, prompt: 用一句話解釋什么是數(shù)據(jù)庫(kù)索引, stream: false }返回結(jié)果里最重要的字段是response里面裝的就是模型生成的文本。如果你需要的是多輪對(duì)話能力就調(diào)用/api/chat接口把歷史消息以數(shù)組形式傳進(jìn)去。這套接口是整個(gè)本地 AI 服務(wù)化的核心你可以在 Python 里用requests直接調(diào)用也可以在后端寫(xiě)一個(gè)封裝層讓前端業(yè)務(wù)安全地訪問(wèn)。5.2 修改監(jiān)聽(tīng)地址讓局域網(wǎng)內(nèi)的設(shè)備也能訪問(wèn)默認(rèn)情況下Ollama 服務(wù)只監(jiān)聽(tīng)本機(jī)的127.0.0.1這意味著其他設(shè)備無(wú)法訪問(wèn)它。想要在局域網(wǎng)內(nèi)共享模型需要手動(dòng)設(shè)置監(jiān)聽(tīng)地址。以 Linux 或 macOS 為例在啟動(dòng)服務(wù)前設(shè)置環(huán)境變量export OLLAMA_HOST0.0.0.0:11434 ollama serveWindows 可以在系統(tǒng)環(huán)境變量里新增OLLAMA_HOST值為0.0.0.0:11434然后重啟 Ollama 服務(wù)。設(shè)置完成后同一局域網(wǎng)內(nèi)的其他電腦就能通過(guò)http://你的IP:11434調(diào)用你的模型。這個(gè)功能在團(tuán)隊(duì)內(nèi)部搭建共享 AI 工具時(shí)非常有用。但我要特別提醒一點(diǎn)開(kāi)放監(jiān)聽(tīng)地址等于讓局域網(wǎng)內(nèi)所有人都能調(diào)用你的服務(wù)如果你的團(tuán)隊(duì)網(wǎng)絡(luò)不算可信最好再加一層訪問(wèn)控制不要把服務(wù)直接暴露在不安全的網(wǎng)絡(luò)里。5.3 定制模型存儲(chǔ)路徑與并發(fā)上限Ollama 默認(rèn)把模型文件放在用戶目錄下的.ollama/models里。如果你的系統(tǒng)盤(pán)比較小或者你想把模型放到一個(gè)大容量數(shù)據(jù)盤(pán)里可以通過(guò)環(huán)境變量OLLAMA_MODELS指定新的存儲(chǔ)路徑export OLLAMA_MODELS/data/ollama_models先移動(dòng)到新位置再啟動(dòng) Ollama以后所有模型都會(huì)下載到新路徑下。還有兩個(gè)環(huán)境變量值得關(guān)注OLLAMA_NUM_PARALLEL控制并行處理請(qǐng)求的數(shù)量OLLAMA_MAX_LOADED_MODELS控制同時(shí)加載幾個(gè)模型。如果你的服務(wù)端硬件不錯(cuò)可以適當(dāng)調(diào)高這兩個(gè)值來(lái)提升并發(fā)能力如果機(jī)器性能一般強(qiáng)行調(diào)高只會(huì)帶來(lái)更多的等待和卡頓。5.4 別把電腦跑死資源管理的基本意識(shí)把模型跑起來(lái)很容易把整臺(tái)電腦拖垮也很容易。我自己第一次跑 14B 模型時(shí)沒(méi)注意資源占用直接導(dǎo)致整個(gè)系統(tǒng)無(wú)響應(yīng)。后來(lái)學(xué)了幾個(gè)基本動(dòng)作情況好多了。一是用ollama ps隨時(shí)查看當(dāng)前加載了哪些模型以及它們占用的顯存和內(nèi)存情況。二是使用過(guò)程中如果發(fā)現(xiàn)系統(tǒng)明顯變慢就用ollama stop停止某個(gè)模型釋放資源。三是在 macOS 上可以通過(guò)活動(dòng)監(jiān)視器在 Linux 上通過(guò)htop觀察整體負(fù)載。用大模型做服務(wù)時(shí)最好給系統(tǒng)留出至少 2GB 的內(nèi)存余量不要把硬件榨干。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 模型下載中斷或速度上不去這個(gè)問(wèn)題幾乎每個(gè)人都會(huì)遇到。下載中斷時(shí)重新執(zhí)行ollama pull通常能自動(dòng)續(xù)傳。如果一直在某個(gè)百分比卡住可以先Ctrl C取消再重新 pull一般都能繼續(xù)進(jìn)行。下載速度慢的原因多數(shù)是本地網(wǎng)絡(luò)帶寬或者遠(yuǎn)端源站在高峰期響應(yīng)慢沒(méi)有太多技術(shù)性捷徑換一個(gè)網(wǎng)絡(luò)不那么擁擠的時(shí)段重試通常會(huì)有改善。還有一點(diǎn)容易被忽略模型庫(kù)頁(yè)面顯示的體積是量化后的文件大小但下載時(shí)可能還會(huì)伴隨一些臨時(shí)文件磁盤(pán)空間不夠也會(huì)導(dǎo)致下載中斷。提前清理出足夠空間比中途出問(wèn)題再排查要省心得多。6.2 顯存不足、生成速度慢如果你遇到cuda error: out of memory或者明顯感覺(jué)生成速度像“打字機(jī)慢慢蹦字”大概率是模型規(guī)模超出了顯卡承載能力。解決辦法不是硬調(diào)參數(shù)而是換一個(gè)更小的模型或者更低精度的量化版本。比如 14B 跑不動(dòng)就換 7B7B 顯存吃緊就找q4量化版本的模型。如果你只有 CPU也別絕望小參數(shù)模型放在 CPU 上跑一樣能出結(jié)果只是速度可能在每秒幾 token 到幾十 token 之間。如果機(jī)器只有 8GB 內(nèi)存我建議不要跑超過(guò) 3B 的模型否則系統(tǒng)會(huì)頻繁使用交換分區(qū)速度反而更慢。這不是模型不行是硬件邊界決定的該換機(jī)器就換機(jī)器該換方案就換方案。6.3 中文效果不理想有些模型在英文場(chǎng)景很優(yōu)秀但中文對(duì)話偶爾會(huì)出現(xiàn)不自然、詞匯貧乏甚至亂碼現(xiàn)象。這通常和模型的預(yù)訓(xùn)練語(yǔ)料有關(guān)跟使用姿勢(shì)關(guān)系不大。解決辦法是在選型階段就直接選中文語(yǔ)料占比高、做過(guò)中文優(yōu)化的模型比如qwen2.5系列在中文場(chǎng)景下就很穩(wěn)。如果在對(duì)話中發(fā)現(xiàn)輸出風(fēng)格不對(duì)還可以通過(guò)調(diào)整 temperature 參數(shù)來(lái)控制隨機(jī)性。想要更穩(wěn)定的話用 Modelfile 固化一套系統(tǒng)提示詞效果比每次手動(dòng)說(shuō)“請(qǐng)用中文回答”靠譜得多。6.4 端口被占用服務(wù)起不來(lái)有時(shí)候你自己開(kāi)了別的服務(wù)占用 11434 端口導(dǎo)致 Ollama 起不來(lái)。排查端口占用可以用lsof -i :11434找到占用進(jìn)程之后要么停掉它要么修改OLLAMA_HOST為其他端口比如export OLLAMA_HOST127.0.0.1:11435 ollama serve這個(gè)思路同樣適用于你想在一臺(tái)機(jī)器上并行跑多個(gè) Ollama 實(shí)例的情況只要端口錯(cuò)開(kāi)就行。6.5 模型文件太大系統(tǒng)盤(pán)告急模型下載多了之后系統(tǒng)盤(pán)被塞滿是很正常的事。前面提到的OLLAMA_MODELS環(huán)境變量就是最直接的解決手段。把模型庫(kù)遷移到大容量磁盤(pán)后再啟動(dòng) Ollama所有已下載的模型都會(huì)在新路徑下重新可用。不過(guò)要注意遷移前最好把 Ollama 服務(wù)停掉遷移完成后確認(rèn)新路徑下有對(duì)應(yīng)的模型文件再重新啟動(dòng)服務(wù)。7. 最后再分享一個(gè)實(shí)用小技巧用 Modelfile 封裝你的提示詞這篇我本來(lái)想寫(xiě)到服務(wù)配置就停了但后來(lái)想了想還有一個(gè)對(duì)小白特別友好的技巧值得單獨(dú)拿出來(lái)說(shuō)那就是 Modelfile。Modelfile 可以理解成一套“模型定制配方”。你可以基于一個(gè)已經(jīng)拉取好的基礎(chǔ)模型通過(guò)它指定系統(tǒng)提示詞、調(diào)整溫度、限制上下文長(zhǎng)度然后生成一個(gè)具有新名字的本地模型。比如你經(jīng)常需要模型幫你寫(xiě)測(cè)試用例可以創(chuàng)建一個(gè)文件testwriter.modelfile內(nèi)容如下FROM qwen2.5:7b SYSTEM 你是一名資深測(cè)試工程師請(qǐng)針對(duì)用戶描述的代碼場(chǎng)景生成邊界覆蓋全面的單元測(cè)試用例輸出格式為 Markdown。然后在終端執(zhí)行ollama create test-writer -f testwriter.modelfile ollama run test-writer從此以后你本地就多了一個(gè)叫test-writer的“定制模型”。它不再是通用對(duì)話模型而是會(huì)嚴(yán)格按你預(yù)設(shè)的角色和輸出格式工作。這個(gè)功能的好處是你不用在每次運(yùn)行時(shí)重復(fù)輸入一大段角色設(shè)定直接把整個(gè)團(tuán)隊(duì)約定的提示詞固化在模型里特別適合做內(nèi)部工具。我個(gè)人現(xiàn)在的工作流是常駐一個(gè)code-assistant模型專門(mén)處理代碼解釋和生成測(cè)試再留一個(gè)summary模型負(fù)責(zé)總結(jié)文檔和會(huì)議紀(jì)要。它們都基于同一個(gè) 7B 基礎(chǔ)模型但提示詞不同用起來(lái)各司其職非常順手。本地部署大模型這條路越走越覺(jué)得它是一個(gè)“低成本高回報(bào)”的技能。你不需要擁有頂級(jí)顯卡才能享受大模型帶來(lái)的效率提升一個(gè)筆記本加一個(gè) Ollama已經(jīng)足夠覆蓋很多實(shí)際工作場(chǎng)景。先把小模型跑通再按需擴(kuò)展你會(huì)慢慢發(fā)現(xiàn)原來(lái)大模型并不是只能存在于云端那個(gè)遙不可及的地方它完全可以在你自己的電腦里安安靜靜地當(dāng)一個(gè)隨時(shí)待命的私人助手。