【免費下載鏈接】mlx-serveNative LLM inference server for Apple Silicon. OpenAI Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with chat, music, voice, video generation.項目地址https://gitcode.com/gh_mirrors/ml/mlx-serve點擊查看免費下載mlx-serve是專為 Apple Silicon 打造的本地 LLM 推理服務(wù)器默認在http://localhost:11234一個端口上同時提供OpenAI 兼容 API/v1/chat/completions、Anthropic Messages、Ollama 協(xié)議以及流式 SSE 與工具調(diào)用tool calling能力。本文是一份面向新手和普通用戶的速查手冊從啟動服務(wù)器到發(fā)第一封chat/completions請求、讀懂流式 SSE 的每個 data 塊再到完成一次完整的工具調(diào)用閉環(huán)照抄即可跑通。一、3 分鐘上手安裝并啟動 mlx-serve 服務(wù)器mlx-serve 無需 Python是一個約 7 MB 的 Zig 二進制默認綁定0.0.0.0:11234。最省事的啟動方式是 Ollama 風格的命令——自動下載模型并直接起服務(wù)mlx-serve run gemma4 # 下載 Gemma 4 E4B4-bit并進入終端聊天 mlx-serve serve # 服務(wù)本地 ~/.mlx-serve/models 下所有模型按需加載也支持 Homebrew 安裝brew install --cask mlx-serve # 菜單欄 App推薦 brew install mlx-serve # 僅 CLI 服務(wù)器啟動后用兩個只讀端點驗證服務(wù)器活著curl http://localhost:11234/health # 健康檢查 curl http://localhost:11234/v1/models # 列出已加載模型及上下文窗口 小貼士/v1/models返回的每一行都會廣播該模型真實的上下文窗口meta.context_length配置第三方客戶端時直接引用它不要手寫一個更大的數(shù)字否則會溢出。二、OpenAI 兼容核心POST /v1/chat/completions 全參數(shù)速查/v1/chat/completions與 OpenAI SDK 完全同構(gòu)把 SDK 的base_url指向http://localhost:11234/v1、API Key 隨便填如mlx-serve即可。最小請求curl http://localhost:11234/v1/chat/completions \ -H Content-Type: application/json \ -d { messages: [{role: user, content: 寫一首關(guān)于編程的俳句}], max_tokens: 256, stream: false }mlx-serve 支持的常用請求參數(shù)一覽完整清單見 docs/api.md參數(shù)作用新手建議messages對話歷史支持system/user/assistant/tool角色必填max_tokens生成上限必填避免燒內(nèi)存temperature/top_p/top_k采樣控制不填則按模型默認stream是否 SSE 流式交互場景設(shè)truestream_options流式附帶 usage{include_usage: true}tools/tool_choice工具調(diào)用聲明見第四節(jié)response_formatJSON 模式 / JSON Schema 約束解碼結(jié)構(gòu)化輸出時用logprobs/top_logprobs每 token 對數(shù)概率調(diào)試用enable_thinking/reasoning_effort/reasoning_budget_tokens思考開關(guān)與預算思考類模型用kv_quant/kv_attn_mode按請求覆蓋 KV 緩存量化高級選項image_url消息內(nèi)視覺模型傳圖base64 或 URL支持視覺的模型可用響應中值得關(guān)注的字段finish_reasonstop正常結(jié)束或length達到max_tokensfinish_details當模型陷入復讀循環(huán)被服務(wù)端主動截斷時會報{type: repetition_loop}這是 mlx-serve 獨有的診斷信息幫你區(qū)分模型卡住了和配額用完了usage.prompt_tokens_details.cached_tokens始終攜帶告訴你這次請求命中了多少緩存 token前綴緩存的效果直接可見。三、流式 SSE逐塊讀懂 data 與 [DONE]把stream設(shè)為true響應就從一次性 JSON 變成SSEServer-Sent Events流每行data: {...}是一個獨立的 JSON chunk流末尾以data: [DONE]收尾。一個典型的流式會話長這樣data: {id:chatcmpl-...,object:chat.completion.chunk,choices:[{index:0,delta:{role:assistant,content:編程},...}]} data: {object:chat.completion.chunk,choices:[{index:0,delta:{content:之美},...}]} data: {object:chat.completion.chunk,choices:[{index:0,delta:{},finish_reason:stop},...]} data: [DONE]新手只需記住三條規(guī)則object永遠是chat.completion.chunk正文增量在choices[0].delta.content里逐塊拼接即可還原完整回答delta.tool_calls同理分塊到達——工具調(diào)用的name和argumentsJSON 是分段流式下發(fā)的客戶端要按index拼回完整參數(shù)mlx-serve 保證拼好的arguments一定是合法 JSONdata: [DONE]是唯一終止信號見到它即可關(guān)閉流。若想拿到最終 usage請求里加stream_options: {include_usage: true}服務(wù)器會在結(jié)尾追加一個choices為空的 usage chunk。? 流式 思考模型思考內(nèi)容走delta.reasoning_content字段與正文content分開前端可以渲染成折疊的思考過程。四、工具調(diào)用 tools聲明、下發(fā)、回傳三步閉環(huán)mlx-serve 原生支持 OpenAI 風格的函數(shù)調(diào)用一次完整的工具循環(huán)分三步第 1 步聲明工具。請求體里帶tools數(shù)組標準 JSON Schema和可選的tool_choiceauto/none/required/ 指定函數(shù)名{ messages: [{role: user, content: 北京現(xiàn)在多少度}], tools: [{ type: function, function: { name: get_weather, description: 查詢城市天氣, parameters: { type: object, properties: {city: {type: string}}, required: [city] } } }] }第 2 步接收tool_calls。模型決定調(diào)用工具時響應的choices[0].message.tool_calls里返回結(jié)構(gòu)化的id、function.name和function.argumentsJSON 字符串此時finish_reason為tool_calls。第 3 步回傳工具結(jié)果。把模型消息原樣塞回歷史再追加一條role: tool消息帶上tool_call_id服務(wù)器會繼續(xù)生成最終回答。mlx-serve 在工具調(diào)用鏈路上做了大量健壯性工程對新手非常友好Schema 驅(qū)動的自動修復模型輸出的參數(shù)值若與聲明類型不符如把false寫成字符串False服務(wù)器會按 Schema 自動糾正小模型寫壞 JSON 轉(zhuǎn)義時也有容錯重序列化兜底最大限度保證arguments是永遠合法的 JSONtool_choice: required是真約束不只是提示詞建議解碼層會強制模型發(fā)起調(diào)用關(guān)閉自動修復可用啟動參數(shù)--no-tool-autocorrect。解析與修復的具體實現(xiàn)可以查看 src/chat.zig工具調(diào)用解析器與格式語料測試在 src/format_corpus_test.zig已知問題的排查記錄見 docs/gotchas/tool-calling.md。五、不止 OpenAI同一個端口上的另外三套協(xié)議mlx-serve 的一大優(yōu)勢是一個端口、四套協(xié)議你現(xiàn)有的客戶端基本零改動就能接入?yún)f(xié)議端點典型客戶端OpenAI Chat CompletionsPOST /v1/chat/completionsOpenAI SDK、Continue、CursorOpenAI ResponsesPOST /v1/responses含 WebSocketCodexAnthropic MessagesPOST /v1/messagesClaude Code設(shè)ANTHROPIC_BASE_URLOllamaPOST /api/chat等Open WebUI、Raycast、ollama-python例如讓 Claude Code 直連本地export ANTHROPIC_BASE_URLhttp://localhost:11234 claude各客戶端的詳細配置見 docs/integrations.md服務(wù)器全部啟動參數(shù)見 docs/cli.md。六、新手排障速查表癥狀可能原因解決辦法連不上 11234服務(wù)器沒啟動或端口被改curl /health驗證確認--port模型名報 404/未加載模型未下載或名字不對mlx-serve list、查/v1/models流式中途沒收到[DONE]客戶端提前斷開檢查代理/超時的 keepalive 配置回答被截斷且?guī)epetition_loop模型復讀被安全閘截斷調(diào)低 temperature 或換采樣參數(shù)finish_reason: length撞了max_tokens調(diào)大max_tokens工具調(diào)用參數(shù)被客戶端拒收模型輸出與 Schema 不符確認未開--no-tool-autocorrect七、延伸閱讀與代碼路徑HTTP API 完整參考含嵌入、媒體生成等端點docs/api.md、docs/zh-CN/api.md服務(wù)器路由實現(xiàn)/v1/chat/completions、SSE 發(fā)射器src/server.zig工具調(diào)用解析與思考塊切分src/chat.zigSSE 流式與連接行為的自動化測試tests/test_connection_thread_reaping.sh性能與加速機制投機解碼、KV 量化docs/performance.md照著這份手冊你現(xiàn)在應該已經(jīng)能在自己的 Mac 上跑起一個 OpenAI 兼容的本地推理服務(wù)并完整掌握chat/completions、流式 SSE 和工具調(diào)用三大核心用法了。贊分享【免費下載鏈接】mlx-serveNative LLM inference server for Apple Silicon. OpenAI Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with chat, music, voice, video generation.項目地址https://gitcode.com/gh_mirrors/ml/mlx-serve點擊查看免費下載相關(guān)推薦OpenClaw 如何啟用 OpenAI 兼容的 /v1/chat/completions HTTP 端點供外部工具調(diào)用OpenClaw 如何啟用 OpenAI 兼容的 /v1/chat/completions HTTP 端點供外部工具調(diào)用 如果你已經(jīng)在運行 OpenClawAI 應用AI Agent交互助手后端即時通訊網(wǎng)關(guān)Stylis與PostCSS對比分析選擇最適合項目的CSS工具指南 Stylis與PostCSS對比分析選擇最適合項目的CSS工具指南 在前端開發(fā)的世界中CSS預處理工具的選擇直接影響著項目的開發(fā)效率和性能表現(xiàn)。今天我用 ADK Go 的 openaimodel 驅(qū)動 OpenAI Chat Completions一個字段切換任意 OpenAI 兼容提供商用 ADK Go 的 openaimodel 驅(qū)動 OpenAI Chat Completions一個字段切換任意 OpenAI 兼容提供商 導讀 本文圍繞人工智能大模型AI AgentAgent 框架多智能體工具調(diào)用MCP ClientsAgent 記憶創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考