"我想在本地跑大模型"这句话里其实藏着三个不同目标：给别的程序提供一个不会断网、不按 token 计费的推理接口；纯粹想试试各种开源模型谁的输出更好；或者干脆想要一个能离线写东西、读文档的桌面助手。三条路线的起点不一样，选错工具会表现为"装好了但完全不知道该干什么"。
路线一：要底座和 API → Ollama
winget install Ollama.Ollama
Mac 上 brew install ollama。MIT 开源，命令行起服务，一条命令拉模型并对话：
ollama run deepseek-r1
ollama run qwen2.5
ollama run llama3
它的强项是给别人用：本地会起一个兼容 OpenAI 风格的接口，代码编辑器、脚本、第三方客户端填个 http://localhost:11434 就能调，模型可以随时代换。想要的是"我的程序里有一个随时可用的模型"，从这里开始。
路线二：要挑模型、看效果 → LM Studio
winget install ElementLabs.LMStudio
Mac 用 brew install --cask lm-studio。免费闭源，界面承担了搜索、下载、加载 GGUF 模型的全过程，能直观比较同一问题在不同模型上的输出，也自带一个兼容 OpenAI 的本地推理服务器。
和 Ollama 的差别在模型来源与掌控粒度：LM Studio 面向 Hugging Face 上的 GGUF 文件，量化档位、上下文长度、GPU 卸载层数都能手动调，适合"我就是想试模型"；Ollama 用自带模型仓库与 Modelfile，日常更省心但粒度粗一些。
路线三：要日常可用的 AI 客户端 → Cherry Studio 或 Chatbox
前两条解决"模型在本地跑"，这一条解决"我怎么天天用它"。
Cherry Studio（Apache-2.0 开源）
winget install CherryStudio.CherryStudio
定位是 AI 工作台：可同时接 300+ 模型服务、多模型同屏对比回答、内置自主网页搜索、本地知识库 RAG、代码沙盒执行。要做"把自己的资料库接进对话"这件事，它的知识库功能开箱即用，也支持把本地 Ollama 当作其中一个提供方。
Chatbox（GPL-3.0 开源，支持便携）
winget install Bento.Chatbox
更轻的桌面客户端，接 OpenAI、Claude、DeepSeek、Gemini 以及本地 Ollama，内置提示词库、角色预设和文件问答。只需要一个顺手聊天窗口的话，它比工作台型客户端负担小。
三条路线怎么合起来用
最常见的组合不是三选一：
| 角色 | 承担者 |
|---|---|
| 本地推理底座，给各种程序调用 | Ollama（或 LM Studio 的本地服务器） |
| 试模型、比输出、找合适量化档位 | LM Studio |
| 每天真正打开的那个窗口，带知识库 | Cherry Studio / Chatbox，把上面填成它的提供方 |
这样底层模型换掉时，上层客户端不用重配。AI 工具的整体清单本站有成套方案：AI Agent 与大模型开发工作台。
硬件门槛的量级参考
决定能不能跑、跑多快的关键是显存或统一内存，不是 CPU 核数：
- 7B～8B 的 4bit 量化模型，权重加 KV 缓存大致落在 5GB 量级，独显 8GB 或 16GB 统一内存的机器可用；
- 14B～32B 量化模型进入 12～24GB 量级，需要 24GB 显存或大统一内存；
- 显存不够会把部分层放到内存/硬盘，速度断崖式下降——此时正确做法是换更小的模型或更低量化档，而不是硬扛。
具体到某个模型的要求以它的模型卡为准，各家的量化命名并不统一。图像生成属于另一条技术栈，本站收录的是 ComfyUI，与本文这些文本推理工具不互斥。
隐私边界，这条最重要
本地路线的意义在于数据不出机器。一旦你在客户端里填了云端模型的 API Key，问题就会上传到对应服务商——Cherry Studio、Chatbox 这类客户端同时支持本地和云端，混着用最容易出问题。
原则：涉密或含个人信息的内容，只走本地模型；云端模型用于公开资料检索和长文摘要。写论文时也一样，先看清楚你上传的是不是未发表数据，这部分做法参考 合同、发票、证件别丢给在线 PDF 工具 里"敏感文件不出本机"的同一条判断标准。
常见问题
模型文件把 C 盘塞满了怎么办？
默认下载目录要尽早改：Ollama 靠 OLLAMA_MODELS 环境变量指定模型存放路径，LM Studio 在设置里改下载目录。改完把旧目录清空，别留两份权重。
Ollama 和 LM Studio 能同时装吗？ 可以，但两者各自保存一份模型文件，磁盘是双份开销。常见做法是只保留一个作为底座，另一个用来试模型，试完删掉不用的权重。
没有独立显卡能跑吗？ 能跑小模型，速度会明显慢。核显机器建议从 3B 左右的小模型起步，先验证任务是否真的需要本地，再决定要不要升级硬件。
断网能用吗？ 本地路线可以，模型加载与推理完全离线；但内置"联网搜索""网页抓取"这类功能必须有网络，客户端本身的自动更新也需要网络。
