返回探索
指南VibeFix 内容整理更新于 2026年11月21日

模型不用跑在别人家:Ollama / LM Studio 本地跑模型实战

云端模型按量收钱、数据要出门,本地模型一次下载、之后零边际成本。本文从 Ollama 和 LM Studio 两条路讲起:怎么装、怎么挑模型、怎么接进编码工具,以及什么活放本地、什么活留给云端。

一名年轻男子深夜在昏暗的房间里抱着笔记本电脑敲代码,屏幕上是代码编辑器

先把这篇的边界说清楚。站里已经有两篇讲本地模型的资讯:一篇是《Copilot CLI 也能开本地模型了》,讲的是某一个命令行工具的新功能;另一篇是《微软把 137B 自研代码模型塞进你电脑》,讲的是某一个具体模型的本地版。那两篇是新闻,告诉你“出了什么事”。这篇是指南,讲的是“你自己怎么动手”:在你自己的电脑上把模型跑起来,再把它接进你写代码的流程里。另外,站里还有《模型路由》和《Token 成本》两篇指南,那两篇讲的都是云端模型——怎么在好几个云端模型之间挑、怎么算云端账单。这篇讲的是另一条路:模型不跑在别人机房里,跑在你自己的机器上。最后,《自托管》那篇讲的是把你的产品部署到自己的服务器上,这篇讲的是把模型跑在你写代码的那台电脑上,地方不一样,目的也不一样。

下面用到的“云雀菜谱”是一个虚构的练手项目:一个人用 AI 帮着写出来的个人菜谱应用,能存菜谱、能按冰箱里的剩菜推荐菜。本文所有以它为例的操作、对话和报错,都是为了讲清楚做法编出来的,不是真实记录。所有关于 Ollama 和 LM Studio 的命令、端口、模型名字和大小,都来自这两家的官方文档和官方模型库页面,来源见文末。

先想清楚:本地模型到底替你省了什么

别一上来就装。先问自己三个问题,三个里只要有一个答“是”,本地模型才值得你花这个下午。

第一个问题:你的代码和提示词里,有没有不方便出门的东西?比如客户项目的源码、还没发布的产品点子、带真实用户数据的调试记录。云端模型是你把东西发到别人机房里算,服务条款再友好,数据终究离开过你的电脑。本地模型是数据不出门:Ollama 官方的说法是,模型在本地跑的时候,你的提示词它看不见、也不会收走。本地是天生做到的,云端是靠合同保证的。

第二个问题:你是不是经常在没网、弱网的地方写代码?高铁上、飞机上、咖啡馆里信号只剩一格的时候,云端模型一断就停工,本地模型只要电脑开着就能干活。

第三个问题:你每个月在云端模型上花的钱,是不是已经多到让你心疼了?本地模型的边际成本是零——模型下载一次之后,你让它改一千次代码,也不会多出一张账单。代价在另一头:电费、硬盘和你买电脑时多花的钱。值不值,要拿你自己的云端账单来算,后面有一节专门算这笔账。

反过来,也有三种情况不建议你折腾本地模型。第一,你的电脑内存实在太小,老笔记本只有 8GB 内存,跑个 7B 模型都勉强,体验会很差。第二,你现在做的活全是“一次就要想明白”的大活——跨十几个文件的新功能设计、复杂算法、关键代码评审,本地小模型的水平还够不着。第三,你是一个人以上的小团队,要共享同一套提示词、同一份评审记录,本地模型天生是单机作战,协作的事还是云端顺手。这三种情况,继续用云端,本地模型以后再说。

两条路:Ollama 还是 LM Studio

本地跑模型,工具就两个主流选择。Ollama 是命令行工具,一个二进制文件加一个后台服务;LM Studio 是桌面应用,有窗口、有按钮、有聊天界面。它们都能下载模型、跑模型、对外提供一个兼容 OpenAI 接口的本地服务,差别在操作方式和适用的人。

选哪个,看你是哪种人。如果你习惯终端,装完就想在命令行里敲命令,那选 Ollama:一个命令拉模型,一个命令开聊,剩下的事都走 HTTP 接口,脚本化很方便。如果你看见终端就头疼,或者你想先在窗口里点一点、看看模型长什么样、试试不同的量化版本,那选 LM Studio:它内置的模型浏览器直接连 Hugging Face,搜名字就能下载,下载完点“加载”就能聊天,不用记命令。

不管选哪条路,开始之前先看一眼你的机器够不够格。Ollama 官方 README 给过一条简单粗暴的经验:跑 7B 模型至少 8GB 内存,13B 至少 16GB,33B 至少 32GB。这条线是底线,不是推荐线——刚好卡在底线上,上下文一长就容易把内存吃满。实用的判断方法是:你的内存减去系统和浏览器日常占用的部分,剩下的再打个七折,就是你能给模型用的量。一台 16GB 内存的笔记本,大概能舒服地跑 7B 到 8B 的模型;想跑 13B 以上,先确认你有 32GB 内存或者一块像样的显卡。硬盘也要留地方:一个 8B 模型大约 4.7GB,一个 70B 模型大约 40GB,下载之前先看一眼剩余空间。

Ollama:从安装到第一次对话

先讲 Ollama 这条路,全程不到半小时。第一步是安装。Mac 去官网下载安装包,Windows 下载安装程序,Linux 在终端里跑一行官方脚本:curl -fsSL https://ollama.com/install.sh | sh。装完不用配置,服务会在后台自己起来。如果你用 Docker,也可以拉官方镜像 ollama/ollama 来跑,但对第一次上手来说,直接装在主机上最简单,出问题也好排查。

第二步是拉一个模型。去 Ollama 官方模型库 ollama.com/library 挑,先别贪大。第一次建议拉 llama3.2 的 3B 版本,命令只有一行:ollama pull llama3.2。这个模型下载下来大约 2.0GB,1B 版本更小,大约 1.3GB。拉完跑起来聊两句:ollama run llama3.2,模型不在本地时 run 命令会先帮你拉下来,所以其实直接跑 run 也行,pull 只是让你先下载、不急着聊。想换个专门写代码的模型,可以试 qwen2.5-coder,库里从 0.5B 到 32B 都有,第一次先拿 7B 的:ollama pull qwen2.5-coder:7b。

第三步是确认服务在跑。Ollama 的服务默认只监听本机 127.0.0.1 的 11434 端口,在浏览器或者终端里访问 http://localhost:11434/api/tags,能看到你已经下载的模型列表,就说明服务正常。这个地址后面会反复用到:你的脚本、你的编码工具,都是通过这个端口跟本地模型说话的。先把这个地址记下来。

挑模型的时候,有一张简单的对照表可以参考,都是官方库里的现成模型和官方 README 里写的大小。日常聊天和轻量改代码,从小的开始:llama3.2 的 3B 版 2.0GB,几乎所有近几年的电脑都能跑;gemma3 的 4B 版 3.3GB、12B 版 8.1GB,适合想在小模型里找个能打的;写代码优先看 qwen2.5-coder,从 0.5B 到 32B 按需选,7B 是个平衡点。想试试推理模型,deepseek-r1 从 1.5B 到 671B 都有,但 671B 的完整版要 404GB,一般人不用想,1.5B 和 7B 的版本才是能在本机跑的。需要大模型才够用的活,比如 70B 的 llama3.1(40GB)或者 llama3.3(43GB),先确认内存和硬盘都够,再动手。记住一条原则:先求跑得起来、再求跑得好,第一次宁可小一号,也别一上来就拉个跑不动的大模型。

日常管理就五个命令:ollama list 看已经下载了哪些模型和各占多少空间;ollama ps 看现在哪个模型正在内存里跑;ollama stop 把某个模型停掉;ollama rm 删掉不用的模型腾空间;ollama show 看某个模型的参数量、量化和默认上下文长度。模型闲置一段时间后,Ollama 会自动把它从内存里卸掉;OLLAMA_KEEP_ALIVE 环境变量可以控制保留时间。磁盘满了先删模型:模型文件都在 Ollama 自己的目录里,用 rm 命令删最干净。

LM Studio:图形界面那条路

如果你选的是 LM Studio,流程是另一副样子,但做的事情是一样的。先去官网下载对应系统的安装包,Mac、Windows、Linux 都有。装好打开,点 Discover(发现)标签页,里面的模型浏览器直接连 Hugging Face:搜一个名字,比如 qwen3,就能看到这个模型在不同量化版本下的下载项。量化版本就是模型被压缩的程度,常见的有 Q3_K_S、Q4_K_M、Q8_0 这样的名字,数字越大、模型越接近原始精度、文件也越大。LM Studio 官方文档的建议很直接:如果你的机器跑得动,优先选 4-bit(Q4_K_M)或者更高。第一次别纠结,选 Q4_K_M 就行。

下载完点 Load(加载),模型读进内存,顶上出现 Ready,就可以在聊天窗口里直接用了。想换模型,先把当前模型卸掉(Unload)再加载另一个。LM Studio 在苹果芯片的 Mac 上除了 GGUF 格式还支持 MLX 格式,同一个模型如果同时有 GGUF 和 MLX 两个版本,苹果芯片的机器一般选 MLX 的更快一些;Windows 和 Linux 上就老老实实选 GGUF。还有一个容易忽略的细节:模型下载下来不等于加载了,下载是存在硬盘里,加载是读进内存里,不加载是没法聊天的,很多人第一次就是卡在这一步。

LM Studio 的杀手锏在 Developer(开发者)标签页里:点 Start Server,就能把当前加载的模型变成一个本地服务,默认地址是 http://localhost:1234/v1。官方文档列出的接口和 OpenAI 的一模一样:GET /v1/models 看模型列表,POST /v1/chat/completions 聊天,POST /v1/embeddings 做向量,POST /v1/completions 做补全,POST /v1/responses 做智能体式调用。也就是说,任何原来调 OpenAI 的代码,只要把 base_url 改成 http://localhost:1234/v1 就能接着用,请求格式不用改。LM Studio 还带一个 lms 命令行工具,不用开窗口也能管模型:lms server start 开服务,lms ls 看下载了哪些模型,lms ps 看哪个在跑,lms load 和 lms unload 管加载卸载,lms get 按名字下载。图形界面和命令行是同一套东西,你爱用哪个用哪个。

把本地模型接进你的编码工具

模型跑起来只是上半场,下半场是让它真的帮你写代码。接法分三层,由浅到深。

第一层是直接调接口写脚本。Ollama 的原生接口在 http://localhost:11434/api/chat,传模型名和消息列表就能拿到回答;更省事的是走它的 OpenAI 兼容接口 http://localhost:11434/v1/chat/completions,原来调 OpenAI 的代码只改 base_url 就行。LM Studio 那边同理,地址是 http://localhost:1234/v1。拿“云雀菜谱”举个例子:阿远写了个小脚本,每天夜里让本地模型读一遍当天的代码改动,输出一份中文的改动摘要,存在项目里的 CHANGELOG 草稿里。这个活不需要最聪明的模型,本地 7B 模型完全够用,而且改动摘要里可能提到还没发布的功能,走本地接口,数据不出门。

第二层是接进现成的编码工具。LM Studio 官方文档明确写了 Codex 能接它的服务,因为 LM Studio 实现了 OpenAI 兼容的 POST /v1/responses 接口,文档里还有专门的“Use Codex with LM Studio”指引。Claude Code 那边,LM Studio 提供 Anthropic 兼容的 /v1/messages 端点,官方文档也把与 Claude Code、Codex 的集成列在 Integrations 里。接法大同小异:把工具的请求地址指到本地服务的地址,模型名字填 LM Studio 里显示的那个标识符(注意,LM Studio 里模型名字是 Hugging Face 的仓库路径那样的长名字,不是 Ollama 那种短名字),再配一个任意字符串当 API 密钥占位——本地服务默认不校验密钥,填什么都行。第一次接的时候,先用 curl 或者一个最小的 Python 脚本调通接口,确认本地服务真的在响应,再去改编码工具的配置。

第三层是让本地模型和云端模型分工,而不是二选一。做法是给你的工具配两套模型:日常的小活走本地,关键的大活走云端。有的工具支持在配置里写两个模型地址,有的需要你手动切换。不管哪种,切换成本越低越好——如果每次换模型都要改五处配置,你最后一定会懒得换,只用一个。配好之后,工作流就变成:本地模型先改、本地跑测试,测试过了再把改动交给云端模型做一次评审。

任务分流图:三问决定走本地还是云端

分工表:什么活放本地,什么活留给云端

本地模型最大的毛病是能力天花板低,小模型写大活容易写错、想不全。所以分工的第一原则是按活的大小和风险分,不是按心情分。下面这张表是给“云雀菜谱”这样的个人项目定的,你可以照着改。

放本地的活有五类。第一类是写测试:给刚写好的函数补单元测试,写法相对固定,小模型做得不差,错了测试自己会报错。第二类是改文案和文档:把英文报错翻成中文、给 README 补一段中文说明、给提交写个摘要,对推理要求低,错了也一眼能看出来。第三类是小范围重构:一次改动不超过两三百行、只动一个文件,比如把一段重复代码抽成函数。第四类是解释代码:让模型读一段你没写过的代码,用大白话讲清楚它在干什么。第五类是离线场景:没网的时候,所有活都只能放本地,没得选。

留给云端的活也有五类。第一类是新功能设计:一次要动十几个文件、要先想清楚架构的活,小模型容易顾头不顾尾。第二类是复杂推理:算法、性能问题、跨模块的疑难杂症,需要模型一次想明白很多步。第三类是关键评审:发版之前的代码评审、安全检查,评审的质量直接决定线上会不会出事,别省这个钱。第四类是长上下文:一次要读几万行代码才能下手的活,小模型的上下文窗口和注意力都跟不上。第五类是需要最新知识的活:刚发布的新框架、新接口,小模型的训练数据里没有,答出来的可能是它编的。

分工定下来之后,还要定一条交接规则:本地模型改完的东西,什么情况下可以直接提交,什么情况下必须过一遍云端评审。阿远的规则是:只改测试、文档和文案的,本地改完跑一遍测试就能提交;动了业务代码的,让云端模型看一眼改动摘要再提交;动了鉴权、支付、数据库迁移这三类地方的,必须人自己看一遍 diff。规则写进项目的 AGENTS.md 里,智能体每次干活之前先读一遍。

最后说一句实话:本地模型写出来的东西,你要多看一眼。不是因为它一定错,而是因为它的错法和云端大模型不一样——大模型错在想歪了,小模型错在想不全。一段本地模型写的代码,看起来通顺、测试也过了,但可能漏了一个边界条件,或者用了个已经废弃的接口。养成习惯:本地模型的产出,合并之前至少读一遍 diff,跑一遍测试,再提交。

隐私的三条红线

本地模型最大的卖点是隐私,但隐私不是“装了就自动有”,有三条红线要自己守。

第一条红线:别把本地服务暴露到局域网之外。Ollama 默认只监听 127.0.0.1,也就是只接受本机的请求,别人连你的 11434 端口是连不上的,这是好事。别手痒去改 OLLAMA_HOST=0.0.0.0 把它放开——一旦放开,局域网里的任何人都能不经认证调你的接口,列你的模型、拉新的模型、删你的模型,还能用你的显卡和电费跑推理。LM Studio 也一样:本地服务默认不设密码,任何能连上你 1234 端口的人都能直接用。如果确实需要在局域网里共享,LM Studio 的 Server Settings 里可以开“Require Authentication”并创建 Token,只认带 Token 的请求;Ollama 那边没有内置认证,正确的做法是用 SSH 隧道转发端口,而不是直接暴露端口。记住:没有认证的本地服务,只能活在 127.0.0.1 上。

第二条红线:分清本地模型和云模型。Ollama 的模型库里有些模型名字后面带 :cloud 标记,那些不是在你电脑上跑的,是在 Ollama 的服务器上跑的,提示词会发出去。用之前看一眼名字,别把带隐私的东西喂给一个你以为是本地、其实是云端的模型。LM Studio 那边没有这个问题,它只跑你下载到本地的模型,但如果你在 LM Studio 里接了别的云端服务,同样要分清哪条线是本地、哪条线是云端。

第三条红线:本地不等于可以随便喂。有些东西就算不出本机也不该喂给模型:真实用户的密码、密钥、身份证号、完整的生产数据库备份。本地模型不会把这些东西发出去,但它们会留在你的对话记录、日志和模型缓存里,电脑一丢或者一借,这些就跟着出去了。正确的做法是:喂给模型之前先脱敏,密钥换成占位符,真实数据换成编造的假数据。脱敏这件事不分本地云端,本地只是少了一个泄露渠道,不是少了所有泄露渠道。

五个常见翻车

第一个翻车:模型下不动。下载进度条卡住不动,先看是不是网络问题,再看磁盘空间够不够。一个 8B 模型 4.7GB,一个 70B 模型 40GB,下载到一半磁盘满了是最常见的死法。解决办法是先删掉不用的模型腾地方,命令是 ollama rm;LM Studio 里在模型列表里删。公司内网有代理的,下载之前先配好 HTTPS_PROXY,否则下载会一声不吭地失败。

第二个翻车:模型跑起来慢得没法用。先看内存够不够:系统监视器里内存快满了,说明模型太大,换个小一号的。换小模型是最有效的提速办法,比调任何参数都管用。其次看是不是同时跑了两个模型:Ollama 默认会把不用的模型卸掉,但如果你同时开了两个服务或者两个工具各占一个模型,内存就捉襟见肘了。

第三个翻车:编码工具连不上本地服务。先拿 curl 直接调接口:curl http://localhost:11434/api/tags 能返回模型列表,说明 Ollama 服务本身没问题,问题在工具的配置上;返回不了,说明服务没起来,先重启 Ollama。LM Studio 那边同理,先确认服务开了、模型加载了(状态是 Ready),再确认工具里填的模型名字和 LM Studio 里显示的标识符一模一样——大小写、斜杠都不能差,差一个字符就会报模型不存在。

第四个翻车:模型答非所问,写出来的代码驴唇不对马嘴。先别急着怪模型,看看你给的提示词是不是太含糊了。“帮我把这个函数改好”这种提示词,云端大模型能靠猜补全你的意思,本地小模型猜不准。改法是把提示词写具体:改哪个文件、改成什么样、不能动哪部分、测试怎么才算通过,一条一条写清楚。小模型不是不能干活,是需要你把活拆得更碎、说得更明白。

第五个翻车:上下文一长就开始胡说八道。小模型的上下文窗口有限,你一次贴几千行代码进去,它后面就开始忘前面、编答案。改法是少贴:只贴模型需要的那一个文件、那一个函数,别把整个项目都倒进去。配合“云雀菜谱”的做法是:先让模型读 README 和目录结构,定好改哪个文件,再只把那个文件的内容发过去,分步走比一次全倒进去靠谱得多。

一页纸清单与成本账

最后把全篇收成一张清单,照着打勾就行。装之前:确认内存够不够(7B 至少 8GB,13B 至少 16GB,33B 至少 32GB),确认硬盘够不够(8B 模型 4.7GB,70B 模型 40GB),确认你要解决的是隐私、离线、成本这三件事里至少一件。装的时候:先拉个小模型(llama3.2 3B 或者 qwen2.5-coder 7B)跑通第一次对话,别一上来就拉大的。接工具的时候:先用 curl 调通本地接口(Ollama 是 http://localhost:11434/api/tags,LM Studio 是 http://localhost:1234/v1/models),再去改编码工具的配置;模型名字逐字核对。定分工的时候:测试、文档、文案、小重构、解释代码放本地;新功能设计、复杂推理、关键评审、长上下文、最新知识留给云端;动鉴权、支付、数据库迁移的,永远人自己看一遍 diff。守隐私的时候:服务只绑 127.0.0.1,不直接暴露端口;分清 :cloud 标记的云模型;喂模型之前先脱敏。

成本账这样算。云端模型的账单是按量计的:你调多少次、输出多少字,就收多少钱,账单上写得明明白白。本地模型的成本是前置的:买电脑时多花的钱(大内存、好显卡)、电费、硬盘。算账的方法是拿你过去三个月的云端账单做比较:如果每个月云端账单里有一大块是测试、文档、文案这类小活花的,那这部分挪到本地,一年下来省的钱很可能就够你加一条内存;如果你的云端账单本来就不大,或者大头全是关键评审和新功能设计这类本地干不了的活,那本地模型省不下多少钱,装它图的就该是隐私和离线,而不是省钱。

来源:Ollama 官方 README 与官方模型库页面 ollama.com/library(2026-11-17 亲读);LM Studio 官方文档 lmstudio.ai/docs(2026-11-17 亲读)。

阅读 4评论 0

评论 (0)

ME
0/1000
评论加载中...

原始来源

浏览项目广场发布你的项目

相关文章

一名戴眼镜的开发者坐在木桌前敲笔记本电脑,左边外接显示器上是深色背景的 C 语言代码,桌上有绿植
资讯
微软的编程模型终于不当配角了:MAI Code 2 拿 96% 的分数、只收 5% 的钱,但先看清三处“但是”

2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。

开发工作流产品发布模型动态
黑色背景上,一名指挥家背对镜头高举指挥棒,脚下环绕着旋转的光轨,像一支乐队正在被指挥
资讯
一个接口接 45 个模型,坏了自动换一家接着跑:Perplexity 的 Orchestrator 想当模型界的‘总机’

2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。

开发工作流产品发布模型动态
真实照片:一双手在 MacBook Pro 上打字,屏幕显示改写 HTML 内容的 JavaScript 代码,白色桌面上有白色鼠标、纸张和文件夹
指南
别让函数把你绕晕:JavaScript 函数、参数与箭头函数实战指南

函数你每天都在调,这篇把你一直在做的事讲清楚。本文按 MDN 的《Functions》《Arrow function expressions》《Rest parameters》三篇官方文档讲清楚:声明与表达式、参数与实参、默认值、剩余参数、展开语法、返回值、箭头函数省写规则、this 的坑、回调与高阶函数、作用域。

工具技巧前端工程AI 编程实践