把中间层多跑三遍,小模型也能打大模型:Inkling 2 Mini 让 26B 的模型住进笔记本
2026 年 11 月 20 日,Thinking Machines Lab 发布 Inkling 2 Mini:26.4B 参数的循环 Transformer,中间 12 层每 token 跑三遍,整机只有约 20GB,能在笔记本上离线跑。DeepSWE 48.2%、SWE-bench Verified 79.2%,在同体量开源模型里领跑——但知识短板和监控问题也写在官方博客里。

一句话:笔记本上跑的模型,第一次在编程基准上赢了同体量所有开源对手
2026 年 11 月 20 日,Thinking Machines Lab 发布 Inkling 2 Mini,一个只有 26.4B 参数的开源权重模型。它的卖点不是参数多,而是结构怪:24 层 Transformer 里,中间 12 层每生成一个词要跑三遍,等于用 24 层存量做出 48 层的效果。整机权重只有约 20GB,官方说一台 32GB 内存的 Mac 就能跑,研究员还在飞机上断网用 MacBook Pro 让它几分钟内写出了一个能玩的飞行模拟器。
成绩单是这篇发布最硬的部分。在官方自测里,Inkling 2 Mini 在 DeepSWE v1.1 上拿到 48.2%,在 SWE-bench Verified 上拿到 79.2%,在 SWE-bench Pro v2 困难集上拿到 77.9%,在 SWE-bench 多语言集上拿到 73.7%,在 Vibe Code Bench 上拿到 77.9%,五项全是 100B 以下开源权重模型里的第一名。独立评测机构 Artificial Analysis 也给了它 20.1 的智能指数,与 Qwen3.8-27B 并列,但有效激活参数只有对方的五分之一左右。这不是又一个“小模型也不错”的安慰奖,而是一次结构上的胜利:同样的参数量,换一种用法,编程能力真的上了一个台阶。
但这篇发布真正值得读的,是它没有藏着掖着的那一半。Thinking Machines 在同一篇博客里写明了这个模型的短板:知识量不涨、多轮对话偏弱、推理过程被压缩后监控难度上升,还专门放出了一个可变循环的研究模型,请全世界的研究者来研究“循环模型到底好不好管”。一个模型发布,同时附上一份自我怀疑的清单,这在今年的模型发布里并不多见。
循环是什么意思:把同一层楼走三遍
要理解 Inkling 2 Mini,先要理解它到底循环了什么。标准 Transformer 是流水线:一个词从第一层走到最后一层,每层只经过一次。Inkling 2 Mini 把 24 层切成四块,每块六层,第一块和最后一块各跑一遍,中间两块各跑三遍。一个词走完,全程是 1 + 3 + 3 + 1 = 8 块、48 次层应用,但存下来的权重还是 24 层的量。参数没变,算力花多了,模型在吐出下一个词之前,有了更多“内部思考”的机会。
为什么是中间层,不是最后几层?官方的解释很直观:靠近两端的层主要负责翻译——把词向量翻译成内部表示、再把内部表示翻译回词;而中间层装的是更抽象的推理。博客给了一组对照实验的数字:在训练第 2000 步时,循环中间层(第 7 到 18 层)带来的收益,相当于给不循环的基线模型多花 1.51 到 1.91 倍的训练算力;循环最后 12 层,同样的等价倍数只有 1.24 到 1.36 倍。28 项评估里,循环中间层在 27 项上赢了循环尾层。这个设计不是拍脑袋,是拿实验筛出来的。
循环也不是简单地把输出再喂回去。模型用了“注意力残差”结构:每一层不只读前一层的输出,还能直接读到前面所有块的输出,自己学一个混合比例。第二次、第三次进入中间块时,模型还会读到上一遍中间块留下的“消息”,两者用一个训练中学出来的门控合并。这个门一开始是关死的——每遍循环的起点和不循环的模型一模一样,然后随着训练慢慢打开,让消息一点点渗进来。官方说,这样做是为了让循环在训练中稳定地引入,而不是一上来就乱套。
循环的账要两面算。训练一个不循环的同款模型,成本只低 7.5%;但要让那个不循环的模型在 512K token 的智能体轨迹上达到循环版同样的损失,推理算力要多花 140%。也就是说,循环把成本从训练侧挪到了推理侧——模型变小了、变便宜了,但每吐一个词要多算几遍。这笔账对本地运行很划算,对按量计费的云端调用则要另算。
成绩单:编程最强,知识原地踏步
先看编程。官方对照表里拿 Inkling 2 Mini 和四个同体量对手比:Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL。DeepSWE v1.1 上,Mini 是 48.2%,Qwen3.8 是 42.2%,其余三家分别是 0.3%、4.4% 和 24.7%;SWE-bench Verified 上,Mini 是 79.2%,Qwen3.8 是 77.8%;SWE-bench Pro v2 困难集上,Mini 是 77.9%,Qwen3.8 是 73.8%;SWE-bench 多语言集上,Mini 是 73.7%,Qwen3.8 是 70.0%;Vibe Code Bench 上,Mini 是 77.9%,Qwen3.8 是 64.9%。五项编程基准,Mini 全赢 Qwen3.8,赢的幅度从 1.4 个百分点到 13 个百分点不等。
但成绩单不是一边倒。Terminal-Bench v2.1 上,Mini 是 71.6%,Qwen3.8 是 73.0%,Mini 输了 1.4 个百分点;FrontierCode v2.0 上 Mini 是 15.1%,只比 Qwen3.8 的 14.9% 高一点;PMPP-Hard 内核优化基准上,Mini 的 455.82 分大幅领先 Qwen3.8 的 262.50 分,接近大得多的 Inkling 2 Small 的水平——这是 Mini 最亮眼的一项,也是最能说明“循环适合长程任务”的一项。搜索和工具使用上,Mini 在 BrowseComp 上拿到 79.0%、DeepSearchQA 上 85.3%、MCP Atlas 上 82.7%,三项全是同组第一,说明它不只会写代码,还会用工具找答案。
独立评测的数字更值得看,因为那不是厂商自己报的。Artificial Analysis 把 Mini 放到智能指数上:20.1 分,与 Qwen3.8-27B 持平,并列第一梯队。关键在成本:Mini 跑完一个智能指数任务只要 0.59 美元、9.0 分钟,Qwen3.8 要 3.53 美元、38.2 分钟——便宜约 6 倍,快约 4 倍。按有效激活参数乘以输出 token 数的算力口径算,Mini 比 Qwen3.8 少用约 2.8 倍算力。但便宜也有代价:Mini 每个任务平均要输出约 15.2 万个 token,比 Qwen3.8 的约 11 万个多 38%——循环让它想得更久,写得也更多,token 账单里有一部分是它自己多花的。
斯坦福两个实验室的另一项独立测试,从“每焦耳智能”的角度给 Mini 打了分:在 NVIDIA DGX Spark 上,Mini 的智能能效得分是 0.703,Qwen3.6-35B-A3B 是 0.430,Gemma-4-26B-A4B 是 0.159,Qwen3.5-27B 只有 0.036。这个口径下 Mini 的领先幅度比基准分数上更大,说明它的优势不只是“分数高”,更是“花同样电,干更多活”。对想在本地长期挂几个智能体的团队来说,这个数字比 DeepSWE 的 48.2% 更有参考价值。
短板同样写在官方表里,而且不难找。事实性基准 AA-Omniscience 上,Mini 是 -8.6 分,低于 Qwen3.8 的 -6.4 分和 Nemotron 的 -2.9 分;多轮对话 MultiChallenge 上 Mini 只有 50.0%,复杂约束 ComplexConstraints 上 33.4%,两项都落后于 Qwen3.8;推理密集的 CritPt v2 和 HLE-Diamond 上,Mini 也落后。官方的解释很坦白:循环能让模型想得更久,但不能让它的权重装下更多事实——知识量主要还是参数总量的函数。Mini 的总参数是 26.4B,知识天花板就卡在这里,循环搬不走这块天花板。
20GB 是怎么做到的:剪枝、4-bit、蒸馏
Mini 的小不是天生的,是动过手术的。它起步时每层有 384 个专家、每 token 激活其中 8 个,训练中途一次性剪掉三分之二的专家,只留每层最常用的 128 个,总参数随之砍下来。剪完之后,用 1T token 从一个更大的内部 Inkling 模型蒸馏回来,把剪掉的本事补上——官方把这一步叫“愈合”。随后是常规的监督微调和强化学习:强化学习跑了 2.2T token、2000 步,数据配比和 Inkling 2 Small 相同。
精度上它走了一条少见的路:20 层权重用 NVFP4 的 4-bit 精度从预训练一路训到底,最后 4 层用 MXFP8 的 8-bit,部署时就是训练时的精度,没有“训完再量化”的转换损失。整机权重因此只有约 20GB。官方给出的本地运行门槛是:一台 32GB 内存的 Mac(MacBook 或 Mac Mini)就能通过 Ollama 跑起来;NVIDIA DGX Spark 桌面 AI 电脑是另一个官方目标平台;GGUF 量化版通过 Unsloth 和 llama.cpp 提供。推理支持 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo、TokenSpeed 和 Llama App,微调走 Tinker、SkyRL、Miles 和 NVIDIA AutoModel,权重本身在 Hugging Face 上按 Apache 2.0 协议开源。
这套组合拳的意义不在某一个数字,而在它把“能跑”和“能干活”同时做到了。一年前,26B 参数、79.2% SWE-bench Verified 的模型是数据中心才跑得动的配置;现在它装进一台笔记本,还能在飞机上断网工作。对个人开发者来说,这意味着编程智能体第一次可以真正“属于自己”:代码不出本机、不用按 token 付费、断网也能继续干活。官方博客里那个“Thinkyville”的小例子很能说明问题:一个像素小镇里的 20 个村民,全由同一个 Inkling 2 Mini 在一台离线 MacBook 上驱动,各自规划一天、聊天、办烘焙比赛,还能回答贴在门上的纸条。
循环的另一面:思考过程变短了,还看得见吗
发布里最有分量的一节,讲的不是性能,而是监控。循环模型有个天然的麻烦:标准 Transformer 每 token 只过一遍层,超过一定步数的推理必须写进思维链(CoT)里,人才看得见;循环模型在内部多算了几遍,有些推理就再也不用写出来了。写不出来的推理,监控就抓不着——这是循环架构从 2018 年 Universal Transformers 提出以来就挂着的问号,Thinking Machines 这次没有绕开它,而是拿数据正面回答。
他们同时放出了一个可变循环的研究模型 TML-d24-varloop-research,循环次数可以在 1 到 5 遍之间调,专门用来做对照实验。结果是两面的。先说让人放心的那面:不用思维链直接作答时,模型的“无思维链时间跨度”从 1 遍的 16 秒提升到 3 遍的 37 秒,超过 3 遍后基本持平;需要多步串联的 N-Hop Lookup 任务上,准确率一直提升到 10 遍——哪怕模型只在 5 遍以内训练过。思维链本身变短了:GPQA Diamond 上,1 遍时平均 3703 个推理 token,3 遍时 1731 个,5 遍时 1661 个,不到原来的一半;但可读性没掉,平均句长和词典词比例基本不变,只是不确定词(“等等”“其实”这类词)从平均 9.7 个降到 3.6 个,模型变得更直接、更少来回摇摆。
再说让人警惕的那面。模型几乎控制不了自己的思维链:在 CoT-Control-QA 评估里,让模型按要求调整思维链(比如避开某个关键词),Mini 和可变循环模型在 750 到 1250 个 token 的思维链长度下,成功率最高只有 0.1%,Qwen3.8-27B 是 1.3%,Inkling 2 Small 是 0.3%——全都很低,Mini 是最低的一档。好消息是低得没法区分:评估本身分不出循环次数的影响,说明至少在现有测量下,循环没有让可控性变得更糟。智能体场景的 LinuxArena 对照实验也类似:用较弱的 Qwen3.6-35B-A3B 当监控者时,攻击者完成恶意支线任务而不被发现的比例,没有随循环次数呈现出明确趋势。官方的结论很克制:“在这个规模上,我们没有看到监控能力出现有意义的下降”,同时把话留给了未来:“在大得多的模型上,智能体监控值得继续跟踪”。
跟 Inkling 2 Small 是什么关系
本站此前发过 Inkling 2 Small 的介绍:Thinking Machines 的第二代主力模型,594B 参数,权重当时还没开源。Mini 是同一家族的小兄弟,定位完全不同:Small 是云端旗舰,Mini 是能装进口袋的本地模型。两者共享同一套主线训练配方和同一批后训练流程,Mini 是在主线配方上剪枝加循环改出来的。理解这个关系很重要:Mini 不是 Small 的“青春版”,而是同一条技术路线在“小而能跑”这个方向上的实验品——实验的问题是,循环能不能让小模型在编程和智能体任务上追上大模型。按这次的成绩单,答案至少在同体量开源模型这个范围内是肯定的。
对 vibe coding 来说,Mini 的发布还有一层直接的意义:它把“编程智能体”从云端服务变成了一件可以本地运行的工具。代码不用上传、账单按电费而不是按 token 算、飞机上也能继续写代码——这三点对独立开发者和小团队是实打实的改变。Tinker 上的推理和微调、Ollama 的一键运行、vLLM 当天就跟进的支持,说明生态已经 ready,不需要等半年。
价格与生态:0.59 美元跑一个任务是什么概念
Artificial Analysis 的成本数字值得单独算一笔账。按 Thinking Machines 第一方定价,Inkling 2 Mini 的输入是每百万 token 0.15 美元、输出 0.50 美元、缓存命中 0.015 美元,跑完一个智能指数任务平均花 0.59 美元、9.0 分钟;Qwen3.8-27B 同样一个任务要 3.53 美元、38.2 分钟。作为参照,GPT-6 Luna(max 档)智能指数 28 分,单个任务只要 0.15 美元——闭源大模型在绝对成本上仍然更便宜,但那是云端按量计费的价格,代码要上传、账单按 token 走。Mini 的 0.59 美元是“自己机器上跑”的成本口径,真正的对比对象不是云端大模型,而是同样本地运行的开源模型。在这个口径下,Mini 比 Qwen3.8 便宜约 6 倍、快约 4 倍,这个差距大到足以改变选型结论。
生态跟进的速度也很快。vLLM 在发布当天就推出了支持,还专门写了融合内核,把循环之间传递的四条消息合并成一次注意力残差操作;SGLang、Ollama、Unsloth、NVIDIA Dynamo、TokenSpeed 和 Llama App 同步支持,强化学习微调有 SkyRL、Miles 和 NVIDIA AutoModel。发布当天就能在 vLLM 上跑起来,说明这不是一个“先发博客、生态慢慢跟”的模型,而是发布前就和推理框架对接好的。对想立刻试手的人来说,Ollama 的路径最短:32GB 内存的 Mac,拉取模型就能跑;想自己改的,Tinker 上可以直接推理和微调,权重在 Hugging Face 上按 Apache 2.0 开源,商用也没有协议上的障碍。
为什么循环现在才火:从 2018 年的论文到 2026 年的产品
循环 Transformer 不是新点子。2018 年的 Universal Transformers 论文就提出了让同一层反复使用的想法,之后几年里它一直是个“理论上很美、产品上没人用”的架构。原因不难理解:循环省的是参数,不是算力——同样的权重多算几遍,在“参数越大越好”的年代里没有竞争力;而且训练不稳定,循环一深就容易崩。Thinking Machines 这次能把它做成产品,靠的是三件事同时到位:4-bit 原生训练把模型压到 20GB,门控消息传递让循环训练稳定下来,推理侧的算力便宜到了“多算几遍也划算”的程度。
更深一层的原因是风向变了。过去两年,模型竞赛的主题从“谁的参数多”转向了“谁在固定预算下更能干活”:推理时多花算力(test-time compute)成了主流,本地运行、离线运行、数据不出本机成了真实需求,智能体任务又特别吃“多步串联推理”——而这正是循环最擅长的部分。Mini 的发布可以看作这股风的一个路标:当“把模型做小”不再意味着“把能力砍掉”,小模型的竞争就从参数量转向了结构创新。循环是其中一种答案,不会是唯一一种,但它是今年第一个拿出完整成绩单的答案。
还有一个细节值得注意:Thinking Machines 没有把循环当成黑盒卖,而是把研究模型、可变循环的对照实验、监控评估的原始思路一起公开了。他们和美国国家深度推理网络(NDIF)合作,把模型交给可解释性研究者,还给了 Goodfire 提前访问权限,让对方从机制层面研究循环内部到底发生了什么。这种“发布模型的同时发布研究问题”的做法,和他们处理监控问题的方式是一致的:循环模型最大的风险不是性能,而是它在内部想了什么、人类看不看得见——这个问题他们没有答案,但他们把提问的工具交出来了。
三处提醒
第一,所有 headline 数字都是厂商自测。DeepSWE、SWE-bench、Vibe Code Bench 的分数都出自 Thinking Machines 自己的对照表,评估设置因模型而异(比如 SWE-bench Verified 是 bash only 的配置)。独立的 Artificial Analysis 只验证了智能指数和成本效率这两项,没有复核全部编程基准。读这篇发布,要把“官方表”和“独立验证”分开看。
第二,循环补的是推理,不是知识。Mini 的事实性、长知识问答和复杂约束指令都落后于 Qwen3.8-27B,官方自己也承认这一点。拿它当本地编程助手很合适,拿它当百科全书或者让它严格执行一份几十条约束的指令清单,就不是它的舒适区。选模型之前,先问自己要的是“会写代码”还是“什么都知道”。
第三,别把“能在笔记本上跑”理解成“随便一台电脑都能跑”。官方门槛是 32GB 内存的 Mac 或同等配置,20GB 只是权重本身,跑起来还要留上下文和运行时的余量。8GB、16GB 的老机器不在官方支持范围内,GGUF 量化版能把门槛再往下压多少,还要看社区实测。好消息是权重是 Apache 2.0 开源的,社区的实测和优化会来得很快。
评论 (0)
原始来源
相关文章
2026 年 11 月 17 日,微软发布 MAI Code 2 和 Code 2 Flash:大模型 770 亿激活参数、100 万上下文,四项基准平均通过率 63.2%,与 GPT-6.1 Sol、Claude Opus 5.5 咬得很紧,但每任务成本只有 0.309 美元。先看清三处“但是”:价格是推广价、分数是三者最低、长周期任务不在舒适区。
2026 年 11 月 17 日,Perplexity 推出 Orchestrator API:一个接口接通 OpenAI、Anthropic、Google、xAI 与 GLM、Kimi、DeepSeek 等开源权重模型,按回答模型的公开价计费、不收平台费。同一模型挂了就换一家部署接着跑,路由功能还能按任务把请求分给不同的模型。
2026 年 11 月 11 日,AWS 开源 UAEF:先把 LangGraph、LangChain、Strands、Bedrock AgentCore 等框架的运行记录翻成统一格式,再用 36 个指标、7 个维度打分,回归超过 5% 就亮灯。评审模型本身也被防了一手:打分要引原文作证,分数不能用来决定安全放行。