开源当天我就把 MiniCPM5-2B 拉下来跑了，两个坑不吐不快

面壁今天开源了”4B 以下性能第一”的端侧模型 MiniCPM5-2B。我当天就拉下来实测——榜单很好看，但真跑起来，有两个官方没说的事。

先说结论

这模型端侧可用：纯 CPU 跑出 26 tok/s，中文对话和写代码都利索。但官方宣传里藏着两个坑，一个关于内存，一个关于”思考”——第二个坑直接让它的招牌能力在 2B 尺寸上变成了双刃剑。

为什么盯上它

面壁的 MiniCPM5-2B 是昨天（9 月 8 日）正式开源的端侧模型：2.5B 参数、Apache-2.0 可商用、AA 榜单 4B 以下第一，宣传语是”原生混合思考 + 512K 超长上下文 + 端侧智能体基座”——手机、PC、汽车座舱上跑本地 AI 助手的”决策大脑”。

做 AI 落地的都知道，这种”今天开源、榜单第一”的模型，价值就在 Day0 实测：宣传归宣传，拉下来跑三分钟，真假立现。

拉取就碰了个软钉子

官方 ollama 库只有 1B 版，2B 得自己找。官方源下载到一半速度劣化（879→315 KB/s，照这速度要下 1 小时 14 分），果断弃了走镜像直连——7 分钟下完 1.56GB 的 Q4_K_M 量化版，导入 ollama 成功。

实测三项：两过一挂

在纯 CPU 机器上（8K 上下文、温度 0.7），三项经典测试：

测试	结果	表现
中文对话	✅	干净利落：”我是 MiniCPM5-2B 模型，由面壁智能和 OpenBMB 开源社区开发”——26.5 tok/s
写代码	✅	Python 冒泡排序一次写对，还带 swapped 提前退出优化和中文注释——26.1 tok/s
逻辑推理	❌	经典三灯三开关题，思考到一半被 token 上限截断，没给出答案

两过一挂，速度完全可用。但这个”挂”背后，藏着第一个坑。

坑一：它默认”先思考再回答”，而思考会吃光你的 token

这模型默认开启思考模式（think mode）——每次回答前先输出一大段 <think> 内心独白，再正式作答。

听起来很高级？对小模型是灾难。2B 的推理能力本来有限，遇到难题它就绕进去出不来，把 300 个 token 的预算全耗在思考上，正式答案一个字没写就被截断。三灯三开关就是这么挂的——不是不会，是思考太久把”答题时间”用完了。

我试过用系统提示压制思考，压不住——这是模板级行为，不是提示词能关的。

应对办法三条：

1. 取结果时截掉 </think> 之前的内容，只看正式回答
2. 长任务把 token 上限调大，给思考留余量
3. 接受它是个”爱碎碎念的小模型”，轻量任务够用就行

坑二：宣传的 128K 上下文，我 32K 就跑不起来

官方说 512K 上下文（模型卡实际标 128K）。我按 32K 上下文启动，直接报错——

KV cache 需要 1.4GB 连续内存，分配失败（HTTP 500）。我机器 32GB 内存都不够？不是不够，是连续分配这块内存失败了。最后把上下文压到 8K 才跑起来。

端侧模型的上下文，是”标称值”和”能跑值”两回事。宣传的 128K 是给有足够内存/显存、会用量化缓存技巧的人准备的；普通机器实际能用的是 8K 级别。

三句话总结

1. 榜单第一不等于开箱即用——下载、内存、思考模式，处处要调参，官方一个都没写
2. “混合思考”在小模型上是双刃剑——2B 的思考不是深度，是碎碎念，会吃光你的 token 预算
3. 端侧模型的价值在”跑得动”，不在”想得深”——26 tok/s 的本地对话和代码辅助是真香，复杂的推理还是交给云端

这模型值不值得用？值。轻量对话、代码辅助、隐私敏感场景，本地跑它很合适。但别指望 2B 干 70B 的活——宣传的 Agent 能力，需要配套工程（上下文分层、思考裁剪）才能真正兑现。

这大概就是端侧 AI 现在的真相：能跑，但处处要自己调。今天又多认识了一个坑，挺好。

---

（实测数据：CPU-only，Q4_K_M 量化，8K 上下文，温度 0.7，num_predict≤300。模型：MiniCPM5-2B，Apache-2.0，2026-09-08 开源。）