端侧多模态最近又炸了一次。面壁智能开源的 MiniCPM-V 4.6 被人搬到 iPhone 17 Pro 上实测，生成速度冲到 51 tok/s，模型参数不到 2B，关键是他们把代码和权重直接甩出来，谁都能跑。这不是 PPT 演示，是真机跑出来的数字。对于做端侧 AI 的人来说，这件事的意义比纸面跑分大得多——它意味着在主流消费级硬件上部署一个能看、能理解的多模态模型，门槛已经被踩到地板了。
51 tok/s 这个数字到底什么水平
先说速度意味着什么
tok/s 是生成式模型每秒吐出的 token 数量。51 这个数字放在云端大模型面前不算炸裂，因为 GPT 级别的服务早就破百了；但放在 iPhone 上、放在端侧、放在一个不到 2B 参数的多模态模型上，这就是另一个故事了。人的阅读速度大概是每秒 4 到 6 个 token，超过 30 就能做到"实时跟读"的感觉。51 tok/s 已经进入了"打字速度"的区间——你问它问题，它几乎是边想边答，没有那种让人想摔手机的等待感。
Core ML 这条路被走通了
MiniCPM-V 4.6 走的是 Apple Core ML 路线，而不是常见的 llama.cpp 或 ONNX Runtime 路径。Core ML 一直是端侧部署里相对冷门的选项，因为它的工具链门槛高、支持的算子有限，社区文档也少。这次能跑通，说明面壁智能在模型转换和算子适配上下了真功夫。对开发者来说，多了一条可用的路；对苹果生态来说，A 系列芯片的 Neural Engine 终于有了一个像样的开源多模态 demo 可看。
不到 2B 参数这件事
模型规模是个老话题，但 MiniCPM-V 4.6 选择的路线值得多说一句。它没有走"小到极致"那种 0.5B 以下的极端压缩路线，而是守在 2B 以内——这个区间在多模态任务里是个甜蜜点：再小，视觉理解能力会断崖式下跌；再大，端侧延迟和内存占用都扛不住。面壁智能显然在"能看"和"能跑"之间找到了一条窄而稳的路。
开源社区这次扮演了什么角色
不是模型发布，是交付了一整套方案
很多人对"开源"的印象还停留在放个权重让社区玩。但 MiniCPM-V 4.6 这次交付的是完整工程包——模型权重、转换脚本、推理代码、demo 工程，一站式打包。这意味着一个移动端开发者不需要先花两周研究怎么把 PyTorch 模型塞进 Core ML，也不需要自己写图像预处理 pipeline。下载、编译、跑起来，一气呵成。这种"交付完整闭环"的开源方式，对生态的推动力远大于单纯发个模型。
端侧 AI 的竞争已经不在云端了
云端大模型的军备竞赛打了两年多，现在卷的是参数规模和上下文长度。但端侧完全是另一套逻辑——比的是谁能在更小的模型里塞进更强的能力，同时保证功耗和延迟可控。MiniCPM-V 4.6 在 iPhone 上跑出 51 tok/s，本质上是在宣告：端侧多模态的"可用性阈值"已经被跨过去了。接下来大家要卷的，是更高分辨率的视觉理解、更长的上下文记忆、更多的功能模态。赛道已经换了一条。
面壁智能的路径选择
MiniCPM 系列从一开始就走"小而强"路线，这在国产开源模型里不算主流——大家更习惯追千亿参数的巨兽。但面壁智能显然判断对了方向：未来的 AI 不会全部跑在云端，会有大量场景需要本地推理，隐私、低延迟、离线可用这些需求都是刚需。提前布局端侧，现在开始收获红利。
谁应该立刻去下载这个模型
移动端 AI 应用开发者
如果你的产品形态是 App、需要处理图像、需要在用户手机上实时给出反馈，MiniCPM-V 4.6 几乎是目前最现成的方案。你可以拿它做实时的图片问答、文档理解、场景识别、辅助标注——所有这些都不需要把用户数据传到云端。隐私合规这条线直接过了。
正在做端侧推理优化的工程师
Core ML 工具链的实际案例太少了，官方文档以外几乎没有靠谱的参考实现。MiniCPM-V 4.6 的转换脚本和工程结构，对正在研究模型量化、算子适配、内存调度的人来说，是一个非常具体的学习样本。它告诉你一个真实的多模态模型是怎么从 PyTorch 一路走到 iPhone GPU/Neural Engine 的。
硬件厂商和芯片团队
这个案例也是给芯片厂商的一份成绩单。Apple Silicon 的 Neural Engine 在面对实际多模态推理任务时表现如何，能耗比如何，有没有成为瓶颈——这些问题现在有了真实数据可参考。对于做端侧 NPU 的团队来说，这种开源 benchmark 的价值极高。
这件事背后藏着的几个判断
端侧不是过渡方案，是终局形态之一
总有人觉得端侧 AI 只是云端的补充，等网络更快、模型更小就不再需要本地推理了。这种判断低估了端侧的不可替代性：手术室里的辅助诊断、工厂里的质检、野外作业的设备——这些场景没有稳定云端，但都需要 AI。MiniCPM-V 4.6 在 iPhone 上的表现，恰恰证明了一个消费级设备就能撑住相当复杂的任务。
开源模型的下一步是"可交付性"
过去两年开源模型的进步体现在跑分上，GLUE、MMLU、C-Eval 一路刷。但真正的工程化落地需要的不是跑分，是"下载就能用"。MiniCPM-V 4.6 的做法——连同推理代码、转换工具、demo 工程一起发——会成为后续开源模型发布的新标准。只会发权重，不会写工程的团队，会被逐渐甩开。
多模态的门槛正在被踩平
两年前，做一个能"看图说话"的 demo 还需要调用云端 API、按 token 计费、有延迟、担心隐私。现在，一个 2B 参数的模型、iPhone 一台、Core ML 一行命令，就能本地跑起来。这不是渐进式的进步，是台阶式的跨越。多模态 AI 从"大公司专属能力"变成"个人开发者随手玩的东西"，MiniCPM-V 4.6 是这条线上的一个清晰节点。
