多图、视频理解首次上端！面壁小钢炮开源史上最强端侧多模态

再次刷新端侧多模态天花板，面壁「小钢炮」 MiniCPM-V 2.6 模型重磅上新！

仅8B参数，取得 20B 以下单图、多图、视频理解 3 SOTA 成绩，一举将端侧AI多模态能力拉升至全面对标超越 GPT-4V 水平。

更有多项功能首次上「端」：小钢炮一口气将实时视频理解、多图联合理解（还包括多图OCR、多图ICL等）能力首次搬上端侧多模态模型，更靠近充斥着繁芜、模糊、连续实时视觉信息的多模态真实天下，更能充分发挥端侧 AI 传感器富集、贴近用户的上风。

亮点浩瀚，延续了「小钢炮」系列一向的以小博大与高效低本钱，划重点如下：

「三合一」最强端侧多模态：首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V，单图理解越级比肩多模态王者 Gemini 1.5 Pro 和新晋顶流 GPT-4o mini 。
多项功能首次上端：实时视频理解、多图联合理解、多图 ICL 视觉类比学习、多图 OCR 等功能，第一次让端侧模型睁开不雅观察、理解真实流动天下的「眼睛」，不仅看得清晰，还能有样学样、模拟学习。
极致高效，最高多模态像素密度: 类比知识密度，小钢炮2.6取得了两倍于GPT-4o的单 token 编码像素密度（token density），在端侧方寸之地，一起将大模型「能效比」挖到极限。
这一进展，得益于视觉 token 比较上一代低落 30% ，比同类模型低 75%。
端侧友好：量化后端侧内存仅占 6 GB；端侧推理速率高达 18 tokens/s，比较上代模型快 33%。
并且发布即支持 llama.cpp、ollama、vllm 推理；且支持多种措辞。
统一高清框架，高效能力一拖三：小钢炮的传统上风 OCR 能力延续了其 SOTA 性能水平，并进一步覆盖单图、多图、视频理解。

MiniCPM-V 2.6 开源地址：

GitHub：https://github.com/OpenBMB/MiniCPM-V

HuggingFace：https://huggingface.co/openbmb/MiniCPM-V-2_6

llama.cpp、ollama、vllm 支配教程地址：

https://modelbest.feishu.cn/docx/Duptdntfro2Clfx2DzuczHxAnhc

MiniCPM 系列开源地址：

https://github.com/OpenBMB/MiniCPM

单图、多图、视频理解 3 SOTA！

GPT-4V级、三合一最强端侧多模态

注：指20B以下、端侧模型SOTA

以小博大，是端侧模型的核心竞争力。

仅 8B 参数，新一代 MiniCPM-V 2.6 不仅再一次取得了媲美 GPT-4V 的综合性能， 还首次作为端侧 AI 模型，掀开单图、多图、视频理解三项多模态核心能力全面超越 GPT-4V 之新格局，且均实现 20B 参数以下模型性能 SOTA。

在 MiniCPM-V 2.6 的知识压缩率方面，我们创造，MiniCPM-V 2.6 表示出极致的高效，取得了两倍于 GPT-4o 的最高多模态大模型像素密度（Token Density） 。

Token Density = 编码像素数量 / 视觉 token 数量，是指单个 token 承载的像素密度即图像信息密度，直接决定了多模态模型实际的运行效率，数值越大，模型运行效率越高。

闭源模型的 Token Density 由 API 收费办法估算得到。
结果表明 MiniCPM-V 2.6 是所有多模态模型中 Token Density 最高的，延续了小钢炮一向的极致高效特点

单图方面：在综合评测威信平台 OpenCompass 上，单图理解能力越级超越多模态王者 Gemini 1.5 Pro 和新晋顶流 GPT-4o mini。

多图方面：在多图评测威信平台 Mantis-Eval 榜单上，MiniCPM-V 2.6 多图联合理解能力实现开源模型SOTA ，且超越 GPT-4V。

视频方面：在视频评测威信平台 Video-MME 榜单上，MiniCPM-V 2.6 的视频理解能力达到端侧 SOTA，超越GPT-4V。

此外，在 OCRBench上，MiniCPM-V 2.6 OCR 性能实现开源+闭源模型 SOTA，延续并加强了小钢炮系列最强端侧 OCR 能力的传统上风。

在幻觉评测榜单Object HalBench上，MiniCPM-V 2.6 的幻觉水平（幻觉率越低越好）优于GPT-4o、GPT-4V、Claude 3.5 Sonnet 等浩瀚商用模型。

实时视频理解，首次上端！

睁开端侧「眼睛」，打开具身广阔潜力

真实天下的视觉信息是流动的！

端侧视频理解具有天然上风，手机、PC、AR、机器人、智能座驾等端侧设备自带的摄像头，具有天然的多模态输入能力。
比较云端，离用户更近，链路更短，效率更高，同时具有更强的信息安全上风。

有了实时视频理解功能，大模型犹如拥有一双「眼睛」，能够实时看到真实天下，这是多模态大模型走向具身智能等更多实际领域，实现 AGI 的必要条件之一。
此外实时视频理解功能也让人机交互也更加自然友好。

MiniCPM-V 2.6 让实时视频理解功能第一次运行在端侧。

不才面对面壁智能公司实时拍摄中，室内场景的各种办公设备、墙上、会议室上的笔墨都能轻松被模型精准识别。

此外，对付「太长不看」的视频，现在可以直接把文件拖进来，让模型为你总结重点信息，不用看完、不用倍速、也不用快进。

这段 1 分钟旁边的景象预报视频，MiniCPM-V 2.6 能在没有听到任何语音的情形下，发挥强大的视频 OCR 功能，识别出视频画面里密集的笔墨，给出不同视频段落中不同城市的详细景象描述。

注：该结果为代码环境中复现

多图联合理解，首次上端！

流畅、聪明，一贯识图一贯爽

研讨多模态模型能力的不竭动力，源自于它更靠近真实天下的形态，充斥着画面、视频、措辞等多种模态、同时并发的信息。

弗成思议，当我们睁开眼睛看天下，只能一个画面、一个画面，顺次机器而卡顿地识别理解；也不会事事都能得到精准的笔墨指示，像小孩子模拟大人行为举止般「有样学样」地揣摩学习与动作跟随，是绝大多数我们学习与考试测验新事物时所发生的样子。

将端侧AI的多模态能力进行极致探寻，最新发布的 MiniCPM-V 2.6 首次将多图联合理解、多图ICL（高下文少样本学习 ）功能集成在端侧模型，这也是此前业界多模态王者 GPT-4V 引以为傲的能力。

1. 流畅的多图多轮理解，爽！

就像人们习气把多个文件拖拽给大模型处理，在日常生活和事情中，联合处理多张图像是高频刚需。

比如常令人头疼的记账或报销难题，小票上密密麻麻的数字难以辨别，更别提进行繁琐的总账打算。
拍照下来，一口气甩给 MiniCPM-V 2.6，除了逐一找出每张小票的金额，末了还把总账打算出来，十分方便。

强大的 OCR 能力+CoT （思维链）能力加持，不仅小票金额精准抓取，解题思路与卷面呈现都清晰简洁：

端侧多模态繁芜推理能力也被一并刷新：

比如这道 GPT-4V 官方演示经典命题：调度自行车车座。
这个对人很大略的问题对模型却非常困难，它非常磨练多模态模型的繁芜推理能力和对物理知识的节制能力。

仅 8B 的 MiniCPM-V 2.6 展现出顺利完成这项寻衅的潜力，通过和模型进行多图多轮对话，它清晰地奉告完成调低自行车车座的每一个详细步骤，还能根据解释书和工具箱帮你找到得当的工具。

2. 刁悍的多图繁芜推理能力，竟能读懂你的梗！

得益于强大的多图繁芜推理能力，MiniCPM-V 2.6 不仅能联合识别多张图片的表面信息，还能「读懂」梗图背后的槽点。

比如让模型阐明下面两张图背后的小故事，MiniCPM-V 2.6 能够通过OCR精准识别到两张图片上的笔墨：

「WFH Employees 8:59 AM」和 「WFH Employees 9:00 AM」，推理出「WFH」居家办公状态，然后结合两张图片的视觉信息联合推理出「事情在家时，8:59还在床上睡觉，9点立马涌如今视频会议上」的居家办公的「抓狂」状态，尽显梗图的槽点和诙谐，可谓是多图联合理解和 OCR 能力的强强结合。

多图繁芜推理能力表现惊艳，单图也不在话下。

MiniCPM-V 2.6 能轻松揣测出梗图中很多未明显露出的潜台词，切实其实是充满诙谐感的大模型「梗王」。

旁边滑动查看

多图 ICL，首次上「端」！

大模型学会揣测模拟，有样学样

很多时候，很多场景，难以用措辞完备说清，通过明确定义的措辞 prompt 来掌握模型的输出行为难以见效。

这个时候，图文信息一起「看」来理解，就像我们婴童期间那样不雅观察、模拟、学习，每每更加直接与准确。

这实在便是多图 ICL（In context learning）高下文少样本学习，它能引发出模型的潜力，让模型无需fine-tune，即可快速适配到特定领域和任务，显著提高模型的输出稳定性。

不才面的例子中，我们直接通过视觉 prompt 给大模型下指示：

给出两组神迁移转变画面，以及对画面中的「梗」给出示意笔墨描述，例如一个戴动手套、重视卫生的厨师，下一秒却用戴手套的手直接去拿实际有些肮脏的纸币；一个看似热衷环保的人，却把塑料瓶装水打开装进环保水壶……

这时 MiniCPM-V 2.6 能够自动从前面两组图文关系，揣摩出题人的意图，并自动学会「答题模版」，给入迷迁移转变答案—— 一个人手握大量加密数字货币，可你猜怎么着，他出门购物，可是商店却只收现金！

统一高清视觉架构

高效多模态能力一拖三

新一代小钢炮的最大亮点：单图、多图、视频理解等核心能力对 GPT-4V 的全面对标。

从单一上风，到全面对标，大幅跃进从何而来？在 Qwen2-7B 基座模型的性能加持之外，要归功于采取了统一高清视觉架构。

统一高清视觉架构，让传统单图的多模态上风功能得以继续，并实现了一通百通。

例如，多管齐下的 OCR SOTA 能力：

它将 MiniCPM-V 单图场景的「180万高清图像解析」进行能力迁移和知识共享，无缝拓展至多图场景和视频场景，并将这三种视觉理解场景统一形式化为图文交替的语义建模问题，共享底层视觉表示机制，实现比较同类型模型，视觉 token 数量节省超过 75% 。

OCR 信息提取的根本上，MiniCPM-V 2.6 还能进一步对表格信息进行类似 CoT（思维链）的繁芜推理。

比如让模型打算 2008 年奥运会得到金牌数最多的 3 个国家一共得到了多少枚金牌，CoT 的过程是：

首先利用 OCR 能力识别并提取出奖牌榜中金牌数量的前三名国家；再将前三名国家的金牌总数相加。

8.2%的超低幻觉率，亦是发挥了小钢炮系列AI可信方面的传统上风。

面壁 RLAIF-V 高效对齐技能对低幻觉贡献颇多，MiniCPM-V 2.6 的繁芜推理能力和通用域多图联合理解能力亦因面壁 Ultra 对齐技能得到一并增强：

在多模态繁芜推理能力对齐方面，MiniCPM-V 2.6 通过繁芜题目的 CoT 解答数据，布局高效对齐种子数据，并通过模型自迭代完成数据净化和知识学习。

在多图联合理解方面，MiniCPM-V 2.6 从通用域自然网页中结合文本线索挖掘多图关联语义，实现多图联合理解数据的高效布局。

在端侧最强多模态的道路上，小钢炮 MiniCPM-V 系列已成为标杆性的存在。

自24年2月1日首次首创端侧支配多模态先河，短短半年，即接连完成了端侧模型从单一、到全面对标 GPT-4V 的重大打破，小钢炮系列下载量已破百万！

为何面壁「小钢炮」系列，频出以小博大的多模态端侧佳作？

可以说，MiniCPM 端侧模型系列，正是面壁长期以来「大模型科学化」路线的结晶。

一方面，通过科学提升演习方法与数据质量，不断提升大模型「知识密度」，得到同等参数，性能更强、本钱更低的高效模型。
两倍于 GPT-4o 的顶峰级单 token 图像信息密度（Token Density），小钢炮 2.6 交出一份俊秀的多模态高效运行效率成绩单。

另一方面，面壁不断研讨 OCR、多图与视频理解等核心多模态能力创新技能，并持续打破对付端侧极为关键的能耗与内存极限，把最精良的多模态模型放在离用户最近的地方！

比较上代模型快 33%，高达 18 tokens/s 的推理速率，6GB 的内存占用…… 每一点滴对模型「能效比」的锱铢必较，只为了你将 iPad 捧在手心的那一刻，实时丝滑畅快的体验。

开源地址：

https://github.com/OpenBMB/MiniCPM-V

https://huggingface.co/openbmb/MiniCPM-V-2_6

支配教程：

https://modelbest.feishu.cn/docx/Duptdntfro2Clfx2DzuczHxAnhc