美国时间 7 月18 日，终于OpenAI 正式发布了多模态小模型 GPT-4o mini，发布在海内外引起了广泛关注。终于

此前，发布OpenAI 凭借 GPT-3 开拓了 AI 模型的终于“暴力美学”时代，同时也以训练超大参数规模的发布上海高中门事件评论模型能力建立起 AGI 同赛道的护城河。但在其推出 GPT-4o 的终于“Mini”版本之后，OpenAI 似乎走向了原有优势的发布反方向，开始卷“小模型”，终于而值得注意的发布是：

在 Mini 这条路上，欧洲与中国的终于大模型团队已经率先研究了大半年。

从 2023 年上半年智谱 AI 发布对话小模型 ChatGLM-6B，发布10 月 Mistral 发布 7B 模型，终于到 2024 年 2 月面壁智能团队祭出 2.4B 的发布 MiniCPM，紧接着是终于多模态小模型 8B MiniCPM-Llama3-V 2.5，还有商汤的 1.8B SenseChat Lite、上海机器智能实验室 OpenGV Lab 团队的 Intern-VL 系列……

基于通用大模型开发小模型或端侧模型的路线，此前已在国内发酵大半年。如今，OpenAI 等世界级头部 AI 企业的入局，更表明端侧模型、“智能小模型”是大势所趋。

GPT-4o 发布后，AI 工艺大牛 Andrej Karpathy 也在推特上发表了自己对“小模型”的看法：

在 Andrej Karpathy 看来，未来将会出现参数规模小、但思考能力强的小模型；小模型才是 AI “大模型”的最终目标。

Andrej Karpathy 指出，现在的 AI 模型之所以“大”，是因为目前模型的训练仍比较粗放；换言之，即训练不高效——面壁智能团队在 3 月与 AI 科技评论的交谈中就已表达相似观点。

如何让小模型更智能？北京高中内幕推荐Andrej 认为关键点在于模型的知识，即训练信息。目前来看，无论是 OpenAI、还是面壁智能等团队，他们的路线都是先将模型“做大”、然后再将模型“做小”，原因在 Andrej 看来，是因为“小模型需要依托大模型来重构理想的合成信息”，直到大模型中的高质量信息被耗尽。

除信息考虑外，面壁团队还告诉 AI 科技评论，从 2023 年下半年开始，他们通过建立一套“用大模型训练小模型”的沙盒实验机制，是为了验证他们所理解的“Scaling Law”，即模型参数规模随着时间推移递减、但智能水平不断上升的“面壁定律”——大模型的智能密度每 8 个月翻一倍。

如果模型能在越小的规模上实现更高的智能，那么模型的训练与推理成本都将大幅下降。但据 AI 科技评论了解，该方向对运算规则与信息工程的挑战也十分巨大，中间的工艺门槛并不低。

随着成本下降，英伟达的 GPU 需求量也将受到作用。有业内人士向 AI 科技评论评价，“对英伟达来说，相比 GPT-4o 或 GPT-4o mini，年底的 GPT-5 才是一个关键节点。”

同时，从商业上来看，GPT-4o mini 作为一个性价比极高的云端模型，对国内外云端 API 市场也将造成冲击，大规模的云端模型更难赚钱；相反，端侧模型将成为新的市场“显学”。

GPT-4o mini 能力揭秘

作为 GPT-4o 更小参数的简化版本，此次 GPT-4o mini 的发布意味着 OpenAI 正式“进军”多模态小模型。据官网介绍，目前，在API层面，GPT-4o mini支持128k、16k输入tokens（图像和文本），未来还将支持影片和音频的输入和输出。

但是，OpenAI 并未透露此次新模型的参数量大小。

信息显示，GPT-4o mini 在文本智能和多模态推理方面的学术基准测试中超越了 GPT-3.5 Turbo 和其他小模型，并且支持的语言范围与 GPT-4o 相同。此外， GPT-3.5 Turbo 相比，其长上下文性能也有所提高。

与 GPT-4 相比，GPT-4o mini 在聊天偏好上表现优于 GPT-4 ，并在大规模多任务语言理解（MMLU）测试中获得了82%的得分。公开资料介绍，MMLU 是一项包含 57 个学科大约 16000 道多项选择题的考试，得分越高的大模型在各种领域中理解和使用语言的能力越强。

从 OpenAI 提供的信息来看，GPT-4o mini 的得分为82%，Google 的 Gemini Flash得分为77.9%，Anthropic 的Claude Haiku 得分为73.8%，GPT-4o mini 能力更强：

在实现性能优化的同时，价格也更便宜。

OpenAI 表示，GPT-4o mini 的成本为每百万输入标记（token）15 美分，每百万输出标记 60 美分，比 GPT-3.5 Turbo 便宜超过 60%。即日起正式向免费版、Plus 版和团队版的 ChatGPT 客户开放，企业客户则从下周开始可使用。

OpenAI 也想在小模型市场“分一杯羹”。

此前，无法承担 OpenAI 模型昂贵费用的开发者往往会选择更便宜的替代，如 Gemini 1.5 Flash 及 Claude 3 Haiku，这或许也是此次 OpenAI 推出小模型的主要原因——为开发者提供更为轻量且廉价的工具，以创建其无法负担的大模型（如 GPT-4）的应用程序和工具。

对于此次 GPT-4o mini 的推出，社交平台上外国网友们似乎存在不少不买账的声音，部分网友催促 OpenAI 发布 GPT-4o 完整版，「No one wants a cheaper 3.5. We want a better 4o.」（没有人想要更便宜的3.5，我们想要更好的4o），还有网友显然对于 GPT-4.5 以及 GPT-5 的热情更盛。

但也有国产大模型团队指出，GPT-4o mini 是相对 GPT-4o 的“Mini”版本，具体参数量不详，因此如商汤、面壁智能、上海机器智能实验室等团队难以与其比拼。

OpenAI 退出中国市场后，对国内模型团队的作用有限。一位端侧模型从业者告诉 AI 科技评论，OpenAI 在 Mini 模型上的这一举动，或许是为了响应硅谷智能硬件兴起的浪潮，同时对苹果 AI 在端侧能力上的需求作出反应。

从今年上半年开始，苹果 AI 团队相继发布其在手机端侧上运用的 AI 成果，如 Ferret-UI、OpenELM、MM1 等等，对模型落到端侧起了开头。相当于，苹果已经在手机 AI 端出了开卷考试，接下来各家模型厂商与手机厂商都要思考如何答题。

国产小模型不输 OpenAI

而根据以往成果发布，国产大模型团队在文本小模型、乃至多模态小模型上的能力也表现卓然：

今年 4 月，商汤发布了1.8B（18亿）参数规模的 SenseChat-Lite版本，作为端侧模型，交互体验对标GPT-4，当时性能已实现同等尺度性能最优。

后来，在 WAIC 期间，商汤又再次进行端侧模型的更新，较 4 月推出的版本首包耗时降低 40%，速度更快。

上海机器智能实验室 OpenGV Lab 的 InternVL 也是中国多模态小模型的系列典范。从 InternVL-Chat-V1.5 到书生万象 Intern VL 2.0，OpenGV Lab 团队开源了从多模态模型系列，参数规模从 1B 到 76B 不等，其中小模型最高 8B、最小 1B，均可单卡部署。据 AI 科技评论了解，其 1B 版本的参数规模实际只有 938 M。

值得注意的是，OpenGV Lab InternVL 系列的 26B 自开源以来一直是 Hugging Face 上的当红炸子鸡，以开源不过两周的 InternVL 2.0 为例，其 26B 在 Hugging Face 上的下载量已超过 6000 次。

同样在 Mini 模型上发力的国产代表团队还有面壁智能。他们在小模型上的成果包含基座模型与多模态模型，在 Hugging Face 上的下载量已经近 95 万次，Github 上获得超过 1 万星标，这一端侧模型系列不仅是开源社区口碑之作，甚至一度火到全网热搜第一。

今年 2 月，面壁端侧模型“小钢炮”发布，具备 GPT-3 同等性能但参数仅为24亿的 MiniCPM-2.4B ，把知识密度提高了大概 86 倍 （如下图所示）：

而后其又相继在 4 、5月发布了2.0和2.5 版本。在 2.5 版本上，面壁 MiniCPM 以 1% 的参数规模，形成了可以跟GPT-4V 和 Gemini Pro 多模态能力对标的性能，模型参数只有 8B 大小，能够放到终端上。

今年7月，面壁新发布的MiniCPM-S 1.2B 知识密度达到同规模稠密模型 MiniCPM 1.2B 的 2.57 倍，Mistral-7B 的 12.1 倍（如下图所示）：

在面壁看来，他们做小模型的目标是“模型变小的同时、效果还能变好”。

当前，面壁有两条产物线，一条是基座大模型，另一条是给大模型做小模型，在小模型上验证大模型的工艺极限。这两条产物线，其实是一条路，就是面壁通往 AGI 的道路，大模型与小模型难以分开。一方面，要提升模型的效率，让每个参数发挥更好的效果；另一方面，能在应用支持的成本下做出最好的模型。

而对于大模型，大众的认知普遍存在偏差，实际上，参数规模大不代表模型的能力强。

以马斯克的 Grok 为例，Grok 的参数规模为 3140 亿，行内对它的评价其实不太好，有工艺人员去测过，说 Grok 的效果大概比 Mistral 的 8*7B MoE 稍微好一点。那么大参数的模型实现这么小的效果，其实是失败的。

在2021 年到 2022 年期间，国内最早做大模型的那批团队扎堆卷模型参数量，阿里甚至将模型卷到了 10 万亿参数规模（非稠密模型）。

但当时大家对“大模型能做什么”是不清楚的，只是认为“大模型就是参数要大”，在客户价值上，也并未达到后来 ChatGPT 的体验。ChatGPT 发布后，大家才意识到“提升模型效果”才是大模型训练的正确方向。

面壁认为，“小”模型的精髓在于高效，将每个参数发挥到最大作用——这才是大模型研究的正确方向。不然未来如果达到 AGI，但 AGI 比人还贵，那就没意义了。

GPT-4o mini 的发布意味着能用更少的推理算力消耗实现更强更高效的模型，这也恰恰验证了面壁提出的大模型时代的摩尔定律——模型的知识密度不断提升，其中，知识密度=模型能力 / 推理算力消耗。

小模型的“新”挑战

从年初开始，小模型的声量开始增大。小模型崛起后，无疑带来了几个行业变化：

首先，计算成本更低的 AI 模型落到终端硬件产物上的门槛更低，端侧模型兴起。在此浪潮中，模型层厂商如面壁智能、手机厂商如苹果华米OV 等也纷纷入局，端侧模型的创业也迎来更多玩家。

端侧模型虽然是“小”模型，但其智能水平也离不开一个基础的大模型，同时需要具备丰富的训练信息与完善的信息工程系统，才能做可控的训练。因此，端侧模型往往要与具体的行业与特定领域相结合。

与此同时，端侧模型需要结合模型、硬件与计算。据了解，当前主流芯片厂商在端侧 AI 芯片上的供给成本仍没打下来。一位业者告诉 AI 科技评论，某知名芯片厂商的报价是 300 美金一台设备，折算下来超过 2000 元人民币，现阶段能支撑起如此高昂的计算成本的硬件设备只有汽车、医疗等高端行业。

其次，小模型的开源社区形成后，有业者也认为，这将使“大模型的研究进入高校科研者的舒适区”。“过去大模型因为算力成本高昂，只有工业者能支撑得起，但当小模型的成本降下来后，越来越多高校科研人员也能参与这一方向的研究。”

这意味着，小模型团队的研发压力也在加大，竞争或许会变得更加激烈。

此外，也有从业者指出，OpenAI 发布 GPT-4o mini 是近日来大模型价格战的缩影。OpenAI 将云端 API 的价格打下来后，其他海内外的云端大模型厂商在 C 端应用上的压力会更大，“模应一体”的增长路径或许会迎来新的变局。

端侧大模型兴起后，端侧设备自己提供智能化的底座并且负担推理成本，且个人信息隐私有保障，一系列的应用公司借助终端设备厂商提供的智能化底座来做应用。对于用到千亿参数模型的应用，将最终也陷入推理成本的拼杀。

李大海猜测，GPT-4o mini 会是一个宽 MOE 的模型、而非一个端侧模型。“（GPT-4o mini）作为一个性价比很高的云端模型，一方面对云端 API 市场应该会造成冲击，一方面降低大模型落地产业成本，让我们对大规模行业应用的兴起抱有更强信心。”

言归正传。OpenAI 此次发布 GPT-4o mini，顶级公司的入场再一次验证了小模型的研究风向与必然趋势。在这一方向上，中国的大模型研究团队如面壁智能、上海机器智能实验室等均领先半年左右提出自己的解决，国产大模型从跟随到引领，也反应了国产大模型工艺的日新月异。

“GPT-4o mini 主打的是更快，大小相对 GPT-4o 来说更加 mini。但由于 GPT-4o 参数不详，因此 GPT-4o mini 是否为端侧小模型、是否能单卡部署，仍然存疑。”一位业内人士向 AI 科技评论评价。

所以，对待国产大模型的工艺成果，我们或许应该多一份“民族自信”。雷峰网(公众号：雷峰网)雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。