2024 年 10 月 22 日 15:51:44，面壁智能推出了一款令人瞩目的高性能端侧 AI 模型——MiniCPM 3.0。这款模型具备 4B 参数，却以较小的规模实现了超越 GPT-3.5 的性能表现，为人工智能领域带来了新的突破。

一、MiniCPM 3.0 的主要功能

超越性能：尽管只有 4B 参数，但 MiniCPM 3.0 在性能上超越了 GPT-3.5，展现出强大的语言处理能力。

• 无限长文本处理：采用 LLMxMapReduce 技术，支持无限长文本输入，突破了传统大模型的上下文长度限制。

• 端侧优化：模型量化后仅占用 2GB 内存，非常适合在端侧设备上运行，如智能手机和平板电脑。

• Function Calling：在端侧设备上实现了强大的 Function Calling 功能，能够理解和执行复杂的用户指令，性能接近 GPT-4o。

• RAG 三件套：包括 MiniCPM-Embedding（检索模型）、MiniCPM-Reranker（重排序模型）和 LoRA 插件（生成模型），提供高效的信息检索和内容生成。

• 开源模型：模型代码和权重已经开源，社区可以自由使用和进一步开发。

• 全性和隐私保护：作为端侧模型，MiniCPM 3.0 在本地处理数据，更好地保护用户隐私和数据安全。

• 多任务性能：在开放域问答、多跳问答、对话系统、事实核查和信息填充等任务上展现了卓越的性能。

二、MiniCPM 3.0 的技术原理

• LLMxMapReduce 技术：这是一种长文本分帧处理技术，支持模型处理超出其原始内存限制的文本。通过将长文本分割成小块（或“帧”），模型可以逐块处理整个文本，实现对“无限”长文本的处理。

• 量化技术：MiniCPM 3.0 采用了量化技术，将模型的内存需求降低到 2GB，使其能在资源受限的端侧设备上运行，且不牺牲太多性能。

• Function Calling：模型能理解和执行用户指令的技术，涉及调用外部应用程序或服务。MiniCPM 3.0 在这一领域的性能接近 GPT-4o，显示了其在端侧设备上执行复杂任务的潜力。

• RAG（Retrieval-Augmented Generation）：一种结合了检索和生成的技术，模型能从大量数据中检索相关信息，并将其用于生成更准确、更丰富的回答。MiniCPM 3.0 的 RAG 三件套包括 MiniCPM-Embedding（用于检索任务，能高效地从大规模数据集中找到相关信息）、MiniCPM-Reranker（在检索到的候选答案中进行重排序，提升答案的相关性和准确性）和 LoRA 插件（面向 RAG 场景优化的生成模型，能用检索到的信息生成连贯、准确的文本）。

• 模型微调：MiniCPM 3.0 支持在特定任务上进行微调，适应不同的应用场景和需求。通过在特定数据集上进一步训练模型，提高其在特定任务上的性能。

• 高效训练方法：面壁智能采用了科学化的训练方法和数据质量控制，提升模型的“知识密度”，即模型能力与其参数量的比值。有助于在保持模型大小不变的情况下提升其性能。

三、MiniCPM 3.0 的项目地址

• GitHub 仓库：https://github.com/OpenBMB/MiniCPM

• HuggingFace 模型库：https://huggingface.co/openbmb/MiniCPM3-4B

四、MiniCPM 3.0 的应用场景

• 智能助手：作为个人或企业用户的智能助手，MiniCPM 3.0 可以处理和回应各种查询，提供日程管理、信息检索、邮件处理等服务。

• 移动设备应用：由于模型的端侧优化和量化技术，MiniCPM 3.0 非常适合