面壁智能MiniCPM/CPM-Bee

MiniCPM主打小参数高性能，2B参数模型在多项基准测试中接近甚至超越7B-13B主流模型表现。支持中英双语、代码生成、多轮对话、工具调用，可端侧部署。模型经过高质量数据蒸馏与指令微调，在手机端推理速度可达20+ tokens/s，显存占用低于4GB，适合资源受限场景。

MiniCPM模型权重在HuggingFace和GitHub开源免费使用,采用Apache 2.0协议,可商用无需授权费。面壁智能另提供ModelForce一站式平台,面向企业用户提供托管API、SFT微调、模型蒸馏等增值服务,按token或QPS计费,具体报价需咨询商务。开源版本无使用次数限制。

适合手机/平板端离线智能助手、车载语音交互、IoT设备本地推理、隐私敏感的本地知识库问答、企业内网部署等。典型案例包括:金融风控文档摘要、教育行业错题讲解、政务终端离线问答、客服系统本地预处理等。小体积特性使其特别适合对数据合规、低延迟、成本敏感的场景。

支持四种部署:①端侧CPU/GPU/NPU推理(手机、边缘盒子);②服务器单卡部署,FP16需6GB显存,INT4量化仅需3GB;③Docker容器化部署;④云端API调用。框架兼容llama.cpp、vLLM、Transformers等主流推理引擎,提供C++/Python/Java SDK,模型转换工具链支持量化压缩与硬件加速适配。

MiniCPM优势在于:①更小的参数实现更强性能,2B模型对标7B效果;②中文学术与文化场景理解更优,训练数据包含大量中文专业语料;③移动端优化更深,提供专门的端侧推理引擎;④训练采用InfLLM稀疏注意力等自研技术,长文本处理效率更高。劣势是英文生态与海外开发者社区规模不及Qwen,多模态扩展起步较晚。