7月1日消息，6月30日，百度正式开源文心大模型4.5系列模型，涵盖47B、3B激活参数的混合专家（MoE）模型，与0.3B参数的稠密型模型等10款模型，并实现预训练权重和推理代码的完全开源。

目前，文心大模型4.5开源系列已可在飞桨星河社区、HuggingFace等平台下载部署使用，同时开源模型API（应用程序编程接口）服务也可在百度智能云千帆大模型平台使用。

据介绍，文心大模型4.5开源系列针对MoE架构提出了一种创新性的多模态异构模型结构，适用于从大语言模型向多模态模型的持续预训练范式，在保持甚至提升文本任务性能的基础上，显著增强了多模态理解能力，其优越的性能主要得益于多模态混合专家模型预训练、高效训练推理框架和针对模态的后训练等关键技术点。

此外，文心大模型4.5开源系列均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中，模型FLOPs利用率（MFU）达到47%。实验结果显示，其系列模型在多个文本和多模态基准测试中达到SOTA水平，尤其在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果突出。