“紫东太初”全模态大模型是由中国科学院自动化研究所研发的一款人工智能模型。该模型是在多模态大模型“紫东太初”1.0基础上升级打造的2.0版本,在语音、图像和文本三模态的基础上,加入视频、信号、3D点云等模态数据,研究突破了认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力。
“紫东太初”2.0可以理解三维场景、信号等数字物联时代的重要信息,完成了音乐、图片和视频等数据之间的跨模态对齐,能够处理音乐视频分析、三维导航等多模态关联应用需求,并可实现音乐、视频等多模态内容理解和生成。
“紫东太初”大模型的研发目标是打通感知、认知乃至决策的交互屏障,使人工智能进一步感知世界、认知世界,从而实现通用人工智能的目标。