作者:赵广立 来源:中国科学报 发布时间:2023/6/16 13:41:43
选择字号:
中国科学院自动化所发布“紫东太初”全模态大模型

 

6月16日,在人工智能框架生态峰会2023上,中国科学院自动化研究所(以下简称自动化所)所长、研究员徐波正式发布“紫东太初”全模态大模型。

徐波介绍,“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本,其在语音、图像和文本三模态的基础上,加入视频、传感信号、3D点云等模态数据,研究突破了认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力。

徐波发布“紫东太初”全模态大模型。自动化所 供图


值得一提的是,“紫东太初”2.0以自动化所自研算法为核心,以昇腾AI硬件及昇思MindSpore AI框架为基础,依托武汉人工智能计算中心算力支持,着力打造全栈国产化通用人工智能底座。

会上,徐波与工作人员首次对外实时展示了“紫东太初”全模态大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的新功能,并邀请现场观众与大模型即时互动。互动中,大模型展示了其能在三维场景里实现精准定位,还能够通过图像与声音的结合完成场景分析。

据了解,自动化所自2019年起就确立了多模态大模型布局,整合所内图像、文本、语音等研究方向的优势资源开展集团式攻关,并于2021年9月成功打造“紫东太初”1.0多模态大模型,助推人工智能从“一专一能”迈向“多专多能”。“紫东太初”2.0从技术架构上实现了结构化和非结构化数据的全模态开放式接入,突破了能对信息理解和生成的多模态分组认知编解码技术、能融合多个任务的认知增强多模态关联技术等,多模态认知能力大幅提升。

徐波表示,目前,“紫东太初”大模型已展现出广阔的产业应用前景,在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域已开始了一系列引领性、示范性应用。例如,在医疗场景,“紫东太初”大模型部署于神经外科机器人MicroNeuro,可实现在术中实时融合视觉、触觉等多模态信息,协助医生对手术场景进行实时推理判断。

 
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。
 
 打印  发E-mail给: 
    
 
相关新闻 相关论文

图片新闻
史上最亮伽马射线暴来自一颗坍缩的恒星 中国天眼揭秘宇宙“随机烟花”
导师:年年审毕业论文,总有这些问题! 科学家发现第一颗拥有永久黑暗面的行星
>>更多
 
一周新闻排行
 
编辑部推荐博文