随着ChatGPT的诞生和深度学习技术的迅速发展,基于大模型的人工智能系统在自然语言处理领域取得了显著的进展。面向生物医学领域,大语言模型在提升医生与患者之间的沟通、提供有用的医学信息、辅助诊疗、生物医学知识发现、个性化医疗方案等方面潜力巨大。然而,在人工智能社区,现有开源生物医学大模型相对较少,且大多仅专注于单语(中文或英语)的医疗问答对话任务。
近日,大连理工大学计算机学院信息检索研究室罗凌、杨志豪、王健、林鸿飞老师及其团队在生物医学大模型领域的研究取得进展。团队研发了中英双语生物医学大模型——太一(Taiyi),旨在探索大模型在生物医学领域中双语自然语言处理多任务的能力。团队开源了中英双语数据集整理信息、“太一”大模型权重、模型推理使用脚本,并搭建了Demo开放测试。
“太一”大模型通过问答对话形式与用户进行交互,可进行病情咨询、疾病预防、药物咨询、信息抽取等多种丰富生物医学主题相关任务,有助于更有效地管理生物医学信息,提高医疗决策的质量,提升生物医学教育的效果等,为智慧医疗领域带来了很多的可能性。
“太一”大模型具有三大特点:丰富的生物医学训练资源。团队收集整理了丰富的中英双语生物医学自然语言处理训练语料,其中包含38个中文数据集,102个英文数据集,覆盖十余种生物医学任务;出色的中英双语多任务能力。通过对丰富的中英双语任务指令数据进行微调,使模型具备较出色的双语生物医学智能问答、医学对话、报告生成、信息抽取、机器翻译、标题生成、文本分类等多种能力;优秀的泛化能力。除了生物医学领域外,模型具备通用领域对话能力,并通过设计指令模板的多样性,使模型具备了较优秀的指令理解能力,在同类任务的不同场景下具有较好的泛化能力,并激发了模型一定的零样本学习能力。
与现存的生物医学领域大模型侧重于单语医疗问答对话任务不同,“太一”不仅在双语对话问答方面表现出色,还利用丰富的高质量人工标注生物医学数据集进行指令微调,挖掘了大模型在生物医学领域的多任务潜力。这使得“太一”在处理现实生物医学复杂场景任务时更有通用性,并为智慧医疗领域的发展带来了更多可能性。
但是目前,“太一”在一些复杂任务处理效果还有很大提升空间,并且仍然存在大模型的一些常见缺点,例如误解、幻觉、信息有限性、偏见、多轮长对话能力较不稳定、话题转换能力弱等。在未来的工作中,团队也将在增量预训练、强化学习性能增强、可解释性、安全性等方面进一步深入研究,以提升“太一”的能力。
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。