|
|
FDE 论文解读 | 大语言模型是认知诊断中的零镜头跨域诊断专家 |
|
论文标题:Large Language Models Are Zero-Shot Cross-Domain Diagnosticians in Cognitive Diagnosis
期刊:Frontiers of Digital Education
作者:Haiping Ma, Changqian Wang, Siyu Song, Shangshang Yang, Limiao Zhang, Xingyi Zhang
发表时间: 25 Jun 2025
DOI:10.1007/s44366-025-0054-y
微信链接:点击此处阅读微信文章

随着在线教育的快速发展,认知诊断在智能教育中扮演着关键角色,尤其在学生能力评估和资源推荐方面。然而,现有认知诊断模型面临诊断系统冷启动问题,即在新领域中没有响应日志,难以对学生进行准确诊断。
研 究 论 文
为解决这一问题,安徽大学马海平副教授团队在Frontiers of Digital Education(《数字教育前沿(英文)》)期刊上发表了一篇题为Large Language Models Are Zero-Shot Cross-Domain Diagnosticians in Cognitive Diagnosis的文章,提出零样本跨域认知诊断任务(ZCCD),设计大语言模型引导的认知状态转移范式(LCST),通过大语言模型(LLM)分析知识概念关系实现跨域认知状态迁移,为智能教育中冷启动诊断提供新方向。

图1 零样本跨域任务的图示
LCST范式利用LLM的强大能力来弥合源域和目标域之间的差距。通过将认知状态建模为自然语言任务,LLM充当中间媒介,实现学生认知状态在不同域之间的转移。研究在真实数据集上进行了测试,结果表明LCST显著提高了认知诊断性能。
LCST范式包括四个模块:预建立的认知状态、桥接源域和目标域、目标域的认知诊断以及反馈约束。在预建立认知状态模块中,使用传统的认知诊断模型对学生在源域的知识概念掌握情况进行预诊断,并将这些信息转化为自然语言形式。桥接源域和目标域模块提出了零样本、少样本和链式思维提示,接收来自源域和目标域的输入。在目标域的认知诊断模块中,整合前两个模块的信息,并设计提示以利用LLM的内部知识和预先获取的先验知识。最后,反馈约束模块确保反馈格式易于评估,将LLM的输出约束为特定格式,便于后续处理和分析。

图2 LCST 概述
研究还从三个方面做出了进一步的贡献。首先,识别了现实世界中的ZCCD任务,并首次将认知诊断任务与LLM相结合,提出了新颖的LCST诊断范式,解决了零样本跨域诊断场景中的冷启动挑战。其次,LCST将LLM用作目标域的认知诊断模块,不仅架起了源域和目标域之间的桥梁,还实现了主流认知诊断模型的功能。第三,在真实数据集上进行了广泛的实验,验证了所提出的LCST范式在解决冷启动域诊断任务中的有效性。

图3 使用基于统计和LCST增强的方法在物理领域中进行概念推理任务的可视化结果
此外,研究还探讨了不同LLM在认知诊断任务中的表现,选择了几种主流的开源LLM作为LCST的主干。实验结果表明,Gemma-7b表现出最佳的诊断性能,但生成时间最长;而Llama3.2:3b在性能和效率之间取得了较好的平衡,可能是解决ZCCD任务最适合的主干。
总的来说,研究探索了LLM在认知诊断任务中的应用,提出的LCST范式为零样本跨域场景下诊断学生对知识概念的潜在掌握程度提供了新的方法。未来的研究将致力于探索更强大的提示设计、自适应微调技术,以及外部知识图的整合,以进一步提高模型捕捉跨域知识的能力和诊断性能。
文 章 信 息
Haiping Ma, Changqian Wang, Siyu Song, Shangshang Yang, Limiao Zhang, Xingyi Zhang. Large Language Models Are Zero-Shot Cross-Domain Diagnosticians in Cognitive Diagnosis. Frontiers of Digital Education, 2025, 2(2): 17
https://doi.org/10.1007/s44366-025-0054-y

识别二维码,免费获取原文
作 者 信 息

马海平,安徽大学,副教授、硕士生导师,入选百度学术发布的2023 AI华人女性青年科学家榜单。研究方向:数据挖掘、自适应学习技术。在KDD、WWW、SIGIR、AAAI、IJCAI、TOIS等人工智能及数据挖掘领域顶级会议及重要期刊发表学术论文近50篇,主编及参编 (译)专著《Spark机器学习进阶实战》等3部,申请发明专利10余项。主持国家级、省部级、横向课题等课题7项,参与国际标准编制1项,担任KDD2022AAAI2022/2023,IJCAI2022/2023等国际顶级学术会议的程序委员。

王长乾,男,2025年6月毕业于安徽大学物质科学与信息技术研究院,获人工智能专业硕士学位,2025年9月起在大连理工大学人工智能学院攻读博士学位。主要研究方向为智慧教育,聚焦认知诊断、计算机自适应测评和大模型辅助教学等前沿课题。已在AAAI、KDD等人工智能领域国际顶级会议发表论文6篇,相关成果致力于提升教育系统的智能化、个性化与可信性。

宋思雨,男,2025年6月毕业于安徽大学物质科学与信息技术研究院,获人工智能专业硕士学位,2025年9月起在华东师范大学攻读博士学位。主要研究方向为智慧教育、大模型、图神经网络等。已在IJCAI、AAAI等人工智能领域国际顶级会议发表多篇论文。

杨尚尚,男,2022年12月博士毕业于安徽大学。现为安徽大学人工智能学院博士后。2022年曾前往德国比勒费尔大学进行学术访问,合作教师欧洲科学院院士Yaochu Jin教授。已获国家自然科学基金青年项目、中国博士后面上项目、国家资助博士后研究人员计划(B档)资助。研究方向为面向智慧教育的进化自动机器学习和可信智慧教育,通过自动机器学习AutoML技术构建高性能、可解释、高泛化性的模型,并通过可信人工智能技术研究公平的、隐私保护的、鲁棒的智慧教育训练范式。已在IEEE TNNLS、TEVC、AAAI、NeurIPS、KDD等国际顶级期刊和会议发表论文30余篇。相关研究成果获得2022年安徽省人工智能学会最佳论文奖和2023年数据驱动的复杂系统建模国际会议最佳论文奖。

张丽淼,安徽大学信息材料与智能感知安徽省实验室副研究员,硕士生导师。2022年毕业于美国麻省理工学院,主要从事复杂系统建模与优化等方面研究工作。目前以通讯/第一作者身份在美国科学院院刊Proceedings of the National Academy of Sciences (PNAS)、物理类顶刊Physical Review Letters (PRL)、综合类期刊顶刊Nature Communications、WWW、IJCAI等国际顶级期刊和权威会议发表文章,相关工作被中华人民共和国工业和信息化部、MIT News、《中国高新科技》专文报道。主持国家自然科学基金青年基金1项,入选2024高层次留学人才回国资助计划。

张兴义,博士,二级教授、博士生导师,安徽大学计算机科学与技术学院党委书记、计算智能与信号处理教育部重点实验室主任,信息材料与智能感知安徽省实验室副主任。入选国家高层次人才计划,曾获国家优青、安徽省杰青等人才项目资助。担任安徽省人工智能学会副理事长、安徽省青年科技工作者协会副会长、中国人工智能学会青年工作委员会常务委员等。担任国际期刊IEEE Transactions on Evolutionary Computation、Complex & Intelligent Systems、International Journal of Bio-Inspired以及国内期刊《应用科学学报》编委。主持国家自然科学基金联合基金重点项目、科技部2030 新一代人工智能重大专项课题、安徽省科技重大专项等项目。长期从事复杂系统建模与智能优化、复杂网络认知计算、人工智能等方面的研究工作,发表学术论文150余篇,Google Scholar 被引1.4 万余次,入选科睿唯安全球高被引科学家、爱思唯尔中国高被引学者、美国斯坦福大学全球前2%顶尖科学家“终身科学影响力”榜单。出版专著2部,授权发明专利10 余项。获2020年安徽省自然科学一等奖(排名第一),辽宁省自然科学一等奖(排名第二),三次获得计算智能领域顶级期刊IEEE Transactions on Evolutionary Computation年度唯一杰出论文奖(2018、2021、2024),IEEE Computational Intelligence Magazine 2020 年度唯一杰出论文奖。
往 期 回 顾
论文解读 | 基于SOLO分类法的大语言模型驱动认知诊断
论文解读 | 佟佳睿:基于神经符号AI智能体和大语言模型的个性化AI教育
论文解读 | 学习的演变:评估 GenAI 对高等教育变革的影响
期 刊 介 绍
期刊特点
1. 国际化投审稿平台Editorial Manager方便快捷。
2. 严格的同行评议(Peer Review)。
3. 免费语言润色,有力保障出版质量。
4. 不收取作者任何费用。
5. 不限文章长度。
6. 审稿周期:第一轮平均30天,投稿到录用平均60天。
7. 在线优先出版(CAP)。
8. 通过Springer Link平台面向全球推广。
在线浏览
https://journal.hep.com.cn/fde
(中国大陆免费下载)
https://link.springer.com/journal/44366
在线投稿
https://www.editorialmanager.com/fode/
邮发代号
80-164
联系我们
fde@hep.com.cn
010-58582344, 010-58581581


特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。