还记得“文转工”的复旦女生徐凝雨吗?三年前,她从中国语言文学系毕业,以优异成绩直博计算机科学技术学院(现为计算与智能创新学院)。
就在几天前,她作为计算与智能创新学院2022级博士生,以独立第一作者身份在国际权威期刊《美国科学院院刊》(PNAS)发表论文,揭示大语言模型中的类人概念表征。复旦大学自然语言处理实验室黄萱菁教授、邱锡鹏教授,现代语言学研究院、智能复杂体系实验室张梦翰研究员共同担任通讯作者。
从打破专业界限,到实现学科交叉深入探索。在复旦,徐凝雨找到了自己的学术方向,也用行动诠释了不受定义的发展可能。
2022年底,ChatGPT横空出世,人们惊叹于其强大的能力。
“它不只有语言能力,还展现出了很强的认知能力。”当时,刚成为直博生的徐凝雨,敏锐地捕捉到了这一现象背后的学术价值。
在深入研究过程中,她发现,要探究人工智能模型产生特定行为的原因,就必须打破“黑盒”的壁垒。而认知科学,这门探究人类思维奥秘的学科,似乎成为了解锁AI行为机制的关键钥匙。
基于自己在概念可解释性方向的学习研究,她开始思考,能否从概念层面,将认知科学、语言学,甚至神经科学,同人工智能紧密串联起来,构建一个跨学科的研究框架。
她不仅请教了自己的导师黄萱菁教授及同为自然语言处理实验室教授的邱锡鹏等,也与现代语言学研究院、智能复杂体系实验室研究员张梦翰等不同学科领域专家进行了深入探讨。
“随着AI的发展,大模型是否具备概念学习和概念表征能力引发了激烈的争论。虽然这表面上是一个关于模型能力的问题,但在探讨其定义时,我们发现这并非单纯的技术问题,而是一个涉及到心理学、认知科学等多学科交叉的基础问题。”在张梦翰看来,如果未来人工智能想更趋近人类,那就应弄清楚它和人在概念涌现、表征和学习上有多大的距离。
语言模型是否能形成概念表示?语言模型提取的概念表示是否以及在多大程度上与人类对齐?语言模型提取的概念表示是否具有生物学基础?又能否映射到人类大脑的神经活动?……一系列关键问题,也在交流中浮出水面。
以问题为导向,徐凝雨在不同学科专家指导下,结合认知科学、人工智能和神经科学等领域的理论与方法,基于大语言模型的预测行为及内部表示,深入剖析了模型概念空间的构建方式,系统揭示出大语言模型能够接近并再现人类概念的关键特征。
这一研究结果表明,“预测下一个词”的训练能够让大语言模型在缺乏现实世界联结(real-world grounding)的情况下学习到和人类相似的概念表示。这种概念表示成功融合了人类概念的关键属性,能够有效解释人类行为以及大脑中的概念编码,为解决人类概念是如何表征和组织的这一核心认知问题提供了新的假设和启发。
通过与人类行为及脑成像数据的比较,研究也发现,和人类概念相比,大语言模型的概念表示在捕捉与感知经验相关的特征(如颜色、形状、纹理)方面存在不足,这提示仅依赖语言输入可能难以学习到相关信息。
从确定研究问题,到论文发表,徐凝雨在这项略显“小众”的交叉研究上投入了近两年时间。
在此之前,她曾两次以独立一作身份,在国际会议“自然语言处理经验方法会议(Conference on Empirical Methods in Natural Language Processing)”发文。相比之下,她此次作为独立一作在PNAS发文,所用的时间精力都超过之前。
于她而言,独立一作更像是一种学习方式。徐凝雨坦言,相比本科就学习计算机相关专业的同学,自己的基础“不算特别扎实”。成为独立一作,则让她得到了更系统全面的科研训练,“一方面可以锻炼独立科研的能力,一方面也可以打好计算机方面的基础。”
实际上,学科交叉并非单纯的“加法”。研究者需要掌握不同学科的体系框架和研究方法,同时将各学科有机融合。这也正是交叉研究的难点所在。
正因如此,这一研究起初的投稿过程并不算顺利。“审稿人既有偏计算机领域的,也有偏认知科学领域的,他们都从自己的专业角度提出了意见。当时我们的实验可能还没有办法解决他们的疑问。”谈起初期的拒稿经历,徐凝雨记忆犹新。
压力之下,她没有选择放弃,而是充分吸收了审稿人的建设性意见。这恰恰对后续完善论文起到了关键帮助,“我觉得解决这些问题,对论文有很大提升。”
在完善研究的过程中,徐凝雨试图从多学科视角出发,深入探讨语言模型与人脑在语言理解上是否存在相似现象,并致力于分析和解释其背后的机制。这也使得此次的论文作者中既有计算机、语言学领域的专家,也有神经科学、认知科学方向的学者。
通过这一过程,她也对开展交叉学科研究有了更深入的认识,“要对不同学科都有比较深的掌握,否则你可能都找不到一个好的问题。”徐凝雨说,“讲清楚你的研究对不同学科的意义,也是比较重要的。”
谈到自己的博士生涯,徐凝雨对指导自己开展研究的老师们充满感激。这其中既有她所在的自然语言处理实验室黄萱菁、邱锡鹏、张奇等人工智能领域专家,也有从事文理交叉前沿研究的张梦翰等学者,还有多位来自认知科学研究领域的研究者。
在她看来,能有机会开展这样的跨学科合作,不仅得益于复旦综合型大学的多学科优势,也因导师黄萱菁的包容支持。
“黄老师给了我很大的自由度,让我能够自主地去探索研究方向。”徐凝雨说,即使在论文被拒的低谷期,导师黄萱菁也依然给予她鼓励和支持。
她坦言,与其他计算机专业的同学相比,自己发表论文的速度并不算快,“但黄老师从未因此给我施加压力,而是让我按照自己的兴趣和节奏去探索。这种支持和信任,对我来说意义非凡。”
徐凝雨(左)与导师黄萱菁(右)
从中文到人工智能,再到如今的交叉学科前沿,徐凝雨的成长轨迹让黄萱菁看到了人才培养的更多可能。
“那时候,还没有‘汉语言+人工智能’‘外语+计算机’这样的双学位项目。这些项目为学生提供了明确的跨学科学习路径,包括该学哪些数学、计算机课程,但凝雨那时候更多是靠自己摸索。”黄萱菁说。
为了夯实数理基础,徐凝雨在本科阶段主动增加了数学课程的学习。这份主动性与学习能力,给黄萱菁留下深刻印象。
在她看来,复旦计算机领域交叉人才培养当时还处在探索阶段,而如今的培养路径则更加多元完善,“这给了学生们更体系化的培养,为他们的未来创造了更多的可能。”
徐凝雨在学科交叉领域的探索,对于张梦翰而言,也是复旦发展“新文科”的有益尝试。“大家一直在讨论‘新文科’应该做什么,我觉得这其实是一个路径,当然也不是唯一的路径。”
他所在的现代语言学研究院,如今汇聚了一批交叉学科领域的杰出青年学者。作为复旦探索学科交叉的一块“试验田”,该研究院近年来已在校级层面开展了多项人文学科与其他学科的交叉研究工作。
谈及未来,徐凝雨的眼中闪烁着憧憬。她期待沿着自己的研究方向继续深入,去探寻那些关键问题的答案,让思想的种子最终长成一片新绿。
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。