编者按：日前，“学习强国”学习平台与中国科学报社联合发起“科学家回信”活动，邀请广大读者向自己心中向往尊敬的科学家、科技工作者提问、留言。活动启动后，“学习强国”“科学网App”收到了读者的踊跃留言。我们精选了读者戴戈的提问，请北京通用人工智能研究院院长朱松纯发出第二十一期回信。

以求索之问激发科学探讨，以互动回应碰撞科学新知，“学习强国”“科学网App”愿成为公众与科学的信使，欢迎你继续在评论区留言。

  ?

读者戴戈：如何避免和防范人工智能高速发展所产生的对人类的威胁?

朱松纯：近几个月来，以大语言模型（LLM）为基础的生成式人工智能（AIGC）应用GPT系列产品因其能够通过学习大量人类语言来完成对话、撰写邮件、视频脚本、文案、翻译和编写代码等原本只有人类可以完成的复杂任务，引发广泛关注成为了网络热点，同时也让很多人工智能研究领域的专业名词进入公众视野。

AI的快速发展在一定程度上能够为社会经济发展起到助推作用。本轮AI热潮以生成式人工智能（AIGC）技术为代表，它将在自动化和效率提升、个性化和定制化服务等方面发挥优势作用。例如，在数据分析、内容生成、编程和设计等领域，生成式人工智能可以快速生成大量高质量的内容、代码等，提高生产效率，促进社会经济发展。

实现通用人工智能是人工智能研究的初心也是终极目标，但在现有大模型的基础上继续扩大参数规模并不能实现通用人工智能。由于ChatGPT表现出了一定的泛化性和通用性，微软等硅谷科技公司有人认为大语言模型是实现通用人工智能的途径，国内则掀起了“all in GPT”的浪潮，开始了“百模大战”，并认为通用人工智能将很快实现，但国际主流学术界对此并不认可。美国加州伯克利大学的知名学者Stuart Russell表示，“关于ChatGPT，更多数据和更多算力不能带来真正的智能”；纽约大学教授Gary Marcus认为“AI研究不应该关注过去内容的保存，而应该探索建立具有价值表达和推理能力的智能”；OpenAI CEO也公开表示“大模型的研究已经到头了没有未来，AI研究需要新思路”。

如果我们把实现通用人工智能看作“探月工程”，大模型现在取得的成就如同登上了珠峰，虽然也是了不起的成就但并不能实现终极目标。ChatGPT产生的轰动效应让“通用人工智能”这个专业术语进入大众视野，让原来在学术界认为无法企及的目标变得并非想象中那么遥不可及，因此，未来要格外重视真正的通用人工智能的发展。

人工智能的高速发展一定会对人类产生威胁吗？

在科技行业开启大模型军备竞赛的同时，很多科技公司、文化传媒行业开始裁员或收紧外包服务的新闻也不绝于耳，公众开始担心起自己的工作岗位，甚至担心未来人工智能会控制人类。前不久，数千名学者联名呼吁暂停AI研发至少6个月，要讨论出AI安全治理框架，某些公司和国家甚至开始禁用ChatGPT以防止核心数据外泄。

这充分说明一方面人工智能作为新一轮科技革命和产业变革的重要驱动力量其蕴含的巨大潜能正在慢慢显露，另一方面其风险也愈发让人担忧。因此，我们在大力发展通用人工智能的同时，也需要积极应对新挑战，主动防范、化解新技术带来的数据安全、伦理、法律以及社会治理等方面的风险。

其实，人们对人工智能威胁论的担心，核心是对“大模型”的不信任。人之间的信任有两个层次，第一个层次是对能力的信任。例如我们从小到大经历的各种考试，就是在证明我们有各种各样的能力。第二个层次是对价值观的认同。人与人之间信任的核心是价值观认同。

首先，从能力的角度看，ChatGPT在语言空间上打破了以往只能实现单一功能的局限性，表现出了多用途的能力，但同时又在很简单的问题上犯错误。究其根本在于其工作原理是基于统计学原理进行的工作，是全新一代的“知识表示和调用方式”，其表现高度依赖数据标注和训练模型，并不真正具备因果推理、数理逻辑推理、事实判断等认知方面的能力。GPT生成的内容只能从Ta“见过”的问题和答案中去找，然后用统计概率的方式计算出一个最有可能的答案输出给用户。因此，对于见过的问题，GPT准确率非常高，但对于陌生问题准确率很差，甚至出现一本正经胡说八道的情况。例如，当我们问GPT4，“请讲述一下林黛玉倒拔垂杨柳的故事”，Ta煞有介事地讲了一个故事如下图：

  ?

由此可见，GPT其实并不理解用户给出的问题，也不理解《红楼梦》与《水浒》之间的关系。由于Ta做不到理解人的意图、理解文本之间的关系，Ta产生的海量信息是不可信的，这些不可信的信息会让原本明确的概念变得似是而非，原本比较清晰的认知变得模糊，就像在大脑里形成了一团“脑雾”，进而给社会带来“认知眩晕”等问题，影响人们作出正确的判断，引发一系列社会安全、伦理等方面的挑战。

第二，从价值观的角度来看，大模型能否理解人类的价值取向，决定了大模型能否安全可信地应用到关系国计民生的重要领域。当前大模型不具备人类的认知和推理能力，更缺乏人类的情感和“价值观”，即缺“心”，也无法与人类用户进行有效的沟通，很难取得人类的信任。

因此，当一个拥有一些强大且不确定的能力和不知道价值取向的新鲜事物横空出世的时候，公众难免会感到受到威胁。从另一个角度讲，正因为当前的人工智能在能力和价值两个层面上还不能取得人的信任，Ta也很难服务于人类社会。

为机器立“心”，让AI获取人的信任

当前，“大数据”范式人工智能的三大核心要素是：数据、算力和模型，但由于大模型先天具有模型不可解释、数据存在泄露风险、不具备认知架构、缺乏因果与数理推理能力等局限性，因此并不能通往“通用人工智能”。

通用人工智能需要在复杂动态的物理和社会环境中满足三个关键要求：（1）处理无限任务，包括那些没有预先定义的任务；（2）具备自主性，能够像人类一样自主产生并完成任务；（3）具备价值系统，由价值驱动完成各种任务；其核心是“认知架构”，有了认知架构，智能体才能与人在共同的情景之中、拥有共同的常识、遵守共同的行动规范、形成共同的价值观，进而获得人类信任。

我们认为，未来通用人工智能的发展，应在中国传统哲学思想和价值观的指导下，从“心”出发，让AI由“价值驱动”而非“数据驱动”；走“小数据，大任务”这一原创核心技术路线，探索统一的认知架构，“为机器立心”，实现智能体与人的“四个对齐”（在共同的情景之中、拥有共同的常识、遵守共同的行动规范、形成共同的价值观），才能让冷冰冰的AI拥有与人类相通的情感、道德与伦理，获取人类的信任，进而真正融入人类社会，造福人类。