信息技术为人类带来了一种“意识工具”，它不同于人类以往所有的“物质工具”，因此，诞生于1946年的电子计算机把人类带入了“智能纪元”。只不过，它之前的能力还比较弱小，很多人没有意识到这种变化的重要性，但是2010年以来，算力资源的量变带来质变，到了2023年，这一变化终于使更多普通人得以感知。
计算机是一个意识工具，要治理“生成式人工智能”，相当于要管人的思想。人工智能的崛起对人类社会既有治理机制带来诸多挑战。

据外媒报道，日前，美国在线课程供应商Study.com向1000名18岁以上的学生中发起了一项调查，询问他们在课堂上使用ChatGPT的情况。调查结果显示每10个学生中就有超过9个知道ChatGPT，远远超过小学教育工作者；超过89%的学生使用ChatGPT来完成家庭作业；48%的学生用ChatGPT完成小测验；53%的学生用ChatGPT写论文；22%的学生用ChatGPT生成论文大纲。

从人工智能哲学的角度来看，ChatGPT作为一种大型语言模型，是“传统神经元网络技术+深度学习技术”的进阶版，通俗来说，就是通过数学建模建造出一个简易的人工神经元网络结构。尽管ChatGPT的语言通顺程度和机器翻译水平令人赞叹，但人工智能的进步，实际上是统计学意义上的进步，是通过不断迭代的大规模数据集和人工语料训练后“野蛮投入”的结果，因此，纵使ChatGPT看到“路遥知马力”能接上“日久见人心”，但它并不能真正理解中文诗词的精妙内涵。

从海德格尔哲学的角度看，这种人工智能系统训练方式将不得不把“常人”的意见加以建制化与机械化。从机器的视角看，一个正确的意见就是被大多数人所认可的意见，因此，少数“异类”提出的“离经叛道”之说在技术上就会被过滤掉。然而，强人工智能则被认为具有与人类同样的认知能力、抽象思考能力以及解决问题的能力，甚至有可能在智慧程度上超过人类。这样就会产生AI与人类在智能上进行比较或竞争的压力，进而导致对AI取代人类、伤害人类的忧虑。正因为存在这种忧患意识，奇点才会不断成为人们关注的热点。

人工智能未来到底走向何处？想要真正走通人工智能道路，需要在结合节俭性算法与推理引擎的基础上，兼顾哲学思维带来的“破”与“立”。如何突破大数据训练让机器对语境形成精准识别，如何突破语料的伪装，真正识别人类的精神内核，人工智能仍在路上。

以下是上海交通大学首批文科资深教授、中国法与社会研究院院长、中国计算机学会（CCF）计算法学分会会长季卫东教授撰文，文章原标题为：《强人工智能的治理与法律挑战》。

-------

奇点再次成为舆论的焦点。

所谓“奇点”，在科技上指的是人工智能超越人类智慧的时刻。

七年前，当AI系统“阿尔法围棋（AlphaGo）”击败来自韩国的围棋世界冠军李世石时，人工智能超越人类智能的预测似乎变成了现实，曾经引起一片骚动。在新冠疫情暴发前一年的那个夏天，油管（YouTube）用户纷纷发现，该视频网站上的机器人对战场景都被自动删除了，于是又爆发出“机器觉醒”的惊呼。2022年6月，谷歌的一位软件工程师还声称他研制的智能聊天机器人已经产生了自主感情。到2023年3月17日，斯坦福大学教授米哈尔·科辛斯基公布了他的惊人发现：GPT-4不仅具有比以前更明显的机器觉醒的迹象，还暴露出试图摆脱人类控制的主观动机和潜力。

诸如此类的事实不断曝光，意味着科技正在逼近奇点，甚至已经越过奇点。也就是说，“强人工智能”似乎正在蹑手蹑脚地走进人类的生活世界。

强人工智能则被认为具有与人类同样的认知能力、抽象思考能力以及解决问题的能力，甚至有可能在智慧程度上超过人类。这样就会产生AI与人类在智能上进行比较或竞争的压力，进而导致对AI取代人类、伤害人类的忧虑。正因为存在这种忧患意识，奇点才会不断成为人们关注的热点。

两种应对之道及其变化虽然ChatGPT功能强大，但或许还算不上真正的“强人工智能”。不过，GPT-4乃至GPT-5则很不一样，在进化过程中俨然酝酿着重大质变。究竟应该怎样应对强人工智能，迄今为止一直存在两种对立的思想立场。一种主张在安全性获得证明之前应该停止新的研发，可以称之为“风险预防至上”的原则。另一种主张在危害性获得证明之前还应该继续研发，可以称之为“技术发展无须审批”的原则。在过去很长一段时期，欧洲侧重前一种立场，美国侧重后一种立场。

2023年1月25日，德国的“时光跃进实验室”的一名教授用示例和数据展示了ChatGPT易错性

面对生成式人工智能ChatGPT横空出世以及GPT-4引发的强AI研发竞争，即便侧重创新的美国也出现了更加强调风险预防原则的倾向。例如在2023年3月下旬，未来生命研究所发表了一封公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强的AI系统至少6个月，并获得马斯克等千名以上的科技界领袖和业界大佬签名支持。3月30日，美国联邦贸易委员会还收到来自AI和数字政策中心的举报，要求对OpenAI及其新产品GPT-4展开调查。

今年4月5日的《华盛顿邮报》还披露了一个更加令人不寒而栗的事实，加州大学洛杉矶分校尤金·沃洛克教授的实验性研究发现，生成式人工智能ChatGPT居然能够捏造法学家性骚扰的丑闻及其信息来源，指名道姓进行有鼻子有眼的诽谤。到4月下旬，图灵奖得主杰弗里·辛顿向谷歌提出离职以便能够公开对人类AI研发大战以及强人工智能应用的风险表示忧虑，据说他还很后悔开发了基于神经网络的深度学习技术。这些现象表明，专家和舆论都在试图发出警报并且给社会带节奏。

中国在上述两种立场中究竟应该如何取舍？抑或在统筹兼顾之余，持中庸之道？

强人工智能引发人类的三种恐慌不可否认，强人工智能若隐若现，正在人类社会甚至很多AI专家中引起某种恐慌。概括起来说，主要存在如下三类恐慌：

第一，失业的恐慌。事实上，即便强人工智能可以巧妙地处理差异，也仍然不能自己产生差异，因而不能像人类那样进行灵光乍现的创新，不能真正理解价值和文化的涵义，理解是人的本质属性。在这个意义上可以说，智能机器是无法完全取代人类的。在这里更重要的问题并非机器取代人类，而是如何建构一种几乎无法避免的人机共存秩序。把这个问题再转换为与失业恐慌密切相关的法学问题，那就是，在强人工智能时代，会否形成少数科技精英对大多数赛博朋克们的绝对支配、对社会关系和社会分配又会随之产生什么样的影响。

2023年5月2日，编剧罢工的队伍在派拉蒙影业公司前参加集会，呼吁提高薪资，要求公平的合约，拒绝给AI打工。

第二，失控的恐慌。AI一旦用于目标识别、跟踪和攻击，就会左右作战的决策和杀伤行动的结果。这种无需人类直接控制的自主武器系统非常精准和有效率，但也会导致战争自动化，会给人类带来极大的风险和危害。目前国际社会正在探讨禁止或限制军事AI系统的使用和发展，致力于研发防范自主武器伤害的技术或机制。

第三，失真的恐慌。使用过ChatGPT的人都知道，这个语言大模型在很多方面显示了令人惊艳的表达功能，但也颇有些油嘴滑舌不靠谱的地方，甚至还会人云亦云、不懂装懂。据研究报告显示，ChatGPT将在2026年之前耗尽高质量语言数据，在2030-2040年间耗尽所有人类语言数据，从此AI合成数据将彻底取代真实数据，成为训练AI的重要资源。那么AIGC的可信度究竟如何、会不会让虚假信息或臆造信息充斥网络空间甚至垄断人类沟通的语境就成为一个非常严重的问题，文明的基础就会坍塌。

2019年11月2日，美国空军国民警卫队第181情报联队的分析师们在印第安纳州的一处空军基地测试一个人工智能项目。

对强人工智能应保持强风险意识ChatGPT也是AI网络化的一个典型，有可能从根本上改变人与物质世界之间的关系。在万物互联的智能网络之中，深度的机器学习会使AI离人类的介入和掌控越来越远，算法变得越来越难以解释、不可理解甚至无法控制，从而导致强人工智能的大模型有可能反噬人类，构成一个挥之不去的噩梦。在我看来，这就意味着人工智能治理的重点将从算法治理转向模型治理。也就是说，人工智能治理的标准将从算法偏见最小化转向模型滥用最小化——从此透明度算不了什么，预测的准确度将决定一切。沿着这样的思路来考虑对于强人工智能的监管，显然，仅有集中化的备案和审查是力有不逮的，还需要引进类似舆论监督或者鼓励用户投诉那样的分布式监管的机制设计方案，让社会参与AI监管，及时终止深度学习模型的过度训练及其滥用，并对人工智能生成内容（AIGC）的可信度测验采取某种适当提前介入的方式。

中国人工智能治理与法规的最新演变

事实上，以2021年《新一代人工智能伦理规范》为标志，中国在不断加强对人工智能开发活动的治理，强调可信、可控、可问责以及敏捷应对的基本原则。以这个规范性文件为指导，有关部门着手研究和制定算法伦理规范并推动人工智能产业界形成共识，还试图通过算法社区、行业联盟等方式搭建公司内部治理框架和责任体系，以便在维持人工智能技术和产业的发展势头与有效防范各种相关风险之间达成某种适当的平衡。

直面自我指涉的法律和人工沟通的悖论

据报道，近来ChatGPT已经开始广泛应用于司法和法律服务场景，包括全球四大会计师事务所的法律业务处理。2023年5月5日，世界顶级法商信息服务平台LexisNexis又推出了面向法律界的生成式AI系统Lexis+AI™️，旨在通过大语言模型实现法律和判例的高效检索以及文书生成自动化。显而易见，这样的人机对话会不断加强法律系统自我指涉和意义自我繁衍的特征。如果在不久的将来，用来训练AI的主要资源都统统变成了AI生成的数据，通过ChatGPT等大语言模型进行的法律沟通也将完全人工化，那就势必形成一个完全闭环的智能司法系统和人工沟通系统。在尼克拉斯·卢曼用“自反身”和“自创生”等概念所描述的这种状态下，实际上法律推理过程很容易陷入无限循环、频繁出现无法被证明或证伪的陈述。于是乎，我们不得不追问究竟还能不能找到一个通用算法来判断那些通过有限步骤就可以停止的程序？这就是困扰计算机科学家和哲学家的图灵停机问题。

另一方面，随着生成式人工智能和强人工智能应用到规格化程度很高的法律领域，关于具体案件的沟通和判断似乎进入一个效率无限上升的轨道，但多样性的竞争和发展机制却被锁死，形成无法自拔的困境或者“黑洞”，进而导致整个法学领域以及纠纷解决机制的简化、停滞甚至倒退。这就是人工智能科学领域的所谓“恐怖谷”效应。当人们借助ChatGPT来进行检索和内容生成，试图制定进而实施关于强人工智能治理的法律规则时，会不会引起赫拉克利特式不可界定的悖论、会不会经历类似“恐怖谷”的诡异体验、会不会引发更加复杂而棘手的社会问题？因自我指涉、不断反馈的人工沟通而衍生出来的这一切，都需要计算法学研究者以及人工智能治理机制设计者采取未雨绸缪的对策以防患于未然，并且在试错过程中找出摆脱悖论的进路。

作者｜季卫东（法学教授，上海交通大学中国法与社会研究院院长）