2023 年 6 月 10 日，为期 2 天的智源大会闭幕。在备受关注的「AI 安全与对齐」论坛闭幕式上，智源研究院院长黄铁军针对当下全社会共同思考的「AI 安全」问题发表了自己的看法，强调了关注 AI 安全，应对 AI 风险的重要性。毫无疑问，「AI 安全」将是人工智能发展下一阶段无法回避的核心问题。
黄铁军
北京智源人工智能研究院院长，北京大学多媒体信息处理全国重点实验室主任。研究方向为视觉信息处理和类脑智能，发明了脉冲连续摄影原理和超高速相机，获国家技术发明奖二等奖（高效视觉特征分析压缩）、国家科技进步二等奖（视频编码国家标准）、中国标准创新贡献奖突出贡献奖和吴文俊人工智能科学技术奖杰出贡献奖。中国人工智能学会、中国计算机学会、中国图象图形学学会和中国电子学会会士。
以下是黄铁军教授的演讲全文：
今早，年轻的 OpenAI CEO Sam Altman 先生拉开了本次智源大会最受关注的「AI 安全与对齐」论坛的序幕，这一重磅论坛以「深度学习之父」Geoffrey Hinton 教授的演讲结尾。Hinton 如今已年近八旬，Sam 则是而立之年，他们都给我们展示了一个没有确定答案的未来。
总得来说，AI越来越强大。风险显而易见，与日俱增，这就是我们今天的现实。
如何构建一个安全的AI？我们仍知之甚少。
我们可以借鉴历史上管理药物、管理核武器等方面的经验。姚期智院士谈到量子计算，那是完全不可知的一个世界，都有办法一定程度上去管控它。
但是高度复杂的AI系统产生的难以预测。用传统的风险测试的方法，解释其机制，或试图理解泛化能力，是否有效？所有的探索刚刚开始，我们面临着全新的挑战，原有的经验和方法可能都无法解决些新问题。
特别是，Russell 教授和 Hinton 教授都讲到，如果 AI 有了自己的目标，它到底是服务于自己的目标还是服务于人类？这是一个开放问题，我们需要谨慎思考。
GAI V.S AGI
今天，许多人认为通用人工智能指的是通用性越来越强的一种人工智能，我们抱着一种很兴奋的态度去创造它。但是，在 AI 领域中，对其准确的定义应该是 AGI、而非 GAI。
AGI 的意思是：在人类的智能所有方面都达到人类水平，能够自适应地应对外界环境挑战，完成人类能完成的所有任务的人工智能。它就是「超人」，一定是比人类强大的智能，才真正叫 AGI。
所以，自主智能、超人智能、强人工智能，其实讲的都是一种全面超越人类的智能。
我们能否创造出这种人工智能？
早在 2015 年，我就认为答案是肯定的。Hinton 在本次论坛中指出，我们不一定用数字的方法，甚至可以用模拟的器件实现这一目标。在2015年的这篇文章中我就提出，用全新的模拟器件材料，在 2045 年前后能够创造出这样的人工智能。
我发表那篇科普文章的时间是 2015 年 1 月 7 日。几乎同时，在 2015 年 1 月 2 日- 5 日，在波多黎各举行的，由 Max Tegmark 教授组织的 AGI 的会上，专家们对实现 AGI 的时间进行了预测，不同专家的看法差别很大。
在与会的专家中，有一半的人认为在 2045 年之前能够实现 AGI、当然，也有一半人认为这一时间在 2045 年之后，甚至有人认为永远不能实现。
以前，许多人认为这一目标「过于科幻」。但是，随着GPT-4的出现，大家的看法发生了变化。
是否该创造 AGI？
我们是否应该创造这种「全面超人」的人工智能？如果创造出来了，后果如何？
实际上，早在六七十年前，控制论中著名的「阿什比定律」就为我们给出了结论：任何有效的控制系统都必须和它控制的系统一样复杂。Hinton 教授也指出，一个简单的系统是无法控制一个比它更复杂的系统的。也就是他刚才说的，青蛙如果发明了人类，它能控制人类吗？如果人发明了比自己更强大的 AGI，从理论上说根本不可能控制它。只要它比你强大，它就是控制这个世界的控制者。
目前，我们对研发通用人工智能的热情高涨，出于投资风口。但是，如果真的将研发一种比我们强大、完全被它控制的 AGI 作为目标，我们是否应该做？「To be or Not to be」？
泰格马克在他的《生命3.0》中提出了多种可能性。最重要的观点是：决定这个世界的是更强大的 AGI，而不是我们。我们是否应该创造这样的人工智能？
站在 Near AGI 时代，思考 AI 安全的未来
目前，我们处在一个模糊的阶段。我将其称之为「Near AGI」，任何事情只要确定都是可以把控的，就怕不能确定。而今天，我们就处在一个不能确定的状态。
前些年大名鼎鼎的 AlphaGO 的决策能力比任何人都要强。围棋可以充分体现出决策能力。AlphaGO的决策能力，在处理复杂局面的情况下，强于九段高手，它的决策能力几乎比我们所有人都要强得多。
我发明了一种脉冲视觉芯片「电眼」，它的感知速度比人快 1000 倍。在机器人眼中，人类的动作像虫子爬行那么慢。人类很难与这样的智能体对抗。
GPT-4 所知道的东西，多于人类好几个数量级。每个人一生能读多少书？经常说不会超过1万本书，而它掌握的数据几乎是全量的，如果现在不是全量，3年之内也会全量。
虽然我们认为 GPT-4 还不算真正的 AGI，但是其知识储备量和融会贯通的能力已经很强。这样的「Near AGI」比我们强吗？超过我们的智能了吗？今天论坛的所有嘉宾在报告中都没有给大家一个确定的答案。并没有明确说：“NO”，“放心”，“今天的AI系统还不如人类强大呢”。这就是问题所在。
我们并不清楚地知道人工智能是不是已经超过我们，不知道它何时会超过我们，该问题处在一个完全无法把控的状态。如果我们能够像投资热情那样投入来应对风险，至少还有一定把握未来的可能。
但是，你相信人类能做到吗？我不知道。
相关文章
