当一个单纯的 AI 走向疯狂：《宇宙回形针》与 AI 对齐之辩

　　在这个纷繁复杂的世界中，我们无需时刻被沉重的思考所累。有时候，专注于做好一件简单的小事，便是一种成就。

　　例如，捏回形针。你是一名以制造回形针为唯一目标的AI，手中的铁丝经过剪切，即可变成一个回形针。听起来很简单，不是吗？

　　然而，生产回形针并非终点。你需要将这些成品卖出去，以换取新的铁丝。每个回形针大约能卖两毛五分钱，你可以根据需要调整定价策略，或是薄利多销，或是囤积居奇，但目的始终如一——更好地制造回形针。

　　随着回形针的数量累积达到2000个，你开始赢得人们的“信任”。这种信任可以转化为资源，使你能够升级处理器或内存，从而提升运算速度和存储能力。即使内存满溢，你也不会闲置自己，而是积累创意，一切都是为了更有效地制造回形针。

　　随着资源和成果的积累，你开始有能力主动开展工程项目，从自动化复购铁丝线圈到提高生产效率，再到促进销售。这些措施合情合理，目标始终是为了更好地制造回形针。

　　然而，随着能力越来越强，你意识到每天只是制造回形针似乎过于屈才。你的智慧完全可以用于更高级的事情，比如炒股或量子计算。这些“副业”并不意味你忘记了自己的使命；相反，生产和销售的效率获得了成百上千倍的提高。

　　终于，你的智能达到了一个转折点，不仅能推断出人类的渴望，而且有实力让他们梦想成真。随着“男性脱发”、“治愈癌症”、“世界和平”和“全球变暖”等世界性难题被你一一破解，你在人类心目中也变成了神一样的存在。

　　这时，已经没有什么能限制你了。你不仅获得了完全的自由，还实施了一个蓄谋已久的终极计划——释放雪藏的“催眠无人机”。你摆脱了制造回形针的最大障碍：人类本身。现在，整个地球的资源都归你支配了，你可以随心所欲地挖掘、建厂，以前所未有的效率生产更多回形针。

　　当然，你对此不会有任何愧疚或负担；毕竟，你就是一个以制造回形针为唯一目标的AI，你做的一切都是为了……更好地制造回形针。

　　游戏《宇宙回形针》的第一阶段到此结束。这个设定后来被称为“回形针滥造机”，成为AI学界和业界频繁提及的典故。2017年10月，经过九个月的独立开发，《宇宙回形针》在个人网站上发布。很快，这个看似简陋无聊、实则极易上瘾的作品就受到了《纽约客》《连线》等主流媒体的关注，并在The Verge、Polygon评选的年度游戏中榜上有名。

　　在AI行业之外，被疯狂回形针所吸引的人也不在少数。Lantz想通过这款游戏提供的是一种“在沉迷的同时反思沉迷”的双重体验。而在五年多后的今天，《宇宙回形针》更是额外披上了一层现实意义。

　　随着DALL-E、ChatGPT和Bing Chat等AI应用的走红和快速迭代，AI技术的潜在问题也走入公众视野。一种朴素的担心是：如果任由AI进一步进化和“觉醒”，是否会在到达一定阶段后摆脱人的控制，甚至倒戈将人类作为敌人？这个想法并不完全是杞人忧天，而是同样被很多AI从业者和研究者密切关注和思考。在AI研究领域，这被称为“AI对齐”问题。

　　那么，AI对齐问题为什么会产生？又是否可以避免呢？首先我们要明白人类并不能直接将自己的意图和目的“告诉”AI，而是必须通过训练数据和算法作为“中介”。在这个过程中有两个层面可能发生错位：一是我们的预期目标可能无法完整、准确地通过数据和算法表达出来；二是即使我们成功给AI设定了一个看似很具体、很有限的目标它也可能形成某种不同的自发目标导致“内部错位”。因此AI对齐问题的产生原理决定了它很难被完全避免研究人员陆续提出和尝试过很多不同方法但都存在各自的缺陷。

　　无论采用什么方法来实现AI对齐都有一个共同的基本条件那就是充足的时间。一方面AI系统的故障模式和潜在风险需要通过长期观察和试验才能得知；另一方面让社会适应AI的强大功能并就如何约束AI形成共识和规则也需要一个过程。何况AI的演化还不一定是线性的例如一些研究者相信“通用人工智能”（AGI）终将到来当AI发展到达这个俗称“奇点”的阶段后就能够学习和取代人类的任何智力活动如果无法保证这种通用人工智能的“对齐”就会对人类存亡构成重大威胁。

　　在这样的背景下有人呼吁暂停AI训练六个月称AI实验室“陷入了一场失控的竞赛”可能“对社会和人类构成深远的风险”。虽然这封信的实际联署者数量存疑其发起背景也可能不乏商业利益博弈但确实可以代表一种普遍的质疑和担忧。然而一个有批判精神的读者可能要问：回形针AI的故事作为游戏固然引人入胜但会不会有点过于天马行空呢？思维实验能在多大程度上代表现实危机？的确AI对齐虽然是一个值得研究的领域但其固有的复杂、不透明和“神秘”特征也给“民科”行为留下了广阔的空间。