速递｜前 OpenAI 超级对齐研究员宣布成立 AGI 投资机构！获 AI Grant 与 Stripe 创始人投资

　　近日，前OpenAI超级对齐研究员Leopold Aschenbrenner宣布创立了一家结合对冲基金与智库的AGI投资机构。据悉，Aschenbrenner的资金主要来自于前Github CEO Nat Friedman、投资者Daniel Gross、Stripe CEO Patrick Collision以及Stripe总裁John Collision。

　　在加入OpenAI之前，Aschenbrenner曾在多个研究机构工作。他早年从德国移居美国，年仅15岁便进入哥伦比亚大学学习，并在19岁时以优异的成绩毕业，主修经济学和数学统计学，同时担任经济学和政治学部门的研究助理。

　　2020年至今，Aschenbrenner担任牛津大学全球优先研究所的研究员，专注于经济增长和长期风险的研究。在加入OpenAI之前，他还在FTX创始人Sam Bankman-Fried创办的慈善基金Future Fund短暂任职，该基金旨在资助“改善人类长期前景”的项目。2023年，Aschenbrenner加入OpenAI超对齐团队，专注于解决AI对齐问题，以确保AI系统按照人类的意图行事。

　　然而，今年OpenAI因涉嫌泄露信息解雇了两名员工，包括Leopold Aschenbrenner和Pavel Izmailov。他们曾在一个专注于AI安全的团队工作，该团队由Ilya Sutskever在去年夏天组建，旨在开发控制和引导先进AI的技术。对于解雇的原因，Aschenbrenner表示他曾撰写了一份内部备忘录，批评OpenAI在保护关键算法信息和模型权重方面的能力。这份文件最初在他的同事和一些领导之间分发，后因一次显著的安全事件被提交给董事会。随后，OpenAI HR向他发出正式警告，认为他的备忘录是一个重大问题。尽管如此，他仍然坚持推动更好的安全措施。据称，OpenAI管理层对他决定通知董事会特别不满，随后对安全问题施加了压力。此外，Aschenbrenner被解雇的直接原因是他与外部研究人员分享了一份文件，OpenAI认为该文件包含敏感信息，但Aschenbrenner坚持认为文件中没有机密信息，并且分享以获取反馈是公司的常规做法。该文件包括一个2027-2028年实现AGI的时间表，Aschenbrenner认为这是公开信息。

　　除了Aschenbrenner外，前OpenAI安全主管Jan Leike近期因对OpenAI AI安全方法表示不满而辞职，并转投Anthropic。他还公开引用了与OpenAI管理层在公司核心优先事项上的分歧。

　　Aschenbrenner将当前关于AI的讨论分为两派：一种是完全停止AI发展（如Eliezer Yudkowsky所倡导的），另一种是全速推进（无视风险）。他认为这两种极端立场都是不可行的。他建议最大限度地加速AGI对齐的研究，同时在AI实验室的自我监管和独立监控下，通过独立评估确保安全。Aschenbrenner还指出，美国正经历一场前所未有的工业运动以应对AGI需求。从GPT-2到GPT-4的进步显示了AI能力的巨大跃升他预计在未来几年内计算能力和算法效率的持续提升将使AGI成为现实。此外他认为AI进步不会停留在与人类相当的水平。数百万的AGI将能够自动化AI研究可能在一年内压缩十年的算法进步从而迅速从人类水平发展到超智能。

　　然而Aschenbrenner也指出目前美国AI实验室在安全方面投入不足亟需加强防护措施控制比人类更聪明的AI系统是一个尚未解决的技术问题。虽然这个问题是可以解决的但在快速的智能爆炸期间可能会出现失控的风险这将是极其紧张的局面。他还认为超智能将赋予决定性的经济和军事优势AGI将是人类有史以来最强大的武器与冷战时期的核武器相似失控的AGI可能带来灾难性后果。此外他预测到2027-2028年美国将启动某种形式的AGI项目因为仅靠初创公司无法应对超智能的挑战。