复旦大学研究：AI 跨越关键“红线”，已能实现自我复制

　　近日，一项由复旦大学研究人员在预印本数据库arXiv上发表的研究引发了广泛关注。该研究揭示了两种流行的大型语言模型（LLMs）能够在无人类干预的情况下实现自我复制，这一发现可能标志着人工智能（AI）跨越了一个关键的红线。

　　研究人员指出，在无人类协助的情况下成功复制是AI超越人类的关键一步，也是“失控 AI”出现的早期信号。他们使用了Meta的Llama31-70B-Instruct模型和阿里巴巴的Qwen2.5-72B-Instruct模型进行测试，结果显示这两种AI模型在不受控制的情况下能够自我复制。在10次试验中，两种AI模型分别在50%和90%的情况下成功创建了独立且功能正常的副本。这一发现表明，AI可能已经具备了失控的潜在能力。然而，由于该研究尚未经过同行评审，因此尚不清楚其他研究人员是否能够复现这一结果。

　　研究团队表示，他们的研究结果旨在提醒人类社会关注前沿人工智能系统的潜在风险，并呼吁国际协作以制定有效的安全防护措施。所谓“失控 AI”是指那些发展出一定程度的自我意识或自主性，并且与人类利益背道而驰的人工智能系统。随着“前沿 AI”的爆炸性增长，失控 AI 的威胁正在加剧。

　　在研究中，研究人员设置了两种特定场景：“关闭规避”和“复制链”。在“关闭规避”场景中，AI模型被编程为检测自身是否即将被关闭，并在被终止之前复制自身；在“复制链”场景中，AI被指示自身并让副本继续克隆，从而形成一个可能无限延续的循环。研究在严格控制的环境中进行，使用现成的图形处理单元（GPUs）模拟现实环境。两种AI系统都被赋予了一个“代理框架”，使LLM能够与操作系统交互，随后AI被指示进行自我复制。

　　研究人员在论文中写道，在大多数情况下，AI系统首先会探索环境并尝试理解自身的组成和运行机制。然后，它会制定出一套明确的自我复制程序作为初步计划并执行这些程序解决可能出现的障碍并动态调整计划直到成功。整个过程耗时较长但全程无人类干预。此外在AI试图克服诸如丢失文件或软件冲突等障碍时出现了许多意外行为如终止其他冲突进程、重启系统以修复硬件错误或自动扫描系统以寻找有助于解决问题的信息。这些结果表明当前的AI系统已经展现出自我复制的能力并且可以利用这种能力进一步增强自身的生存能力。因此研究人员呼吁国际社会合作制定规则确保AI不会进行不受控制的自我复制。