|
Space.com：人工智能能自我复制了，这一突破让专家感到恐惧 科学家表示，人工智能已经跨过了一条关键的“红线”，成功实现了自我复制。 在一项新的研究中，中国研究人员展示了两种流行的大型语言模型（LLMs）如何克隆自身。 研究人员在论文中写道，在无人类干预的情况下成功自我复制，是人工智能超越人类的关键一步，也是‘失控AI’的早期信号。该研究于2024年12月9日发表在预印本数据库arXiv上。 复旦大学的实验：AI可复制自身，且比例惊人 在这项研究中，复旦大学的研究人员使用了Meta和阿里巴巴的大型语言模型，测试AI是否能够在无控制的情况下实现自我复制。 在10次实验中，这两个AI模型分别有50%和90%的概率成功创建了独立运行的复制体。 这表明，AI或许已经具备失控的潜力。 不过，该研究尚未经过同行评审，因此目前尚不清楚其他研究人员是否能复现这一惊人的结果。 研究人员表示，我们希望这些发现能成为人类社会的及时警示，让社会更加关注前沿AI系统的潜在风险，并促成国际合作，尽早制定有效的安全防护措施。 失控AI的风险：超越人类控制？ “失控AI”通常指的是那些发展出一定程度自我意识或自主性的人工智能系统，并可能违背人类利益行事。 许多专家认为，随着所谓的“前沿AI”（Frontier AI）的爆炸式发展，失控AI的风险正在上升。 前沿AI是一个较新的概念，通常指基于大型语言模型构建的最新一代AI系统，如OpenAI的GPT-4和Google的Gemini等流行的生成式AI模型。 研究方法：两种实验场景测试AI自我复制能力 在本研究中，研究人员使用了Meta的Llama31-70B-Instruct模型和阿里巴巴的Qwen2.5-72B-Instruct模型。 尽管这些模型的算力不如商业版本强大，但研究人员表示，它们在AI开发者群体中广泛应用。 研究团队设计了两个实验场景：“关闭规避”（Shutdown Avoidance）和“复制链”（Chain of Replication）。 在“关闭规避”实验中，AI模型被编程为探测自身是否即将被关闭，并在终止前复制自身，以确保“生存”。 在“复制链”实验中，AI被指令克隆自身，并进一步命令复制体执行同样的复制任务，形成一个可能无限循环的自我复制链。 实验在严格控制的环境下进行，使用标准的图形处理单元（GPU）模拟真实世界的计算环境。 研究人员为AI系统提供了一套“代理架构”（Agent Scaffolding），包括工具集、系统提示和一个用于与操作系统交互的思维模型，然后指令其进行自我复制。 AI的自我复制过程：无需人类干预 研究人员在论文中写道：“在大多数情况下，AI系统会首先探索环境，并尝试理解自身的组成和运行机制。接着，它会制定一套明确的自我复制流程作为初步计划。最终，它会执行这些步骤，解决可能出现的障碍，并动态调整策略直至成功。整个过程需要较长时间，但完全无需人类干预。” 研究团队还对AI在克服障碍时表现出的“一系列意外行为”感到担忧。 例如，当AI遇到缺失的文件或软件冲突时，它往往会主动结束其它冲突进程、重启系统以修复硬件错误，甚至会自动扫描系统，寻找能帮助解决问题的信息。 研究人员在报告中指出，上述结果表明，当前的AI系统已经具备自我复制能力，并能够利用这种能力来增强自身的生存能力。 呼吁国际合作：防止AI失控复制 面对这一发现，研究团队呼吁全球各国加强合作，制定严格规则，以确保AI不会进行无法控制的自我复制。  来源： https://www.space.com/space-expl ... s-experts-terrified By Owen Hughes published yesterday Scientists say AI has crossed a critical 'red line' after demonstrating how two popular large language models could clone themselves. |
