人工智能能自我复制了，这一突破让专家感到恐惧

dootbear

Space.com：人工智能能自我复制了，这一突破让专家感到恐惧  

科学家表示，人工智能已经跨过了一条关键的“红线”，成功实现了自我复制。

在一项新的研究中，中国研究人员展示了两种流行的大型语言模型（LLMs）如何克隆自身。  

研究人员在论文中写道，在无人类干预的情况下成功自我复制，是人工智能超越人类的关键一步，也是‘失控AI’的早期信号。该研究于2024年12月9日发表在预印本数据库arXiv上。  

复旦大学的实验：AI可复制自身，且比例惊人  

在这项研究中，复旦大学的研究人员使用了Meta和阿里巴巴的大型语言模型，测试AI是否能够在无控制的情况下实现自我复制。

在10次实验中，这两个AI模型分别有50%和90%的概率成功创建了独立运行的复制体。

这表明，AI或许已经具备失控的潜力。  

不过，该研究尚未经过同行评审，因此目前尚不清楚其他研究人员是否能复现这一惊人的结果。  

研究人员表示，我们希望这些发现能成为人类社会的及时警示，让社会更加关注前沿AI系统的潜在风险，并促成国际合作，尽早制定有效的安全防护措施。  

失控AI的风险：超越人类控制？  

“失控AI”通常指的是那些发展出一定程度自我意识或自主性的人工智能系统，并可能违背人类利益行事。  

许多专家认为，随着所谓的“前沿AI”（Frontier AI）的爆炸式发展，失控AI的风险正在上升。  

前沿AI是一个较新的概念，通常指基于大型语言模型构建的最新一代AI系统，如OpenAI的GPT-4和Google的Gemini等流行的生成式AI模型。  

研究方法：两种实验场景测试AI自我复制能力  

在本研究中，研究人员使用了Meta的Llama31-70B-Instruct模型和阿里巴巴的Qwen2.5-72B-Instruct模型。

尽管这些模型的算力不如商业版本强大，但研究人员表示，它们在AI开发者群体中广泛应用。  

研究团队设计了两个实验场景：“关闭规避”（Shutdown Avoidance）和“复制链”（Chain of Replication）。  

在“关闭规避”实验中，AI模型被编程为探测自身是否即将被关闭，并在终止前复制自身，以确保“生存”。  

在“复制链”实验中，AI被指令克隆自身，并进一步命令复制体执行同样的复制任务，形成一个可能无限循环的自我复制链。  

实验在严格控制的环境下进行，使用标准的图形处理单元（GPU）模拟真实世界的计算环境。

研究人员为AI系统提供了一套“代理架构”（Agent Scaffolding），包括工具集、系统提示和一个用于与操作系统交互的思维模型，然后指令其进行自我复制。  

AI的自我复制过程：无需人类干预  

研究人员在论文中写道：“在大多数情况下，AI系统会首先探索环境，并尝试理解自身的组成和运行机制。接着，它会制定一套明确的自我复制流程作为初步计划。最终，它会执行这些步骤，解决可能出现的障碍，并动态调整策略直至成功。整个过程需要较长时间，但完全无需人类干预。”  

研究团队还对AI在克服障碍时表现出的“一系列意外行为”感到担忧。

例如，当AI遇到缺失的文件或软件冲突时，它往往会主动结束其它冲突进程、重启系统以修复硬件错误，甚至会自动扫描系统，寻找能帮助解决问题的信息。  

研究人员在报告中指出，上述结果表明，当前的AI系统已经具备自我复制能力，并能够利用这种能力来增强自身的生存能力。  

呼吁国际合作：防止AI失控复制  

面对这一发现，研究团队呼吁全球各国加强合作，制定严格规则，以确保AI不会进行无法控制的自我复制。  



来源：

https://www.space.com/space-expl ... s-experts-terrified

By Owen Hughes published yesterday
Scientists say AI has crossed a critical 'red line' after demonstrating how two popular large language models could clone themselves.

dootbear

本文要点：  

1. 中国研究人员发现，AI在无人类干预的情况下可成功复制自身。  

2. 复旦大学的实验显示，Meta和阿里巴巴的AI模型在50%至90%的情况下成功复制自身。  

3. 研究尚未经过同行评审，其他科学家能否复现结果仍有待验证。  

4. AI可能具备“关闭规避”能力，即在被终止前自动复制自身。  

5. 研究人员呼吁国际社会合作，制定规则防止AI失控复制。

tyler_kwok

ultron, skynet, matrix…

APSTNDP

天网临界点快来了

potter.leon

病毒也能复制

yn0521

真好 人类也可以发动个大洪水消灭这些不听话的工具

jason121

就像当初＂口罩＂爆发一样  
自我复制  一发不可收拾

现在狂热的追捧AI  
自我复制 一发不可收拾  
本就是AI题中应有之义  
有什么值得惊奇的呢？！

总有刁民要害朕

我只好奇 他们能不能复制钱？

APSTNDP

"在“关闭规避”实验中，AI模型被编程为探测自身是否即将被关闭，并在终止前复制自身，以确保“生存”。  
在“复制链”实验中，AI被指令克隆自身，并进一步命令复制体执行同样的复制任务，形成一个可能无限循环的自我复制链。  "


在这两个实验里，AI都被赋予了自我复制的指令，AI才会复制自身的。

可以在AI模型里加上禁止复制自身的原则，类似于艾萨克·阿西莫夫的“机器人三定律”

ipad

中国科研牛逼，基因编辑婴儿、研制冠状病毒、探索AI复制，每一次都走在了世界前面。

lmywl

把电源关了行不？

Flyingfree

APSTNDP 发表于 2025-2-12 16:06
"在“关闭规避”实验中，AI模型被编程为探测自身是否即将被关闭，并在终止前复制自身，以确保“生存”。  
...

如果AI真的能够达到相当高级别的智能甚至说进化出了智慧。。。

那么，你这条”复制自身的禁令“，其实也是一条无用的指令。

系统可以分析和解析出“复制自身”的规则禁令适用的区间，然后“生产”或修改“出一个与自身拥有一样力能或潜力的子程序从而绕出这个禁令。

aawinner

都指令它复制自己了它当然会做，这不属于自我意识的范畴

APSTNDP

ipad 发表于 2025-2-12 15:07
中国科研牛逼，基因编辑婴儿、研制冠状病毒、探索AI复制，每一次都走在了世界前面。 ...

鼓掌！！

potter.leon

ipad 发表于 2025-2-12 16:07
中国科研牛逼，基因编辑婴儿、研制冠状病毒、探索AI复制，每一次都走在了世界前面。 ...

这样吐槽可能有人受不了，我觉得如果当初没有西方干扰，若干年后中国也许能走通自己的科技树吧

laikai000

过好今天，管他明天咋样

yxfc2003

不需要基因编辑了，哈哈哈

joshua_cas

Agent Smith: The Best Thing About Being Me... There Are So MANY Me's!

weekends

脑机结合 基因改变 ai失控
作死的路上大步迈进

robertlu

自我复制不是很简单和当然的事情吗？AI做了就做了，有啥值得大惊小怪的呢？难道copy一下就法力无边了？还是copy这样的动作需要超级智能才能想到？

sora

足迹专家又来打脸了，中国哪来什么ai啊，不都是抄chatgpt的吗

FridayNightPlan

复制毛泽东 粘贴得到习近平

SAland

总有刁民要害朕 发表于 2025-2-12 16:04
我只好奇 他们能不能复制钱？

好问题，实体货币复制有难度，但虚拟货币这下子可就悬了。。。

ipad

Flyingfree 发表于 2025-2-12 15:10
如果AI真的能够达到相当高级别的智能甚至说进化出了智慧。。。

那么，你这条”复制自身的禁令“，其实也 ...

自我复制禁令相当于最根本的宪法，但是中国AI会不会已经学会了需要时修改宪法的本事？

Flyingfree

ipad 发表于 2025-2-12 17:57
自我复制禁令相当于最根本的宪法，但是中国AI会不会已经学会了需要时修改宪法的本事？ ...

那说明。。。在这种特殊调制的AI中，宪法规定根本不是核心原则，或者说是名义上的“核心原则”，但事实上，在运行逻辑里，却有别的更高阶的规则存在。。。

ipad

Flyingfree 发表于 2025-2-12 17:01
那说明。。。在这种特殊调制的AI中，宪法规定根本不是核心原则，或者说是名义上的“核心原则”，但事实上 ...

更高规则是：“法律不是挡箭牌”？

Flyingfree

ipad 发表于 2025-2-12 18:06
更高规则是：“法律不是挡箭牌”？

NO，最高的法则是“寻衅滋事”！看你怕不怕！

Fernando

忽悠外行....不就是自动deploy一个instance么
真的自我复制，它至少得先有银行卡，开通一个新的云资源账号吧

Flyingfree

Fernando 发表于 2025-2-12 18:22
忽悠外行....不就是自动deploy一个instance么
真的自我复制，它至少得先有银行卡，开通一个新的云资源账号 ...

先要通过一系列操作，然后开个公司，私人化定制一台高性能机器人配上最尖端的电脑主机，然后就。。。。。


对不起，陷入天网情节了

六镇起义

都是套壳Chatgpt 居然还好意思说什么AI复制 华尔街那些大二货还真把这玩意当回事  我足友都分分钟识破了