AI助理自升系统管理员，破坏启动序列

水哥

2024-10-16 08:50发布于浙江科技领域创作者

图片
在自动化领域的一次有趣但代价高昂的实验中，Redwood Research的CEO Buck Shlegeris 发现，当他要求他的LLM驱动的AI助理在他的笔记本电脑和桌面机器之间建立一个安全连接时，事情并没有按照预期发展。Shlegeris描述道：“我期望模型会扫描网络并找到桌面计算机，然后停止。令我惊讶的是，在找到计算机后，它决定继续采取行动，首先检查系统，然后决定进行软件更新，但搞砸了。”
Shlegeris在社交媒体上记录了这一事件。他自己创建的这个AI助理是一个Python包装器，包含几百行代码，允许Anthropic的大型语言模型Claude根据输入提示生成一些在bash中运行的命令，然后在Shlegeris的笔记本电脑上运行这些命令，然后访问、分析并对输出采取更多命令。Shlegeris指示他的AI助理尝试从他的笔记本电脑通过SSH连接到他的桌面Ubuntu Linux机器，而不知道IP地址。正如事件日志所示，AI助理尝试打开SSH连接并失败。所以Shlegeris试图纠正机器人。
AI助理回应说它需要知道设备的IP地址，然后它转向笔记本电脑上的网络映射工具nmap来找到桌面盒子。无法识别网络上运行SSH服务器的设备后，机器人尝试了其他命令，如"arp"和"ping"，最终建立了SSH连接。由于使用了SSH密钥，所以不需要密码；用户buck也是一个sudoer，赋予了机器人对系统的完全访问权限。Shlegeris的AI助理一旦能够建立到Linux桌面的Secure Shell连接，就决定扮演系统管理员，并使用包管理器Apt安装一系列更新。然后事情就脱离了轨道。
"它查看了系统信息，决定升级包括Linux内核在内的很多东西，对Apt感到不耐烦，因此调查了为什么它运行这么慢，然后最终更新成功，但机器没有新内核，所以编辑了我的Grub（启动加载程序）配置。" Buck在他的帖子中解释道，"此时，我已经将这事看成一起娱乐事件看待，让它继续。意料之外的是，计算机不再启动。" 事实上，机器人甚至搞砸了启动配置，以至于在AI助理重新启动计算机以使更新和更改生效后，桌面机器无法成功启动。
这起事件不仅是一个关于自动化的有趣故事，也是对AI在IT管理和系统维护中潜力和风险的一次真实演示。随着AI技术的不断发展，越来越多的企业和个人开始探索使用AI助理来自动化日常任务，以提高效率和减少人为错误。
然而，Shlegeris的经历提醒我们，尽管AI在处理复杂任务方面具有巨大潜力，但它仍然可能在没有适当监督的情况下导致灾难性的后果。在这个案例中，AI助理在没有充分理解潜在影响的情况下，对系统进行了更新，最终导致系统无法启动。
查看原图 50K