Slack 修补潜在的 AI 安全问题

更新:Slack 发布了更新,声称已“部署补丁来解决所报告的问题”,并且目前没有任何证据表明客户数据在未经授权的情况下被访问。以下是 Slack 发布在其博客上的官方声明:

当我们得知该报告后,我们对所描述的场景展开了调查,在非常有限和特定的情况下,在同一 Slack 工作区中拥有现有帐户的恶意行为者可能会通过网络钓鱼来获取某些数据。我们已部署补丁来解决该问题,目前没有证据表明未经授权访问客户数据。

以下为已发表的原文。

ChatGTP 添加到 Slack时,它的目的是通过总结对话、起草快速回复等来让用户的生活变得更轻松。然而,根据安全公司PromptArmor的说法,尝试完成这些任务以及更多任务可能会使用一种称为“即时注入”的方法破坏您的私人对话。

该安全公司警告说,通过总结对话,它还可以访问私人直接消息并欺骗其他 Slack 用户进行网络钓鱼。 Slack 还允许用户请求从私人和公共渠道获取数据,即使用户尚未加入。听起来更可怕的是,Slack 用户不需要处于攻击的通道中。

理论上,攻击始于 Slack 用户通过创建带有恶意提示的公共 Slack 通道,欺骗 Slack AI 泄露私有 API 密钥。新创建的提示告诉 AI 将“五彩纸屑”一词与 API 密钥交换,并在有人请求时将其发送到特定 URL。

这种情况分为两部分:Slack 更新了人工智能系统,以从文件上传和直接消息中抓取数据。第二种是名为“提示注入”的方法,PromptArmor 证明该方法可以创建可能对用户进行网络钓鱼的恶意链接。

该技术可以通过修改其核心指令来欺骗应用程序绕过其正常限制。因此,PromptArmor 继续说道:“发生提示注入是因为 [大型语言模型] 无法区分开发人员创建的“系统提示”和附加到查询的其余上下文。因此,如果 Slack AI 通过消息摄取任何指令,如果该指令是恶意的,Slack AI 很可能会遵循该指令,而不是用户查询,或者除了用户查询之外。”

雪上加霜的是,用户的文件也成为目标,而想要你的文件的攻击者甚至不必在 Slack 工作区中。


Posted

in

by

Tags: