更新：在帖子底部包含 Google 对 Bankston 帖子的回复。
上周晚些时候出现了一个令人不安的发现，这让人们对Google Gemini能看到什么和不能看到什么产生了疑问。民主与技术中心人工智能治理高级顾问凯文·班克斯顿 (Kevin Bankston) 发现，Gemini 能够自动总结他在 Google Docs 中查看的私人纳税申报表， 并将其发布在 X 上。
刚刚在@Google Docs 中调出了我的纳税申报表，双子座不自觉地总结了它。那么……Gemini 甚至会自动摄取我在 Google 文档中打开的私人文档？ WTF，伙计们。我没有要求这个。现在我必须去寻找新的设置，我从来没有被告知要关闭这个垃圾。
—凯文·班克斯顿 (@KevinBankston) 2024 年 7 月 10 日
从理论上讲，如果没有用户的明确授权，人工智能助手不应该能够做到这一点。他寻找能够禁用这种行为的隐私设置，结果引发了更多关于生成人工智能系统摄取什么以及如何摄取的问题。
Bankston 最初花了 15 分钟向 AI 本身询问必要的设置菜单，但毫无结果。系统只会告诉他如何管理他的双子座聊天记录。更重要的是，系统提供的设置建议都没有真正解决 Bankston 的问题，当他确实找到在 Google Workspace 中禁用摘要的选项时，它位于一个与 Gemini 告诉他的完全不同的菜单中。根据人工智能本身，这些设置应该向用户开放。因此，鉴于事实并非如此，班克斯顿认为人工智能要么是“产生幻觉（撒谎）”，要么是谷歌服务器内的某些东西没有按其应有的方式运行。
虽然他随后被引导至 Gemini Workspace 隐私承诺页面， 但他想知道，“如果我仍然不希望它在没有提示的情况下查看我的文档怎么办？我没有“要求”它总结我的税款，它只是这样做了。是否/哪些私人文档提示该模型应该由我决定。” Bankston 还指出，用户需要每月支付 20 美元的 AI Premium 订阅费，才能享受有关如何保护其个人数据的更多承诺。
这并不是谷歌人工智能产品第一次遭遇数据泄露。 2023 年 9 月，Gemini 的前身 Bard 在公共搜索结果中意外泄露了用户聊天会话。谷歌甚至警告自己的员工不要将敏感数据输入其聊天机器人，以防止无意泄露。 去年 7 月，该公司还被起诉，指控其从公共互联网上抓取人工智能训练数据侵犯了他们的隐私和财产权。
最终，班克斯顿能够解决问题并找出根本问题。 “似乎如果你曾经点击过某种类型文档的 Gemini 按钮，那么每当你打开另一种类型的文档时，它就会保持打开状态，因此会自动摄取并总结它，”他写道。
因此，因为他在聊天期间使用 Gemini 总结了不同的 PDF，所以系统似乎已授予自己访问整个会话期间打开的所有 PDF 的权限。 “GDocs 也是如此——它没有在我的任何文档中打开，”他还指出，“然后我在其中一个文档中打开了它，现在它会自动总结我打开的任何文档。”
无论故障背后的原因是什么，人工智能系统的这种行为都会对用户的隐私产生重大影响。正如 Bankston 所说，“有多少人仅仅因为在一份文档中点击了那个人工智能小明星，就无意中向 Gemini 输入了多少私人文档？”
虽然获取更多文件来完善其响应将有助于提高性能，但在没有透明度和内容所有者许可的情况下这样做只会进一步削弱公众对人工智能本已微薄的信任。
谷歌不同意班克斯顿经验的多个方面，包括数据摄取的发生。谷歌发言人提到，开放文档中的内容可用于实时生成摘要，但前提是启用了 Gemini 功能，并且该摘要和文档本身都不会以任何方式保存。以下为谷歌官方声明：
“我们的生成式人工智能功能旨在为用户提供选择并让他们控制自己的数据。在 Google Workspace 中使用 Gemini 需要用户主动启用它，当他们这样做时，他们的内容将以保护隐私的方式使用，以生成对其提示的有用响应，但未经许可不会以其他方式存储。”