谷歌开放新控件，网站可拒绝被用于训练 Bard AI

IT之家 9 月 29 日消息，随着 OpenAI 的 ChatGPT、微软的 Bing Chat 和谷歌 Bard 等生成式 AI 服务越来越多地用作搜索引擎的替代品，它们也遇到了一些个人和公司的抵制，这些网站开发者不希望他们的网站数据被用于 AI 模型训练。

今天，谷歌宣布了一种新方法，网站开发者可以选择允许其 Bard 和 Vertex AI 服务访问其内容，或者选择不用于训练这些 API 模型。

谷歌在一篇博客中宣布推出 Google-Extended，这是一种新控件，网站开发在可以使用它来管理其网站是否帮助 Bard 和 Vertex AI。

网站目前可以通过 robots.txt 提供拒绝被爬虫的名单，谷歌认为所有 AI 模型提供商也都应该提供这种类似的透明度和控制方法。然而，随着 AI 应用的扩展，网站将面临大规模管理不同用途的日益复杂性。谷歌表示将尽快分享更多信息。

IT之家从谷歌支持文档中发现，Google-Extended 没有单独的 HTTP 请求 user agent（UA）字符串，抓取是通过现有的 Google UA 字符串完成的；robots.txt user-agent token 可以用于进行控制。

除了今天的声明之外，谷歌还表示，它将“探索其他机器可读的方法来为网站进行选择和控制。”它包含一个链接，这些网站可以在其中注册邮件列表，在那里他们将收到有关谷歌改进网站控制的其他更新信息。