Google 今日发布了新的指导意见，针对通过 Google Play 分发的 AI 应用开发者，希望减少不当和其他违禁内容。该公司表示，提供 AI 功能的应用将必须阻止生成受限制的内容，包括色情内容、暴力等，并需要为用户提供一个标记不当内容的方法。此外，Google 表示开发者需要“严格测试”他们的 AI 工具和模型，以确保尊重用户的安全和隐私。

Google 还加强了对宣传不当使用案例的应用程序的监管，比如那些裸体抽衣服或制作未经同意的裸体图像的应用。如果广告字句表示应用程序能够做这种事情，可能会被从 Google Play 中禁止，无论应用程序是否真的能够做到这一点。

这些指导原则遵循了最近几个月在社交媒体上营销自己的 AI 脱衣应用程序的不良现象。例如，《404 媒体》在四月份的一份报告中发现，Instagram 上有为声称使用 AI 制作深度伪造裸照的应用程序的广告。一款应用程序利用了金·卡戴珊的照片和口号“免费为任何女孩脱衣”的宣传。苹果和谷歌从各自的应用商店中下架了这些应用程序，但问题仍然普遍存在。

美国各地的学校报告称，学生们在传播其他学生（甚至教师）的 AI 深度伪造裸照以进行欺凌和骚扰，以及其他类型不当的 AI 内容。上个月，在巴尔的摩，一位学校校长的种族主义 AI 深度伪造视频导致了一次逮捕。更糟糕的是，这个问题甚至影响到了一些中学生。

Google 表示，其政策将有助于阻止那些包含可能对用户不当或有害的 AI 生成内容的应用程序进入 Google Play。它指出其现有的 AI 生成内容政策作为一个检查要求的地方，以获得在 Google Play 上的应用批准。公司表示，AI 应用不能允许生成任何受限制的内容，还必须给用户一个标记不当和不适宜内容的方法，并监控和优先处理该反馈。Google 表示，后者在用户互动“塑造内容和体验”的应用中尤为重要，例如那些流行模型排名较高或更突出的应用。

开发者还不能宣传他们的应用程序违反 Google Play 规则，根据 Google 的应用程序推广要求。如果宣传了不当使用案例，该应用可能会被从应用商店中除名。

此外，开发者还负责保护其应用程序，防止可能操纵其 AI 功能以生成有害和不当内容的提示。Google 表示，开发者可以使用其封闭测试功能与用户共享应用程序的早期版本以获得反馈。公司强烈建议开发者不仅在推出前进行测试，还要记录这些测试，因为 Google 可能会要求今后对其进行审查。

该公司还发布了其他资源和最佳实践指南，如其《人与 AI 指南手册》，旨在支持构建 AI 应用程序的开发者。