流行的直播平台 Twitch 最近推出了一项人工智能功能，旨在减少聊天室中的有害语言。Twitch 的支持团队在 X（以前称为 Twitter）上宣布了这项新实验，旨在使在线互动更加积极，但它的成功程度还有待观察。
该平台正在推出一种机器学习驱动的警告功能，鼓励用户在发送可能被视为冒犯或无礼的消息之前三思而行。虽然有管理员机器人来处理此事，但还不够，因此 Twitch 现在正在考虑引入一个集成系统。
人工智能在 Twitch 聊天中开始使用脏话，但机器人仍然自由地游荡
此新功能的基本思想是为即将发送的用户提供片刻的暂停 潜在有害信息当人工智能检测到可能被视为冒犯的语言时，会出现一个提示询问，“您确定要发送此邮件吗？“该提示旨在通过让用户在点击发送之前有机会重新考虑自己的话来防止有害的交流。
但真正的问题 这并不是关于人们说脏话的问题，而是 机器人账户 向广播公司发送垃圾邮件 聊天或获得 不公平的受众。换句话说，机器人账户已经通过了这一警告，并再次吃掉了这个词，而该账户 已被开启禁止。针对问题引发的情况采取措施而不是解决源头问题，这有点意思。
朋友们，我们使用消息示例，因为，毫不奇怪，我们不希望在推特上出现真正的恐怖语言。
别再当傻子了。
— Twitch 支持 (@TwitchSupport) 2024 年 8 月 12 日
这个概念很简单，但效果如何还有待观察。Twitch 的目标是减少骚扰，这是许多在线社区的常见问题。然而，问题出现了：那些想要无礼的用户会忽略警告并继续发送消息吗？或者警告对机器人账户的效果如何。Twitch 的实验将有助于确定这种人工智能驱动的方法是否真的可以抑制负面行为，或者它是否只是用户不假思索就跳过的另一个过滤器。
人工智能审核的挑战和未来
这个实验最有趣的方面之一是 人工智能将如何解读语言人工智能系统，尤其是基于机器学习的系统，依靠模式和数据来做出决策。这项实验的成功取决于人工智能能否准确检测和标记攻击性语言，而不会无意中审查无害的评论。这种平衡至关重要，因为过于敏感的审核可能会阻碍对话的自由流动，而过于宽松的方法可能无法遏制它想要消除的行为。
或者人工智能是否能够检测出非法行为，例如 一些博彩网站，例如不包含脏话或不良信息？
Twitch 的支持团队暗示，未来几周将分享有关此功能的更多更新。随着实验的进展，Twitch 及其用户都将密切关注这一人工智能驱动的举措是否能营造出更友好的环境。这是否是朝着更清洁的聊天室迈出的一步，还是一项临时措施，还有待观察。与此同时，我希望他们能清理机器人账户。
这项实验提醒我们，Twitch 上分享的所有内容都会被记录和监控，即使是私人消息也是如此。因此，它会关注好话和坏话。这种人工智能会利用这些数据来开发吗？ 或者怎么说呢，会不会需要征得用户的同意？
特色图片来源：RDNE Stock 项目 / Pexels
Source: Twitch 将使用人工智能来防止用户骂脏话