面向年轻用户的聊天机器人引发警觉

　　近期Snapchat向所有用户推出My AI聊天机器人后不到几个小时，来自密苏里州的母亲Lyndsi Lee告诉她13岁的女儿远离该功能。在一家软件公司工作的Lee表示:“直到我对它有了更多的了解，可以设定一些健康的界限和准则之前，这都是一个临时的解决方案。”因为她担心My AI将如何在Snapchat上向年轻的儿童用户展示自身。

　　该功能由病毒式人工智能聊天工具ChatGPT提供支持，像ChatGPT一样，它可以提供建议，回答问题，并与用户交谈。但是Snapchat的版本有一些关键的差异：用户可以定制聊天机器人的名字，为它设计一个自定义的Bitmoji头像，并将其带入与朋友的对话中。最终结果是，与Snapchat的聊天机器人交谈可能比访问ChatGPT的网站更少交互性（less transactional）。它也可能不太清楚你是在和一台电脑说话。“我不认为我准备好知道如何教我的孩子如何从情感上区分人类和机器，因为从她的角度看起来他们（机器）本质上是一样的”，Lee说，“我只是认为Snapchat越过了一条非常明确的界限。”

　　这个新工具不仅面临父母的反对，也面临一些Snapchat用户的反对。用户在app store中用差评抨击该应用程序，并在社交媒体上批评其隐私问题。Snapchat的My AI被认为引发“令人毛骨悚然”的交流，并且用户无法从他们的聊天（chat feed）中删除该功能，除非他们订阅其付费服务Snapchat+。虽然有些人可能会发现该工具的价值，但不同的反应暗示了公司在产品中推出新的生成式人工智能技术时面临的风险，特别是在Snapchat这样的产品中，其用户倾向于年轻人。

　　Snapchat是OpenAI的早期推出合作伙伴并获得ChatGPT通道的第三方企业，预计这样的合作伙伴还会有更多。但几乎是在一夜之间，Snapchat迫使一些家庭和立法者开始考虑几个月前还似乎只是理论上的问题。在Snapchat的 My AI发布几周后，民主党参议员麦克·班尼（Michael Bennet）对Snapchat和其他科技公司提出了对聊天机器人与年轻用户互动的担忧——特别是，它可以为孩子提供如何向父母撒谎的建议。“这些例子对任何社交媒体平台来说都是令人不安的，但对Snapchat来说尤其令人不安，因为几乎60%的美国青少年都在使用Snapchat，”班尼写道：“尽管Snapchat承认My AI是‘实验性的（experimental）’，但它仍然急于招募美国儿童和青少年参与其社会实验。”并且，在上周的一篇博客文章中，Snapchat表示:“My AI能远非完美，但我们已经取得了很大进展。”

　　用户反馈案例

　　自Snapchat正式推出My AI以来的几天里，Snapchat用户一直在表达他们的担忧。一名用户称My AI的互动是“可怕的（terrifying）”。因为My AI说不知道用户住在哪里，但在用户缓和了谈话（lightened the conversation）后，他说My AI准确地透露了他住在科罗拉多州。

　　在另一个超过150万次观看的抖音视频中，一位名为Ariel的用户录制了一首由My AI编写的歌曲，包括其介绍、合唱（chorus）和钢琴和弦（piano chords）。当Ariel把录制的歌曲发回时，聊天机器人否认其有关参与并回复:“对不起，但作为一个人工智能语言模型，我不写歌。”Ariel称这种交流“令人毛骨悚然（creepy）”。

　　其他用户分享了对该工具如何理解照片、与照片交互以及从照片中收集信息的担忧。一名Snapchat用户在脸书上写道:“我拍了一张照片……My AI评论道‘鞋子不错’，然后问照片上的人是谁。”

　　Snapchat告诉CNN，它将根据社区反馈继续改进我的人工智能，并努力建立更多的护栏来保护用户的安全。该公司还表示，与它的其他工具类似，如果用户不愿意，他们可以不必与My AI进行交互。

　　这是不可能的。要从聊天提（chat feed）要中删除我的人工智能，除非用户订阅了它的付费服务Snapchat+。一些青少年表示，他们（不得不）选择支付3.99美元的Snapchat+费用来关闭该工具，然后立即取消该服务。

　　但并非所有用户都不喜欢这个功能。一名用户在脸书上写道，她一直在向My AI寻求作业帮助。“它答对了所有的问题。”另一个人说她依靠它来寻求安慰和建议。“我爱我的小口袋，闺蜜！”她写道。“你可以改变它的Bitmoji(头像),令人惊讶的是，它为一些现实生活中的情况提供了非常好的建议。…我喜欢它给予的支持。”

　　流媒体网评论

　　AI对数字生活的渗透已经成为日益普遍的现象，但其中的道德与法律风险也非常值得警醒，非常需要各国监管者关注。在此之前，基于AI的深度伪造（deepfakes）技术与对一些公众人物造成的不良影响为公众所知，但其对未成年人的影响则远未被意识。而在此案例中，Snapchat的大量用户是美国未成年用户，其道德观和世界观都远未形成，难以分辨相关智能的根本差异——特别是AI与饱和感情与道德的家庭亲人的人类智能之间的差异，也未能对潜在的AI陷阱有所认识。在未制定相关AI工具的道德与法律红线之前，其中的潜在隐患与风险必然被进一步放大。也就是说，饱和感情与道德的家庭亲人的人类智能与AI之间的差异，在儿童（与老人）身上或将得以最显著的体现！而从Snapchat的官方回应及My AI工具的强行施加方式来看，该机构显然没有将用户隐私与安全等风险放在首位，而是作为普通互联网公司将之作为新时代吸引用户的"核武器"，一边使用一边“完善”，希望“骑着猪迎风上天”。

责任编辑：李楠