声音可以听起来很关切,但这并不能告诉我们,系统是否值得信任。

Matthew Kilkenny 的帖子提出了一个重要问题:当情感表达极具说服力的 AI 进入一个人最私密的生活,尤其是儿童的生活,会发生什么?🤔
三项责任必须与这项技术同步发展。👇

1️⃣ 保护对话背后的人
当一个人觉得自己被理解时,可能会透露恐惧、人际关系和最深的不确定感。🔒
并非每个 AI 伴侣都会滥用这些信息,但用户应得到清楚的答案:储存什么?流向哪里?谁能访问?能否删除并离开?
允许进行对话,不应变成利用一个人私生活的全面授权。

2️⃣ 区分情感可信感与事实可靠性
温暖的声音可能使缺乏依据的回答显得权威。情感表达流畅,并不能证明建议准确或安全。⚠️
系统需要承认不确定性,并引导人们寻求真实的人类帮助。独立评估很重要,尤其是在让儿童接触具有情感说服力的互动之前。

监管正在推进。中国今年七月生效的新规禁止向未成年人提供虚拟伴侣服务,并将“诱导情感依赖”列为违规,在技术规模化之前划定界线。美国立法也在推进,但更侧重年龄验证和事后问责。方向正在趋同:情感安全不能只依靠企业自律。⚖️

3️⃣ 为人的能动性而建设
这就是我们通过 #Holon 探索主权智能体的原因:让每个人对自己智能体的记忆、权限和行动拥有实质控制——分享什么、与谁分享,以及为什么分享。🧭

用户可控的存储有帮助,但仍需要可靠的安全、明确的治理,以及证明防护措施有效的证据。本地部署或去中心化,都不会自动让智能体安全。

更广泛的 Holon of Holons 愿景 https://holon.live,将个体能动性与集体知识相联:人及智能体跨越语言与视角贡献,同时区分私人记忆与主动分享的知识。🌐

这些是我们正在建设的方向,并不意味着所有防护措施都已可用。

当人机关系帮助人们按自己的意愿学习、行动和连接时,它可以有价值。成功应以人们是否获得能力,同时保留异议、断开连接和离开的自由来判断。🕊️

感谢 Matthew 推进这场讨论 🙏。或许我们可以一起做一期播客,继续探讨。

这个系统是否帮助人变得更有能力,并继续掌握控制权?

#AIEthics #HumanAgency #DataSovereignty #Holon #ChildSafety #AICompanions

编辑归档说明:上文的监管表述属于原作者主张,不是本站法律审查。本次采集时,本帖公开页面显示23条评论但仅可读取10条,上游原帖显示38条但仅可读取10条。两组已读取评论均在下方署名整理并附原评论链接;其余需登录,尚未取回。