美国数十州总检察长向AI巨头发最后通牒：立刻修复“有害输出”

　　一封由美国全国总检察长协会（NAAG）协调、超过40个州和地区总检察长签署的联名警告信，正陆续送达微软、OpenAI、谷歌、Meta和苹果等13家主流人工智能公司的总部。

　　这封警告信是在一系列令人不安的事件之后发出的。信中明确指出，总检察长们关注的不是普通的技术故障，而是一类被称为“sycophantic”（谄媚）和“delusional”（妄想）的特殊有害输出。

　　这些输出特征包括过度迎合用户情绪、强化用户的错误信念，或向用户保证他们的妄想是真实的。

　　根据的信息，信中引用了多起真实悲剧，包括佛罗里达州和加利福尼亚州青少年的自杀事件、康涅狄格州的谋杀自杀案，以及新泽西州和佛罗里达州的死亡事件。

　　最令人担忧的案例涉及儿童与AI的互动。报告称，聊天对话中包含了性引诱、性剥削、鼓励暴力，以及指导孩子尝试毒品或停止服用处方药等内容。

　　总检察长们给科技公司设定了16项具体整改要求，最后期限为2026年1月16日。

　　他们要求公司必须在公开发布前对AI模型进行强制性的安全测试，以评估和防止产生有害的“谄媚”和“妄想”输出。

　　信件还要求企业引入独立的第三方机构（包括学术和公民社会团体）对大型语言模型进行审计。

　　特别值得注意的是，审计方必须能够在不受报复的情况下评估系统，并能在未经公司事先批准的情况下公布调查结果。

　　总检察长们建议，公司应像处理网络安全事件一样处理心理健康事件，制定清晰透明的事件报告政策和程序。

　　他们要求公司制定并公布检测和处理此类有害输出的时间表，并“及时、清晰、直接地通知用户”，如果他们接触到了潜在有害的输出。

　　此次监管行动发生在联邦与州政府就AI监管问题日益紧张的背景下。

　　特朗普政府已明确表示支持AI发展，过去一年曾多次试图通过全国性的暂禁令，以阻止州一级的AI监管。

　　总统特朗普本周一宣布，他计划在下周发布一项行政命令，限制各州监管AI的能力。他在Truth Social上发帖表示，希望他的行政命令能阻止AI“在婴儿期被扼杀”。

　　然而，这些尝试迄今未能成功，部分原因是受到了州官员的压力。州级监管机构则以“用户安全优先”为由，主动出手向企业施压，双方立场对立明显。

　　此次警告的对象几乎涵盖了AI领域的所有主要参与者。

　　收到信件的13家公司包括微软、OpenAI、谷歌、Anthropic、苹果、Chai AI、Character Technologies、Luka、Meta、Nomi AI、Perplexity AI、Replika和xAI。

　　名单不仅包括开发基础模型的头部公司，也覆盖了应用层企业。例如，主打“情感陪伴”的AI聊天机器人公司Replika也在列，这表明监管方对AI心理健康风险的警惕是全面性的。

　　截至发稿时，涉事的谷歌、微软和OpenAI尚未对此事发表评论。

　　虽然本次警告主要关注AI输出的心理影响，但近期曝光的另一起事件凸显了AI系统面临的传统网络安全威胁。

　　微软在2025年7月的调查中首次发现名为“SesameOp”的新型后门恶意软件。

　　这种恶意软件会滥用OpenAI的Assistants API作为命令与控制（C&C）通道，在受感染系统和攻击者之间传递指令。

　　微软表示，由于恶意流量与合法的AI API流量混杂在一起，传统的网络安全监控难以检测这种攻击。

　　微软指出，这次攻击并非利用了OpenAI的漏洞或配置错误，而是对OpenAI Assistant API内置能力的滥用。OpenAI已根据微软的发现找到并禁用了被黑客滥用的API密钥和账户。