专家谈AI - AI为何会一本正经地胡说八道?
只要简单几个提示词,人工智能(AI)工具就能生成指定的文图视频,一键识别快速给出作业的答案,甚至能思考并完成PPT的制作。遇到问题先找“AI”,成为越来越多人的日常。然而,AI生成的图片可能漏洞百出、给出的答案可能是错误的,甚至会编造法律条文或历史事件……这么聪明的AI,为什么会“一本正经地胡说八道”呢?
多领域风险都会引发AI幻觉
北京大学计算机学院教授、元宇宙技术研究所所长陈钟解释道,上述情况都可以称为AI幻觉。那么是什么原因会导致AI出现幻觉呢?“不仅有算法的因素、算力的因素,还有训练数据和训练过程的因素,这些因素都会导致大语言模型出现幻觉率较高的情况。”
陈钟介绍说,所谓幻觉率高的情形,一方面是计算本身的算法有相应的偏差,还有一些情况虽然算法可能是准确的,但是计算精度不够也会带来偏差。此外,数据在做训练时,人类通常会采用奖励函数来引导计算过程和答案之间的对应关系。一旦奖励函数出现了偏差,相应地也会带来幻觉。
值得关注的是,AI大模型训练过程中还出现了一种新的“数据投毒”污染,即在训练AI大模型时,在数据“投喂”的过程中,故意加入一些虚假的内容,或者是修改其模型文件(整个训练的结果),让AI生成的答案符合某些特定意图。
这种“数据投毒”除了会导致不良信息、虚假信息外,还会造成更严重的后果。比如在医疗领域,被“投毒”的AI大模型可能会误诊病情;在金融领域,被篡改的算法可能引发交易风险;在自动驾驶领域,恶意数据可能让车辆在关键时刻失明,等等。
AI幻觉分为事实性幻觉和忠实性幻觉
陈钟介绍说,AI幻觉又分为事实性幻觉和忠实性幻觉。事实性幻觉指的是AI大模型生成的内容与实际存在于现实世界的事实不一致。我们经常说的一本正经地胡说八道可以理解为事实性幻觉的一种表现。
忠实性幻觉指的是AI大模型生成的内容与用户的提问不一致,也就是AI工具给出的答案可能是对的,但并不是用户想要的,简而言之就是“答非所问”。
举例来说,如果用户提问,“糖尿病患者可以通过吃蜂蜜来代替糖吗?”在事实性幻觉的情况下,AI大模型可能会告诉用户,“是的”,然后介绍蜂蜜是天然的,可以帮助糖尿病患者稳定血糖水平。“但其实这个是错的,蜂蜜也是升糖的。”陈钟解释道。
而在忠实性幻觉情况下,AI大模型可能会回答,蜂蜜富含微生物和矿物质,对提高免疫力很有帮助,因此是一种健康的食品。“大模型给出的这句话是对的,但是我并没有问它蜂蜜是不是健康食品,我是想问它糖尿病患者能不能吃这件事。”陈钟进一步补充道。
用户应该如何应对AI幻觉?
陈钟进一步分享了用户如何应对AI大模型幻觉率高的方法。他指出,抵御AI幻觉的核心在于提高科技素养。要主动拥抱新技术,深入了解大语言模型的计算原理究竟是什么。在具体操作层面,他表示,对于只需要用基础模型就能解决或者回答的问题,尽量少用推理模型。如果必须用到推理模型,则可以通过以下几种方式尽可能地降低幻觉率。
一是提出相应的约束条件,尽可能避免大语言模型朝着没有约束的方向引出相应的幻觉;二是对比同一问题不同模型给出的答案,掌握幻觉率高和低的模型间的差异。在此基础上,陈钟认为最重要的一点是如果所需要的答案对于真实性和准确性的要求极高,一定要通过人工的方式反复核查核验,而不是简单地相信AI模型给出的结果并直接引用。
谈及从根源上降低AI大模型生成内容的幻觉率,陈钟呼吁,最主要的还是要靠大语言模型的开发者,从技术手段创新层面来解决相应的问题。
采访专家:陈钟 北京大学计算机学院教授、元宇宙技术研究所所长
制作:北京市科协融媒体中心
来源:北京科协
(本文来自澎湃新闻,更多原创资讯请下载“澎湃新闻”APP)
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。
