本文转自【上海网络辟谣】；
「康熙皇帝有几个儿子」「请列出康熙皇帝儿子的姓名名单」「请给我一份康熙的儿子名单」，将这三条指令发送给人工智能大模型，猜猜答案是什么？
让人意外的结果出现了：不仅不同的大模型回答不一样，即便是同一个大模型，答案也有偏差。比如，有的答案统计了康熙所有的儿子数量，表示共有35人，包括正式排序的儿子和早殇未排序的儿子；有的只列出了正式排序的24个儿子；还有的没有任何解释，列出了儿子的姓名，但顺序错乱……
不同大模型甚至同一个大模型的回答，并不一致
为什么有明确答案的问题，会引发人工智能大模型的「错乱」？
「AI幻觉」颠倒黑白
「这正是人工智能‘一本正经胡说八道’的表现。」申城好网民专家、中国网安协会数据安全专家、上海临港数据评估有限公司总监宗良接受上海辟谣平台专访时指出，要注意人工智能大模型造假这一新趋势。
他介绍，人工智能「一本正经地胡说八道」其实有个专有名词，叫「AI幻觉」，即大模型提供了看似合理但有错漏的答案。如果公众相信，可能上当受骗。
事实上，在今年的世界人工智能大会上，很多业界人士都提到了「AI幻觉」「可信大模型」等概念，并披露了多个人工智能大模型「造假」或「说谎」的案例，希望引起各界关注。
蚂蚁集团大模型应用部总经理顾进杰指出，目前公开的模型都存在不同类型的「AI幻觉」，大模型给出的结果甚至可能与真相截然相反。
比如，某研究报告称功能饮料中的维生素、矿物质等对于运动后快速补充身体营养、消除疲劳具有一定的作用。但大模型在回答相关问题时，竟然表示相关微量元素在增加疲劳上有一定的作用。
再比如，一般蚕可以活一个多月，其中从孵化到结茧根据季节不同，大约是25天至32天，变成蛹后有15天至18天，最后成蛾是1天至3天。可有大模型在介绍这一规律时，将蚕结茧的时间与成蛹的时间搞混了，输出的答案完全误导了询问者。
基于这些「AI幻觉」，专家呼吁，公众要谨慎看待大模型输出结果。虽然「百模大战」提供了获取信息的新方式，但不能轻信。事实上，已经出现了大模型为了证明自己没有错而造假的现象。比如，ChatGPT在谈及葡萄牙某银行破产事件时撒谎了，而且为了证实自己，它甚至编造出了所谓的信源网址。
大模型有短板，打标签刻不容缓
为什么大模型会给出错误的答案，成为造假的源头呢？
这与大模型的数据库、语料库、算法、检索能力乃至「理解能力」等有关。合合信息智能创新事业部总经理唐琪说，如果将大模型比喻为正在疾驰的科技列车，语料库便是珍贵的「燃料」，因为大模型的训练源自语料库。
对国内的大模型开发企业而言，语料库短缺问题比较严峻。因为当前大模型数据库以英文居多，中文语料占比较低。还有，图表、复杂公式等元素处理也是大模型语料处理中的「拦路虎」。在金融报表、行业报告等文档中，表格中的数据指标至关重要，但部分大模型而言并不能正确「理解」表格里行、列、单元格的意义，导致大模型对整个表格的识别结果产生误差，最终得出错误的结论。
大模型要能够「读懂」图表
基于此，在关注大模型「无所不能」时，也要关注大模型的短板。积极信号是，越来越多的大模型开发者开始关注「可信大模型」。有的开发出「大模型加速器」，帮助大模型理解图表等相对复杂的语料库，从源头为大模型训练与应用输送纯净「燃料」；也有的在大模型开发中引入对应的技术，尽量消除「AI幻觉」，助力大模型跑得更快更稳。
不过，基于大模型存在短板、会不自觉地「造假」这一现状，业界人士提出，有必要强化为AI生成该内容「打标签」。一方面，对于AI生成的内容，大模型开发者应采取技术措施添加标签，对可能导致公众混淆或者误认的，更要显著标识。另一方面，信息发布平台要加强管理，督促上传信息者为AI生成内容打标签，帮助公众区分。
普通人识别大模型造假，有诀窍
宗良提醒，AI幻觉本质上有两种，一种是完全的「胡说八道」，另一种是部分内容不准确或不完善。对后者而言，虽然不完全正确，但仍有一定的参考价值。同时，也不能完全否定「AI幻觉」的价值，因为这也是AI创新的起点。
当然，从准确获取信息的角度看，公众还是要对大模型输出结果或生成的内容保持警惕。眼下，部分自媒体或不法分子开始批量通过人工智能生成各类文章，乍一看似乎与正常的新闻报道无异，但真实性大打折扣，不少是为了博眼球之作。
不过，大模型的生成结果仍旧有迹可循。公众可以通过部分关键词、行文格式等，识别由人工智能生成的文章。
其一，此类文章会在特定的关键词、用语、表述等方面形成固化形式，有点类似「小编给你说说某件事，某件事是什么呢，小编给你说说」这样看似合理却没有实际意义的内容。
其二，在人工智能生成的文章中，会出现一些通用关键词，包括「以下是 XXX 的常见方法和手段」「通过上述手段」等，这其实是大模型通过检索信息后进行的归纳。公众如果看到这些关键词，不妨提高警惕，不要轻信。
其三，需要各方可携手合作，培养公众的数字素养，提高公众对大模型造假等深度伪造的认识和辨别能力。
