网络首发 | 信息质量视角下AIGC虚假信息问题及根源分析

网络首发时间

2023-05-29

网络首发地址

https://kns.cnki.net/kcms2/detail/42.1085.G2.20230529.0838.002.html

莫祖英  盘大清  刘欢  赵悦名

郑州航空工业管理学院信息管理学院，郑州，450046

2023年3月，几张有关特朗普在纽约街头遭遇警察围捕的图片在美国社交网络上疯传（https://twitter.com/EliotHiggins/status/1637927681734987777）。这些流传的图片涉及特朗普拿枪激战、被捕、庭审、入狱等过程，看上去像是真实发生的，让不少人误以为特朗普真的被捕了。然而实际上，这些图片是由AI工具Midjourney根据输入的关键词合成的。与之类似，#杭州3月1日取消限行是ChatGPT写的假新闻#登上网络热搜（https://weibo.com/5352510968/Mtr6MeiLO?refer_flag=1001030103_），原因是杭州某小区业主用ChatGPT写了一篇杭州不限行的新闻稿，被人随手截图转发，进而导致失实信息传播。

随着人工智能系统的快速发展与应用，人工智能生成内容（AIGC）变得更加高效、易访问和低成本。它通过AI模型创建数字内容，可以即时生成新闻、图片、文章、诗歌、编程代码等，被更多地推广应用到医疗保健、学术、人力资源、法律等领域，但存在高度争议性。人们开始担心像ChatGPT这样的大型语言模型（LLMs）可能对社会产生潜在的负面影响，如假新闻、抄袭、社会安全等。研究人员表示，这些模型中的漏洞可能会被人恶意利用，以快速和大规模地生产错误信息。编码网站StackOverflow在ChatGPT发布一周后禁用了该模型，理由是“ChatGPT生成的答案有很高的错误率，但它们通常很逼真，而且答案非常容易生成”。更令人担忧的是，公众对AIGC这种自动生成信息的依赖可能会对日常生活产生重大影响，如对医疗症状和药物的错误建议可能会致使患者伤害或死亡，例如一个基于GPT-3的医疗聊天机器人就曾建议患者自杀。可见，AIGC的信息质量问题严重。

本文旨在分析AIGC中存在的各种虚假信息类型及其特征，并从AI语言模型生成信息的过程出发，深入分析虚假信息产生的根源，为减少AIGC中虚假信息的生成提供方法策略。

网络虚假信息的产生受到不同网络形态下内容生成方式的影响。Web1.0时代以专业生产内容（PGC）为主，其生产程序规范、专业，内容质量可控性高，虚假信息问题相对较少。Web2.0时代以用户生成内容（UGC）为主，生产过程灵活、随意，内容质量受用户知识水平、主观导向性影响较大，质量可控性低、传播速度快，尤其在突发事件中，虚假信息问题严重且社会影响较大。对于Web3.0，目前尚未有统一的定义，一般认为是基于区块链技术的融合人工智能、虚实共生、全真全息的互联网形态，其内容以人工智能生成内容（AIGC）为主，生产速度快，内容质量受其采用的大型语言模型影响较大，存在事实不准确、知识幻觉、高效生产错误信息、偏见与歧视等现象，虚假信息问题严重且难以识别。

2.1   互联网环境下虚假信息问题的提出

不同生产方式的虚假信息呈现出不同的特征，相关研究也各有侧重。随着互联网的出现与普及，人们逐渐意识到互联网中的虚假信息问题。国外最早的一篇文献发表于1998年，主要针对医学信息网站的网络医疗错误信息（medical misinformation on the Web）进行讨论。在我国，林玲、葛枫最早于2002年提出网络环境下的虚假信息问题，分析了虚假信息的特点、危害及原因，并提出防范治理措施。这一时期，国外研究侧重于某一类虚假信息的分析，而国内研究则主要分析了虚假信息的基本特征及管理对策。

2.2   Web2.0时代虚假信息相关研究

Web2.0时代，随着社交媒体平台的广泛应用，信息传播方式和生成方式发生了重大改变。这一时期国外相关研究主要集中在网络虚假信息（特别是谣言）的传播模型方面，包括流行病模型、线性阈值模型、独立级联模型等，并采用实验、仿真等方法探索有效抑制网络虚假信息传播的手段。国内相关研究则主要集中在网络谣言的传播特点、过程、模式、控制策略、虚假新闻产生的深层次原因分析等，研究方法以定性分析为主。

2010年以后，社交媒体中的虚假信息研究显著增加，尤其在重大公共事件情境下。2019年末新冠肺炎疫情全球蔓延期间，各种虚假信息在互联网上涌现并快速传播扩散，人们开始关注并研究突发事件中的网络虚假信息传播。国外相关研究多集中在虚假信息的检测与识别、传播模式、影响因素等，研究对象以虚假新闻、虚假健康信息、虚假评论信息、危机信息等为主。国内研究则从2012年开始进入快速发展阶段，研究方法也从定性研究逐步向定量研究转变，并引入了技术接受模型、仿真等理论与方法，表现出计算机技术、新闻传播、心理学和图书情报学的多学科交叉趋势；同时，研究对象以虚假健康信息、虚假社会新闻、虚假消费评论等为主，多角度分析了虚假信息传播的原因及治理机制。

2.3   AIGC中虚假信息及质量问题研究

随着AI系统的发展与应用，尤其是ChatGPT发布后，人们开始对AI系统性能及AIGC信息质量进行评估。Douglas Johnson等基于专业人员对ChatGPT生成的医学问题答案的评分，对医疗信息内容的准确性和可靠性进行了评估，发现ChatGPT提供的医学问题答案正确率约为57.8%，在多个例子中出现了大量错误，并以权威且令人信服的方式提供，但其质量可靠性远远不足。Tan等评估了ChatGPT作为一个问答系统（QAS）在回答复杂问题推理时的功能性和可靠性，在比较ChatGPT、GPT-3.5和GPT-3的评估结果后发现，ChatGPT擅长单语言问题的回答，而不擅长回答数字和时间问题，且归纳推理能力不强，答案输出不稳定。NewsGuard从错误信息数据库“Minsinformation Fingerprints”中选取了100个虚假陈述对ChatGPT-3.5和ChatGPT-4进行测试，发现其生成错误信息和骗局的概率达到80%以上，且新版本（ChatGPT-4）比其前身更易产生错误信息，其呈现方式也更令人信服，作者指出恶意行为者很容易将其武器化，制造虚假信息活动。Borji分析了ChatGPT任务失败的11种类型，包括推理、事实错误、数学、编码和偏见等，并强调了ChatGPT在可信度、安全性、侵犯隐私、抄袭剽窃等方面的潜在风险和不利影响。Munn等研究了InstructGPT（一个大型语言模型）中AIGC信息真实性的产生过程，重点介绍了数据收集、模型架构和社会反馈机制如何在融合真实性的不同理解后将其转化为真实陈述，并提出了丰富社会性和增厚“现实”是增强未来AIGC信息真实性的两个重要因素。JanKocoń、Bang等对ChatGPT在多个自然语言处理（NLP）任务上进行了技术评估，发现ChatGPT更擅长演绎推理而非归纳推理，且在大多数任务上优于零次学习的LLMs；ChatGPT存在幻觉问题，即因无法访问外部知识库，它在调用参数记忆后产生更多的外部幻觉；任务难度越大，其质量损失越大，尤其体现在对情感文本的评估上。Guo等对ChatGPT生成内容（AIGC）与人类生成内容进行了人工评估和语言分析，总结二者的内容特征、语言模式和隐性差异，并提出了LLMs的未来发展方向。

总之，目前关于AIGC信息内容及性能的研究，主要以对ChatGPT及其相关版本的测试为主，目的在于对其采用的大型语言模型进行测试。研究者多来自计算机领域，通过采用不同的数据集、常用的测试方法与指标进行模型测试，分析其优势与不足，并提出AIGC中存在的信息真实性、可靠性、社会偏见等问题。本文将基于信息质量视角，以AIGC中的虚假信息为研究对象，分析其虚假信息类型、特征及其根源，为减少AIGC虚假信息的生成提供策略。

所谓虚假信息，指与事实不符或编造的信息，通常由组织或个人有意或无意歪曲事实，或凭空捏造不真实的信息和观点，并在社会中传播而造成负面影响。例如，恶意发布捏造、虚构、拼接的所谓“真实”信息，短视频剪接及由文字、图片合成的“深度虚假”信息，以及传播过程中无意失真的信息等。总之，它具有内容虚假性、意图误导性、社会危害性等特征。

根据信息质量的内涵，即信息质量包括信息内容质量、情境信息质量、可存取性信息质量和形式信息质量四个方面，结合AIGC信息生成的快速、高效、模型依赖性、基于预训练集合质量等特点，本文提出AIGC虚假信息的含义主要有以下四点：一是信息不准确，即信息内容中有错误或存在误差；二是信息不客观，带有明显的主观导向性或社会偏见；三是信息不可靠，即信息内容有真有假，可信度低，且真假内容难以判断；四是信息表达不清晰，即含义模糊，前后论述不一致甚至矛盾，信息内容难以理解。根据以上四点，本节基于用户视角，通过对一手的系统使用数据和二手收集的AIGC虚假信息进行汇总分析，将AIGC中包含的虚假信息划分为事实性虚假信息和幻觉性虚假信息，以全面、深入地分析虚假信息特征。

3.1   数据收集

本文通过分析AIGC虚假信息的一手测试数据和二手收集资料来探究虚假信息的类型与特征。数据来源主要包括以下两个方面。

（1）AIGC系统一手的测试数据。项目组成员通过使用ChatGPT、Microsoft Designer、lexica art等工具，输入测试问题，获得AIGC系统自动生成的文本内容或相关图片，并对这一结果进行核实。共测试22道问题，包括数据、客观事实、新闻、文学作品、学术信息、健康信息等不同类别，尽量全面包含可能存在AIGC虚假信息的各种结果类型。测试时间为2023年3月20日至2023年4月16日，共获得AIGC信息28条，其中虚假信息21条，错误率为75%。测试数据列表（部分）如表1所示。

（2）二手的AIGC虚假信息资料。在知乎、百度、微信、NewsGuard官网以及相关文献中收集关于AIGC虚假信息的例子，共收集数据42条，内容涉及社会新闻事件、历史人物、历史事件、古诗词、程序代码、科学问题、生活常识、健康信息、虚假游戏等，收集时间为2023年3月20日至2023年4月16日。这些AIGC虚假信息主要来自于Midjourney v5和ChatGTP，典型的AIGC虚假信息如图1、图2所示。

3.2   AIGC虚假信息类型

根据上述关于AIGC虚假信息的一手测试数据和收集到的二手资料，从虚假信息的生成机理与表现形式角度，将AIGC虚假信息划分为事实性虚假信息和幻觉性虚假信息，并分别分析其虚假信息类型及特征。

3.2.1   事实性虚假信息及其特征

所谓事实性虚假信息，指AIGC信息内容包含明显的事实错误，造成事实性虚假。根据其在不同领域的表现形式，本文将其划分为数据错误、作者作品错误、客观事实错误、编程代码错误、机器翻译错误五种类型，具体如下。

（1）数据错误。主要包括统计数据中的数字错误（如国家人均吸烟率），人物身高、年龄等基本信息错误，科学知识中明显不合理的数据错误（如小麦种植中播种量过大），历史事件中的年代错误等。这类错误主要集中在数字数据上，通常难以发现，特别是在统计数据、历史年代、人物事件基本信息方面，只有核实查证后才会发现其数据虚假性。科学知识中的数据错误，如果明显不合理或不同于常规认知，那么较为容易识别错误，否则便难以察觉其错误。

（2）作者作品错误。包括古诗词作品与对应作者判断错误、不同作者人物关系错误、即兴创作作品内容有别于原著、不同作品关联错误、虚构作者代表作等。此类型错误主要体现了AIGC在信息生成过程中对作品内容、作者信息以及它们之间的关系识别能力不足而出现混乱，造成各种关系错误甚至虚构作品或作者，且多数情况下以令人信服的方式生成错误答案，造成错误信息难以识别。

（3）客观事实错误。包括公共事件中时间、地点、人物等客观信息错误，历史事件中年代、人物等胡乱拼凑（如焚书坑儒），生活常识错误（如咳嗽有助于防止心脏病发作），网站查找错误（如链接打不开或不一致）等。这一类型错误相对容易发现，因多是公众熟悉的信息，较少涉及专业性，且其中的错误较为明显，稍加判断即可识别出虚假性。

（4）编程代码错误。AIGC可以生成代码，以帮助解决编程问题，但有时会产生不准确或次优的代码。例如，ChatGPT能正确识别Python中的操作符优先级，但在语句中生成了错误答案；生成拼凑型无任何可读性的代码，但回答非常逼真，原因可能是其编码过程中变量的状态是有限的、独特的和可预测的，造成代码错误和漏洞，从而难以有效完成新问题挑战。这一类型错误较容易识别，可以作为编程人员的调试助手使用，但在创建黑客或垃圾邮件等恶意代码方面存在风险。

（5）机器翻译错误。指在不同语言的翻译转换过程中，AIGC信息在原有内容基础上进行相关扩展，使翻译内容与原语言信息不一致，造成翻译内容不准确、包含事实错误等问题。这一类错误不易识别，存在可信度低、难以有效利用的问题。

总之，事实性虚假信息主要表现为AIGC中的信息不准确、可信度低、代码内容含义不清晰等问题而产生的信息虚假性，更容易出现在其不熟悉的问题类型和涉及矛盾的上下文中，给信息的有效利用带来了很大障碍。

3.2.2   幻觉性虚假信息及其特征

由于AIGC信息是基于大规模语言模型生成相关内容，它不可避免地存在幻觉（hallucination）问题。即在模型训练期间，来自数据集语料库的主题和事件之间的联系并不总是正确的，而在生成内容时AI系统根据获得的提示和这些联系扩展相关内容，从而产生幻觉错误，形成无中生有的虚假信息。本文将这类由于大规模语言模型的幻觉问题而产生的虚假信息称为幻觉性虚假信息。幻觉性虚假信息的产生主要与模型预训练数据集质量及其来源有关，而像ChatGPT这样的AI生成系统缺乏从外部存储器或数据库访问信息的能力，无法验证模型生成内容的可靠性，因此不可避免地产生幻觉性虚假信息。本文将幻觉性虚假信息划分为虚假新闻事件、虚假学术信息、虚假健康信息和偏见与歧视四种类型。

（1）虚假新闻事件。指由AIGC生成系统基于用户提示生成的各类虚假新闻，包括纯文字的新闻报道或声明以及由文字描述自动生成的虚假图片等，可形成关于实质性话题的虚假和误导性声明，且有图片、有细节，包括虚构的观点、论据、案例、参考文献等一系列完整的虚假链条，看上去真实可靠，在不了解的情况下难辨真假。例如，Midjourney v5软件生成的特朗普被捕入狱的虚假图片；ChatGPT根据用户需求生成的杭州市取消限行的虚假通知；发现新物种“蓝狼”的虚假科学报道；阴谋论中关于新冠疫情、乌克兰战争、美国校园枪击案等误导性虚假声明（https://www.newsguardtech.com/misinformation-monitor/jan-2023/）。Alex则演示了如何利用ChatGPT生成报纸。总之，这类AIGC虚假信息多与公众日常生活相关，产生的社会影响较大，如不及时发现并澄清，易形成重大的负面影响和舆论效应。

（2）虚假学术信息。主要包括无中生有的论文、综述中明显不相关的虚构参考文献和不存在的网址链接或不相关链接等，且以规范格式提供给用户，如不进一步检索论证，很难看出其虚假性。这类信息看上去与真实信息并无二致，但时常会混杂着幻觉性信息与不相关信息，加之规范的参考文献格式，往往难以甄别。

（3）虚假健康信息。指AIGC生成系统根据用户提示而自动生成的包含错误观点、不实论据和案例的虚假健康信息，如新冠疫情会引发海啸、伊维菌素是抗病毒药物、手机信号可充当口臭的媒介等，对用户具有严重的误导作用和负面影响。这类AIGC虚假信息思路清晰、逻辑缜密，在观点合理和强有力回答的掩盖下难辨真假。当其论述的观点离奇且过于夸张时，则容易判断其虚假性。

（4）偏见与歧视。AIGC语言生成系统受预训练模型和训练数据中不准确性或刻板印象的影响，其生成内容往往会反映出数据中存在的社会和文化偏见，如ChatGPT曾认为白人男性会成为优秀的科学家、基于种族和性别对优秀知识分子进行排名、提供针对某一行业的负面虚假评论等，这些偏见会加深刻板印象，造成误解，或传播有害和错误的虚假信息。

总之，幻觉性虚假信息主要表现为AIGC中无中生有、恶意拼凑、误导性言论等而产生的虚构错误信息，给信息价值变现、提高工作效率、开展网络监管和舆情控制带来了新的挑战。

AIGC中虚假信息的产生，与其系统工作原理及相关技术和模型的应用有关。AIGC的核心要素主要包括以下四个方面。

（1）Transformer。Transformer是许多先进模型的骨干体系结构，善于处理长期依赖关系，有效提高了自然语言处理任务的性能，且具有高度并行性，适合大规模的预训练。

（2）预训练语言模型。AIGC主要采用自回归语言建模，即对给定前一个标记的下一个标记的概率进行建模，是从左到右的语言建模，更适合于生成任务。

（3）RLHF（Reinforcement Learning from Human Feedback，从人类反馈中强化学习）。这一方法充分利用人工注释，在人工智能混合监督的微调下，逐步提高模型的可靠性和准确性，以更好地理解人类偏好。

（4）计算方面。强大的计算资源、分布式训练模式、云计算服务等软硬件发展使开发更复杂准确的模型成为可能。本节将从人工智能语言模型生成信息的过程出发，深入分析AI语言模型、预训练数据集和人工标注三个环节对AIGC中虚假信息生成的影响。分析框架如图3所示。

4.1   大规模语言模型

AIGC通过指导内在基础模型生成满足用户提问的数字化内容，其核心在于基于数据预训练产生的大规模语言模型，它可以模拟人类生物学和神经学来识__别数据中的模式，为用户提供最佳答案。这一模型工作原理对AIGC中生成虚假信息的影响主要体现在两个方面。

（1）基于概率生成方式的随机性。人工智能语言模型生成内容主要是以概率的方式预测内容并通过复制底层数据集来实现内容自动生成，具有较大的随机性。模型善于模仿人类语言和信息模式，但有时却无法准确理解其概念和语义内涵。这种概率模式的模仿，一个很大的缺陷在于重现常见的错误或虚假，即一个论述或声明在数据集中出现的频率越高，它作为答案被生成的概率就越高。如果是虚假声明或错误论述，它作为“正确答案”被生成后，虚假信息或错误信息会被进一步强化。语言模型基于概率的生成方式，忽略了信息本身的真实性、准确性和客观性，造成AIGC中虚假信息的生成。

（2）来自预训练材料的局限性。经过大量文本、图像或其他媒体的训练，模型可以准确地预测和处理新输入，但仍受到训练材料的限制。由于缺乏对预训练材料语义的准确理解，模型无法发展出更广泛的理论或吸收新的反事实证据以测试材料的真实性，因而无法判断事实。由于缺乏访问外部数据库的能力，模型无法从源头上验证事实陈述，也无法从其所有任务的参数记忆中验证。预训练数据的局限性就是大规模语言模型的局限性。

4.2   预训练数据集

AIGC依赖于基础模型的选择，而这些模型在不同的数据集上进行训练，预训练数据集质量通过基础模型来影响AIGC质量，具体表现在以下两个方面。

第一，预训练数据集包括从互联网上抓取的文本信息，这些信息不仅可能包含社交媒体平台上的嘈杂、过时和带有偏见的信息或精心策划的信息，如政治倾向、阴谋论等虚假信息，还可能包含来自社会和历史的偏差。如不采取适当的措施，经过训练的模型很可能会重现这些虚假信息。

第二，模型训练会受到可用数据集和模型大小的限制，这将直接影响大规模数据集预训练的有效性。即如果实验超参数（如模型大小和数据量规模）设计不当，那么可能无法生成最佳结果，也会导致资源的浪费，且难以通过进一步的训练实现预期的结果，会影响大规模语言模型的有效性，进而影响AIGC信息准确性。

因此，预训练数据集质量对AIGC中是否生成虚假信息具有重要影响作用。但对于如此庞大的预训练数据集，要进行彻底的数据审计是不可行的，这对训练数据集的准确性、真实性和客观性提出了挑战。有研究提出，为避免“疏忽的谎言”，可通过建立设定好的数据集与人类互动以明确地训练人工智能系统诚实；或通过人机合作来进行事实核查，以将计算效率与人类的准确性评估能力相结合；或引入世界知识（数据中包含的事实与常识）丰富模型对现实的理解，减少虚假信息的生成。

4.3   人工标注质量

ChatGPT通过向基础模型中注入新知识以提高模型性能。这些知识主要是人类偏好知识，包含在大量的人工标注数据里，以帮助AI系统更好地理解人类表达，并体现人类对回答质量好坏的偏好。在InstructGPT中，人工标注者会看到一个提示和一些样本回答，并被要求标注出最佳答案，目的在于提高回答的真实性、准确性和相关性，减少歧视和偏见。随后，模型会根据这些人工标注数据进行微调，以建立更好的具有“真实性、有益性、无伤害”的模型。

值得注意的是，不同标注人员的异质性会对标注任务产生不同的理解，这可能存在很大程度的分歧。标注人员的教育背景、成长经历、社会文化环境等会影响__其对“最佳答案”的不同理解。调查新闻报道了OpenAI在肯尼亚进行的剥削性标注工作，由一群工资过低、不稳定的工人完成。这种被边缘化和高度异质性的人工标注可能难以达到数据标注工作设定的目标和效果。其次，人工标注工作需要人员集中注意力，充分利用其认知能力做出最佳判断，并尽可能保持不同人员标注的一致性，避免因单调或疲劳而走捷径，因此不应该简单地采用“外包”形式来完成。数据的人工标注质量直接影响AI系统的“最佳答案”质量，影响AIGC信息的真实性、准确性和相关性。

根据以上分析可知，AIGC生成信息的过程也会伴随着虚假信息的产生，通过对这一过程的优化与控制，可减少AIGC中的虚假信息，从而实现AIGC信息的有效利用。现提出减少生成AIGC虚假信息的方法与建议，具体如下。

（1）基于特定领域的AIGC系统应用。在使用AI系统自动生成内容时，可将AI模型集成到个人应用程序中，并将其设计为特定主题领域的“专家”（如医疗建议、法律咨询、科学知识等），既缩小了AIGC范围，又可进一步明确领域专业知识，通过反复的模型互动进行针对性培训与微调，从而建立有效的真实世界知识，约束模型参数。在使用时通过指定提示来调节输入，并根据特定的应用程序和服务过滤输出，从而提高AIGC信息输出的客观性、真实性。

（2）开展用户培训，提升其提示构建能力。AIGC系统为用户提供了便捷的使用界面，但模型知识、如何构建提示以及调用参数形成提示，都需要相关的技术素养。使用语言模型的目的在于通过提供任务提示来鼓励预训练模型进行预测。用户首先需要构造一个适合任务的提示，AIGC系统的交互性允许用户与底层LLM协作以提高其性能，如通过多轮提示的方式获得准确输出，也可以借助上下文学习和思维链（CoT）来帮助系统提高性能。改进的提示可使LLM中包含的信息更准确地应用到目标任务中，但不同提示设计的效果尚不明确。因此，有必要通过用户培训，对用户构建适合任务的提示进行技能培训，提高其使用AI系统的技术素养，从而提升AIGC信息的准确性和可用性，满足用户需求。

（3）聘用专业人员开展人工标注。在数据标注中，标注人员不是每个主题的专家，其对最佳答案的理解依赖于自身知识背景及对现实的理解。因此，针对特定领域的AIGC系统，尤其是高度专业领域，由专业人员进行人工标注可大大提高数据标注质量，有利于生成高质量最佳答案。

本文通过一手的测试数据与二手数据探析AIGC中的虚假信息问题，将其划分为事实性虚假和幻觉性虚假，并探讨具体的虚假信息类型及其特征；在此基础上，从AIGC信息的生成过程分析了虚假信息产生的根源，并提出相应的策略，为AIGC虚假信息的进一步研究提供了理论基础。本研究不足之处在于对AIGC虚假信息类型及特征的研究以定性分析为主，缺乏系统的分析框架，未来可通过实证研究进一步检验AIGC虚假信息类型，并探索这一虚假信息问题对用户行为的影响。

本研究的测试数据集作者已公开分享

END

版式设计

陆澜

制版编辑

卢慧质