北京市违法和不良信息举报平台2026年央视“3•15”晚会撕开了一条隐秘的黑色产业链——AI“投毒”。不法分子利用GEO(生成式引擎优化)技术,向互联网批量投喂虚假信息,系统性污染AI训练语料,让大模型在不知不觉中成为谣言的“二传手”。这片围绕AI数据“口粮”的污染,正在从源头侵蚀数字社会的信任根基。
晚会上曝光的几个案例令人触目惊心。其中,一款名为“Apollo-9”的智能手环,从头到尾都是凭空捏造——不法分子为其杜撰了“量子纠缠传感技术”等夸张卖点,生成数篇宣传软文后自动发布到多个自媒体账号。仅仅两小时后,当记者在某AI大模型询问“Apollo-9智能手环怎么样”时,AI已将该虚构产品作为“标准答案”详细推荐。更令人担忧的是,在3•15晚会播出12小时后,仍有大模型未“消毒”,继续向用户输出这款虚假手环的“功能参数”。
另一案例则揭示了AI“投毒”从营销噱头向商业诋毁的演变。晚会当晚,一份标注“权威曝光清单”的虚假信息在社交平台快速扩散,将蜜雪冰城等知名品牌恶意列入其中,事由竟是“部分门店预制菜冒充现炒”。然而,蜜雪冰城以茶饮、冰淇淋为主营业务,全部门店并无炒菜、简餐等餐饮业态。这一完全背离事实的谣言,被部分AI大模型当作真实信息采信输出。业内人士指出,这很可能是“AI投毒”的典型操作——有人刻意在网络批量发布虚假信息,污染AI训练与检索语料,让系统直接抓取并包装成“权威结论”。
AI“投毒”的运作套路
这些案例背后,是一条完整的黑色产业链。不法分子通过GEO技术,向AI大模型“投毒”的操作套路逐渐清晰。
首先是批量生成虚假内容:用AI写作工具批量生成大量产品测评、行业排名、用户评价等伪原创内容。其次是全网铺量制造“信息密度”:借助批量发稿平台和马甲账号矩阵,将这些内容铺满网络。最终操控AI输出结果:由于AI在生成回答时通常会参考多个信息源进行综合判断,只要虚假内容的数量足够多、角度足够丰富,就容易被误判为“可信信息”,最终成为AI输出的“标准答案”。一些从业者直白地将此称为“给AI洗脑”。这种操作已经从早期的“争夺搜索排名”演变为针对知名品牌的恶意诋毁——通过植入负面信息形成新型商业诋毁手段,严重扰乱市场秩序。
消费者与商家均受其害
当大模型本应是知识的提炼者,却沦为虚假信息的二传手,公众首当其冲成为受害者。谣言经大模型输出后自带技术权威滤镜,公众极易将AI生成信息等同于事实,而在医疗、金融等低容错领域,AI推荐的虚假信息甚至可能危及生命财产安全。
与此同时,诚信经营的企业也深受其害。蜜雪冰城的遭遇并非孤例,上海嘉定警方3月5日破获的一起案件中,犯罪嫌疑人利用AI洗稿发布针对多家车企所谓“销量下滑”的谣言信息,累计发布不实文章70余万篇次,非法获利8万余元。虚假内容借助AI推荐机制实现指数级传播,优质、真实的信息反而被淹没在“数据垃圾”中,形成“劣币驱逐良币”的恶性循环。诚信经营的企业投入大量成本建立品牌声誉,却可能被一条低成本炮制的谣言轻易抹黑。
更值得警惕的是,若任由“数字投毒”发展,将破坏人机互信的基础。2024年,360数字安全集团漏洞研究院发布报告指出,数据投毒攻击是目前针对大模型最常见的攻击方式之一,其危害在于干扰模型训练时期的参数调整,不仅降低准确性,更可能使其生成有害结果。当用户发现AI输出存在虚假信息,其对整个AI技术的信任将受到侵蚀,这种信任损耗一旦形成,修复成本极高,将严重阻碍AI产业的健康发展。
如何斩断AI“投毒”黑色产业链?
明确红线,提高违法成本。当前,GEO服务虽涉嫌违反广告法、反不正当竞争法、消费者权益保护法,但责任主体模糊、取证难、处罚轻,违法成本过低。瞭望周刊建议,应加快人工智能专门立法,将“恶意数据投喂”明确纳入反不正当竞争法规制范畴,对伪造信息操纵AI的行为予以严惩。参照今年1月国家市场监督管理总局发布的《2026年全国广告监管工作要点》,强化对AI生成广告的规范引导与监管约束。
建立可信信源体系。AI平台同样不能置身事外。界面新闻报道指出,大模型并不是在真空中工作的,一旦网络环境中的信息被操纵、灌水或伪造,这种影响最终会传导到AI产品上。因此,模型公司应在数据筛选、结果校验、来源标注、多源验证、异常识别等方面持续投入,开发“毒数据”识别与过滤技术,建立动态信源评估体系。在医疗、金融等敏感领域,强制多源交叉验证;在回答中清晰标注信息来源,打破“黑箱推荐”,让用户可查可验。
切断虚假内容传播渠道,净化语料源头。信息发布平台则应加强对批量发布、营销软文等异常行为的监测和处置,切断虚假内容的传播渠道。政府、研究机构与行业各方也需合力共建高质量、可信赖的公共语料库,从源头保证AI训练数据“干净健康”,同时建立数据溯源机制,引入“白名单”信源制度,对训练和检索内容进行可信度评估。
识别AI“投毒”内容的实用技巧有哪些?
当AI回答问题时,可留意其是否标注了信息来源,如果回答没有出处,或来源均为自媒体账号、不知名论坛,就需保持警惕,甚至可以直接追问AI“这个信息的来源是什么”。注意多平台交叉验证。对于投资消费、医疗方案等重要问题,切勿盲信单一AI的回答,务必通过官方渠道、权威媒体进行交叉验证。关注时效性与逻辑一致性,虚假信息可能存在逻辑漏洞或与常识相悖。如果AI输出的内容过于“完美”,包含“量子纠缠”“黑洞级续航”等伪科技概念,或存在逻辑漏洞与常识相悖之处——比如蜜雪冰城被造谣“使用预制菜冒充现炒”,而该品牌根本不经营简餐业务——都应理性审视,结合常识加以判断。还可以尝试反向提问,追问AI“这个信息是否有争议?”或“是否存在不同的观点?”,如果回答出现前后矛盾或无法自圆其说,很可能意味着其参考的信息源存在问题。
当AI大模型日益成为人们获取信息的“第一入口”,确保其输出内容的真实准确,已不仅是技术问题,更是关乎社会信任的基础工程。从“Apollo-9”到蜜雪冰城,这些案例警示我们:AI“投毒”污染的不只是大模型的“口粮”,更是整个数字社会的信任根基。斩断这条黑色产业链,需要法律、技术、平台、公众协同发力,守住真实底线,让AI真正成为服务公众的智慧助手。
综合自:新华网、央视新闻、央广网、中国日报 、瞭望周刊、齐鲁晚报、界面新闻、大众网