生成式AI技术突飞猛进，其“虚构能力”日益引发关注

近期，两封引发行业震动的信件在社交平台流传：一封署名为英伟达CEO黄仁勋的内部信点评国产大模型，另一封则是“DeepSeek CEO梁文锋致冯骥的公开信”。尽管行文逻辑缜密、情感充沛，但经多方查证，两封信件均系AI生成的“幻觉产物”。

技术双刃剑：AI为何会“面不改色”编故事？

所谓AI幻觉，即大语言模型基于概率统计生成看似合理实则违背事实的信息。这种现象如同人类面对未知时“合理想象”，但AI的底层逻辑是数据驱动而非真实认知。例如，在学术辅助场景中，DeepSeek曾被用户发现虚构文献来源；医疗领域，OpenAI的语音识别系统Whisper更被曝出转录病例时半数内容存在虚构。

行业专家指出，数据污染是幻觉的根源之一。清华大学研究显示，训练数据中的错误或片面信息会被模型放大，而知识固化机制导致模型难以应对2023年后的事件。对此，DeepSeek技术团队回应称，已构建“数据清洗-对抗训练-知识蒸馏”全链路防控体系，通过动态更新机制确保模型输出可靠性。

开源生态的隐忧：技术普惠VS安全风险

近期，资本市场频现利用AI“投毒”的恶性案例。不法分子通过伪造语料库诱导模型生成虚假股评，致使慈星股份等五家上市公司卷入AI问答截图风波。这引发公众担忧：开源模型是否等同于“技术裸奔”？

DeepSeek回应强调，开源不等于失控，其安全防护依赖开发者的数据管理、代码审查和社区协作机制。南京理工大学蒋庆远教授补充：“开源生态需要行业监管体系、企业防护能力和用户安全意识的三方协同，如同防火墙需要定期升级。”

用户防线：如何与AI安全共处？

面对AI的“自信式误导”，江苏省人工智能学会提出四大防御策略：

精准提问：限定回答范围，如“请基于2023年《自然》期刊文献分析”而非开放式提问。

分段核验：要求模型先输出提纲再分块生成，降低长文本的幻觉累积风险。

多源比对：通过聚合平台调用不同模型交叉验证，例如让DeepSeek R1与通义千问协同工作。

溯源追问：当模型引用“专家观点”时，需索要原文链接或视频证据，警惕虚构信源。

值得关注的是，用户隐私安全仍是焦点。OpenAI已承诺API数据不用于训练，而部分平台隐私条款仍存在模糊地带。蒋庆远提醒：“即使数据不用于训练，存储和传输环节仍存在泄露风险，用户需审慎处理敏感信息。”

结语

在这场人与AI的认知博弈中，技术专家呼吁建立“人机协同”新范式——既要用RAG技术为模型配备实时知识库，也要培养公众的科技思辨力。毕竟，AI的进化速度远超预期，而人类的批判性思维始终是不可替代的防线。