截图显示官方中国中央电视台正在辟谣AI内容。

随着中国应对周末登陆的台风“红霞”的影响，官员们将痛苦地意识到，他们可能还会面临一项额外的挑战：利用人工智能（Artificial Intelligence, AI；人工智慧）制作的危险误导性影片。

过去几个月，强风暴和洪水灾害频发，导致社交媒体平台上充斥着大量虚假视频——其中包括漂浮在洪水中的尸体图片、对实际未受影响地区发生严重洪灾的虚假描述，以及对应急响应工作进行明显虚假描述的视频。

在一些地区，包含停电虚假资讯的影片引发居民恐慌性抢购紧急物资。

还有一些影片利用真实事件进行造假。

7月初，广西横州市发生洪水，导致数百条蛇从养殖场逃逸。随后，又有假图片发布，显示鳄鱼被放生到河里。

在当前局势紧张且危险，涉及大规模疏散和复杂救援行动的情况下，当局希望避免引发恐慌。然而，他们担心中国投入数十亿美元研发的AI技术，正提供简单易用的工具，可能被用来欺骗大众。

浙江省鲍安厅网安总队网络公共安全支队副支队长黄志华告诉中国官方媒体：“不少博主把灾情当成涨粉工具，知道惊悚、夸张内容，更容易拿到按赞播放，故意造假博眼球”

近几周来，已有不少人因制作虚假报道和影片内容而被捕并受到处罚，处罚措施包括刑事拘留和罚款。

但专家警告称，一场前所未有的假信息危机可能正在酝酿中。



虚假内容声称显示鳄鱼被放生到河里。

在中共中央党校机关报《学习时报》发表的一篇文章中，陈兵教授指出：“造谣的技术门槛显著降低，内容生成者无需掌握复杂技术，仅通过AI工具捕捉热点话题，便可快速生成涵盖文本、图像、音频、视频等多形态的虚假内容，甚至‘一句话指令’就能产出以假乱真的信息，直接推动谣言批量化、规模化生产。”

华东政法大学高富平教授告诉BBC，发布此类虚假内容的动机多种多样，从“为了博取眼球而不考虑后果”的人，到“为了个人利益而制造流量”的人，再到“故意制造恐慌或社会动荡”的人。

“一些用户认为网络世界是匿名且不受监管的，或者认为自己不会被追踪。”他说。

有人呼吁对所有AI生成的内容进行清晰的标记，但其他用户却可以随意编辑这些内容，去除标记。

北京师范大学许小可教授告诉BBC，还需要加大力度，透过时间戳验证地理位置，并核查影像来源。

“话虽如此，我还是要强调，检测技术仍然落后于生成技术。我们一直处于一场猫捉老鼠的游戏。因此，我们不应该认为仅仅依靠技术就能一键识别AI生成的内容。”他警告说。



AI内容声称，营救猪的优先顺序高于营救人。

中国政府正大力发展AI，试图成为全球领先的科技强国。

2017年，中国政府宣布AI将成为国家发展的“主要驱动力”。

大量资金涌入AI企业，寻求更多资本，加剧了国内竞争。官方新华社报道称，中国拥有超过6,000家“AI公司”。

在这种背景下，许教授认为中国需要建构“可信赖的资讯基础设施”。这可能包括官方的预警系统和新闻机构可以存取的灾害资讯介面。

但一些官方管道，包括政府控制的媒体，曾故意淡化灾害的影响，导致民众对这一领域产生了一定的不信任。

今年7月初，当地记者被要求“淡化”措辞，将南宁附近六蓝水库的重大缺口描述为“开口”或“缝隙”。

官员们似乎试图淡化缺口的严重性，但后果却造成了惨重的伤亡。水坝决堤导致下游至少26人死亡。

这并非个案。

2021年，河南省有地方官员因涉嫌隐瞒或少报139例死亡病例而被捕。

此类事件导致信任真空，使得不法分子更容易传播虚假信息。

但警方呼吁民众在紧急情况下相信权威资讯来源。

宁波市公安局高凯表示：“看到来源不明的灾情信息，多打个问号，以官方发布为准。”

他也试图安抚大众，表示假信息的制造者必将受到惩罚。他说：“网络不是法外之地。公安部门将继续加强打击网络犯罪活动。”

“我们已成立专门工作小组，密切监控社交媒体，特别是短视频平台。他们将迅速调查处理此类案件，严惩不贷。”

如果虚假资讯的后果足够严重，处罚可能从罚款到最高七年监禁不等。

7月23日，中国国家互联网信息办公室（国家网信办）宣布在全国范围内打击与洪水和其他灾害相关的虚假网络内容，并指示地方分支机构重点查处捏造资料、恶意编辑、摆拍场景、歪曲历史事件以及冒充官员等行为。此外，该办公室也呼吁社交媒体平台加强发布内容的审核。

高教授认为“解决之道在于公众教育与执法相结合”，并表示“有必要宣传一些人们受到惩罚的真实案例”。

他补充说：“AI产生的虚假内容造成的危害最终取决于人们如何使用这项技术，而不是技术本身”，并指出现有的法律足以应对这种情况。

然而，其他人对此并不那么乐观。陈教授指出：“AI技术的发展速度远远超过法律框架的完善速度。随着新的法律问题不断涌现，AI产生的虚假资讯仍然是一个巨大的挑战。”

同时在上海和华盛顿执业的律师庞昭声（Peter Pang）表示，世界各地的律师都发现，涉及此类问题的案件数量呈现爆炸性成长。

他认为，开发AI应用程式的公司以及用于发布虚假影片和其他内容的平台，必须与制造虚假资讯的人一起承担法律责任。

“首先要追究的是平台的责任，因为它们是资讯的幕后推手。是它们允许这些资讯传播出去。”庞昭声告诉BBC。

他举了一个假设的例子：有人因为社交媒体上的假贴文引发恐慌，开车撞倒了行人。

“影片制作者可能会说‘你撞了人，那是你的问题，不是我干的。’但让我们仔细想想。是你制造了恐慌，人们才会做出反应。如果你制造了恐慌，你就必须为由此产生的后果承担责任。”

许教授警告说：“AI生成的虚假信息不仅数量会增加，传播速度也会加快。”

展望未来，政治选举、公共卫生紧急事件、武装冲突、自然灾害以及影响民生的问题都可能成为AI产生假信息的高风险领域。

政府和平台不应等到虚假信息广泛传播后再采取措施加以控制，而应提前做好准备。