详解AI生成内容的标识义务——以“平台判定用户内容AI生成第一案”为引
2025-07-31

文 | 万波


01

平台判定用户内容AI生成第一案简介
















2025年,北京互联网法院审结了一起具有里程碑意义的网络服务合同纠纷案件,该案被视为"平台判定用户内容AI生成第一案"。案件原告为某网络平台的注册用户,被告为该平台的运营者。我们将案件的要点列表如下:

基本事实

原告在平台上发布了一段文字:"打工并不能让你真的赚到多少钱,但可以开启你的新视角……如果你对学车感兴趣的话并且以后打算开车的话,可以在你最清闲的一个假期完成它……工作之后就没有太多完整的时间学驾照了"。

平台通过算法工具检测后,认定该内容包含AI生成内容但未标识,属于违规情况,遂作出将内容隐藏、将用户禁言1天的处理决定。

原告对此处理不服,提出申诉未果后诉至法院,请求法院判令被告撤销对涉案内容的隐藏、撤销对账号的禁言处理,并删除后台系统中的违规记录。

原告主张

原告主张其内容为原创作品,并未使用AI工具创作,平台的处理行为构成违约。

此外,原告主张其发布的内容属于即时性创作文本,难以提供传统意义上的创作底稿、原件、源文件等证明人类创作属性的证据。

被告辩称

1、社区公告已明确规定:"创作者在发布包含人工智能生成内容时,应主动使用'人工智能生成内容'的标签进行声明,未主动声明的内容,平台将采取适当措施进行流量限制并添加相关标识"。因此,平台有权审核认定用户违规行为并采取必要治理措施。


2、平台有权自行选择合理、必要的方式和技术进行内容审核。本案中,平台首先通过机器识别系统判断内容"包含人工智能生成",然后经过人工复核,认定该内容"缺乏明显的人类情感特征"。


3、平台没有义务向用户解释技术秘密和算法逻辑。


4、即使如此,平台也已提交了在互联网信息服务算法备案系统公示的相关算法机制机理内容作为证据,足以证明其算法逻辑的合法性,其中与检测内容相关联的部分为"回答安全判别模块",表述为"以自研的指令微调模型为基座。基于收集并标注的有安全风险的回答为语料训练的能力,能拦截掉对话深度合成模型生成的大部分违规回答"。

一审判决

法院将本案争议焦点归纳为3点:

1、平台依据算法工具判定内容为AI生成并采取处理措施,是否具有合同依据和法律依据?

对此,法院认为:网络用户在使用AI工具进行创作并将相关内容发布到网络平台时,应依照诚信原则如实标记。本案中,平台结合《互联网信息服务深度合成管理规定》中有关深度合成标识的管理规定和网络空间治理的现实需要,发布了明确的社区公告,要求创作者在发布AIGC生成内容时应主动使用标识。社区公告属于平台服务协议的组成部分,对注册用户具有约束力。因此,平台依据合同约定对涉案内容进行审查和处理的行为,本身具有合法性基础。


2、在原告无法提供传统创作证据的情况下,举证责任应如何合理分配?

对此,法院认为:原告回答内容系即时性创作文本,要求其提供这类证据也不具有合理性和现实可行性。与此同时,平台作为算法工具的掌控方和结果判断方,完全掌握算法运算过程和审查结果。基于这一权力不对称的现实,平台应当就其判定结果承担更重的举证责任,需要对算法合理性进行举证。


3、平台是否需要对算法判定结果进行解释说明,以及解释说明应达到何种程度?

对此,法院认为:虽然平台提交了算法备案信息,但公示内容显示该算法功能为"识别有安全风险的回答",无法认定其系专门针对AI生成合成内容识别判断的技术,因此备案信息与本案争议的关联性存疑。更关键的是,平台未能对算法的判断依据和结果作出合理解释;对于人工复核程序,平台的解释是需要"非常明显的人类情感特征"才能驳回算法决策结果,这一判断标准过度依赖主观认识和个人经验,缺乏科学依据以及足够的说服力和可信度。

"算法解释义务"的认定是本案最“吸引眼球”的部分。中国人民大学法学院副教授黄尹旭对本案的点评指出,本案认定平台在即时性创作文本场景下,对使用算法自动化决策结果承担适度说明义务,为司法审查阶段的算法解释说明程度确立了标准。

但是,除“算法解释义务”外,AI生成内容的标识义务、AI生成内容的标识审查义务、标识审查不通过的处理、标识审查不当的法律风险,也都是可以引发思考的问题,本文兹以上述案例为引,为您细细分说。


02

谁有标识义务?
















按照四部委《人工智能生成合成内容标识办法》(国信办通字〔2025〕2号,简称“《标识办法》”)的规定,可以认为,算法推荐服务提供者、深度合成服务提供者、生成式人工智能服务提供者、用户共计4类主体,都有AI生成内容的标识义务:

类别

法条要求

法律渊源

算法推荐服务提供者

算法推荐服务提供者应当加强信息安全管理,建立健全用于识别违法和不良信息的特征库,完善入库标准、规则和程序。发现未作显著标识的算法生成合成信息的,应当作出显著标识后,方可继续传输。

互联网信息服务算法推荐管理规定

深度合成服务提供者

深度合成服务提供者提供以下深度合成服务,可能导致公众混淆或者误认的,应当在生成或者编辑的信息内容的合理位置、区域进行显著标识,向公众提示深度合成情况:(一)智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务;(二)合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务;(三)人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务;(四)沉浸式拟真场景等生成或者编辑服务;(五)其他具有生成或者显著改变信息内容功能的服务。


深度合成服务提供者提供前款规定之外的深度合成服务的,应当提供显著标识功能,并提示深度合成服务使用者可以进行显著标识。

互联网信息服务深度合成管理规定

生成式人工智能服务提供者

生成式人工智能服务提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。

生成式人工智能服务管理暂行办法


用户

用户使用网络信息内容传播服务发布生成合成内容的,应当主动声明并使用服务提供者提供的标识功能进行标识。


用户申请服务提供者提供没有添加显式标识的生成合成内容的,服务提供者可以在通过用户协议明确用户的标识义务和使用责任后,提供不含显式标识的生成合成内容,并依法留存提供对象信息等相关日志不少于六个月。

人工智能生成合成内容标识办法


03

不履行标识义务,有什么法律风险?
















如上述义务主体未履行上述标识义务的,需要承担什么样的法律责任呢?从现有的法规看,只有《互联网信息服务算法推荐管理规定》有专门涉及,该规定规定:“算法推荐服务提供者违反上述标识义务的,法律、行政法规有规定的,依照其规定;法律、行政法规没有规定的,由网信部门和电信、公安、市场监管等有关部门依据职责给予警告、通报批评,责令限期改正;拒不改正或者情节严重的,责令暂停信息更新,并处1万元以上10万元以下罚款。构成违反治安管理行为的,依法给予治安管理处罚;构成犯罪的,依法追究刑事责任。”

虽然处罚规定相对较少,但并不意味着相关义务主体可以高枕无忧,特别是作为用户,虽然上述法规中并没有直接规定用户的罚则,但从实践看,监管部门对包括用户在内的义务主体AI无标识等滥用行为已经开始了专项整治。如:中央网信办自2025年4月启动的“清朗·整治AI技术滥用”专项行动,聚焦AI换脸拟声侵犯公众权益、AI内容标识缺失误导公众等AI技术滥用乱象,深入推进第一阶段重点整治任务,部署各地网信部门加大违规AI产品处置力度,切断违规产品营销引流渠道,督促重点网站平台健全技术安全保障措施,推动生成合成内容标识加速落地;第一阶段累计处置违规小程序、应用程序、智能体等AI产品3500余款,清理违法违规信息96万余条,处置账号3700余个。

另据媒体报告,2024年6月中旬,浙江温州苍南公安成功打掉一个编传旧案谣言的MCN机构“网络水军”团伙,经侦查发现,相关账号和视频由某网络科技有限公司(实为以MCN模式运营的“网络水军”团伙)使用发布,该MCN“网络水军”团伙搜集全网敏感热点,随意设置虚假剧情,利用AI软件根据剧情自动生成多处关键情节虚假的文案,安排真人出镜解说,拼接网络中误导性素材后剪辑成所谓“原创”视频。该团伙明知上述视频充斥大量虚假、挑动群众情绪类信息,为博取流量、不法牟利,在多个平台公开发布,后造成虚假视频信息被大量浏览、传播,从而牟取非法流量返利。

除了行政责任和刑事风险外,不对AI生成内容进行标识,客观上会使公众误认为内容为真实或原创,也容易引发对著作权人等权利主体的民事侵权风险。


04

谁有标识审查义务?
















虽然上述办法字面上并未明文算法推荐服务提供者、深度合成服务提供者、生成式人工智能服务提供者具有标识审查义务,但3类生成服务提供者作为平台,对用户的标识行为进行审查监督,当是应有之义,因此,其作为标识审查义务主体,当无异议。上述北京互联网法院的案例中,平台作为生成服务提供者,其角色定位与《标识办法》第六条完全对应。法院认定平台有权依据合同约定对AI生成内容的标识进行审查,这与《标识办法》的规定精神一致。可见,两者都强调了平台审查的正当性。

除了上述3类生成服务提供者外,《标识办法》构建了"生成-传播"全链条责任体系,明确区分了内容传播服务提供者、应用程序分发平台两类主体的义务,具体如下表:

类别

法条要求

法律渊源

网络信息内容传播服务提供者

提供网络信息内容传播服务的服务提供者应当采取下列措施,规范生成合成内容传播活动:


(一)核验文件元数据中是否含有隐式标识,文件元数据明确标明为生成合成内容的,采取适当方式在发布内容周边添加显著的提示标识,明确提醒公众该内容属于生成合成内容;


(二)文件元数据中未核验到隐式标识,但用户声明为生成合成内容的,采取适当方式在发布内容周边添加显著的提示标识,提醒公众该内容可能为生成合成内容;


(三)文件元数据中未核验到隐式标识,用户也未声明为生成合成内容,但提供网络信息内容传播服务的服务提供者检测到显式标识或者其他生成合成痕迹的,识别为疑似生成合成内容,采取适当方式在发布内容周边添加显著的提示标识,提醒公众该内容疑似生成合成内容;


(四)提供必要的标识功能,并提醒用户主动声明发布内容中是否包含生成合成内容。

人工智能生成合成内容标识办法

互联网应用程序分发平台

互联网应用程序分发平台在应用程序上架或者上线审核时,应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务。互联网应用程序服务提供者提供人工智能生成合成服务的,互联网应用程序分发平台应当核验其生成合成内容标识相关材料。

人工智能生成合成内容标识办法


05

标识审查不通过的,应如何处理?
















将北京互联网法院的这一判例与即将实施的《人工智能生成合成内容标识办法》(以下简称《标识办法》)进行对比分析,就可以发现,虽然《标识办法》及之前的三个办法构建了"生成-传播"全链条标识责任体系,但并未提供更细颗粒度的操作办法,譬如,以北京互联网法院的这一案子为例,当生成服务提供者的标识审查结论与用户的认知发生分歧时,审查义务主体应当如何处理?

举例而言,《标识办法》第六条规定了传播平台对疑似AI生成内容的分级处理机制:(1)对于元数据中明确标明为生成合成内容的,应添加显著标识;(2)对未核验到隐式标识但用户声明的,添加可能为生成合成的提示;(3)对既无隐式标识又无用户声明但检测到生成痕迹的,识别为疑似生成合成内容并添加相应标识。当传播平台按照前述规则添加AI生成标识时,如用户提出反对,坚持并非AI生成时,传播平台该如何处理呢?

从北京互联网法院判例中平台的处理流程“先机器识别、后人工复核”来看,基本符合《标识办法》的规定精神,但法院特别指出平台机器识别算法不透明、人工复核标准过于主观,缺乏科学依据。这表明,仅建立抽象的处理流程还不够,平台还需确保判断标准的客观性和可解释性。


06

平台判定用户内容AI生成第一案有哪些启示?
















北京互联网法院案例连同《人工智能生成合成内容标识办法》以及《网络安全技术 人工智能生成合成内容标识方法》(GB45438—2025),共同为企业在AI生成内容时代的合规运营提供了指引,同时也带来了一系列实操层面的挑战。

我们认为,AI生成平台、传播平台、应用程序分发平台都需要从制度建设、技术保障、流程优化等多个维度进行系统性调整,才能有效应对这一新的监管环境。

一是算法治理机制的完善。《标识办法》赋予了平台的标识审查义务,但对审查的标准未予明确。北京互联网法院案例则明确要求平台对AI内容判定算法有进行适度解释的义务,这意味着企业不能仅依靠算法"黑箱"作出影响用户权益的决策。企业应当建立算法影响评估制度,对用于内容识别的AI模型进行定期准确率测试和偏差检测。同时,企业需准备通俗易懂的算法说明文档,在不披露商业秘密的前提下,向用户解释判定机制的基本原理和主要考量因素。例如,可以说明算法检测的是哪些文本特征(如词汇丰富度、句式复杂度、情感表达等)。

二是在标识技术体系建设。根据《标识办法》,需要同时实现显式标识和隐式标识两种方式。显式标识相对简单,可在内容展示界面添加可视化标签;隐式标识则技术要求更高,特别是跨平台的内容追踪需要标准化的元数据格式。北京互联网法院案例中平台未能证明其识别技术与AI生成特征的关联性,这警示企业必须研发或采购可靠、可解释的标识检测技术。

三是责任豁免条件的规定也值得关注。《标识办法》第九条规定,用户申请不添加显式标识的,平台可通过用户协议明确用户义务和责任后提供不含显式标识的内容。北京互联网法院案例中平台的服务协议虽规定了AI生成内容的标识要求,但未涉及用户申请豁免的情形。这提示企业在制定用户协议时,需考虑《标识办法》的规定,建立标识例外管理机制。

四是用户协议与社区规范的修订是另一项重要工作。本案中法院认可了平台通过社区公告形式明确AI生成内容标识要求的做法,《标识办法》第八条也明确规定服务提供者应在用户协议中说明标识方法和规范。企业应适时全面审查现有用户协议和社区规范,特别要注意处理流程的规范化与透明化,以在法规不明确的情况下,减少发生法律纠纷乃至败诉的风险。

最后,企业需要认识到,AI生成内容治理不仅是法律合规问题,更是用户体验和社会责任问题。过度依赖自动化决策可能导致大量误判,损害用户创作热情;而过于宽松的管理又可能使平台充斥低质AI内容,影响信息生态环境。本案判决所倡导的"适度"、"比例"原则,也提醒企业要在技术效率、商业利益与用户权益、社会责任之间寻找平衡点,如此才能在AI时代获得可持续的发展空间。


系列文章


1.《敏感个人信息处理安全要求》解析:框架、要点与对比分析


2.《数据安全风险评估方法》(GB/T 45577-2025)解析:框架、方法、创新与挑战


3.《网络安全保险应用指南》解析:历史、市场、要点与挑战


4.淘宝“生意参谋”不正当竞争2018年案件与2025年案件的全景式对比与解析


BOSS & YOUNG


律师介绍


图片

万波

上海邦信阳律师事务所 合伙人 📍上海

   wanbo@boss-young.com

万律师主要执业方向为金融证券、金融科技、人工智能与数字经济领域,现为邦信阳人工智能与数字经济全国业务委员会主任,并任中国个人信息保护合规审计推进小组成员、上海市律师协会数据合规与网络安全专业委员会委员、上海大数据联盟成员、上海数商协会成员、上海仲裁协会数字经济与人工智能研究委员会委员、基于川渝的部省协同公路行业可信数据空间联盟理事等社会职务。具有国际云安全联盟(CSA)认证数据保护官资质,被China Business Law Journal连续评为2022年“A-List”法律精英,2023年、2024年“The Visionaries睿见领袖”,入选律新社“2024年度数据合规领域品牌之星匠心律师”,2024年度LegalOne实力之星(Stellar Accolade)。曾于2023年出版《数据与个人信息疑难问题法律指引——基于251则典型案例的分析》专著,并牵头撰写《2024人工智能与数字经济法律研究报告——银行保险篇》、《2024人工智能与数字经济法律研究报告——公共数据运营篇》等专题报告,并办理了上海首批2个“上海数据”品牌认证项目、全国交通行业数据产品挂牌及数据资产入表第一单项目、上海数据产品知识产权融资第一单项目等。




邦信阳律师事务所

Boss & Young Since 1995

法治兴·知行于·大道向

使   命:让律师成为法治社会的重要助推

愿   景:法治天下·诗意栖居

价值观:可靠、高效、富有创造力,守正、相与、永葆进取心

图片

来源:邦信阳律师事务所

编辑:鱼仔

责任编辑:高兴、陈默



声明:本文仅代表作者本人观点,不得视为邦信阳律师事务所及律师出具的正式法律意见或建议。转载请注明来自“邦信阳律师事务所”公众号。如您有意就相关议题进一步交流或探讨,欢迎与我们联系,电话:+8621 23169090,邮箱:shanghai@boss-young.com

图片


点击“阅读原文”,登录邦信阳律师事务所官网了解更多资讯