来源 | 北大法宝法学期刊库

《人民检察》2023年第7期

最近，人工智能聊天机器人ChatGPT引起了广泛的关注。这个拥有高超数据搜集和数据整理输出能力的机器人，迅速吸引了大量用户注册使用，掀起了人工智能发展应用的新高潮。然而，随着ChatGPT的应用越来越广泛，也带来了一系列法律风险，例如知识产权、个人信息保护、数据安全等问题。对此，《人民检察》特邀请专家学者对相关问题进行探讨，敬请关注。

特 邀 嘉 宾

皮 勇

（同济大学上海国际知识产权学院教授）

张凌寒

（中国政法大学数据法治研究院教授）

张吉豫

（中国人民大学法学院副教授）

问题一：如何从法律层面看待ChatGPT？

主持人：ChatGPT横空出世，迅速席卷了各行业。ChatGPT将给智慧司法、数字法治建设带来哪些便利？其快速发展可能引发哪些法律风险？

皮勇：

将技术优势转化为实际应用，ChatGPT可以应用于智慧司法和数字法治建设。通过强大的算法和海量的数据，ChatGPT可以模拟人类的思维和决策过程，为司法决策提供支持。同时，ChatGPT还可以监测网络言论，防止恶意攻击和不当言论。将技术优势应用于数字法治建设，可以提升司法公正性和效率，为建设法治社会贡献力量。

ChatGPT提供丰富的信息资源，包括大量数据库和相关信息，使得信息检索更加便捷。ChatGPT的数据库数量庞大，人机交互能力优秀，自然语言处理能力强大，可以帮助司法工作人员收集信息资料，了解案件相关专业领域的基本知识。

新的表达：在司法活动中，大量的文书制作工作是必不可少的。这时，ChatGPT就派上用场了。ChatGPT可以快速制作标准化文书的初稿，并在其基础上进行修改和完善，从而提高文书的制作效率。这样做不仅可以降低工作量，还可以提升文书的质量。

在处理案件时，司法工作人员需要对涉案因素进行多方面的分析。ChatGPT的海量数据和算法功能可以帮助司法工作人员快速查找与案件相关的类案信息并进行比对。同时，该功能还可以参考借鉴已生效判决的裁判理由和结果，减少司法工作人员办错案或裁量畸轻畸重的几率。

ChatGPT 智能助手可以提供更加智能和便捷的辅助裁判服务。ChatGPT 的概率统计逻辑和算法，基于类案数据，可以生成辅助裁判结果。已有相关智能裁判系统运用了该算法逻辑，为用户提供了更加高效和准确的辅助裁判服务。

网络内容信息服务提供商(ISP)是网络服务市场中的一部分，提供互联网上的信息和娱乐服务。ChatGPT运营者是一家ISP，提供基于人工智能技术的聊天机器人服务。虽然ChatGPT运营者本身不涉及法律宣传，但其提供的信息服务可以用于法治宣传。

不过，ChatGPT的应用也给用户和社会带来新的安全风险。

ChatGPT的生成信息是基于概率统计算法和已有的数据，这些算法和数据都有局限性，可能导致ChatGPT生成虚假、误导、无意义或质量差的信息。因此，用户需要意识到其采信的信息可能是有限的，缺乏分辨能力，如果用户盲目信任或缺乏分辨能力，可能会面临一定风险。

滥用ChatGPT的风险主要是用户不当使用ChatGPT的生成结果，如在国家考试过程中使用ChatGPT作弊、使用ChatGPT编制论文、制造假新闻或谣言等，这些行为会对社会造成不良影响，并可能违反相关法律法规。因此，我们需要确保用户在使用ChatGPT时遵守相关法律法规，不进行任何违法活动，同时也需要对ChatGPT的生成结果进行合理的使用和监管。

ChatGPT技术本身并不会带来知识产权侵权风险，因为该技术本身不涉及知识产权问题。但是，在使用ChatGPT技术时，可能会面临知识产权风险。例如，如果不当泄露、提供他人商业秘密或者侵犯他人作品，就可能会侵犯他人的知识产权。此外，对于ChatGPT或其权利人是否对生成的信息享有知识产权，目前也存在争议。

使用ChatGPT的过程中，用户面临的风险不容忽视。ChatGPT会收集用户的个人信息和其他资料，这存在泄露个人信息、商业秘密或国家秘密的风险。即使是片段性或零碎的信息，也可能被ChatGPT与其他数据结合在一起进行挖掘分析，从而推断出关系国家安全、公共安全、个人和组织合法权益的情报信息。因此，用户在使用ChatGPT时需要谨慎，并保护个人信息的安全。

张凌寒：ChatGPT的出现是深度合成领域的重大技术进步，极大地改变了信息获取、人机交互的方式，并成为未来数字空间的基础性技术，ChatGPT的应用无疑能够为智慧司法建设带来革命性改变。

其二，将ChatGPT应用于法律咨询，将极大提升公共法律服务的智能化水平。ChatGPT具备语义理解和文本生成的能力，能够结合上下文，给出更合逻辑、合理的法律建议。此外，ChatGPT与之前技术的不同之处在于其是采用了海量数据训练的大规模人工智能模型，这使得其生成的文本更加具有创造性。更重要的是，这些模型通常设置了随机元素，意味着它们可以不同的输出应对同一个输入请求，使得ChatGPT看起来更加栩栩如生。ChatGPT在法律领域的应用，将极大地提升公共法律服务的智能化水平。通过运用ChatGPT的语义理解和文本生成能力，律师可以更准确地理解客户的需求，并生成更具有说服力的法律建议。此外，ChatGPT还能够结合上下文，给出更合逻辑、合理的法律建议，这将使律师的工作更加高效。与之前技术不同的是，ChatGPT采用了海量数据训练的大规模人工智能模型，这使得其生成的文本更加具有创造性。这些模型随机地生成不同的文本，使得ChatGPT看起来更加栩栩如生。这种技术的应用于提升公共法律服务的智能化水平，将使律师的工作更加高效，并极大地提升公共法律服务的质量。

其二，ChatGPT应用于信息检索，将极大提升法律从业者的工作效率。ChatGPT研发的本意不在于信息检索，但支撑其深度学习的预训练语料库极为庞大，与传统的搜索引擎相比，其能精准定位到具体的法律条款。

其三，ChatGPT应用于文本处理，将大幅节省法律从业者的时间和精力。ChatGPT能够根据使用者输入的设定条件，自动生成文本内容，实践中一些合同起草、法律文书撰写、文献翻译等技术含量较低的文字性工作可以交由ChatGPT来完成。ChatGPT的应用将带来三个方面的影响：在支持层面上，技术为司法实践提供了信息与便利性支持；在取代层面上，技术可以部分取代由人类执行的功能和活动；在重塑层面上，技术可以改变司法人员的工作方式，提供与以往不同的司法保障，革新司法流程和提供预测性分析。ChatGPT在智慧司法的3.0阶段将通过支持、取代与重塑三种方式影响司法系统。在支持层面上，技术为司法实践提供了信息与便利性支持；在取代层面上，技术可以部分取代由人类执行的功能和活动；在重塑层面上，技术可以改变司法人员的工作方式，提供与以往不同的司法保障，革新司法流程和提供预测性分析。

深度合成展现了其强大的能量和可能性，但其带来效率和便利的同时，也带来了伴生风险。

其二，数据隐私保护问题。在ChatGPT的训练数据来源中，可能存在个人隐私数据泄露的风险，之前GPT-2事件就引发了隐私泄露的担忧。用户生成合成内容需要上传照片、视频或直接与人工智能机器对话，这些过程都可能导致个人信息的袒露。生成合成类算法应用中，用户对话的过程也是被收集信息的过程，尤其是在与机器直接明文的对话中，用户的隐私更可能被侵犯。这些个人信息可能会被用于用户画像和训练模型，从而对个人隐私造成进一步的威胁。因此，在应用中需要加强对数据隐私的保护，采取有效的措施来防止个人信息的泄露和滥用。

其二，数据安全风险。ChatGPT的预训练大模型促进了合成数据产业的发展，深度合成技术可以模拟真实用户数据并规避高昂的隐私合规成本。深度合成技术也有可能通过预训练大模型的强大推理能力学习找到真实数据。而针对合成数据的治理，各国尚无针对性的规章制度，并且用户与生成型人工智能模型的海量交互数据如果是跨境产生的，还会引发数据跨境安全问题。

其三，知识产权侵权风险。一方面，ChatGPT生成内容存在被他人侵权的风险。由于我国现行法律框架下难以认定人工智能或电脑算法为作品的作者，因此可能导致这部分内容无法得到法律保护。另一方面，ChatGPT生成内容存在侵犯他人权利的可能性。大多数生成式人工智能模型的训练，使用的是从互联网上搜集的材料，这些材料并未取得许可或支付报酬，因此可能引发知识产权侵权风险。

张吉豫：一些专业人士认为，ChatGPT这样的通用模型体现出来的智慧涌现，可能改变整个信息分发获取的方式、革新内容生产模式、全面升级人机交互方式，加速推动公众的研究，等等。可以说，这样的通用模型可能成为新一代的基础设施，给各行各业带来影响。其中，其将为智慧司法、数字法治建设带来新的机遇，包括但不限于以下方面：

二是自然语言处理技术，包括文本分类、情感分析、命名实体识别、上下文感知和机器翻译等，这些技术可以用于智能客服、智能写作、智能推荐等场景。例如，ChatGPT可以用于智能法律搜索引擎，能够更快速、智能地搜索出相关的法律条款和类案。

智能法律咨询是另一个重要领域，即利用人工智能技术开发智能法律问答机器人等智能法律咨询产品。这些产品能够更快速、准确地回答用户的法律问题，提供更高效、便捷的法律咨询服务。用户可以通过语音或文字与这些产品进行交互，获得法律方面的建议和指导。这些智能法律咨询产品的开发有助于降低基础法律服务的门槛，使公众可以更加便利地获得一般的法律服务。与传统的法律服务相比，这些产品可以提供更多的信息和咨询，帮助用户更好地处理法律问题。这不仅有助于提高公众的法律意识和知识水平，还可以减少用户的时间和精力成本，提高服务的效率。智能法律咨询是人工智能技术在法律领域的应用之一，它有助于提高法律服务的效率，帮助用户更好地处理法律问题，并降低基础法律服务的门槛。

智能文本分析是ChatGPT可以帮助分析法律数据和文本，从中提取关键信息和模式。例如，ChatGPT可以被用于自动化合同审查和纠纷解决，能够更快速地识别合同中的问题和纠纷，并提供解决方案。此外，ChatGPT还可以用于生成摘要、综述等工作，为法律问题的研究提供便利。

四是智能文书撰写。ChatGPT可以辅助撰写合同等法律文件。

当然，ChatGPT在带来便利和机遇的同时，也伴随着许多维度的法律风险。包括侵犯知识产权的风险，如生成信息损害他人人格、财产权益的风险，以及生成虚假或错误信息、违法不良信息、带有歧视性内容的风险，等等。此外，其在司法和公共事务等领域的应用，还可能存在挑战程序正义等风险。

问题二：如何解决ChatGPT所引发的知识产权风险？

主持人：ChatGPT使用了大量互联网数据和书籍文档资料来训练大规模自然语言模型，并从人类的反馈中学习知识，因此具有强大的内容生成能力。使用这项新技术生成的内容是否有著作权？ChatGPT在什么情况下会侵犯知识产权（特别是著作权）？其生成的作品如果涉及第三方权益，该如何处理？对于ChatGPT生成的文本内容，用户如何使用才能规避法律风险？

皮勇：ChatGPT运用海量数据训练其算法，在与用户的人机对话过程中生成文本信息，由于这些信息不是人类创造的独创性思想表现，故其不应享有著作权。ChatGPT在人机对话中表现得像人一样，生成的信息接近人类的回复，但是，其不是著作权法乃至法律上的人。包括ChatGPT在内的人工智能系统处于弱人工智能阶段，仅具有局限于特定领域的专用智能和感知智能，距离以通用智能、认知智能为标志的强人工智能特别是超级人工智能还有很长的路。而且，即使人工智能系统发展到强人工智能，由于其以工业品为载体，智能系统也可以与载体分离，甚至其智能系统本身也可以反复“起死回生”。这与人类有根本的差别，人类的身体由自然人生产且不能再生和更换，人类个体的智慧与身体同存同亡。因此，人工智能系统不是当前乃至未来较长时间以人为本的法律体系中的主体，不能享有包括著作权在内的人类权利。同时，由于ChatGPT生成的信息没有表现其运营者、管理者或程序设计人员的独创性思想，故也不能赋予以上主体著作权。

ChatGPT在商业运营中，其生成的作品被视为作品，需要遵守著作权法的相关规定。如果其信息与他人作品在形式上相同，则可能构成对他人作品著作权的侵犯，需要由其运营者、管理者等责任主体承担相应的法律责任。如果ChatGPT生成的信息泄露了他人的个人信息、商业秘密或国家秘密，则需要由其运营者、管理者承担损害赔偿责任，并可能面临行政处罚。对于犯罪行为，需要行为人对其行为及后果存在罪过，但ChatGPT的运营者、管理者只对ChatGPT产生的危害后果具有可能的、概括的认识，不满足传统犯罪的构成条件，不能按照传统犯罪来认定。

使用 ChatGPT 生成的语言模型工具时，需要谨慎对待可能的法律风险。用户应当将其生成的信息作为线索、提示或者参考来使用，并时刻保持对法律风险的警惕性。在采信其生成的信息的基础上，用户应当遵守学术规范和法律规范，尊重他人合法权益，避免侵犯他人知识产权。在创作时，用户还应当注意避免抄袭和剽窃，遵守版权法律法规，以合法的方式再次创作、编写。这样既能有效规避相关法律风险，又能提高创作效率。

张凌寒：从著作权法角度看，GPT基本属于重组式创新，尚不具有真正的创造力，不能成为著作权的主体，但并不意味着著作权法就不应当保护人工智能生成物（AIGC）。对于具有独创性的人工智能生成物，可以参照著作权法上关于职务作品或雇用作品的规定，将创作过程中真正实施人工干预、人为编排或创制该算法的人认定为作者。对于人工智能生成物应当考虑是否存在使用人工智能创作的人，且其在创作过程中是否付出了智力或创造性劳动。如果没有付出，这个产品是否构成作品是值得商榷的。目前国内外的通行做法都会考虑除了人工智能之外，是否有人的智力或创造性劳动。

使用深度学习技术让人工智能变得更加智能已成为当前行业面临的一项紧迫问题。在这个过程中，需要建立一个庞大的人类作品数据库，让算法学会根据不同内容题材等进行创作。然而，由于我国现行著作权法没有明确将数据挖掘等智能化的分析行为规定为合理使用，这种行为可能构成著作权侵权。当ChatGPT生成的作品涉及第三方权益时，使用该作品需要遵守相关法律规范。例如，在涉及他人已发表的作品时，需要取得原著作权人授权，向其支付费用，并在授权范围内使用该作品。或者，在著作权法允许的“为个人学习、研究或欣赏”等合理使用范围内，也可以使用该作品。但是，如果未经授权或者未经许可就进行复制、发行、展示、表演、播放等行为，则可能构成侵权行为。因此，在使用ChatGPT生成的作品时，需要遵守相关法律规范，以避免不必要的风险。

用户在使用ChatGPT时，需要满足“两个合规”。

其二，输入合法。在使用GPT-3.5时，用户需要遵守GPT-3.5开发者OpenAI的使用条款以及相关法律法规，例如不得输入他人隐私、敏感信息、商业秘密、国家机密等，保护用户隐私和数据安全。

其二，使用合规。根据OpenAI的使用条款，在输入行为符合使用条款和相关法律规定的前提下，OpenAI将该文本内容的所有权和利益转让给了用户。但实际上用户难以甄别该文本内容是原创作品还是对他人作品的剽窃。此种情况下，如果擅自进行复制、发表、改编或者传播，可能会侵犯他人著作权，因而用户需要在合法前提下谨慎使用ChatGPT生成的文本内容。

张吉豫：人工智能生成的内容是否具有著作权，是一个有争议的问题。一般而言，依据著作权法，作品应具有独创性，体现人类的编排取舍。2018年《北京市高级人民法院侵害著作权案件审理指南》，特别强调了作品是自然人的创作。我国“菲林诉百度案”中，法官即认定，该案中威科先行自动生成的分析报告不构成作品，软件开发者和输入关键词的用户都不能认定为作者。但也并不是说，有人工智能的加入就一定不是自然人创作。在一些特定情况下，人工智能生成内容可以认为体现了人类的编排取舍，具有独创性，可认定为自然人创作。ChatGPT的研发者对于最终生成的内容并没有直接的编排取舍，用户往往只是输入问题进行引导，因而很难认定具有著作权。此外，将人工智能认定为作者，法律上基本不认可。尽管有些书籍将人工智能署名为作者或者联合作者，但并不表示法律上认可。

ChatGPT对著作权的侵犯可能发生在两个阶段：训练阶段和文本生成阶段。在训练阶段，Chat-GPT需要大量的文本进行训练，涉及对大量作品的复制。虽然许多国家有相关制度安排，但我国还未对此作出专门性的规定。时代发展到今天，著作权保护的边界不仅关乎文学艺术创作，也关系人工智能科技的发展。ChatGPT这类大模型被视为新的重大智能基础设施，对我国在这方面的发展对各个产业发展升级以及国家安全都有深刻影响。然而，这类大模型通常建立在海量数据训练的基础上。如果用于训练的作品都需要获得许可，一方面，成本巨大；另一方面，如果一定的著作权人群体不愿意给予许可，被用于训练的数据可能因此产生缺失或偏颇，人工智能模型不能得到更加全面的训练，由此可能产生“偏见”。对此，美国版权法通过灵活的合理使用制度来解决这一问题。日本、欧盟也作了一些相关规定，安排了不同范围的文本挖掘、数据挖掘方面的侵权例外制度。相比之下，欧盟更保守一些，对一些领域作了一定限制。我国著作权法虽然在“合理使用”条款中留有开放接口，但还有待著作权法实施条例或者其他法律法规修改时将该条款加以具体落实，以为技术发展尽可能减少不必要的障碍。

在文本生成阶段，尽管ChatGPT背后的技术机理并不是整段复制他人作品，但生成的内容也可能存在侵犯他人著作权的情况。这一行为涉及到侵犯复制权和信息网络传播权。如果网络提供这些内容，也可能构成侵犯信息网络传播权。因此，需要讨论是否需要为此类大模型的侵权责任设置一定的避风港，以及采取哪些措施促使其减少侵权。

用户需要认识到，ChatGPT生成的内容一方面存在侵权风险，另一方面其也经常“一本正经地胡说八道”，因此在严肃的学术作品创作中，最多只能将ChatGPT作为启发，相关内容则需要用户自己进行认真求证。

问题三：如何解决ChatGPT引发的数据安全风险？

主持人：在人机交互的过程中，ChatGPT会获取大量用户或者业务相关数据，并加以识别及存储，可能导致相关信息泄露。对于由此带来的侵犯个人信息、泄露个人隐私、商业秘密的风险，法律如何应对？OpenAI的使用条款并未对用户输入ChatGPT的机密信息提供保护，如果出现侵权情形，OpenAI是否应承担相应责任？

皮勇：ChatGPT的算法学习包括对数据资料的无监督学习、人工指导的有监督学习和与用户人机对话过程中的学习，用户输入的信息会被记录并成为机器智能的组成部分，从而对用户的个人信息、秘密信息、商业秘密和其他秘密情报形成安全风险。从技术上讲，排除对用户提供信息的吸纳是不可能的，阻止其基于这些信息向管理者和其他用户提供与之相关的生成信息，也是不现实的，因为这违反了机器学习的基本规律，因此，在OpenAI单方面拟出的使用协议下，用户使用ChatGPT的确存在安全风险。

GPT基于互联网向用户提供信息服务，属于网络信息服务提供者，需要遵守网络安全法、个人信息保护法和刑法相关规定。根据这些法律规定，GPT必须对用户信息进行严格保密，不得违法收集、使用、向他人提供以及以其他方式处理用户的个人信息。GPT不得泄露、篡改、毁损其收集的个人信息，不得窃取个人信息，不得非法出售个人信息，也不得发布法律、行政法规禁止发布或者传输的信息。如果GPT发布了法律、行政法规禁止发布或者传输的信息，国家网信部门和有关部门应当要求相关网络运营者停止传输，采取消除等处置措施，保存有关记录。由于GPT发布的信息来源于我国境外，如果其含有以上违法信息，上述部门应当通知有关机构采取技术措施和其他必要措施阻断传播。

ChatGPT是一种智能服务系统，当其脱离网络运行时，不受网络安全法和刑法关于网络犯罪立法的规制。为了避免人工智能相关法律缺失导致OpenAI的使用协议成为侵犯合法权益的依据，建议我国研究制定人工智能安全法，明确规定相关使用协议不得成为损害合法权益的豁免依据。此外，要求其提供的信息服务不能损害用户合法权益，不得直接或间接提供对用户权益和其他合法权益、公共安全和国家安全与利益构成威胁的信息，否则，OpenAI及相关主体应当承担民事、行政和刑事法律责任。

张凌寒：针对用户和ChatGPT交互过程中可能产生的一系列侵权风险，应重点规制两方主体。一方为用户，即依据网络安全法、数据安全法、个人信息保护法及其相关配套法规，规制用户输入行为；另一方为深度合成服务提供者，也即ChatGPT的开发者OpenAI。除依据上述法律、行政法规外，还应结合2021年国家互联网信息办公室等发布的《互联网信息服务算法推荐管理规定》、2022年国家互联网信息办公室等发布的《互联网信息服务深度合成管理规定》等算法领域的专门性规定进行监督和管理。

深度合成治理框架中，我国将深度合成服务提供者作为枢纽。该服务提供者需要承担两项管理责任。首先，它需要履行自身的安全管理义务，如进行深度合成内容标识、建立鉴伪与辟谣机制、完成算法备案等。其次，深度合成服务提供者需要履行对上游技术支持者和下游服务使用者的管理责任，提示技术支持者和使用者承担信息安全义务，对使用者输入数据和合成结果进行审核，并提示使用者应对深度合成做显著标识。如规定要求深度合成服务提供者和技术支持者提供人脸、人声等生物识别信息编辑功能的，应当提示使用者并取得其单独同意。然而，OpenAI未履行对用户的提示义务以及对用户输入内容的审核义务，导致数据侵权情况发生。因此，OpenAI需要承担一定的法律责任。

张吉豫：ChatGPT等大规模语言模型需要遵守个人信息保护法、数据安全法的相关规定。一些用户可能意识不到个人信息、商业秘密被处理的可能性。此类模型应当提供选项，让用户选择是否具有个人信息或商业秘密，对于涉及个人信息和商业秘密的，模型如需存储信息或会涉及对模型的更新，应当征得用户同意。

问题四：如何应对ChatGPT回复错误信息的风险？

主持人： 用户随手将看到的内容、观点上传到平台，ChatGPT在用户海量信息提取过程中自主学习进化，存在错误回复问题，若错误回复被应用于商业，可能造成严重后果。实践中，如何应对ChatGPT错误回复的风险？随着人工智能程度的不断提高，ChatGPT是否可以作为独立民事主体对其行为承担相应责任？如果ChatGPT被用作网络犯罪工具，其开发者、设计者能否以“技术中立”为抗辩事由规避责任？

皮勇：OpenAI将ChatGPT提供的信息符合真实性、无害性和有用性作为努力目标，但是，ChatGPT的算法和训练数据存在局限性，特别是来自互联网的数据无法保证真实性、准确性和专业性，其生成的信息难以排除虚假信息。OpenAI虽采取了一些技术措施对ChatGPT生成的信息进行正确性检测，也没有完全消除前述因素的影响，并在较长时间内不可能完全解决ChatGPT提供虚假、错误甚至有害信息的问题。对此，ChatGPT的运营者、管理者应作出能够引起用户足够重视的提示，告知其回复的信息可能是虚假、错误甚至有害的，用户应当自行判断、检验信息的正确性。如果不进行以上提示，甚至误导用户盲目信任，就应当对其提供的信息所导致的损害后果承担相应的法律责任。

关于ChatGPT发展到强人工智能阶段能否成为民事法律主体的问题，笔者认为除非对现有法律体系进行根本性变革，否则，ChatGPT不能作为独立民事主体承担法律责任。ChatGPT提供的信息导致损害后果的，应当由其运营者、管理者承担民事赔偿责任。如果法律认为有必要动用刑法手段防止ChatGPT引起广泛的、严重的危害，有必要对其运营者、管理者规定安全管理义务，违反该义务导致严重后果或者情节严重的，应当承担刑事责任。目前我国刑法规定了网络服务提供者拒不履行信息网络安全管理义务罪，该罪处罚的是网络服务提供者不履行信息网络安全管理义务，防止其他主体妨害信息网络安全管理秩序且情节严重的行为。而ChatGPT提供的信息服务是网络服务提供者自营服务，ChatGPT只是经营工具而非法律主体，防止ChatGPT提供违法有害信息不属于履行信息网络安全管理义务的行为。因此，有必要将不履行智能服务安全管理责任导致严重事故的行为设置为独立的犯罪，以给予充分、合理的刑法规制。

在排除ChatGPT的运营者、管理者恶意影响其算法的情况下，该聊天机器人可以被视为中性技术工具。如果其被作为网络犯罪工具，则不应该追究其开发者、设计者的法律责任。然而，如果ChatGPT的运营者、管理者发现其提供的信息服务被他人用于违法犯罪活动时，根据网络安全法、个人信息保护法、刑法相关规定，其应当承担信息网络安全管理义务，拒不履行该义务并导致严重后果或者具有其他严重情节的，应当承担相应的法律责任。如果ChatGPT的运营者、管理者恶意训练ChatGPT，使之成为歧视或损害特定人群、组织体合法权益或国家安全与利益的工具的，运营者、管理者等应依法承担相应的民事、行政、刑事法律责任。

张凌寒：实践中，应严格执行深度合成治理中有关信息内容安全的监管措施，继续要求人工智能生成物技术与服务提供者在相关人工智能自动生成内容中，履行添加可识别水印或有效警示信息的义务，在源头上实现人工智能自动生成内容的可识别。不过，对人工智能生成物的标识应提高要求。如对ChatGPT或类似软件“以某人风格”生成文本或图像视频等内容时，应当在生成内容的合理位置做出显著标识，以免公众产生混淆或误认。生成内容型的人工智能必然会发生内容安全问题，尽管ChatGPT对基于恶意目的的使用作出了一些限制，但是有技巧的使用者仍然可以采取措施来绕开这些限制。因此，人工智能生成物不仅仍需配备人工过滤审核机制，而且需要在下游督促网络平台采取措施减少违法信息的产出。深度合成监管中的辟谣机制和举报机制同样适用于ChatGPT等生成型人工智能。对于已经或者准备在网络中传播不实信息和可能危害公共秩序的内容，平台有义务停止传输，并且对于频繁发布此类信息的用户通过黑名单或其他机制加以限制和处罚。尤其是在人工智能生成物与机器人账号结合可能带来更大信息内容安全风险时，应在现有账号管理机制中强化对机器人账号的身份识别监管和对权威账号的特殊认定，减少机器人批量推送人工智能生成物。

在我国现有的算法治理体系中，立法者和监管者对ChatGPT等算法技术还具有明显的“工具性”假设。深度合成中的生成型人工智能技术链条的参与者包括：开发者建模并预训练大模型；部署者根据应用需求，或单独或与开发者合作进行参数微调；用户最终与生成型人工智能互动，并决定生成型人工智能的具体用途。尽管ChatGPT已经发展到了能够取得相当一部分人信任的程度，但按照现有责任规则，使用ChatGPT造成的虚假信息传播的责任，主要还是在深度合成服务提供者、部署者和使用者之间分配。随着ChatGPT人工智能程度的不断提高，立法者应考虑赋予算法以法律主体地位，并制定一系列相应制度以纳入现有法律体系规制框架。在现行可能的规范手段中，对算法复杂性列出定性尺度，有助于评估算法自主程度并因应性地予以规范。算法主体性不同于法人等法律拟制制度，而是人造物基于智能性而非为法律规制便宜性获得的法律主体地位。算法法律主体化后，可承担有限侵权责任。

生成型人工智能的技术产出链条上，技术开发者是关键，应当承担一定的深度合成合规责任。深度合成服务提供者是我国深度合成治理的枢纽，既要尽到自身的安全管理义务，又要履行对上游技术支持者和下游服务使用者的管理责任。ChatGPT被用于实施网络犯罪时，使用者即为网络犯罪行为正犯，应承担刑事责任无疑。深度合成服务提供者、技术开发者或设计者客观上为使用者提供了技术帮助行为，能否以技术中立为由出罪，不能简单地以其主观上是否明知来判断，还应当考虑其是否履行了法定义务。只有严格履行网络安全法、数据安全法、个人信息保护法、《互联网信息服务管理办法》等法律、行政法规规定的信息网络安全管理义务，才能以技术中立为由出罪。

张吉豫：《互联网信息服务深度合成管理规定》第23条规定了深度合成技术是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术，并明确了篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术，为ChatGPT这类应用提供了比较明确的监管规则。

《互联网信息服务深度合成管理规定》要求服务提供者建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度，具有安全可控的技术保障措施。这些措施包括采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核，建立健全用于识别违法和不良信息的特征库，以及设置便捷的用户申诉和公众投诉、举报入口等。此外，该规定还要求深度合成服务提供者进行备案，对于具有舆论属性或者社会动员能力的深度合成服务提供者，也应当按照《互联网信息服务算法推荐管理规定》进行备案。这一系列义务对深度合成治理的全链条进行了规范，以确保信息的安全、可靠和负责任。

在用户方面，《互联网信息服务深度合成管理规定》还要求深度合成服务提供者对生成内容的标识和保存信息的义务。其中，标识义务是分级分类的。对于智能对话、智能写作等模拟自然人进行文本的生成或编辑服务，可能导致公众混淆或误认的，服务提供者应当在生成或编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。未来，服务提供者可以进行细化指引，特别是在涉及医疗、金融、教育等问答时，应进行更加显著的风险提示。

人工智慧目前还不能被视为民事主体。在进行了合理提示并尽到了合规义务的情况下，如果公众仍有误信，除非能够证明过错，否则不应让通用语言模型提供者承担责任。可根据具体情况，判断最终服务提供者是否具有责任。

问题五：如何在鼓励人工智能发展的同时完善相关领域立法？

主持人：人工智能技术是科技发展的重要领域，有必要对其加强研究，完善相关法律体系。在对这一新兴领域完善立法时，应重点考虑哪些方面？如何解决技术快速发展与立法滞后之间的矛盾？除立法规制外，还可以通过哪些途径规避人工智能所引发的风险？检察机关如何依法能动履职，有效应对风险挑战？

皮勇：

在创设和完善人工智能技术相关立法时，应坚持总体国家安全观和新发展理念，深刻认识到发展是安全的基础、安全是发展的条件，需要平衡好安全与发展两方面需要。要保障我国新一代人工智能技术等新兴技术的高质量发展，为促进其有益发展、快速应用提供法律支持。同时，需要时刻保持安全风险防控意识，检视新一代人工智能技术对国家安全与发展利益、公共安全、公众和国内组织合法权益广泛、深远的影响，以有益于本国国家和国民利益为立法导向，在发展和安全两方面需要之间寻求适当的平衡。

技术快速发展与立法滞后的矛盾问题，本质上是社会发展与立法稳定之间的矛盾。当社会发展速度快而立法修改速度跟不上时，可以允许在不长的时间内维护立法的稳定性。在不破坏国家法治原则的前提下，发挥理论解释的能动性指导司法实践是良法善治的体现。但是，当社会的发展不适合于按照现有立法来治理时，特别是会给国家安全与发展利益、公共安全、社会进步和广大公众合法权益造成严重的消极影响、阻碍新技术发展应用、不利于充分保护新生重要利益时，应及时创设必要的新法或者修改现有法律。我国应将人工智能安全法列入立法研究和规划的日程表，在五年或更短的时间内制定该部法律。

新一代人工智能技术的应用将对社会各个领域带来颠覆性变革。作为检察机关，应该紧跟这一技术变革的步伐，实现检察业务的智能化升级。同时，应该全面、深入研究包括ChatGPT在内的新一代人工智能研发与应用所带来的安全风险以及与之相关的新形式违法犯罪，并依法惩治相关违法犯罪活动。此外，应该积极推动人工智能相关犯罪立法和司法规则的创设与完善。

张凌寒：我国深度合成人工智能立法既要保障急用先行，避免新兴技术带来的问题，又不能急于推行过于严格的人工智能方案以提高制度的可用性。一方面，在算法监管的经验与框架中，继续推进深度合成的治理；另一方面，在深度合成治理的探索中，逐步形成通用人工智能立法的经验，为未来统筹算法、算力、数据的人工智能治理进行更多有益尝试。

技术发展的快速性与立法的滞后性之间的矛盾是无法避免的，这就要求立法具有一定的前瞻性，在解决现有社会矛盾的基础上，防范于未然，适度超前立法。针对法律漏洞，应及时出台立法解释，尽可能改善立法的滞后问题。当然，我们也应理性认识到，立法无法解决所有由技术发展引发的社会问题。除了立法规制外，还应发挥深度合成治理优势，更新监管逻辑，基于生成型人工智能技术特点实施全链条治理。同时还需立足现行法规中分级分类治理架构，结合技术、产业和应用建立有机体系和设置具体规则，以形成在全球更具影响力的深度合成治理法律制度体系。

面对人工智能技术带来的风险，检察机关应着重从以下四个方面依法能动履职：

其二，运用人工智能技术提高刑事办案效率，通过运用刑事办案智能辅助系统，对涉人工智能刑事案件行使审查起诉权，积极审查事实、证据、程序等是否存在疑点。

其二，推进涉罪人工智能技术研发、应用企业的合规整改，督促、引导、帮助涉案企业顺利完成合规整改；

其三，行使法律监督权，监督法官在人工智能技术辅助下作出的司法决策是否公平公正；

其四，开展公益诉讼，有效防范侵犯个人信息、泄露隐私等问题。

张吉豫：对于新兴领域进行立法完善时，既要考虑其发展是否有不合理的制度障碍，又要考虑适当的法律规制模式。面对处在快速发展阶段的ChatGPT这类大模型，我国需努力发展我们自己的大模型，一方面要排除数据训练等方面的不合理障碍，促进数据要素的流通利用；另一方面要建立发展与安全相统筹、符合科学发展规律和发展阶段的赋能型监管理念和监管模式，包括将弹性条款与具体规则、标准相结合，建立敏捷联动的监管关系及便利公众监督的渠道等具体结构和路径。

在治理过程中，需要充分调动多元主体共同治理，形成多元共治的格局。我国科技领域立法中特别注重多元共治，例如网络安全法、数据安全法、个人信息保护法等都有明确体现。2021年9月，国家互联网信息办公室、中央宣传部等9部门联合发布了《关于加强互联网信息服务算法综合治理的指导意见》，其中专门指出要“打造形成政府监管、企业履责、行业自律、社会监督的算法安全多元共治局面”。

人工智能治理领域的涉案企业合规不起诉制度，将有助于提高人工智能风险防控水平，建立预防与惩罚并举的人工智能风险防控系统，在预防人工智能企业犯罪、加强企业自我监管、实现企业依法依规经营等方面发挥积极作用。

责任编辑 | 王睿

审核人员 | 张文硕

本文声明丨本文章仅为交流之目的，不代表北大法宝的法律意见或对相关法规/案件/事件等的解读。

Error response

Error code: 414

Message: Request-URI Too Long.

Error code explanation: HTTPStatus.REQUEST_URI_TOO_LONG – URI is too long.