ChatLaw:北大团队发布的首个中文法律大模型落地产品

78 0 0

文章主题：北大团队, 中文法律大模型, ChatLaw, 法律知识库

北大团队推出了首个中文法律大模型落地产品——ChatLaw，旨在为广大民众提供普及化的法律服务。该产品具备文件支持、语音输出的功能，并且能够协助用户进行法律文书撰写、提供法律建议以及推荐法律援助资源。

法律大模型与幻觉

大语言模型为我国法律行业注入了科技的魅力。它的出现使得原本复杂的概念变得易于理解，让深奥的知识变得触手可及。借助多次对话，用户可以不断逼近事实真相，从而从模型中获取精确且专业的法律建议。然而，语言模型的局限性也不容忽视，那就是它可能产生的幻觉。这种幻觉体现在模型生成的内容上，即可能包含错误的信息。举例来说，当用户向ChatGPT提出法律问题时，有时会得到模糊甚至错误的回答。

这一现象的本质是，ChatGPT数据集中并未包含中国法律，它不具备中国法律知识。

作为一名科研工作者，对于模型所引发的问题，尤其是涉及到法律领域的严重问题，我们始终无法回避。对于技术的提供者来说，我们有义务确保我们所生成的内容是准确无误的。仅仅依靠法律对话数据的微调，是难以在实际法律环境中得到应用的。即便是最先进的模型如GPT4，在处理法律问题时也可能产生幻觉和偏误。因此，为了保证模型生成的稳健性，我们需要从模型训练的阶段开始就进行干预和调整。我们利用海量的判例文书原始文本、法律法规以及地方政策，构建了一个全面的法律知识库。

在保证知识库的及时更新和专业性的同时，我们与北京大学国际法学院以及业界知名律师事务所展开合作，从而确保数据的可靠性与专业性。在训练过程中，我们大规模地将法律数据输入模型，并通过特殊处理和强化，使得模型在后续推理中能够具备法律先验知识，并保持稳健。此外，我们还设计了一系列模块，将通用模型、专业模型和知识库整合在一起，以便在推理过程中进行约束，进一步确保生成的法律法规的正确性，最大限度地减少模型出现的幻觉情况。

ChatLaw:北大团队发布的首个中文法律大模型落地产品

我们将一系列技术策略称为“先验知识约束”，其主要目的是保证模型在生成法律内容时的准确性。为了验证其有效性，我们的团队的一位成员特别搜集了过去十年的中国国家司法考试题目，并构建了一个涵盖2000个问题的测试库。通过采用ELO评分体系进行评估，我们发现ChatLaw模型在测试集上取得了最高的分数。这无疑证明了“先验知识约束”的显著作用，它使得拥有海量参数的模型在专业知识领域仍能保持一定的精确度。

“先验知识约束”机制能够保证模型所提供的法律建议更加精准。得益于语言模型的特性，用户即便运用自然语言提出基础问题，也能够获得智能程度较高的回答。在这种背景下，用户可以通过多次对话，不断向大语言模型补充事实细节，从而使获取具有实际指导意义的法律建议变得切实可行。

调度模型

但只是准确还不够。法律咨询是高度复杂的场景。其流程标准化，但当事人事实具有多变性。这意味着，模型的智能度是至关重要的要素。为了提升模型智能度，同时增强模型的延展性。我们用了一个“取巧”的办法。那就是“调度模型”的概念。我们用针对性微调，训练了一个专用调度模型。我们为调度模型准备了一个极其丰富的模型&插件库。调度模型通过对用户提问进行语义理解，来对子模型和插件进行调度并重组，最终呈现出多个模态的输入和输出。

基于这套体系，我们将文件、音频、文字整合在一起，同时支持法律援助、法律文书、思维导图等多样化输出。这使得我们的产品具有高度的延展性。例如，当模型判断用户的描述不够具体时，它会向用户要求上传文件，并根据用户提供的信息进行归纳和分析。

不仅仅是归纳事实，ChatLaw还会基于事实生成具体的法律建议、甚至是法律文书。

当用户表露出需要人工服务的意图，模型还会向用户推荐周边的法律援助中心。

调度模型给予了产品更大的可能性。通过针对训练，我们可以接入市场上所有主流LLM，和符合规范的业务接口能力。我们计划在半年内，覆盖法律行业的主流工作场景和主流业务。