在2023年7月6日，第21届世界人工智能大会（WAIC）于上海世博中心盛大开幕。在这次盛大的会议中，我国知名科技公司百度的首席技术官兼深度学习技术及应用国家工程研究中心主任王海峰，深入剖析了文心大模型3.5版的重大核心技术，并介绍了飞桨生态的最新发展情况。此外，他还详细阐述了人工智能产业的新模式，为我国人工智能技术的最新发展动态提供了有力支撑。
飞桨已凝聚750万名开发者，文心3.5效果提升50%，推理速度提升30倍
如今，人工智能技术以大语言模型为核心在全球范围内引发了一场科技与产业的革命，从而推动产业升级和经济增长。各行各业都将面临深刻的变革。IT技术栈的底层架构也经历了根本性的转变，从芯片、操作系统和应用分层架构转变为芯片、框架、模型和应用的四层架构。其中，深度学习框架和大模型构建了产业智能化的基石，它们将支持各行各业的智能化应用重塑，助力我国经济的高质量发展。
据深入了解，百度在人工智能四层技术架构的各个层面上都有其独特且领先的自研技术，尤其是在框架层和模型层，这是架构的核心部分。文心大模型的最新突破，得益于飞桨平台和文心的共同优化。飞桨，作为我国首个自主研发的产业级深度学习开源开放平台，已经吸引了大量开发者的参与。王海峰在现场分享的信息显示，飞桨平台至今已经汇集了超过750万名的开发者。这也是百度自2023年开始，首次公开披露飞桨生态的最新数据。
自2019年3月推出1.0版本以来，百度文心大模型经过四年的技术深度挖掘和研发的不断迭代，已经升级至3.5版本。王海峰透露，文心大模型3.5在效果、功能和性能方面都实现了显著的提升。它不仅实现了基础模型的升级，而且在精调技术创新、知识点增强以及逻辑推理增强等方面都有所突破。这些优化使得模型的效果提升了50%，训练速度增加了2倍，推理速度则提升了30倍。
核心技术持续突破，效果和效率齐跃升
今年三月份，百度在全球科技巨头中率先推出了文心一言这款具有知识增强功能的大语言模型。作为一款先进的语言模型，文心一言首先通过学习海量的数据和丰富的知识库进行预训练，从而构建出一个强大的基础模型。在此基础上，该模型运用了有监督精调、人类反馈的强化学习以及提示等技术，进一步提升了自身的性能。此外，文心一言还具备知识增强、检索增强和对话增强等多重技术优势，使其在同类产品中脱颖而出。
王海峰深入剖析了文心大模型3.5的关键技术创新。在基础模型训练方面，其运用了飞桨的最先进的自适应混合并行训练技术以及混合精度计算策略。此外，通过多元化的策略优化数据源和数据分布，模型迭代的速度得以提升，从而显著增强了模型的效果和安全性。同时，该版本还创新性地引入了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略以及双飞轮结合的模型优化等新技术，进一步强化了模型的效果以及其对不同场景的适配能力。
在知识增强和检索增强基础上，文心大模型3.5提出了“知识点增强技术”，对用户输入的查询、问题等进行分析理解，解析出生成答案所需要的相关知识点，之后运用知识图谱和搜索引擎为这些知识点找到相应答案，最后再用这些知识点构造输入给大模型的提示，为大模型注入更具体、更详细、更专业的知识点，显著提升大模型对世界知识的掌握和运用。
在推理方面，通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术，提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。
新增插件机制，拓展大模型能力边界
文心大模型3.5新增了插件机制，文心一言已经于6月17日对外发布官方插件百度搜索和ChatFile。百度搜索是默认的内置插件，使得文心一言具备生成实时准确信息的能力。ChatFile是长文本摘要和问答插件，支持超长文本输入。
王海峰表示，文心一言将发布更多优质的百度官方和第三方插件，让用户能够更好地应用文心大模型，同时也将逐步开放插件生态，帮助开发者基于文心大模型打造自己的应用。
广泛应用于各类场景，加速产业智能化升级
现场王海峰展现了文心一言在办公、会议、编码等场景的应用，文心一言成为工作中的“超级助理”，帮助总结工作沟通要点，实时记录会议内容，形成会议议题、摘要及总结等关键信息，可以通过各类插件完成指令任务，包括查询日程、创建会议、设置待办、申请休假等，也可以在工程师编码过程中自动推荐和生成代码。据悉，目前这些功能已通过智能工作平台“如流”应用于百度的工作流程中，帮助提升工作效率，提高决策质量。
王海峰表示，凡是要跟语言文字或程序代码打交道的应用场景，都可能有文心一言的用武之地。已经有很多在积极应用文心一言的场景，例如能源、金融、教育、办公、媒体，等等。在文心一言这类大模型产业落地的进程中，可以采用“集约化生产，平台化应用”的模式，即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来，通过低门槛、高效率的生产平台，为千行百业提供大模型服务。
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
Related posts
