ChatGPT背后的技术演进与新一代AI应用前景

AIGC与创业12mos agoupdate lida
96 0 0

文章标签:AI, ChatGPT, 自然语言处理, 人工智能

来源:华兴资本

自 ChatGPT 问世以来,人工智能领域再次成为焦点所在,其中 AI 大模型作为一种具有颠覆性的新技术,引领了新一轮的热潮。众多知名企业及创业者纷纷投身于这一领域,引起了业界的广泛关注和市场的热烈追逐。

文章专业高手水平的表达如下:在当前这场狂热的庆祝活动中,人们实际上正在见证人工智能(AI)的飞跃,甚至有人认为它代表着一种全新的生产力革命。那么,我们应该如何解析现象级产品ChatGPT背后的技术进步呢?围绕新一代AI以及其产业链,又有哪些领先的应用场景和投资机会已经率先落地呢?

近期,华兴新经济基金科技与企业服务团队深度剖析了ChatGPT的发展轨迹和技术理念,重点关注了生成式AI技术的创新和进化方向。进一步地,我们对未来关键应用场景和产业链机遇进行了深入的探索和研究。我们将这些研究成果整合成本文,希望它能引发大家的思考,为大家带来一些有益的启示和收获。

ChatGPT背后的技术演进与新一代AI应用前景

ChatGPT是由美国人工智能研究机构Open AI于2022年11月底推出的一个人工智能聊天机器人程序。仅仅40天后,该程序的月活跃用户数量便突破了千万大关,而在上线60天后,其月活用户数量更是一举突破亿级,增长速度堪称同类型产品的翘楚,创造了历史新高。

ChatGPT是一款不断成熟的AI产品,它融合了大模型(Transformer)技术和基于人类反馈的强化学习,这是AI技术演进的一个新阶段。在技术层面上,ChatGPT的核心优势在于其采用了Transformer模型,这一技术的出现使得大规模数据训练模型成为可能。此外,通过结合Alignment技术,模型的社会性也得到了提升。以GPT为例,AI行业已经步入了一个新的发展阶段。这个阶段的背后,技术上的重大突破主要体现在模型技术、参数、训练数据以及训练方法等方面的演变与融合。

生成式AI与上一代AI的核心区别来自于以下几个维度:

Transformer架构的出现,为大型参数模型的开发提供了可能。2017年,谷歌公司推出了Transformer模型,它采用并行化的语言处理方法,极大地提高了并行计算的效率。基于Transformer模型的改进,Open AI于2018年首次提出了GPT模型。该模型能在无监督条件下进行训练,并在大规模语料库场景中显著提升模型性能,从而将自然语言处理(NLP)领域正式引入预训练时代。

在大规模数据的训练过程中,模型参数的提升会引发模型的涌现现象。对于语言模型(LLM)来说,其模型效果的关键因素在于训练数据量以及其质量,其中训练数据质量的重要性甚至超过了参数。为了达到最优效果,我们需要不断地尝试训练数据的清洗和模型参数的调整等方法。然而,真正推动大模型发展的是模型的涌现能力。到了2022年1月,随着思维链(一种提示词方法,不仅能给出结果,还能给出计算过程)的引入,模型性能发生了显著的变化,明显超越了小模型的精调。这标志着大模型研发路线的拐点时刻来临。

在训练方法的整合与优化过程中,以ChatGPT为例,我们可以看到RLHF方法的引入带来了显著的效果。首先,这种方法可以有效地 align GPT的输出,使其拥有更加人性化和友好的语言逻辑,从而为其奠定与公众沟通的基础,并确保其符合监管规定,避免陷入与上一代聊天机器人泰依同样的困境。其次,人工反馈的加入也有助于模型更深入地理解人类的思考和意图。综合来看,LLM的演变和提升并非源于单一的技术或训练方法,而是通过持续对各种模型技术和训练方法的工程化尝试和整合带来的结果。这是一个需要时间去探索和验证的过程。

ChatGPT背后的技术演进与新一代AI应用前景
ChatGPT背后的技术演进与新一代AI应用前景

大模型具备高的算力门槛、创造力门槛、工程化门槛等,使得其必然是高举高打的。从行业终局上看,大模型的终局会类似云,但考虑到不同的技术路线,会比云略分散,预期市场将有4-5家通用大模型公司,其中1-2家可能属于创业公司的机会。

同时,市场会出现几十亿-百亿级参数级别的服务于特定场景的所谓vertical的模型。考虑到更快的落地速度、更低的使用成本以及不亚于大模型的使用效果,叠加更好产品交互体验,vertical的模型会凭借自己在特定场景的深耕而有自己的一方市场。

ChatGPT背后的技术演进与新一代AI应用前景

大模型是有边界的:大模型类似于以往操作系统的存在,其发展起来的核心就要铸造自己的生态,生态的繁荣才是其稳固且长期的壁垒。所以我们看到了Open AI与微软的结合是一个双赢,且是对双方都有极大放大效应的组合。为了生态的繁荣,大模型一定有自己的不可为,同时,大模型的能力也是有边界的。其本质是语言模型,对于规模导向、资源导向、产品体验导向的领域,都不是未来迭代和发展的关键,也不是其能力所在。

大模型生态下的软件和应用:LLM的发展本质带来的是人与软件的的交互形式发生了根本性的改变,所以从浅层来说,软件公司需要思考的是在这个基础上如何让软件的使用门槛更低,而更深层次需要思考的是,未来工作流会不会发生变革,而带来Best Practice的变革,但基于新一代AI的infra的机会是确定的。

ChatGPT背后的技术演进与新一代AI应用前景

基于此,我们简要梳理了四个基础模型的筛选标准:

主流benchmark任务表现:包括其在主流的机器学习任务上的表现(与当下特定任务下表现最好的模型做比较);跨多模态/跨多语言的的能力、参数量/训练数据质量等作为参照。

技术路线:虽然GPT的decoder-only暂时看起来热度最高,但我们依然保持开放度,关注其他transformer变体的模型。

创始人:有工程化经验的创始团队。大模型本质是摸着石头过河,有实际经历的团队在效率和潜在的成本上会有极大优势。

综合实力:融资能力强+其选择的战略伙伴。

ChatGPT背后的技术演进与新一代AI应用前景

因为底层大模型兼具数据壁垒和算力壁垒,对资金/算力要求高,且具备优势的公司可建立起用户调用和模型迭代之间的飞轮,预计头部玩家较为集中。而目前国内市场格局仍还较为初期和分散,参与大模型的公司已超过30家,未来市场将面临洗牌。

而应用层的落地,发展路径可能会不太一样。这主要在于应用层可基于行业Know-how及数据对模型进一步优化,新一代AI对人类思维理解能力跃升,而行业知识则可以使AI更具备行业专深的能力。打一个形象的比喻,上一代AI模型如果是中学生,这一代大模型即是一个具备通识教育的本科生,应用层要做的就是专才的研究生。伴随专业知识输入和行业Know-how输入,AI可应对复杂度更高,且专业性也更强的工作任务,并能基于行业知识完成融会贯通。

ChatGPT背后的技术演进与新一代AI应用前景

目前在应用侧,生成式AI在文本领域、图像领域、代码领域的应用已经初步成熟,而视频/3D/游戏领域的成熟应用仍需要一定的发展时间。

以文字生成为例,上一代AI能力以辅助功能为主,如文字纠错、转写等,但核心价值还是由人创造。新一代AIGC自动生成部分专业内容,核心是基于对上下文理解后的结构化写作,类似于由辅助驾驶逐步走向自动驾驶,实现对业内初级专业人员的替代,如其可根据用户需求完成对简单专业材料的书写,如突发新闻、网络自媒体稿件等,乃至标书制作、招股书等各类有结构化规律的文书工作均可部分涉足,从而为文字作者、翻译人员、插画创作者、配音人员、音乐制作人、视频编辑人员等提供增效。

目前,借助大模型在细分场景内完成深耕,海外已有相关独角兽公司,我们看到如Jasper、Midjourney、Stability.AI等公司都在快速发展。而针对现有的各类软件,也均有接入新一代AI能力,如Notion AI、Office Copilot、Github Copilot等,我们预计AI落地将同时对新场景和老场景下的软件带来深远影响。

ChatGPT背后的技术演进与新一代AI应用前景

在应用侧,新一代AI对现有应用层软件也将带来影响。一方面,新一代AI对偏管理属性或行业知识属性的赋能效果更明显:此类软件的核心价值在于提供基于行业Know-how或管理Best Practice的知识凝结,现在借助能力更强的AI功能可使软件功能流转更为智能。新一代大模型公司可完成AI功能的搭建,但无法短期快速积累行业Know-how或管理实践,AI更多作为赋能者提升此类软件的实际使用效果。

我们预期,对于具备行业数据+工作流能力的积累的软件服务场景,在AI模型上完成Fine-Tuning,结合垂直行业知识+模型调优,可进一步在专业场景内使用,新一代AI的加入将大幅加强软件的智能性。

另一方面,新一代AI可能对纯工具类软件具有负面影响。无Know-how或数据沉淀下的工具软件的壁垒在大模型面前相对较低,特别是以上一代NLP技术为核心优势的公司,其技术能力被相对拉齐,后续需尽快拥抱新一代技术。

综上,在应用端,我们主要关注文字/图像/代码三个模态领域首先落地,新场景下关注结构化内容生成叠加高价值人力场景,可实现降本增效效果的机会;老场景下关注有潜力完成专有数据丰富积累+垂直行业Know-how积累的公司,推动公司后续跑起用户-数据-效果的飞轮。

本文由华兴资本集团(连同其关联公司,统称“华兴资本”)编写,谨供接收方作参考用途,不构成对接收方的投资建议,不构成买卖、认购证券或其它金融工具及产品的邀请或保证,不作为也不应被视为在任何地区对任何证券的研究报告或任何基金募集文件或对基金投资人的任何信息披露文件。接收方不应仅依靠本文,而应按照自己的判断作出投资决定,并在作出任何投资行动前,咨询专业意见。

本文所载资料的来源皆被华兴资本认为可靠,但华兴资本概不担保本文所含信息的准确性、完整性或新近度。本文所载的见解、分析、预测、推断和期望均截至本文的发表日期,且可能在未经事先通知的情况下调整。华兴资本与本文所提及的公司之间可能存在或寻求业务关系,因此,接收方请知悉可能存在的影响本文客观性的利益冲突。华兴资本不对因使用本文而承受的直接或间接损失承担任何责任。未经华兴资本的事先书面同意,本文件或其任何内容不得被披露或用作其他任何目的。

特别声明:以上内容仅代表作者本人的观点或立场,不代表新浪财经头条的观点或立场。如因作品内容、版权或其他问题需要与新浪财经头条联系的,请于上述内容发布后的30天内进行。

举报/反馈

AI, ChatGPT, 自然语言处理, 人工智能

© Copyright notes

Related posts

No comments

No comments...