ChatGPT一周年|大模型新进化:智能体?超级生态?工具智能?澎湃新闻2023-11-30 14:21澎湃新闻2023-11-30 14:21

AI与情感10mos agoupdate lida
186 0 0
【编者按】2022年11月30日,可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出聊天机器人ChatGPT。它不仅催生了人工智能界的又一轮高光期,还并不常见地被誉为“蒸汽机时刻”、“iPhone时刻”甚至“钻木取火时刻”。
这一年来,被称为“生成式人工智能”的革命性技术激发了全球科技界“把所有软件和硬件重做一遍”的冲动,让具有先发优势的AI基础设施提供商价值暴涨,使得从医疗到航天的科学探索获得被加倍赋能的前景,传说中“奇点”的到来从未变得如此具有可能性。
正如历史上任何一次技术变革,ChatGPT也给我们带来了深深的焦虑。既有对AI威胁人类生存的科幻式恐惧,也有对砸掉我们饭碗、骗取我们钱财、操纵我们心灵的现实担忧。连OpenAI自身,也刚刚经历了一场危机,差点没躲过一夜坍塌的命运。
这一年让我们产生了更多疑问:大语言模型下一步的进化方向是什么?AI芯片短缺何时解决?训练数据快要耗尽了吗?中国的百模之战会如何演化?AI技术发展应加速还是减速?AGI(通用人工智能)是否会存在其他形式?等等。为此,我们邀请了2023年在AI赛道奔跑的业内人士回答这些问题,并提出他们自己的问题。如果你也有自己的答案或提问,欢迎告诉澎湃科技(www.thepaper.cn)。
ChatGPT一周年|大模型新进化:智能体?超级生态?工具智能?澎湃新闻2023-11-30 14:21澎湃新闻2023-11-30 14:21

掀起生成式人工智能浪潮的美国机构OpenAI,在ChatGPT发布前并不为大众所熟知。但在这短短的一年里,它已经成为全球最知名的科技公司之一,旗下产品令谷歌、Meta、亚马逊等几大巨头倍感竞争压力。所有关心AI的人都在好奇:GPT-5到底什么时候发布?谁能够成为OpenAI的真正挑战者?
“用‘挑战者’这个词,就把OpenAI的地位抬得太高了。OpenAI确实在领先,但也不是可以完全忽视其他竞争者。”北京智谱华章科技有限公司(智谱AI)CEO张鹏对澎湃科技表示,“从技术上真正能和OpenAI一较高下的,可能还得是本身有底蕴、有技术积累、认知足够高的企业。”而上海市数据科学重点实验室主任、复旦大学教授肖仰华指出,一旦某个模型初步具备了AGI的形态之后,它的升级和迭代以及演进速度将会十分惊人,所以其先发优势十分明显,实际上要担心的是差距是否会被拉大。
经过早期爆炸式的增长后,OpenAI的用户增长放缓已是事实,尽管“这是非常正常的”。蚂蚁集团副总裁、金融大模型负责人王晓航告诉澎湃科技,从模型能力来讲,其演进是靠数据驱动的,“今天比较大的问题是互联网上公开可得的图文数据基本上已经开始枯竭了”,解决路径有两条。但最主要的问题是,AGI作为中心化的产品,现在还没法成为大众的高频刚需。他进而提出:大模型不应只是一个简单的中心化的超级AI,而应该是一个超级生态,这也是行业趋势。现在还没有特别成功的产业案例,但可能会在未来一两年发生。
对于大语言模型下一步的进化,在接受澎湃科技采访时,科大讯飞董事长刘庆峰提出了3个方向:更大的模型参数;打造AI人设;在各行业场景内做更纵深的定制和服务。百度集团副总裁、移动生态商业体系负责人王凤阳则着重提到了智能体(agent):“我们认为其已经是从商业生态上讲最有价值和最希望能够取得突破的方向。”北京衔远科技有限公司创始人周伯文认为,下一步在于有没有可能让AI跟人一样能够使用好工具,“这是目前我们在大模型领域再往下推进的更重要的一个方向,我把它叫做工具智能。”北京开放传神科技有限公司(OpenCSG)创始人、CEO陈冉指出,要解决数据缺乏的问题,必须做好数字化转型。亚马逊云科技全球渠道副总裁Ruba Borno则认为,真正的困难在于优先事项的排序,在于决定哪些用例对用户来说是最重要的,而不是跟随一切可能有趣的方向。
ChatGPT诞生以后,中国科技企业展开了一场被戏称为“百模大战”的白热化竞争,参与者包括老牌“大厂”和飞速融资的初创企业,其激烈程度和演进速度在中国企业界多年未见。但到了明年,“市场会更冷静客观。第一,未来大模型可能会更侧重应用落地。第二,基础模型肯定会收敛,市面上不会有80多个基础模型版本。”信也科技副总裁、大数据及AI负责人陈磊对澎湃科技表示。
随着OpenAI逐渐不open(开放),对其模型参数和训练细节讳莫如深,而以Meta为首的公司高举开源路线的旗帜,一个被广泛提起的问题是:“开源大模型有机会赶超闭源大模型吗?”云知声智能科技股份有限公司董事长兼CTO梁家恩估计:“在应用数量上开源大模型的影响会更大,但在做到最高水平上,闭源大模型会更好一些。”
以下为采访实录,因篇幅原因有删减:
澎湃科技:GPT-5会发布吗?
陈冉【北京开放传神科技有限公司(OpenCSG)创始人、CEO】:GPT-5、GPT-6、GPT-7肯定会继续发布。数据量爆发式增长,大模型参数不断增长,交互性也会越来越强,只不过大模型的预训练过程已经不需要了,更多的是怎么让它通过好的数据集形成质的飞跃。
梁家恩(云知声智能科技股份有限公司董事长兼CTO):GPT-5只是一个代号,往后走还有很多问题要解决,AGI的能力要继续延伸,OpenAI是一个值得尊重的AGI的引领者。
陈磊(信也科技副总裁、大数据及AI负责人):发布应该是必然,只是时间上难以判断,这取决于市场和监管。推测会更审慎看待GPT-5的推出时间,因为GPT-4现在在市场上还很有竞争力。
肖仰华(上海市数据科学重点实验室主任、复旦大学教授):发布是一个时间早晚的问题,但是它所发布的GPT-5和现在训练出的GPT-5未必是同一个版本。为什么?因为一般研制出来后需要进行一些安全性评估评测。安全性不单单是指在问答交互过程中产生有用的、无害的答案,还包括其能力对整个社会带来的冲击和影响。
事实上OpenAI在GPT-4发布没多久,在今年3月就曾经发布过一些报告,分析了人类的哪些工作岗位容易被GPT系列的大模型所替代,所以这本身也应该被纳入其发布前的安全性评估范围里。也是基于此,很多时候我们认为GPT-5经过适当评估,被认为是安全之后,或许也要做一定能力的剪裁,最终会发布一个相对安全、人类能够接受的大模型版本。
澎湃科技:谁能够成为OpenAI的真正挑战者?
张鹏(北京智谱华章科技有限公司CEO):OpenAI的挑战者可以分成两类,一类是科技巨头,像微软、谷歌、Meta、亚马逊,甚至包括英伟达,但他们的切入点不太一样,挑战的是OpenAI的市场、技术积累、资源。另一类是创业型企业,包括Anthropic、Cohere、Inflection AI等,对OpenAI会有一定冲击。
用“挑战者”这个词,就把OpenAI的地位抬得太高了。OpenAI确实在领先,但也不是可以完全忽视其他竞争者。从技术上真正能和OpenAI一较高下的,可能还得是本身有底蕴、有技术积累、认知足够高的企业。比如谷歌正在整合自己的所有资源,明显看到它在加速,对OpenAI的威胁明显提升了。Anthropic是公认除OpenAI之外强有力的一个竞争者,Inflection AI坚持自己的特色,这些企业也会构成挑战。
本质上,谷歌、Anthropic,包括我们自己,目标都是一致的,就是AGI。其他企业略微会有不同的发展方向或对自己的定义。
(澎湃科技:能成为竞争者是因为什么?)最重要的就是目标和认知要足够有竞争力。OpenAI从2015年瞄准的目标就是AGI,不管是投靠微软还是独立发展,都没有改变初心。第二是资源,微软可以说是不计代价支持OpenAI,能跟这些巨头的资源投入相媲美的,可能就是巨头或者是有巨头站在身后的企业。第三是团队积累、核心技术掌握的程度。
肖仰华:在ChatGPT刚发布的时候,我曾经就有一个观点:在通用人工智能赛道,有可能是只有第一,没有第二。这当然是在不考虑其他因素的前提下,如果是一个充分自由竞争的环境,那么可能是这样的结果。为什么?在不考虑其他人为因素、政治因素等,单纯就技术本身的发展和演进趋势来看,一旦某个模型初步具备了AGI的形态之后,它的升级和迭代以及演进速度将会十分惊人,所以其先发优势十分明显,实际上我们要担心的是差距是否会被拉大。
那么OpenAI会存在挑战者吗?我认为有可能会,但挑战者可能并不是来自于Open AI所开辟的通用大语言模型赛道,有可能来自于一些新的赛道,如具身大模型,当大模型和机器身体结合之后,它对智能本身的促进作用可能远超一个没有身体的纯语言式的大模型,还有包括多模态大模型、基于群体智能的大模型、专业大模型等。也就是说在一些新兴大模型赛道,因为其借助了新的发展智能的“涌现”机制,就有可能超出以语言为核心机制的GPT系列大模型。我一直认为智能的实现路径是多样的,或者说通用人工智能的实现路径是多样的,以ChatGPT为代表的以语言为核心的大语言模型,未必就是最佳捷径,有可能存在更快速的迭代。
我相信OpenAI也有可能意识到这些可能挑战者的存在,但同时在这么多赛道布局,这对任何一个参与者来讲都是非常困难的,所以挑战者理论上存在的,但一定不是在OpenAI自己所开辟的这条赛道上,一定是在其他可能实现通用人工智能的新赛道上。
王晓航(蚂蚁集团副总裁、金融大模型负责人):五年前,很少有人预料到OpenAI会成为AI领跑者。所以挑战者有可能是像Meta这样背靠开源生态的开源大项目,像谷歌这样有数据飞轮、有资源的企业,也有可能是另一个“OpenAI”,也就是专注在算法架构和深度领域潜心钻研的创业公司。
陈磊:短期很难(挑战OpenAI),测评结果上都没有达到GPT-4的能力。从多模态角度看,短期也没有看到特别强劲的挑战者。但这需要动态来看,因为模型在不断迭代,不同模型对不同场景的表现也不一样,很难讲一个模型通吃。但GPT-4可能是个例外,它真的比较全面。
陈冉:国内不可能有挑战者。国外像谷歌、Meta都没有放弃,另外一个阵列像Cohere、Anthropic、X会不断挑战。这个技术不会被垄断,大咖们都想获得挑战资格,所以竞争会越来越激烈。
梁家恩:DeepMind也是很是实力的AGI的推动者之一,但更关注行业问题,他们开发的AlphaFold非常厉害。其实大家都在寻找一个好的通用智能基础,然后用这个技术能力去解决一个问题,就像DeepMind的理念是先解决智能问题,然后再解决各种行业的难题,因为那些难题可能已经超出人类目前的能力范围了。
澎湃科技:如何看待OpenAI增长放缓?
王晓航:从模型能力来讲,共识是模型架构是趋于统一的,所以模型能力的演进是靠数据驱动的。今天比较大的问题是互联网上公开可得的图文数据基本上已经开始枯竭了。解决路径有两条:一是模型架构如何优化来“对齐”多模态数据,包括图文、视频、IoT等一系列多模态数据,打破数据规模、数据质量瓶颈,这是各大AI大模型厂商现在最主要的方向之一。二是落地,OpenAI正在寻找产业数据合作伙伴,这意味着公开可得的数据、高质量的数据耗尽之后,千行百业专业领域里的高质量私域数据规模可能和共享数据不相上下,这部分产业数据怎么像自来水管一样接入到大模型也很关键,这不存在捷径,要跟同行一起管理
从用户来讲,用户增长放缓是事实,早期爆炸式增长不是可持续的。
最主要的问题是,AGI作为中心化的产品,现在还没法成为大众的高频刚需。大模型要真正融入千行百业,让产业全面AI化,才能成为广泛的刚需,这是下一步的增长空间,会有更大的增长。大模型不应只是一个简单的中心化的超级AI,而应该是一个超级生态,这也是行业趋势。所谓超级生态,就是更通用强大的模型、更高效的开发、开发之后集成到各产业中。现在还没有特别成功的产业案例,但可能会在未来一两年发生。
肖仰华:首先,OpenAI的增长缓慢只是指ChatGPT的用户数增长放缓了,这是非常正常的。任何一款新产品经过早期发展之后,随着用户对其新鲜感的消失,自然会存在一些用户流失。这也说明大模型的能力不能停留在只是聊天,应该要尽快向行业深度的痛点需求渗透,真正意义上解决千行百业里严肃的决策问题,才有可能释放价值。
我经常把OpenAI的GPT系列大模型比作电能,它提供的是一种智能。人类历史上从电能的诞生到大规模应用,经历了上百年的时间,为何如此?主要因为在于电能要想赋能应用,还需要很多电器,必须有大量电气设备的研发制造,才有可能真正解决问题。OpenAI进一步的增长动能恰恰也在于此,必须要有利用GPT这种智能的能力,形成各种各样的应用程序,就是所谓的GPTs,才有可能真正解决行业问题,创造价值,推动OpenAI进一步的可持续发展。
张鹏:从现象看本质,并不一定是放缓。盛传的ChatGPT用户增速放缓甚至是下降,其实有很多背后的原因,比如它的API(应用程序编程接口)收入增长很快,也就是说很多用户从初期试一试玩一玩ChatGPT,转向了真正拿GPT的API去开发应用,做商业转化,大家的心态从看热闹转换为脚踏实地做事情了。当然,像C端用户的增长也不是没有天花板的,因为全球网民也就那么多。
陈冉:它没有真的放缓,它的增长趋势超越了TikTok。只能说它到达了瓶颈,瓶颈受基数的限制。
陈磊:这只能反映OpenAI的To C基本面,To C放缓是必然的也是正常的,ChatGPT出来的时候是现象级应用,大家都会去尝试,基数很大,但群体也会逆向选择。另一方面,不能只看To C,集成在微软的Copilot、Office里的使用基数应该是非常大的。还要看到OpenAI投资了一些下游AI应用企业。OpenAI的技术在这些场景的应用到底是什么状态,还需要更加全面来看。
澎湃科技:OpenAI召开首届AI开发者大会后,AI领域的小公司还有没有机会?
陈冉:有,也没有,如果没有独特的方式就很难。互联网时代有阿里、腾讯、百度,后面也有拼多多的冲击。小公司有没有机会,就看小公司做的事有没有创新性或业务的革命性,如果没有这些,小公司没有机会。机会一定是留给那些有想法的初创公司的。
梁家恩:现在的突破更多还是技术底层上的突破,在产业里,应用层的商业价值空间要远远大于技术层。小公司如果只是做一些简单的调优,来形成好的商业模式,这个空间可能会变小。它必须要深入到一个行业里解决更深层的问题,才有机会。
澎湃科技:未来一年,大模型的多模态化预计会演化到什么程度?
王晓航:现在行业重点是多模态,大模型海量多模态数据之间的理解和“对齐”技术还会快速进步。我们讲的是高维度数据,不只是图文、视频,还有IoT和物理世界连接的研究也会慢慢浮出水面,也就是传感、控制这些模态的数据也会跟自然语言“对齐”,在AI领域这个技术叫grounding(落地),怎么把语言和现实世界中的感知、行动堆砌和连接在一起,后来产生更多新能力,比如自动驾驶能力、机器人能力,真正解决端到端的问题,我觉得未来一两年会有大突破。
比如自动驾驶,以往是多个模块进行拼接来训练,但现在像特斯拉的自动驾驶主要在研究端到端的训练,把雷达、视频、驾驶数据和传感器的大量车速、刹车控制数据当作序列数据,来学习它们之间的对应和关联,在海量数据中相互映射后更好理解和预测。这种多模态数据之间的对齐已经超过了自然语言能够描述的知识。所以多模态数据不只是文生图转换,更重要的是如何跟现实社会连接,这在未来会打开另一个新的空间。
肖仰华:我想在未来,但凡有数据支撑的多模态任务,大模型基本上能够胜任。比如大家看到社交媒体上有大量的风景照、自拍照,像这类图像、视频、语音相应的多模态理解能力,是多模态大模型会具备的。基于这些数据,大模态可能还会组合创新出一些能力,比如我们经常看到的一张图“骑着马的宇航员”,大模型一定程度上可以想象这样一种组合是什么样的意境,并且做出准确绘图。
同时也要注意到,还有大量多模态数据在开放平台上很少出现,比如专业的图表,医学里的专业数据,大量的设计图纸或专业图片在互联网上并不存在。那么由于大模型缺乏相应的数据基础,理解对其而言仍然十分困难。这个困难的另外一层原因在于,这些专业多模态数据背后都有相应原理的支撑,比如说电路图结构之所以如此,背后实际上有电路的原理,所以对这种图片的理解或对这种多模态数据的理解,不单单关乎图片本身,还关乎图像背后所遵循的相关科学原理,需要大量背景知识才有可能理解。所以在这一类场景,大模型很难单纯从图片学到多模态数据的认知和理解能力。当然正因为很困难,这也就为我们开辟一些新赛道,或者说为形成差异性竞争优势提供了新的机会。
张鹏:多模态已经在语音、视觉、自然语言的交互感知方面有很多具体进展了。我觉得多模态模型会走向更重要的舞台,可能会融合更多模态的数据,将来可能会有两种以上模态统一到一个模型里,多模态预训练也会导致大模型智能能力或者认知能力进一步提升。
梁家恩:对于大模型来说,即便是多模态,它的核心还是大语言模型部分,因为这部分把语言语义做了核心抽象。例如一个纯文本模型把全球的书全读完了,头脑中已经有一个它所理解的世界了,但不知道树长什么样,鸟叫声是什么样。现在以文本为核心,把各种各样的模态的数据尽可能整合“对齐”起来,它会达到多模态与语义“对齐”的状态。
澎湃科技:大语言模型下一步的进化方向是什么,有什么挑战?
刘庆峰(科大讯飞董事长):接下来大模型的进化方向有3个,首先还是需要更大的模型参数,有算力可支持上万亿浮点参数(GPT-4的模型参数在1.8万亿左右)的训练,这对大模型来说是基本盘。其次,要打造AI人设,让AI可以主动问答,特别是能进行启发性、引导性的提问。最后,大模型要在各个行业场景内做更纵深的定制和服务,把大模型的多模态能力、后台的知识学习表达能力跟各个场景深度融合。
王凤阳(百度集团副总裁、移动生态商业体系负责人):我想把这个问题具体收缩到一个应用场景——营销领域。百度营销之所以打造智能体(agent)商业,是因为我们认为其已经是从商业生态上讲非常有价值和和有希望能够取得突破的方向,文心大模型4.0在理解、生成、逻辑、记忆能力上都有较大提升,如何让大模型底座让智能体的表现更好,应该是下一步的方向。
目前市面上的应用,在智能体方面可能做的相对前沿一些的是情感陪伴类,或者娱乐类。国内外的创业公司往往都更少做要完成复杂商业任务的智能体,而心理类、教育类比较多。不过我们也很欣喜地看到,无论海内外,下半年往复杂商业做的创业公司也多起来了,这毕竟是一个更大的空间。
周伯文(北京衔远科技有限公司创始人,清华大学惠妍讲席教授、电子工程系长聘教授):人作为一种特殊的物种,具有两个特别独特的能力,一个是地球上独一无二的语言能力,第二个就是创造和使用工具的能力。如果先让AI无限地逼近人的智能,下面一个问题在于有没有可能让AI跟人一样能够使用好工具,这是目前我们在大模型领域再往下推进的更重要的一个方向,我把它叫做工具智能。
如果让AI去学会和理解智能,简单讲有一句话可以找到这个方案,叫做tokenized everying(标记一切)。大语言模型看起来所有的一切都是token(注:在AI领域Token通常指文本处理过程中的最小单位),在标记完成以后,我们可以像一个字一个token地输出语言一样,换成一个token一个token地去调用和使用工具,通过对工具使用的组合和工具使用结构的分析,能够完成非常多的复杂任务的交互。
我们可以把所有使用的工具分解成三类,一类是基于物理交互的工具,比如说机械人、机械臂甚至无人驾驶汽车。第二类就是我们把整个事件抽象成一系列的图形界面,叫GUI,比如大家习惯的手机,所有的任务都在GUI上完成。第三类就是所有的事件都被抽象成API,这是硅谷的名言“软件正在吞噬世界”的背后原因,所有的接口都在成为API接口。在这三个假设下面我们可以发现所有这些工具都可以通过处理去做tokenized,经过tokenized的训练,可以让一个具备知识、压缩世界知识的语言模型、基础模型去理解和使用这些工具。
因此,下一代的人工智能同时会兼具语言智能和工具智能。它能够跟人交互,理解人的意图,同时它能够理解这个世界和所需要的工具,在完成人类指令的目标驱动下,会合适地去调用相应的工具完成任务。
张鹏:多模态肯定是一个很重要的事情。多模态最本质的是要提升模型本身的认知能力,这里面包含了理解、推理、自规划等,拆解开来看涉及到跨模态的学习能力和应用能力、融合知识和常识的推理能力。还有最近很火的agent(智能体),它的本质还是推理和自我规划能力,最后公平性、安全隐私还有很重要的工作要做,要有很大投入,确保一个非常智能、像人一样但会犯一些小错误的技术投入到实际应用中时,不至于造成特别大的危害。
这些也都是挑战,比如拆解多模态的挑战就会有资源、数据、算力挑战。视觉和语言跨模态需要图像和文本成对的数据,成对的数据比单纯给语言大模型做预训练所需要的数据准备起来会更难,对质量的要求会更高。有人说过,高质量的语料已经全用完了,新的数据从哪来?高质量数据从哪来?图像跨模态更是如此,早期准备几百万的图像和文本就已经很困难了,现在模型越来越大,需要的数据量越来越多,这些数据从哪来?怎么准备?
公平性、安全隐私方面,前不久一个团队用模型预测社交平台上的用户画像,通过用户发表在社交平台上的内容预测用户的性别、位置、年龄、职业等,准确率非常高。像这种研究如果用在不正当的途径上,就会有安全性的威胁。
陈冉:大模型的发展是跳跃式、指数性的,大模型用一年时间走过了几十年的发展。但国内基座不稳,包括算力、算法人才、数据缺乏。
在大模型产生之前,有个必要环节叫数字化转型,要把各行各业、各种各样的信息变成数据。但国内没有完全走通数字化转型,导致很多公司即使有大模型需求,但没有数据,怎么训练?数字化转型没有做好,那么多模态也会相应地出现差异性,会滞后。所以国外已经全面适配了,国内需要更长时间。
但应用会在中国生根发芽。应用需要平台和生态开源,所以先有平台性、生态性、开源性的公司把商业跑通,才能看到应用性的公司,因为这些公司不需要关心基础设施,这样应用有可能形成跳跃式发展,实现弯道超车,但没那么快,估计需要2-3年。明年会涌现很多应用公司,但不会变成巨头,因为很难。相当于我开电车,还不知道充电桩在哪,怎么跑?
肖仰华:大语言模型的下一步发展方向可以说非常多元化,有很多非常有前景的潜在发展方向,比如多模态、具身大模型。
单纯就语言模型自身而言,仍然有很多幻觉问题,逻辑推理能力、专业思维能力有待提升,特别是在数学物理化学这些专业能力方面。最近有很多基于合成数据的训练,一定程度上就是在科学原理指引下生成数据。利用合成数据训练大模型一定程度上可以提升或缓解其逻辑缺陷,或者解决专业认知能力不足这些瓶颈问题。
一个很重要的方向是让大模型更安全、更可控、可理解、可解释。另外,大模型的实时性仍然有待提升,虽然现在已经有基于搜索增强的解决方案,但能否从其自身训练机制等角度解决实时性不足的问题,仍然值得关注。还有大模型低成本的训练和应用技术,实际上大模型的成本仍然十分高昂,大规模应用成本往往难以接受,如何进一步降低大模型的成本,也是未来非常值得关注的。
陈磊:还是要解决大模型实际应用中的困难。第一是效率,怎样让大语言模型能够在线上实时给出结果,现在有的在做模型推理的加速、模型的裁剪。第二,怎么保证大模型To C时安全可控,不能有伦理道德的问题,答案要严谨准确科学。第三,怎么用更多高质量数据让大语言模型持续迭代。总的来看,它的进化方向肯定是奔着应用和落地去的,肯定不是完全停留在理论阶段。
Ruba Borno(亚马逊云科技全球渠道副总裁):实际上,现在只是最开始,可能有很多不同的方向。这是一项真正的变革性技术,我们甚至不知道一年后它会是什么样子。所以我认为真正的困难在于优先事项的排序,在于决定哪些用例对用户来说是最重要的,而不是跟随一切可能有趣的方向,因为生成式人工智能可以应用到如此多不同的用例中。接下来我们的任务就是选择专门的领域,无论是特定行业还是特定的用例,继续在这些不同领域获得深入的知识,这将是关键。
澎湃科技:未来一年,中国的百模大战会如何演化?
张鹏:中国的情况有特殊性,不能直接对标国外。大趋势是认可大语言模型的能力,会重塑千行百业的业态,需要在具体的行业落地方面投入更多资源。任何一项技术发展到一定程度之后必然要产生更多实际价值。
大方向没错,但具体怎么做其实有很多很tricky(棘手)的地方。最常见的说法是并不需要通用的基座大模型,只需要小的、中量级的、合适的行业模型。大语言模型能力突破的根本原因在于,它对世界知识的学习和建模,才使得它具备了接近人的理解推理和更进阶的认知能力。对于行业来讲,行业模型需不需要基座模型提供的常识能力,而不仅仅是用行业里的数据训练,这个关系有些微妙。我的见解是,最理想的状态是,行业模型并不是完全独立于基座模型和通用模型,而是生长在基座模型之上,基于基座模型进一步训练和微调。
陈磊:市场会更冷静客观。第一,未来大模型可能会更侧重应用落地。第二,基础模型肯定会收敛,市面上不会有80多个基础模型版本,一些创业公司之间的合并兼并已经在实际发生了,因为这个事儿本身是很重资源的。第三,因为基础模型会收敛,可能会有更多企业关注怎样做垂类模型。第四,带来的结果肯定是生态更加丰富,整个行业除了做模型的,也会看到硬件厂商、基于大模型的应用。怎样把大模型落地的通路连起来,未来一年我们能看到很多进步和产出。
周伯文:如果让我预测的话,通用基础大模型的数量会收敛,人工智能大模型必须要进入到行业。人工智能这一次的进步和行业的爆发,也离不开行业大模型进入百业千模这个阶段,同时更重要的是,行业大模型的应用应该会层出不穷。
梁家恩:我估计未来通用大模型一个手能数得过来。从垂直应用来说,大模型数量会比大家想象的多,可能会有几十个,但取决于这些行业模型到底能否真正解决行业问题,要是无法解决,就只是玩具。
陈冉:曾经有个投资人问我,中国会出现几个大模型,还是百个大模型,还是万个大模型。我觉得中国不是百模大战,中国也会像美国一样出现千模大战、万模大战。因为模型是开源的,算法是一致的,但数据是独特的,一旦有了数据,大模型就变成了独立的个体。各行各业都需要把数据灌到大模型形成生产力,所以国内竞争会越来越激烈,基础大模型会有几十个,垂类模型会越来越多,未来垂类模型只要几亿、几十亿参数就能满足需求。
大模型可以刷榜,但没有意义,大家会越来越明白到底谁的大模型是真的有用。但能否出现一个特别牛的开源大模型,我觉得肯定会有。
澎湃科技:开源大模型有机会赶超闭源大模型吗?
张鹏:目前的情况看,开源模型的平均性能与最好的闭源模型的差距还是比较明显的,想要赶上来可能还得花一段时间。
梁家恩:从技术角度来说,没什么本质区别,技术圈里没有太大的秘密,全球大语言模型的范式相对统一。
在闭源方面,我相信OpenAI除了算法框架之外,在数据上的工作做得非常细致扎实。从应用角度来说,大模型最终还是要走到应用里去。OpenAI的应用走在前沿,它们已经滚动了一年。我估计,在应用数量上开源大模型的影响会更大,但在做到最高水平上,闭源大模型会更好一些。
陈磊:开源和闭源各有优劣。开源的生态比闭源好,会带来更多开发者帮助开源社区进步,进一步帮助开源大模型进步。
但大模型的开源和其他技术的开源最大的不同是,大模型的开源对资源要求高。开源的应用势必要求有一个团队能够把开源模型用在程序里,还要做大量结合场景的改造,很多公司不具备这个能力。
从大模型训练的角度来讲,它的开源适用于有限范围内。闭源大模型更强调商业化和定制化能力。所以不同公司在不同阶段对开源和闭源的选择不一样。当然从商业策略来讲,一些大模型创业公司两条腿走路,更多时候可能会把开源版本先推出来,再提供商业化版本。
澎湃科技:对于大模型的发展趋势,你最想知道答案的一个问题是什么?
陈冉:大模型算子(注:深度学习算法由一个个计算单元组成,这些计算单元被称为算子。)到现在为止还没有质的变化,下一代大模型的算子革新方向是什么?
梁家恩:从技术角度来说,大模型的可靠性和可控性可以用什么方法来做?目前它本质上还是以统计为导向。纯靠统计还不够,在语义抽象的基础之上,还需要有效结合事实,符合人类的逻辑规范,“对齐”人类的价值选择。我们对弱人工智能的所有行为都能预判,只是不知道它能做得多好。但AGI会产生什么结果,我们不可预期,我们如何让它生成的结果和人类的期望方向保持一致,这是一个挺有挑战的问题。
张鹏:什么时候能够非常明确地评测出大模型的智能水平超越人类的平均水平线?GPT-4发布时,报告里提到了这么一个结论,当然大家并不一定完全接受或重视这件事。大模型平均能力超过人类平均水平,它的标志性意义是大模型确实可以真正投入使用,并在很多场景中解决具体场景问题。
陈磊:大模型到底是不是通用人工智能的一条可行路径?之前大家说通用人工智能真正到来的那天可能是2035年,现在来看明确讲能通往通用人工智能的可能也就是大模型了。但它是不是真的能通往通用人工智能、是不是唯一的路径,大家都比较好奇。
(本文来自澎湃新闻,更多原创资讯请下载“澎湃新闻”APP)
举报/反馈

© Copyright notes

Related posts

No comments

No comments...