ChatGPT这个AI的出现让所有人突然有一种科幻进入现实,人类开启全新人工智能时代的感觉,全世界和中国也开始在人工智能领域大力发展和追赶。
比如谷歌宣布推出AI聊天机器人Bard,以试图与OpenAI的ChatGPT展开竞争,而国内也不甘于落后,大量的公司也发布了自己的产品,或者开始投入资金研究。比如美团联合创始人王慧文朋友圈发文称:“我的人工智能宣言:5000万美元,带资入组,不在意岗位、薪资和title,求组队。”希望打造中国OpenAl。搜狗创始人王小川对外宣布开启人工智能大模型领域创业。并表示:“追上ChatGPT早期的水平,我觉得今年内可能就能够实现。”还有很多很多。
chatgpt
而为了助力国内企业做好AI大模型,4月18日,火山引擎在其举办的“原动力大会”上发布自研DPU等系列云产品,并推出新版机器学习平台:支持万卡级大模型训练、微秒级延迟网络,弹性计算可节省70%算力成本,让大模型训练更稳、更快、更省钱,共同推动中国各行业的智能化升级。笔者看来,像火山引擎这样的AI基础设施,有利于中国未来涌现更多行业“ChatGPT”,影响每个人的生活。
火山引擎总裁谭待
ChatGPT本质上是什么东西?
你可能听说过ChatGPT这个名字,它可以生成各种各样的文本,比如文章、代码、诗歌、歌词等等。它的能力之强大,让人惊叹不已。但实际上你看起来似乎很强的这个东西,本质上只是一个概率计算软件而已,它如同鹦鹉一样,根本就不知道自己说的是什么,一切都只是计算出的可能性而已。
举个例子,训练ChatGPT的时候就给它一个词“我喜欢吃水果”,GPT需要利用“我”预测“喜欢”,利用“我喜欢”预测“吃”。这种反复的计算和猜测来生成一句它自己无法理解的话给你,但这里有一个问题,“我”这个字后面可以是“喜欢你”,也可以是“是一只小小鸟”,也可以是其它的文字,ChatGPT又是如何知道应该选哪个的呢?
选择
这其实就是背后的AI大模型在工作,我们要对它进行训练,让它大量的阅读和储存人类的知识和语言,然后根据你说话的场景去比较,这种情况下最应该出现哪个字,然后才能够说出你想要的话,所以很明显,要想要这个聊天机器人越强,那就需要训练更多的数据和知识进去,设置更多的参数,这就是一场烧钱的战争。
ChatGPT的对手在哪里?先拿100亿出来
ChatGPT的发展,就是烧钱的过程。说实话,目前在人工智能助手方面,ChatGPT确实是全球领先,其它的所有企业,不仅仅是国内,包括国外其他的大模型也一样在努力追赶。但这场竞争和以往的不同,因为这场竞争首先需要的就是钱,大笔的,上百亿的钱,而这些钱还不是如同当初的互联网大战一样一点点的补贴,而是需要一次性扔进去,然后可能一个泡泡都没有,这是场惊心动魄的超级豪赌,为什么这么说?看一个数据就知道了。
根据绿色节能数据中心官方公众号,ChatGPT的总算力消耗约为3640PF-days。按近期在国内落地的某数据中心为参照物,算力500P耗资30.2亿落成,若要支持ChatGPT的运行,需要7—8个这样数据中心支撑,基础设施投入需以百亿计。而且只这是硬件投入,软件呢?人工呢?运营成本呢?这些加起来,全世界就没有几个企业敢这么干。
数据中心
但实际上,这场大战并不需要从头投入,因为如前面说的一样,ChatGPT其实只是一个外在而已,本质上的东西是AI大模型,只要拥有相关的AI大模型,并利用AI基础设施不断训练,也能实现类似的ChatGPT应用或其他层面的应用,让我们的社会全面进入AI时代。但就是这个模型,要发展起来,实在是难度太高。
AI大模型才是真正的竞争点
你可能知道ChatGPT是经过升级的,从最开始的3.0模型到3.5,然后到4.0版本的模型,据说还有更可怕的5.0模型都要快来了,但这些模型的名字就是就叫做GPT,没错chat是聊天的意思,GPT才是真正的模型,有了GPT这个AI大模型,我在前面加上chat,训练一下就变成了聊天和任务的人工智能;加上draw(画图)就变成了drawGPT就是一个可以根据你的需求画图的模型;甚至加上video(视频),还可能变成一个为你直接人工智能做视频的模型。
AI大模型
所以一切的一切,本质上其实都是最后面的AI大模型,以及对应的行业数据,这才是一切的核心所在。这个关系就如同一个人高中毕业了,我们让他去读医科大学,他将来就变成一个医生,会治病;如果让他去学法律,他将来就成为一个律师,会辩护,这个人本身才是最重要的,也就是模型才是一切的根本。
而这个模型的训练则是需要庞大的算力等基础设施,也就是刚才说的上百亿规模资金的投入。比如说,买大量的芯片等搭建一个硬件系统和软件平台,训练也会使用到非常可怕的电力等投入,消耗大量的能源来对互联网的知识进行学习。此外,储存也需要大量的资源,这又是一笔巨大的开支,而且AI大模型参数越多,就越准确。
训练
就以ChatGPT为例子,每一代GPT模型的参数量都快速增长,2019年2月发布的GPT-2参数量为15亿,而2020年5月的GPT-3,参数量达到了1750亿。而GPT-4是一个拥有1.6万亿参数的大型语言模型,这是指数倍的参数爆炸,而这些参数的训练对于能源和金钱的消耗真的是比直接烧还要快很多。而这次火山引擎要干的事情就是要解决成本,以及解决搭建AI大模型基础设施的各种繁琐问题。
火山引擎可以干什么?
火山引擎就是提供了一个AI大模型训练的平台,可以让大模型训练更稳、更快、更省钱,以及更方便。举个例子,现在有一个医疗行业,它想训练一个专门的大模型来帮忙看CT报告,快速的诊断病情,这是一个医生AI;同时有一个农业部门,它想训练一个大模型能够看到植物的状态,马上就能够知道植物出了什么问题,需要如何进行救援,这是一个农业专家AI。这两个行业如果想训练自己的大模型,就需要搭建硬件,也需要自己构建平台,很多行业并不需要涉及这么深,很可能做起来非常困难,还会遇到各种各样的系统硬件软件故障,让这条路走不通,而火山引擎就可以帮助这些行业和企业解决这个问题。
火山引擎搭建好相应的AI基础设施,企业就可以专心训练AI大模型,来贴合自己所需要的AI智能助手。于是各个行业,各个企业都可以利用它来做一个符合自己需求,帮助自己工作的AI出来,这是不是一个非常有意义的事情?
这里介绍下火山引擎的AI基础设施。火山引擎机器学习平台,通过预置主流算法框架和自研高性能分布式训练框架,以及AI训练和推理一体的AI加速服务,为企业提供高资源利用率、高性能、云原生、开发体验友好的一站式AI开发和迭代平台,实现企业研发降本增效、业务创新。基于抖音等业务大规模机器学习的工程实践和训练推理优化经验,火山引擎可支持超大规模GPU并行的训练场景,全新发布的弹性实例可以灵活调度资源,离线推理成本节省70%,为企业提供“稳、快、省”的AI大模型训练支持,助力企业突破大模型训练的技术瓶颈。
此外,火山引擎还宣布与字节跳动国内业务大规模并池,成为首家实现内外资源大规模实时复用的云厂商。这意味着,抖音等业务的空闲计算资源可极速调度给火山引擎客户使用,离线业务资源分钟级调度10万核CPU、小时级调度数百卡GPU,在线业务资源也可潮汐复用,满足企业的弹性供给需求,并有极高的性价比。
据了解,火山引擎的大模型云平台获得智谱AI、昆仑万维等众多企业的良好反馈。而且,国内大模型领域,七成以上已是火山引擎客户。
我们需要什么样的ChatGPT?
其实相比通用聊天机器人,我们可能更需要一个能够随时的,几乎免费为我们读ct报告,看病的AI医生;一个拥有全人类法律知识的,能够为我们提供一小时几元钱的法律咨询机器人;一个知道所有基础教育知识,可以为我们循循善诱解答疑惑的AI老师,还有更多更多。期待能有更多像火山引擎这样的AI基础设施在中国发展起来,无数的大中小行业能够用它低成本的搭建各自的AI助手,是不是我们的生活就能够得到巨大的改变。
希望我们能够在这场AI竞争中赢得胜利,像我们的航天通信、高铁一样,虽然不是我们发明的,但我们却能够走得更快更远,掌握更高端的技术,改变我们每个人的生活。#国内七成大模型企业在火山引擎云上#
人机共生,ai时代