不做大模型的火山引擎,为何能做AI大模型的“发动机”?

火山引擎10mos agoupdate lida
72 0 0

舍予/文陈默/编辑

随着AI大模型技术应用爆发,云厂商开启新一轮技术变革。4月18日,字节跳动旗下火山引擎发布自研DPU(数据处理器)等系列云产品,并推出新版机器学习平台,可以让大模型训练更快更稳。不仅如此,火山引擎与字节跳动国内业务并池,实现内外资源的大规模内外实时复用,试图从算力、平台层面为大模型企业提供必要的“入场券”。

令业界感到疑惑的是,其他云厂商均在发力布局自家大模型,而火山引擎方面则明确表示自己不做大模型,而是要做AI大模型的“发动机”,提供高稳定性和高性价比的AI基础设施。同时称,目前每十家大模型企业,七家已经在火山引擎云上。

不做大模型的火山引擎,凭什么能拿下70%大模型玩家?在业内看来,目前国内很多科技公司自研大模型,虽然他们拥有专业的技术团队和行业知识,但缺乏经过大规模场景实践的系统工程能力,而火山引擎早已在各个垂直领域运行了不少模型及积累了实战经验,为很多大模型厂商选择火山引擎打下了坚实的技术基础。另一方面,大模型训练对算力提出了更高的要求,并且资源损耗大、成本高,而通过公有云的商业模式,即把抖音等业务的空闲计算资源快速调度给火山引擎客户使用,可以让企业在业务创新时大胆试错,降低成本,从而减轻企业的风险

云市场竞争进一步加剧发力大模型谋求弯道超车

国内云市场“内卷”加剧、互联网市场红利放缓,且政企市场有增长却利润薄,头部云厂商收入增速普遍降低,且仍处于微盈或亏损状态。而随着ChatGPT的爆火,云厂商们也在奋力追赶,寻找弯道超车的机会。

与其他云厂商力推自家大模型不同的是,火山引擎则明确表示不做大模型产品,而是加大研发投入,与多家大模型深度合作,为大模型厂商提供AI应用。这样的好处在于,对内服务会有更高的性价比,在云市场未来也会带来阶段性的竞争优势。

不做大模型,如何满足大模型厂商的需求?对于大模型企业来说,想要做出大模型,大量算力和成本的消耗是不得不跨越的门槛。在有了算力之后,如何应用算力,提高算力的使用效率,也是需要面临的挑战。

火山引擎给出了数字化的解决方案,在底层技术上,分别发布新一代的自研DPU等系列云产品,以及支持万卡级大模型训练、微秒级延迟网络的新版机器学习平台,帮助企业更好的去应用好算力。

火山引擎总裁谭待表示,大模型需要大算力,所以对算力成本有很强的诉求。可以说成本是云计算的关键竞争力,也是客户最核心的要求。而火山引擎要做的,让国内大模型企业在业务创新时,可以大胆试错,不用冒太多风险,尽快追赶上国际的先进水平。

不做大模型的火山引擎,为何能做AI大模型的“发动机”?

火山引擎总裁谭待宣布支持“多云多模型”的未来架构

创新技术激发企业潜力数据安全成为关注焦点

据悉,目前国内大模型领域的数十家企业,七成已经在火山引擎云上包括毫末智行、MiniMax、智谱AI、昆仑万维等在内的企业都在火山引擎支持下进行大模型训练迭代。

在谭待看来,众多企业不约而同选择火山引擎的关键在于好用,而这也是火山引擎产品力的一个体现。

字节跳动副总裁杨震表示,数字化时代更需要定量明确目标,火山引擎机器学习平台在抖音的效果广告、推荐、特效等方面已有验证,但用好机器学习平台仍面临复杂和成本两大问题。为此,抖音采用了火山引擎推出的一站式云原生机器学习平台,工程师用15个月的样本训练,某个模型5小时就能完成训练,成本只有5000元。

不做大模型的火山引擎,为何能做AI大模型的“发动机”?

字节跳动副总裁杨震原分享抖音的机器学习实践

生成式大模型已成为自动驾驶系统进化的关键,但自研大模型并不是件容易的事。据毫末智行CEO顾维灏介绍,目前毫末智行已推出全球首个自动驾驶生成式大模型DriveGPT(雪湖·海若),背后离不开火山引擎打造的智算中心提供67亿亿次/秒的高性能运算,以及2T/秒的高性能存储及800G/秒的网络服务。随着用户规模和持续的使用里程不断扩大,DriveGPT将重塑汽车智能化技术路线,让自动驾驶更早到来。

云计算带来的敏捷和弹性有效加快了各行各业的创新速度。AI制药企业晶泰科技的联合创始人兼CEO马健表示,火山引擎的数字孪生技术加速了药物研发的自动化实验,例如全流程AI生成策略、蛋白质孪生可视化和视觉辅助算法,赋能药物研发提升效率。

不容忽视的是,随着大模型应用的增多,数据安全成为产业关注的焦点,如何做到商业价值和安全合规之间的均衡,是行业亟需解决的难题。

“大模型还在发展初期,面临数据安全、内容安全、隐私保护、版权保护等许多问题。”在谭待看来,数据安全是底层平台需要解决的问题,企业在做推荐高速引擎时,通过向量化的技术做不可逆的加密,传输脱敏以后的训练样本,不但可以解决数据安全问题,还能享受到云平台带来的好处。本质上就是通过技术手段去解决安全问题,让产品在更大规模中得到使用。

价格战不可持续“多云多模型”架构将成市场主流

让算力更普惠、让AI更普及将是接下来云厂商的主要趋势之一,而降价可以让更多客户使用到云的先进生产力。对于当下云厂商之间即将爆发的价格战,谭待表示,火山推出了抢占式实例,部分时段价格折扣非常优惠,,同时也通过技术提高产品的性价比,价格战不可持续。

据悉,火山引擎与字节跳动国内业务并池。“池”指的是计算池,其包括计算、存储、服务器、容器等单元。简单来说,并池就是在共享资源池里,实现对内外服务的调度,从而提高整体资源的利用率。

为什么资源混合调度能够提高资源利用率,从而实现降本增效?在谭待看来,以抖音为例,这类应用的使用高峰一般会出现在晚上,凌晨和工作日白天的资源峰值不会很高。在这种情况下,把字节内部业务的算力提供给外部企业客户使用,不仅可以满足更多企业的算力需求,还能帮企业降低用云的成本,部分时段最高可以节省80%以上的成本。

在大模型及下游应用发展推动下,无论传统企业还是初创企业,对AI算力都有迫切需求,企业使用多家云服务将成为常态。大模型也会在千行百业生长,形成多模型共生甚至协作的生态,向“多云多模型”架构发展成为行业共识。

尽管多云让企业拥有了选择权,但实施并不容易。数据和服务要从一朵云迁移到另一朵云上,需要解决与底层架构兼容性的问题。不同的云厂商所提供的不同产品和模块,也有可能无法相互融合使用。

对此,火山引擎推出了分布式云原生平台、多云安全、多云CDN、veStack混合云平台等系列产品,帮助客户更好地使用多家云服务。在业内看来,虽然火山引擎入局云市场时间不长,但依据内外实践和服务经验,构建出相对完整的技术栈,让其有了可以在赛道中发展的实力,从而在行业中形成竞争力。

举报/反馈

© Copyright notes

Related posts

No comments

No comments...