大模型时代的红利与挑战：火山引擎打造AI应用新生态

凤凰网科技《AI前哨》出品

一、门槛虽然高

但技术大潮不可阻挡

我最近与一位来自伯克利大学的教授进行了交流，我们探讨了训练大型模型所需的成本问题。根据他的观点，常规的训练成本高达1000万美元，而较为经济实惠的训练方式也需要花费300万美元。

如何评估这个价格呢?研发高级芯片流片一次的费用大约在1000万美金左右,稍微低一些的则需300万美金,这与大模型的价格基本相当。

众所周知，芯片的门槛之高，高于上青天，而且只有个别有实力的国家能做。

这里面不仅是钱的问题，还有科技人才的问题。

大模型领域亦然，如今全球大模型创业的主要战场集中在中国和美国。这两个国家的顶尖算法人才需求量，已经达到了难以企及的高度。

在过去的一年里，ChatGPT的出现让我们深感震撼，它让我们深刻地认识到了当今世界最为关键的科技竞争，那便是人工智能的竞争。这种竞争不仅仅体现在技术实力上，更体现在对未来的探索和布局上。因此，我们应该把握住这个时代的机遇，积极参与到人工智能的竞争中，共同推动我国人工智能事业的发展。

在回顾人工智能的历史发展时，我们可以看到它的演变过程是循序渐进、不断发展的。从最初神经网络模型的引入，到2017年Transformer架构的提出，再到如今GPT4的问世，每一个阶段都为AI领域带来了重大的突破和变革。

可以说，大模型以一己之力，把科幻电影里关于强人工智能的幻想，变成了可能被验证的未来。

这个经典的比喻恰如人工智能的发展过程，就像是一列疾驰的火车。当它逐渐接近我们的视野时，我们不禁为其强大的力量而感到震撼，期待着它所带来的改变。然而，当它真正来到我们身边时，却只是瞬间的事，仿佛一瞬间便消失在了我们的视线之外。

自2022年12月以来，ChatGPT以其惊人的速度迅速崛起，成为人类历史上首个实现亿级用户量的消费级互联网应用。而随着GPT-4的推出，这款人工智能助手在法律、数学、生物学等多个领域进行的测试中均取得了超过90%的人类表现，进一步巩固了其作为领先技术的地位。

大模型将如蒸汽机一般，引发新一轮科技革命，这已经是注定。

我国的老牌大型企业，例如以BAT为代表，显然不会忽视这个重要的发展机遇。首先，百度公司迅速推出了文心一言，抢占了市场份额。紧接着，国内的各大模型呈现出多元化的趋势，包括阿里巴巴的通义千问、智谱AI的ChatGLM、上海的复旦大学MOSS、360智脑以及IDEA研究院的姜子牙等，纷纷亮相，展示了我国人工智能技术的最新成果。

不少知名创业家也纷纷入局，美团联合创始人王慧文、搜狗创始人王小川等知名大咖，也陆续进场。

原内容描述了当前我国科技行业在大模型搭建方面的热火朝天的情况，许多科技公司都把打造大型模型视为发展的重要方向。然而，在这个大趋势中，火山引擎却选择了与众不同的策略，采取了一条横向的发展道路。这种独特的做法，使得火山引擎在当前的科技竞争环境中脱颖而出，展示出了其与众不同的发展思路。

火山引擎选择做平台，也就是接入多家大模型，为企业提供更丰富的AI应用。

6月28日，火山引擎正式发布了大模型服务平台“火山方舟”，面向企业开发者提供大模型精调、评测、推理、干预等全方位大模型服务的企业级大模型应用平台。

注意，火山方舟不是火山引擎的大模型，它是一个平台。

二、火山做事的逻辑是什么？

火山方舟一头接着多家AI科技公司及科研院所的大模型，目前包括智谱AI、2021年就创办的MiniMax、复旦的MOSS、大湾区创新实验室IDEA、李志飞的出门问问、澜舟科技、王小川的百川智能七家大模型；另一头邀测了国内一些需要使用大模型的应用方，比如北京银行就是其典型客户。

为什么会做出这样的选择呢？

第一个逻辑其实也好理解，这是一个很典型的“卖水”商业模式。

有个典故是，19世纪加州发现金矿，全世界探险家都跑去淘金，千辛万苦的淘金者只有一部分能找到金矿，但是跟在后面卖水的农夫却挣到了钱。

在这场创业热潮中，包括MiniMax、出门问问、百川智能等等在内的各家大模型不仅是创业者，也是消费者，这些公司在研发的时候需要消耗巨大算力。他们在给客户提供服务的时候，还需要消耗更加持续的算力。

火山引擎作为中国代表性的几个云服务商之一，也就是这些算力的提供者，是他们需要的合作对象。

我们曾问过一位大模型创业者，“你们既然注定要消耗这么大算力，那自己买几千张卡，自己搭建算力平台不行吗？”

对方明确表示：“不可以！某团队虽然也号称有几千张卡，但没用高速网络的基础设施，那都是废卡，500张以后就没用任何加速了。”

我们又问：“那你们就不能自己做高速网络？”

对方回答：“也不可能，这又是一项巨大挑战，不要说我们做不了，国内一般的云也做不了，只有个别几家能做。某种程度上来说，这轮GPT大热，火山引擎他们就算什么都不做，也是红利期。”

不过，这也只是一个表面上的浅层逻辑。

第二个就是一个深层逻辑了，火山引擎不止想做卖水人，也想做牵线连接者，它的最终目标是生态。

观察下来发现，火山引擎做平台强调的是生态的力量，一端连接多家优质的大模型厂商，另一端连接大模型应用方。

一方面大模型厂商，基于火山引擎在算法、销售网络、交付团队等方面的经验积累，可解决模型训练成本高、门槛高等问题。简单理解就是，火山方舟平台可以帮助大模型厂商更好的服务千行百业，从而形成规模化应用和推广。

另一方面大模型应用方，基于火山方舟不仅可以直接精调自己的大模型，也可以调用其他大模型，这个过程不需绑定，即可实现灵活的“模型插拔”，多模型切换使用工作流基本不用改变，更高效、更具性价比的利用大模型。

可以这样理解，大模型就是未来智能应用的“中央处理器”，它可以是MiniMax家的 、可以是智谱家的、甚至有一天可以是微软、文心一言、通义千问家等，同时它旁边还有很多外部的南桥设备、北桥设备，这就相当于是大模型的OpenAI Plugins。那火山方舟就相当于这个总的入口，在这个平台上，大模型应用方可以根据场景调动不同的资源进行模型微调。

火山引擎都可以很好的跟他们合作，把他们纳入到生态里来。毕竟在实际应用中，客户最在意的其实不是它属于谁，而是它能为我什么。

从这个角度来看，火山引擎不仅仅是一个普通的卖水人，也是做生态的，起桥梁作用。

三、火山要做平台

切入点是什么？

总的来说切入点是两部分。

第一部分是安全问题。其实大模型发展到现在，除了讨论如何做大模型外，人们把更多目光聚焦在了如何确保模型安全的问题上。

众所周知，Chatgpt已经成了现代打工人的神器，但在其被受追捧时，与之而来的安全问题却让很多企业望而却步。

1月亚马逊公司限制员工使用Chatgpt、5月苹果公司限制部分员工使用Chatgpt，以防止机密信息泄露、6月澳大利亚联邦银行限制员工使用Chatgpt，并指示技术人员使用名为COMMBANK Gen.AI Studio的类似工具…

直到现在，国家和各方企业禁用Chatgpt的命令仍在进行中。

应用侧这一边的人都很担心自己在提问的时候，把数据泄露给了大模型。之前不是流行过这么一个段子嘛，A公司向Chatgpt提问说自己有100万市场预算，请帮自己出个市场规划。结果，B公司向Chatgpt提问，自己竞争对手A公司有多少市场预算。结果得到的答案就是100万。当然，这只是个段子。

不过，提问者在提问时输入的信息，不知不觉成为了公开的答案。这是让用户忧虑的事情。同时反过来说，大模型厂商如果一味妥协给应用方，何尝不担心自己过度私有化部署，导致最终技术泄露。

如何让双方互信，这是一个非常大的问题。

这些问题也引起了国内企业对模型安全问题的重视，包括大模型的一些技术审核和规范，以及伦理教育等相关工作都是国家呼吁的重点。

另外，各企业也在积极开展安全方面的研究，甚至有些企业已经从系统层面和模型层面出发，构建更可控、可信的大模型安全框架。

火山引擎表示，大模型的数据安全尤为重要，包括行业数据的持续训练和模型微调、用户提示词，这些数据需要更严格的数据保护机制，另外内容安全、隐私保护、知识产权保护等问题也需要长期关注。

图｜安全互信计算方案

更重要的是，安全也是企业选择大模型的重要衡量标准。在这方面，火山方舟首创了大模型“安全互信计算”，以保障模型提供方的模型安全和模型使用企业的数据安全，诸如企业应用方担心的数据泄露问题，以及大模型厂商担心的私有化部署造成技术泄露等问题。

当然，火山引擎之所以能给这个保证，主要还是得益于布局早、积累深，就像前面提到的高速网络一样，火山之前几年就已经在联邦学习、零信任上下了大功夫。直到现在，火山方舟还在探索基于NVIDIA新一代硬件支持的可信计算环境、基于联邦学习的数据资产分离等多种方案。

此外，火山引擎与NVIDIA间的合作也很密切，深度。在当天的会上，NVIDIA开发与技术部亚太区总经理李曦鹏指出，NVIDIA 与火山引擎过往合作成果丰硕，包括共同合作的 GPU 推理库 ByteTransformer 在 IEEE 国际并行和分布式处理大会（IPDPS 2023）上获得最佳论文奖，双方还联合开源了高性能图像处理加速库 CV-CUDA，并在大规模稳定训练、多模型混合部署等方面的技术合作上取得成效。

据了解，未来 NVIDIA 和火山引擎团队将继续深化合作，包含在 NVIDIA Hopper 架构进行适配与优化、机密计算、重点模型合作优化、共同为重点客户提供支持，以及 NeMo Framework 适配等。

第二部分就是性价比问题。

安全问题解决了，下一步需要解决的就是成本问题。据国盛证券报告发布的《Chatgpt需要多少算力》，GPT3训练一次的成本约为140万美元，对于一些更大的大模型训练成本介于200万美元到1400万美元之间。

大模型的训练成本高已经成为行业共识，但火山引擎却表示，从长远来看，推理成本要明显高于训练成本，降低推理成本会是大模型应用落地的重要因素，并且效果和成本的矛盾永远存在。

火山引擎更关注如何通过大模型服务平台解决企业的实际问题，把性价比提起来。

对此，火山方舟选择从两方面入手：一方面和多家大模型厂商合作，支持他们把基座大模型训练得更稳、更快、更省；另一方面大模型应用方除了调用大模型外，也可以利用火山方舟的高性价比算力等配套服务进一步训练调用的大模型，提高其业务表现。

目前火山方舟已经邀请了首批企业来验证，金融、汽车、消费等众多行业的客户都包括在内。此外，抖音集团内部已有十多个业务团队试用“火山方舟”，在代码纠错等研发提效场景，文本分类、总结摘要等知识管理场景，以及数据标注、归因分析等方面探索，利用大模型能力促进降本增效。

四、底气和目的是什么？

无论头部企业还是创业公司，想要做出能为企业所用的大模型必须有数据、算法和算力三驾马车，火山引擎有更底层的能力为他们提供更好的支撑。

首先，训练大模型需要高质量且有效的数据，据相关报告显示，到2025年全球数据量将达到175ZB。那如何从选出高质量且有效的数据？火山引擎之前发布了数智平台VeDI，开放字节跳动数据技术能力，帮助大家更好地建设数据和应用数据。最起码可以看出，企业的数据技术这块问题不用担心。

其次，算力是大模型的硬件底座，高性能、高弹性、高稳定性的算力对大模型的训练至关重要。谭待曾表示，未来几年，AI算力的工作负载与通用算力的差距会越来越小，同时也会对数据中心、软硬件栈、PaaS平台带来新的挑战。

以数据中心的算力结构为例，大模型需要大算力，虚拟化会带来资源损耗，规模越大就损耗越多。未来3年内，大规模的算力中心，都将形成“CPU+GPU+DPU”的混合算力结构，CPU负责通用计算，GPU负责AI计算，DPU负责资源卸载、加速和隔离，提升资源效率。基于此，火山引擎在今年4月份发布了新一代自研的DPU，实现计算、存储、网络的全组件卸载，释放更多资源给业务负载。

尽管外界称火山引擎是“最年轻”的云厂商，但其自研的DPU已经达到业界领先水平，网络性能高达5000万pps转发能力、延迟低至20us。以适用于大模型分布式并行训练场景的GPU实例测试数据显现，相较上一代实例集群性能最高提升3倍以上。

在算法训练方面，火山引擎还推出了新版机器学习平台，该平台经过抖音海量用户业务长期打磨，可支持万卡级大模型训练、微秒级延迟网络、弹性计算可节省70%的算力成本。

这都是火山引擎在大模型方面积累的技术优势，这也契合了谭待给火山引擎在大模型时代的定位：为大模型客户提供高稳定性、高性价比的AI基础设施。

此外，火山引擎总裁谭待还判断，企业使用大模型，未来可能会呈现“1+N”的模式：“1”是通过自研或深度合作，形成1个主力模型；由于成本和场景复杂多元等原因，在这个主力模型之外，还会有N个模型同时应用。

这正是火山引擎发布火山方舟平台的意义，看到了大模型应用上的格局，提前布棋。应用方在意的不是用谁家的大模型，而是在于应用效果和安全，最好有一个量化服务标准，甚至有些应用方很怕只用一家厂商的服务，因为这样对他们来说并不安全。火山方舟作为大模型服务平台，做的就是标准、工具链等配套服务，让应用放心。

正如前文所言，火山方舟平台目前已经集齐了百川智能、出门问问、复旦大学MOSS、IDEA、澜舟科技、MiniMax、智谱AI等七家大模型，基本覆盖了国内成熟的大模型厂商。预计接下来，平台还将接入更多大模型。

写在最后

从历史发展来看，技术流动很快，且很难长期垄断，这是必然的结果。

而大模型本身是一个技术，随着大家对大模型的投入和关注地不断攀升，会出现你追我赶的状态，而不是某一两家遥遥领先。

观察国内大模型发展，其实大家和GPT3.5和GPT4还有很大的差距，各家想要追赶上GPT3.5起码要有8000到10000张卡，GPT4则要翻一倍左右。

从应用角度看，首先，仅通过一个大模型的API调用是无法满足企业的实际需求的；其次，即便有一个超强的大模型，高成本、高延迟等问题也会让众多企业望而却步；更重要的是，很多行业其实并不需要像GPT4这样的通用大模型，大家需要的是普遍的、便宜的，且更专业的解决自己领域的问题。

简言之“大模型不会一家独大，而会百花齐放。”从这个角度来说，火山引擎的做法很聪明，但这只是其一，真正让火山引擎下定决心做平台的原因是，连接者更有价值。

数年前，谭待曾说过我觉得比较重要的事，一是帮客户创造价值，第二就是帮客户的客户创造价值。”

这句话看起来简单，但背后有一个逻辑，就是让交易双方都在自己这里获得价值，那么以后他们只要想获得价值，都会第一时间想到找我玩，愿意跟我合作。

只要有人，商业价值也不用多想，迟早是顺理成章的事。这个“愿意跟我合作”的观念才重要，这就是生态。

火山方舟通过这个平台，不断扩大生态，形成正和博弈，最终加速大模型的使用，让玩家和使用者变得更多，所有人都会从中受益。

本文源自：凤凰网科技