文章主题:火山引擎, 大模型服务平台, 火山方舟, 企业服务
在6月28日的新闻发布会上,我国知名科技公司火山引擎正式推出了其全新的大模型服务平台——“火山方舟”。这是一个专为我国企业提供的、涵盖模型精调、评测、推理等全方位服务的平台(MaaS,即Model-as-a-Service)。值得注意的是,“火山方舟”已经集成了来自多家AI科技公司及科研院所的大模型,包括百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax以及智谱AI等。目前,该平台已经开始邀请测试,以期为企业提供更优质的服务。
在未来的大模型市场中,我们将看到各种不同规模和大小的模型的竞争共存,形成一个多元化的生态体系。根据火山引擎总裁谭待的预测,这种多模型的生态将在未来得到广泛应用。在这种环境中,超大规模和中等规模的大模型将与各行业领域的垂直模型共同发展,为企业提供全方位的服务。据谭总透露,未来大模型市场的发展趋势将表现为“1 N”模式。在这一模式下,企业将通过自主研发或与第三方模型服务商深度合作,打造属于自己的核心模型。而在这一核心模型的基础上,企业将在不同场景中同时运用多个外部模型,以满足多样化的需求。这种灵活的策略将使企业在应对不断变化的市场环境时具备更高的适应性。总之,在未来的大模型市场中,我们将见证各种规模和大小的模型相互协作,共同构建一个繁荣、多元的生态系统。而企业也将根据自身需求,灵活选择适合的大模型和外部模型,以实现更高效、精准的应用。
在当前的大模型应用环境中,企业面临着一个关键的问题,那就是如何确保模型的安全性和信任度。对此,谭待指出,他们的解决方案是“火山方舟”。这款系统成功地实现了大模型之间的安全互信计算,从而为企业客户提供了数据资产的安全保障。此外,基于“火山方舟”的多模型架构,企业可以同时试用多个大模型,并选择最适合自身业务需求模型组合。这样的解决方案不仅解决了企业的痛点,也为大模型应用开辟了新的可能。
火山引擎总裁谭待
抖音内部十多个业务团队已试用火山方舟
吴迪,火山引擎智能算法的负责人,向我们解释了火山方舟如何为企业提供一种更具成本效益的解决方案,使其能够在ToB市场中实现大规模扩张。同时,对于用户而言,火山方舟平台为他们提供了接触大量高质量基础模型的便利性。通过火山方舟,用户可以轻松对接多家模型提供商,并借助统一的工作流程,快速找到最适合特定场景的模型。
火山引擎智能算法负责人吴迪
在模型优化领域,吴迪提出:“我们建议用户在火山方舟平台上持续积累丰富的精调数据集,这将有助于并行训练一个模型或多个基座模型。同时,模型优化的效果指标及运行状况也会实时更新,以便用户全面掌握。”
“火山方舟”安全性方面已经推出了基于安全沙箱的大模型安全互信计算方案。该方案通过计算隔离、存储隔离、网络隔离以及流量审计等手段,确保了模型的机密性、完整性和可用性,特别适合于那些对训练和推理的延迟要求不高的客户。
吴迪透露,抖音集团内部已经启动了十多个业务团队的“火山方舟”试运行。这些团队在代码纠错、研发提效等场景中应用了该系统,同时也在文本分类、总结摘要等知识管理领域进行了尝试,并在数据标注、归因分析等方面进行了深度探索。通过这种方式,抖音集团期望借助大模型的强大能力,实现成本降低和效率提升的目标。这些内部的实践反馈对于加速“火山方舟”的完善和优化起到了关键作用。
在某些应用中,谭待阐述,尽管部分用户并未感知到其存在,但其体验感却得到了提升。举例来说,在客服领域,传统方法需要客服人员逐一检索信息,而如今通过大模型,他们能迅速获取相关提示,从而提高回复效率。换言之,虽然前后对话仍然是同一个客服,但由于有了大模型的助力,整体服务效率得到了显著提升。这就意味着,在一些应用场景下,大模型的应用并不直接面向终端消费者,而是通过优化服务质量来提高用户体验,背后藏着一个大模型。
另外,据谭待还透露,火山方舟是一个开放性的平台。这意味着,字节跳动公司内部的其他团队,一旦完成了模型开发,有望在方舟平台上公开,成为其中众多模型的一员。换言之,火山方舟将承载这些模型,并使之与外界建立联系。
平台服务费相当长时间位设置为0
吴迪称,训练大模型很昂贵,但是从长期来看,模型的推理开销会超过训练开销。 “我们相信,到2024年秋天之后,以推理为主的大模型应用消耗,将超过预训练消耗的60%,并且在2025年的某个时刻,超越预训练算力消耗。”
在吴迪看来,降低推理成本会是大模型应用落地的重要因素,“一个经过良好精调的中小规格模型,在特定工作上的表现可能不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一。”
对于火山方舟的价格体系,吴迪解释称,“火山引擎会把资源供应给大模型提供方,在供应里面就有一定的IaaS层面的利润。然后大模型供应方会刨除基本成本,在他们的基本成本上再叠加一个他们认为的合理利润,成为他们大模型在火山方舟上的定价。”
而对于下游客户使用大模型时的费用,吴迪表示,“付钱是两部分,第一个是模型服务费。第二个是平台服务费,平台服务费在相当长的时间我们都会设置成零。”
ChatGLM是智谱AI推出的千亿基座认知模型,其开源版本在大模型开源领域极具影响力,近期智谱AI还对ChatGLM做了新升级,大幅提升了模型能力。在火山方舟上,智谱AI提供大模型,火山引擎提供高性价比资源、针对不同行业的精调能力及综合解决方案,共建安全可靠的第三方MaaS服务,合力推动各行业的智能化发展。据智谱AI CEO张鹏介绍,智谱AI在火山引擎平台上解决了千亿模型训练的稳定性、性能优化等挑战。
“每一次技术的大变革,都会带来体验创新的新机会”,谭待坦言,“火山方舟”还在起步阶段,工具链和下游应用插件需要持续完善。平台还将接入更多大模型,并逐步扩大邀测范围,与企业客户共建开放合作的多模型生态,加速大模型在各行各业的应用落地。
采写:南都记者 汪陈晨
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!