《火山引擎发布“火山方舟”:大模型服务平台的加速落地》

火山引擎10mos agoupdate lida
66 0 0

文章主题:火山引擎, 火山方舟, 大模型服务

666ChatGPT办公新姿势,助力做AI时代先行者!

原标题:火山引擎发布“火山方舟” 加速大模型应用落地

在6月28日这个特殊的日子里,火山引擎与英伟达联手举办了一场名为“V-Tech体验创新科技峰会”的活动。在这个重要的时刻,火山引擎正式推出了他们全新的大模型服务平台——“火山方舟”。这是一个面向企业的全面平台,能够为企业提供包括模型精调、评测、推理等一系列的服务,这个服务模式被称为MaaS,也就是“模型即服务”(Model-as-a-Service)。值得一提的是,“火山方舟”已经集成了来自多家知名AI科技公司及科研院所的大模型,这些公司包括百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax以及智谱AI等。目前,该平台已经开始邀请测试,这标志着它已经准备好面向公众提供服务了。

在探讨大型模型在企业中的应用时,安全性和信任度是必须克服的两个关键难题。火山引擎总裁谭待明确指出,他们的解决方案“火山方舟”已经成功地实现了大模型之间的安全互信计算,从而为企业客户提供了数据资产的安全保障。此外,借助于“火山方舟”所特有的多模型架构,企业可以同时试用多个大型模型,并选择最符合自身业务需求的模型组合,以此实现更高效的运营。

《火山引擎发布“火山方舟”:大模型服务平台的加速落地》

图:火山引擎总裁谭待公布“火山方舟”首批大模型合作伙伴

首创安全互信计算

大模型相较于小模型的“自产自用”,其生产门槛更高,而数据安全问题成为了新的焦点。根据网络安全公司的调查显示,有4%的员工将企业敏感数据输入到ChatGPT中,其中敏感数据占比高达11%。到了2023年初,三星公司在短短不到20天的使用过程中,其半导体设备的机密数据发生了泄露,并且还连续发生了三起类似事件。这些情况充分说明了在大模型时代,数据安全问题的重要性和紧迫性。

在谭待看来,运用大型人工智能模型时,最大的挑战在于数据安全的保护。然而,如果将此类模型进行私有化部署,不仅会增加企业的运营成本,同时也會引发模型提供方对于知识资产安全的担忧。”火山方舟”项目的核心目标,就在于确保大模型用户、提供者和云平台之间能够建立起信任关系,从而实现安全性的互信。

吴迪,火山引擎智能算法的负责人,最近宣布了“火山方舟”模型安全互信计算方案的上线。该方案基于安全沙箱技术,提供了计算隔离、存储隔离、网络隔离以及流量审计等多种手段,确保模型的机密性、完整性和可用性,非常适合那些对训练和推理延时要求较低的客户。

《火山引擎发布“火山方舟”:大模型服务平台的加速落地》

图:火山引擎智能算法负责人吴迪介绍“安全互信计算”

吴迪强调,我们的团队正在深入研究利用NVIDIA新一代硬件技术支持的可靠计算环境,以及采用联邦学习策略的数据资产隔离等多种方法,以实现安全互信计算方案。这将有助于我们在更大范围内满足大模型在各业务领域中对数据安全的严苛需求。

在会议上,NVIDIA 开发与技术部亚太区总经理李曦鹏先生阐述了 NVIDIA 与火山引擎过去所取得的丰富合作成果。其中,双方携手合作的 GPU 推理库 ByteTransformer 在 IEEE 国际并行和分布式处理大会(IPDPS 2023)上荣获最佳论文奖。此外,他们还共同开源了高性能图像处理加速库 CV-CUDA,以推动大规模稳定训练和多模型混合部署等领域的技术创新。

NVIDIA与火山引擎团队合作不断加深,将在多个领域展开合作。首先,双方将针对NVIDIA Hopper架构进行深度适配与优化,同时加强机密计算方面的合作。此外,他们还将共同合作优化关键模型,以提升产品的性能和稳定性,从而更好地服务于重点客户。除此之外,他们还将致力于推动NeMo框架的兼容性,进一步拓宽合作范围。他们的联手将有力地推动大模型产业的蓬勃发展。

降低大模型使用成本

中国科学技术信息研究所等机构发布的《中国人工智能大模型地图研究报告》显示,截至今年5月,国内已公开披露的大模型数量达到79个。

大模型密集涌现,企业面临“选择困难”。在吴迪看来,技术发展日新月异,国内大模型正在快速迭代,不同大模型在特定任务上各有千秋,企业不必急于绑定一家大模型,而是应该结合自身业务场景,综合评估使用效果和成本,在不同场景选用更具性价比的模型。

吴迪称,训练大模型很昂贵,但是从长期来看,模型的推理开销会超过训练开销。效果和成本的矛盾永远存在,降低推理成本会是大模型应用落地的重要因素,“一个经过良好精调的中小规格模型,在特定工作上的表现可能不亚于通用的、巨大的基座模型,而推理成本可以降低到原来的十分之一。”

资料显示,微软以医学文章数据精调了生物领域的BioGPT-Large模型,仅有15亿参数,其在 PubMedQA 基准测试中的准确率却优于有着上千亿乃至数千亿参数的大型通用语言模型。

“火山方舟”提供了丰富的模型精调和评测支持。吴迪介绍,企业可以用统一的工作流对接多家大模型,对于复杂需求可设置高级参数、验证集、测试集等功能,再通过自动化和人工评估直观对比模型精调效果,在不同业务场景里还可灵活切换不同的模型,实现最具性价比的模型组合。这些自定义指标和评估数据的积累,将成为企业在大模型时代宝贵的数据资产。

据吴迪透露,抖音集团内部已有十多个业务团队试用“火山方舟”,在代码纠错等研发提效场景,文本分类、总结摘要等知识管理场景,以及数据标注、归因分析等方面探索,利用大模型能力促进降本增效。这些内部实践在快速打磨“火山方舟”,推动平台能力的进一步完善。

“火山方舟”的首批邀测企业,还包括金融、汽车、消费等众多行业的客户。北京银行CIO龚伟华表示,大模型与客户营销、办公协同、数据智能的结合,在金融应用场景有巨大潜力。北京银行将与“火山方舟”合作,在算力优化、模型精调等方面展开研究,共同推动金融风控、营销等模型应用落地。

助力大模型“跑完最后一公里”

集成多个大模型,供客户直接对比,“火山方舟”的多模型架构不仅为企业提供了丰富选择,也得到众多大模型生产方的积极响应。

ChatGLM是智谱AI推出的千亿基座认知模型,其开源版本在大模型开源领域极具影响力,近期智谱AI还对ChatGLM做了新升级,大幅提升了模型能力。在“火山方舟”上,智谱AI提供具有竞争力的大模型,火山引擎提供高性价比资源、针对不同行业的精调能力及综合解决方案,共建安全可靠的第三方MaaS服务,合力推动各行业的智能化发展。据智谱AI CEO张鹏介绍,智谱AI在火山引擎平台上解决了千亿模型训练的稳定性、性能优化等挑战。

baichuan-7B发布后在MMLU、C-Eval等中英文权威榜单中均表现优异。百川智能联合创始人焦可表示,作为一款授权后可免费商用的开源大模型,开发者们可以通过baichuan-7B低成本部署模型,并根据自身需求灵活拓展模型能力,而本次与“火山方舟”的合作也将有效降低企业用户的大模型接入门槛和使用成本,帮助更多企业轻松获取专业服务。

MiniMax等大模型企业代表也亮相参加“火山方舟”的发布仪式。此前,MiniMax联合创始人杨斌公开分享了与火山引擎的合作成果:MiniMax在火山引擎上实现了从月至周级别的大模型迭代速度,和指数级的用户交互增长,“或许是国内第一家在公有云上实现数千卡并行训练的公司”。MiniMax还自研了超大规模的推理平台,稳定支撑着每天上亿次的大模型推理调用。MiniMax的文本、语音、视觉三个模态大模型登陆“火山方舟”,是双方合作的进一步深化。

科研机构同样是推动大模型技术发展的重要力量,复旦大学自然语言处理实验室开发的MOSS大模型、IDEA研究院开发的姜子牙系列大模型,均是该领域的代表作。IDEA研究院认知计算与自然语言研究中心讲席科学家张家兴表示,大模型生产方会不断提升基础模型能力,为大模型应用完成90%-99%的工作,“火山方舟”为代表的云平台要帮助客户为不同场景精调模型,“跑完最后一公里”。张家兴认为,“在技术驱动和需求拉动的作用下,大模型的世界必然百花齐放”。

谭待判断,企业使用大模型,未来可能会呈现“1+N”的模式:“1”是通过自研或深度合作,形成1个主力模型;由于成本和场景复杂多元等原因,在这个主力模型之外,还会有N个模型同时应用。

“每一次技术的大变革,都会带来体验创新的新机会”,谭待坦言,“火山方舟”还在起步阶段,工具链和下游应用插件需要持续完善。平台还将接入更多大模型,并逐步扩大邀测范围,与企业客户共建开放合作的多模型生态,加速大模型在各行各业的应用落地。

来源: 中国经济网返回搜狐,查看更多

责任编辑:

火山引擎, 火山方舟, 大模型服务

《火山引擎发布“火山方舟”:大模型服务平台的加速落地》

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

© Copyright notes

Related posts

No comments

No comments...