大数据文摘出品作者:Caleb只有活的数据、真正被利用起来的数据,才是真正有价值的数据。这是4月18日火山引擎总裁谭待在火山引擎FORCE原动力大会上所提出的观点。这句话,也解释了数据中台争议之声愈演愈烈的原因。数据中台只是数据建设的一部分,汇集不同业务场景的数据,做好数据打通和统一的数据资产沉淀,并不能保证数据的价值得到有效发挥。在谭待看来,要发挥好数据价值,一定要以数据消费为核心,让数据消费驱动业务应用,构建数据应用的闭环;通过数据消费驱动数据建设,有的放矢地建立数据平台。这也是火山引擎结合对字节数据驱动经验的总结,提出数据飞轮的原因。
换句话说,数据飞轮实际上解决的是,以数据消费促数据生产,以数据消费助业务发展,帮助企业实现数据驱动,并形成飞轮效应。
数据飞轮的核心是数据消费数据飞轮这一概念的提出是基于字节跳动10年的基于数据驱动的理念,以及在业务实践中沉淀下来的经验模式。对于数据飞轮,火山引擎数据产品负责人郭东东提到,它强调的是数据与业务之间的互动关系,通过上下轮的互相加速,让数据能够在业务场景中流动起来,不断实现业务价值提升。数据飞轮的核心是数据消费。数据消费能够让业务在进行决策与运营的时候,更快、更有效。比如在2021年抖音春晚的红包活动上,分析师通过实时的DAU/DNU指标,为下个时间段的红包投放量做预算决策,这种实时的数据消费就能让决策更高效、更有效。一旦人们发现借助频繁的数据消费能做出高效决策,并带来更好的业务价值后,会促生出更多、更频繁甚至延伸到更宽领域的消费。当数据消费盛行时,企业会加大在数据建设、数据治理和数据查询能力的投入,那么下飞轮的转动便会推动数据在各个应用场景的快速渗透,并也会促进数据消费。上下两个飞轮转动合在一起,实际就能形成数据飞轮的闭环,闭环内是数据与业务的双向互动,实现数据驱动业务提升,同时又能驱动数据提效。图:以数据消费助力业务发展,以数据消费促进数据生产的数据飞轮形成闭环比如在字节内部,截至2022年底,每天新增的A/B实验2000多个,同时运行的A/B实验有3万多个。这种浓厚的A/B实验文化和数据驱动意识,便是依赖于数据飞轮的转动实现。也正是得益于此,郭东东透露道,在字节内部搭建起新的复杂业务的核心指标最快只需要一周时间。“产品方案+咨询服务”助推飞轮转动,帮助企业实现数据价值
外部企业如何建设自己的数据飞轮?火山引擎从产品方案和咨询服务两大方面切入,帮助企业落地数据飞轮模式。
在产品方案层面,火山引擎去年发布了数智平台VeDI,开放了字节跳动内部数据技术与工具能力,覆盖数据引擎、数据建设与管理、数据应用等全链路相互协同的数据产品。图:火山引擎数智平台(VeDI)产品矩阵数据引擎和数据建设产品,可以让企业低成本、高效率地拥有好数据。数据应用层解决的是业务细分场景的数智化,一方面可以用低门槛、高智能的方式,让企业使用数据更容易,另一方面则是通过多元、多场景,让企业数据收益更丰沃。此外,火山引擎还进一步加强对外开放的数据产品能力,升级湖仓一体分析服务LAS、Serverless流式计算Flink服务,发布全新产品管理驾驶舱Plus。湖仓一体分析服务LAS升级重点落在企业 Serverless 智能湖仓构建上,通过极致性能和Serverless全托管等能力,为企业带来数据基础设施建设的降本增效。图:火山引擎总裁谭待在计算领域,Serverless流式计算Flink服务脱胎于抖音内部的超大规模实践,峰值可以达到QPS 100亿,稳定性提升51%,实现了弹性的扩缩容和在/离线业务混部,提升40%的资源利用率。Serverless Flink还能实现统一调度,支持流批一体等多种计算模式。对于管理者,他们需要实时全面的数据来观察和指导业务的运营情况,管理驾驶舱Plus的价值便在此体现。字节跳动内部,也正是通过该产品为集团和每个子业务建立起了同源共享的管理驾驶舱。根据谭待介绍,管理驾驶舱Plus能够做到0代码搭建,实时交互,以及小程序和APP多端移动覆盖。跨行业,数据飞轮是如何适配的呢?郭东东表示,火山引擎的To B逻辑是将字节内部沉淀的产品,包括工具和经验,开放到更多的To B客户中,同时这些经验会进一步反馈回到字节内部的使用场景。在不熟悉的领域,经验的使用和转化,工具的适配和调整,也都会结合客户的场景进行深化和转化。实际上,除了产品方案之外,火山引擎还会提供咨询服务和解决方案,围绕企业如何做好用户增长,提供具有字节特色的UG咨询服务和数据BP咨询服务,并深入业务提供个性方案。据了解,国内一家股份制银行目前已经通过火山引擎的“数据飞轮”模式,实现了营销应用上的实时精准营销和多渠道的用户运营,最终实现了1.6亿AUM(资产管理规模)的增长。多云“趋势”下,火山引擎如何更好支撑数据飞轮等应用?2022年,火山引擎对超过4500个云消耗大于100万的企业进行了调研,发现使用多云架构的企业占比达到88%,达到历史新高。虽然公共云消耗如今已经是私有云的1.5倍,但麦肯锡调研发现,到2025年,中国仍然有42%企业使用私有云。也就是说,在未来一段时间内,很大一部分企业仍需要兼容私有云和公有云。可以说,多云不是趋势,已是事实。企业使用多云的原因,一方面是避免被一家云厂商绑定,希望能有更高可靠性和更优性价比,另一方面也有数据安全和监管要求等原因。据了解,火山引擎不仅支持数据飞轮相关的产品多架构部署,也通过数款多云产品,帮助企业建设好分布式多云体系。首先是分布式云原生平台,其基于火山自研的联邦引擎,提供面向多云、混合云和边缘云场景的分布式云原生管理能力,连接并管理用户任何地域、任何基础设施上的Kubernetes集群。火山引擎的云原生平台本身基于内部超大规模的验证,可以支持超过20万节点、千万级核的使用场景。不论企业的应用是构建在火山引擎云上、第三方服务商的云上,还是IDC自建基础设施,都可以实现集群统一资源与权限管理、应用跨集群分发、应用故障迁移等,达到跨云的一致性服务。其次,多云CDN管理平台基于字节数百TP的带宽和十多家CDN厂家实操经验构建而成,为企业客户在多云场景下提供CDN的智能容灾、质量优化、成本管理、运维优化等综合管控治理能力。当前,火山引擎已经为行业多家客户提供相关服务,通过测试,多云CDN管理平台能有效降低运维管理成本50%,并且进一步降低CDN的使用成本10%。多云给企业提供了更多选择,但同时多云的异构性也带来了更多安全挑战,为此,火山引擎推出轻量级全栈多云安全平台,旨在为客户提供SaaS化多云安全管理服务。通过统一管理多云、云上云下、中心+边缘等各种环境的资产、服务、告警、身份四要素,解决多云环境下安全事件难管理、安全漏洞难处置、防护资产不清晰、安全加固难统一的核心痛点。最后,面向公有云和私有云长期共存的场景,火山引擎混合云veStack平台采取了和公有云同源的架构设计。veStack主要有三个方面的优势:1.与传统私有云相比,veStack可以提供更高的资源利用率,基于自研DPU带来更高性能,裸金属资源利用率达到100%;2.更敏捷的构建方式,10台起步就能建设全栈云;并且扩展性极佳,单Region支持扩容到10万台物理机;3.云上云下能力统一、体验统一、管理统一。此外,veStack也支持自研分布式存储、本地盘、FC等异构存储协议;兼容一云多芯,支持Intel、海光、鲲鹏等异构芯片服务器,助力金融、政府、央国企等企业应对业务迁移挑战。目前,火山引擎多云相关的产品已经被外部客户广泛应用。比如在AI制药领域,晶泰科技在多云架构上的挑战较大,单个镜像超过20G,500+节点需要在短时间内拉起,同时在算力供给上对性价比要求很高。火山引擎为晶泰科技搭建了云原生基础设施,通过镜像预热、镜像缓存、P2P传输等功能,实现超大镜像秒级加载,以及实现了数百节点分钟级自动扩缩容。同时,通过混合调度、准预留实例等措施,提供高性价比算力资源。毫无保留的开放发布会上,有一句话令人印象深刻。“字节跳动用过全球几乎每一朵公有云,以及大多数CDN,形成了一套完整的分布式云管理体系和架构实践”,谭待坚信火山引擎是最懂多云和分布式云的云服务商,这些沉淀的技术能力也都毫无保留地进行了开放。事实上也的确如此。火山引擎宣布与字节跳动国内业务并池,把抖音等业务的空闲计算资源可极速调度开放给客户使用。据悉,基于内外统一的云原生基础架构,火山引擎离线业务资源分钟级调度10万核CPU,在线业务资源也可潮汐复用,弹性计算抢占式实例的价格最高可优惠80%以上。这只是其中一个例子,除了上面提到的多云、数据飞轮,还有升级的机器学习平台、智能推荐-高速训练引擎等等……在大数据文摘看来,火山引擎这种毫无保留的将字节跳动快速发展过程中积累的增长方法、技术能力和工具开放给外部企业,相信会帮助不少企业,在数字化时代激发自身的数字化原动力,重新回到增长的主航道。点「在看」的人都变好看了哦!