中国企业数据中台市场研究

    2022-08-12 10:54

    以数据分析、数据流通及事务处理技术为核心的大数据技术体系日渐完善,数据技术和数据服务融合程度加深,助力企业用户需求潜力持续释放。

    第一、非结构化数据量激增,推动大数据技术创新升级。

    全球数据量的增加及数据类型的变化打破原有数据结构,传统的关系型、结构化数据在数据总量中的比重逐渐缩小,视频和语音等大量非结构化数据占据数据总量的比例逐渐增多,占比近80%。传统大数据技术难以应对数据量较大的非结构化数据,持续增长的数据处理需求推动大数据处理系统和分析技术的快速发展,为大数据服务行业的潜力释放提供技术支持。

    第二、大数据技术体系日渐完善。

    大数据技术体系主要由数据分析技术、数据流通技术和事务处理技术构成:①数据分析技术融合传统数据库和MPP数据库优点,逐渐向流处理加强、SQL支持、深度学习支持等方向演进;②数据流通技术持续创新,衍生出同态加密、零知识证明、差分隐私等多种数据流通工具,在保证数据流通环节安全高效的基础上,具有不缓存数据、保护个人隐私、保护数据版权、可追溯数据来源等优势,可有效提升大数据服务的安全性;③事务处理技术基于底层硬件和上层应用的不断变化,逐渐由集中式数据库等单点架构为主的传统事物技术模式转化为分布式架构,分布式数据库技术的应用为大数据服务商提供可弹性扩展、高响应速度、易维护的数据库服务平台。

    数据为业务系统核心,基于技术中台的能力,将企业内外部数据打通形成数据中台,可以为前台业务部门提供决策快速响应、精细化运营及应用支撑等,让数据业务化,提升业务效率。

    数据中台是基于技术后台和业务前台之间,以业务视角出发,智能化构建数据、管理数据资产,并提供数据调用、数据监控、数据分析和数据展现等多种服务的平台。数据中台将企业业务数据、外部数据统一进行共享融合、组织处理、建模分析、管理治理和服务应用,将企业数据能力、产品技术能力进行沉淀、复用,为前台业务部门提供决策快速响应、精细化运营及应用支撑等,让数据业务化,提升业务效率,更好地驱动业务发展和创新,同时确保全域数据实时在线,提高信息传递效率。当大数据进入到决策阶段,企业业务由原先的经验、流程驱动逐步转向数据驱动,数据中台在整个业务链条价值度越来越高。

    数据中台建设路径及难度跟企业数字化变革驱动力、行业背景相关,与企业原有机制的融合是一个长期的过程,其建设成本在百万元以上,建设周期更是以年为单位计算。

    数据中台的建设需要从顶层设计出发,自上而下贯彻。根据企业自身的业务目标逐级建设,优先从小场景领域内开始试点,逐步纳入更多的业务模块,以达到企业数字能力的逐级进化和价值的持续叠加。此外,在数据中台的建设过程中,企业需要培养自身的数据管理团队,以提高数据服务和企业数字化运营的能力。

    (1)战略设计:根据各不同企业的文化底蕴、主营业务、流程规范等逐步将数据中台纳入企业战略,自上而下推动数据资产化的理念,从高管层夏至员工全员达成共识,明确各个职能的分工和责任。从数据向上,业务向下同步思考,建立全局架构数据中台的设想。

    (2)初步试点:各企业需根据公司的核心业务及不同情况找准初次切入点,对确定要开展数据中台的业务进行初步的业务重塑,减少交付压力。从单一业务中验证数据中台的研发情况及技术水平,寻找并消化适合企业业务发展的方法论

    (3)由点到面:探索出适合企业业务的数据中台架构建设路径后,能力沉淀、深化应用,逐渐拓展业务场景至企业全范围领域,重塑企业链路架构的同时提升数据中台的算法能力,持续推进数据中台与企业业务结合发展

    (4)迭代融合:在数据中台成熟度较高时,随着企业业务的变动不断自我更新迭代,最终构建企业自身的数字化生态,与企业的治理理念完全融合并创造出个性化的规范,成为企业发展中不可或缺的一环,整体提升企业的效率与竞争力

    企业数据的多元化,企业的业务量急剧增长以及快速变化的用户需求驱动企业利用数据中台提高市场反应速度。

    中国数据中台的市场驱动因素包括有:①企业数字化需求方面,在现阶段,企业数字化转型仍处于初级阶段,重点是企业内部各部门对接和用户连接,因此,企业当前数字化建设重点是产品业务线上化和连接终端用户。

    ⼀方面,企业要去连接终端用户,更加快速、全面地了解终端用户。同时,随着企业业务场景深化,单⼀数据源已经很难满足企业需求。营销场景中,通过微信小程序、线下门店、官网等方式进⼊的用户,需要做归⼀处理;线下零售场景,必须实现“⼈、货、场”的统⼀调度,才能保证业务高效运转。因此,企业必须建设统⼀的数据中台,汇聚多源数据,对数据进行资产化,实现内外部数据的整合,才能更加有效地支撑数字化转型的需求。

    ②快速增长的业务。移动端网民规模达8.17亿,网络购物用户规模达6.10亿。人们的消费习惯不断发生变化,也改变了企业的商业模式。在数字化、新零售的背景下,消费者的需求多样化,消费体验场景碎片化,企业间的竞争重点已从产品创新演变成对市场的争夺。

    面向终端用户,会让企业的业务量急剧增长,⼀家品牌企业,原先只需要面向上下游几百上千家供应商,现在系统需要承载上千万甚至过亿的用户,同时,还需要不断根据用户的需求,上线新的产品功能。因此,企业不论是数据层面还是技术层面,都需要统⼀管理、统⼀调度,需要⼀个技术平台和数据平台能够支撑。

    ③快速变化的用户需求。在移动互联网时代,用户关注的热点以非常快的速度迭代,企业必须能够跟上用户的变化,因此,必须要连接终端用户,快速洞察用户的需求另⼀方面,业务线上化意味着企业与用户的交互更加频繁、交互方式更加多样,业务系统必须根据用户需求能够快速迭代升级,需要通过技术手段实时监控业务的运转,并根据业务过程中的用户反馈数据不断优化业务。基于上述情况,企业必须基于数据驱动业务发展,利⽤数据更好地了解终端用户的需求,利⽤数据更好地优化产品与业务。

    企业最初使用基于传统数据库或大数据架构的解决方案挖掘数据价值,但基于传统数据库或大数据架构的解决方案往往面临缺乏可扩展性、数据孤岛、数据完整性和数据治理方面的挑战,难以满足日益灵活的数据分析需求。

    传统数据库架构面临的主要挑战有:①数据源方面,传统数据库架构专为内部业务系统的结构化数据设计,缺乏获取、管理、处理、分类半结构化数据的能力;②数据处理能力方面,传统数据库架构将存储和计算层紧密结合,导致了存储能力限制、数据存储冗余、计算资源不足等问题;③多应用场景与多用户方面,传统数据库架构的存储和计算资源缺乏弹性并且难以扩展,因此在特定的时间点,只能满足部分应用场景和用户的需求;④成本与性能的权衡方面,基于传统数据库架构和大数据架构的项目通常部署实施时间长、花费高,并且需要在使用数据前手动处理数据;在优化性价比方面,多数大数据产品缺少完善的查询处理能力;⑤多云及跨地区战略方面,公有云厂商提供的传统数据库的解决方案通常针对特定的基础设施和特定区域,在跨云和跨地区分布和共享数据方面缺少灵活性,并且对单个公有云厂商的依赖使得用户缺少议价权;此外,尽管基于传统数据库和大数据架构的解决方案可以被部署在不同区域的公有云之上,但与此同时,架构限制也导致了数据孤岛问题;⑥易用性方面,由于复杂的基础设施配置过程,基于大数据架构的解决方案通常会导致实施项目的失败;并且此类解决方案需要不同的编程语言对数据进行处理,大数据架构的实施往往需要数据分析师学习新的编程语言;⑦成本方面,传统数据库和大数据架构经常需要对底层基础设施进行维护、升级和配置,随着业务场景的快速增长,这类解决方案需要极大的前期投入去管理和支持基础设施的需求。

    大数据架构面临的主要挑战有:大数据架构可以获取不同数据类型,但通常以不同的形式存储,需要在使用前转换数据格式,易产生错误和重复;大数据架构能够存储大量数据,但在大规模数据集查询方面处理速度慢,耗时较长;大数据架构能够提供更大的处理能力,但是难以保证数据访问和处理时的一致性和完整性;由于资源的稀缺性,基于传统数据库架构的解决方案通常需要在性能方面妥协;随着应用场景和资源消耗的增加,传统方式缺少可扩展性,需要更多的时间、资金和人员投入来增加可用的资源;

    数据中台的核心应用价值在于增强了数字的运营力及其商业价值,降低数据的建设成本并提高企业运营效率,进而提高企业竞争力。

    (1)降低数据建设成本,提高数据治理效率;

    (2)激活数据商业价值,赋能企业运营决策;

    (3)改造企业业务流程,升级企业组织架构

    企业拥抱了数据中台,可以催生洞察型业务,将给企业业务增长带来强大的推进能力。

    数据中台强力推动企业数字化转型。首先,以客户为中心,能够全面用洞察驱动企业每一个行动。通过数据中台,对客户有更为深刻的了解,可更为精准触达想要的客户,营销更为精细化。将数据资产转化为精准营销价值,带来更具个性化、智能化的产品和服务;

    其次,在客户时代,客户需求千变万化,企业一定要快,一定要不断推陈出新,否则就会被淘汰,数据中台可以有效支持企业开展大规模的创新,在客户时代取得持续的领先。通过数据和算法推动规模化创新,通过数据服务带来创新机会;

    最后,企业通过盘活的全量数据,构建坚实的竞争壁垒。通过数据中台可以帮助企业获得持续竞争优势,比如你可以更了解客户资源,可以获得更高客户的忠诚度。通过内外部数据的打通,更有效利用数据,数据会越来越多,数据资产增值,获取竞争优势,我们走访的客户很多认为数据中台可以带来这些价值。

    数据中台在金融行业的应用成熟度及渗透率较高,数据服务类型较为丰富,其应用环节包括有:营销、服务、风控等,涉及到的企业包括有:银行、保险、券商、基金等等。

    未来数据中台将呈现三大趋势:单场景数据中台会发展成综合场景中台,马太效应和更有价值的场景内数据。

    第一、数据成为业务根基。企业在建设数据中台过程中,很难⼀下子建立大⼀统的数据中台,而会先从单场景出发建设数据中台。在发展初期,企业会存在很多针对单场景的数据中台,这些数据中台对企业的价值是将数据资产化,帮助企业探索数据价值。随着这些单场景的数据中台逐步成熟,业务将逐步由数据驱动,数据不再是业务系统的副产物,而是业务系统的根基。

    第二、马太效应。数据中台的能力最终由汇聚的数据种类和数量决定,数据中台本身的能力会影响基于数据中台之上承载的业务中台能力,同时,业务中台之上的业务系统产生的数据,也会不断反馈到数据中台。因此,数据中台的能力会越来越强,具备很强的马太效应。

    随着头部企业连接更多的上下游合作伙伴,头部企业的业务量会越来越大。随着业务量变大,数据越多,系统的智能化程度会越高,反过来会带动业务进⼀步增⻓。因此,头部企业承载业务的数据中台能力会越来越强。

    第三、场景内数据价值超过外部数据。场景内产生的数据价值未来会超过外部数据。场景中产生的是正在发生的“热数据”、“活数据”,用户在使用Google、百度等搜索引擎时,在搜索结果页上的每⼀次点击(或者翻页)都会作为⾏为数据被记录下来,这些数据才能真实反映用户当前在这个场景的偏好。

    场景内产生的数据,⼀定会是最适合场景本身需求,场景内形成的反馈闭环,能够帮助算法持续迭代和产品的关键突破,使用户体验不断突破边界。

    案例:数梦工场在帮助政府搭建数据中台时,是通过“最多跑⼀次”、精准扶贫等应用为切⼊点,直接自下而上搭建数据中台很难实现政府各个部门数据打通,通过⼀个应用问题,自上而下去推进数据打通。

    本文来源于头豹科创网,原创内容,作者:头豹研究院。转载或合作请联系 support@leadleo.com,违规转载法律必究,详见说明。如您有商务合作需求,请联系我们,我们将尽快与您取得联系。