全球微资讯！Kyligence李栋：从数据湖到指标中台，提升数据分析ROI

来源：CSDN博客　2022-07-21 10:00:48

嘉宾 | 李栋整理 | 巫柔颖

(资料图)

出品 | CSDN云原生

2022年7月12日，在CSDN云原生系列在线峰会第13期"现代数据栈峰会"上，Apache Kylin PMC Member、Kyligence技术合伙人兼副总裁李栋从指标中台的趋势和背景出发，围绕指标中台的真实案例展开，对Kyligence实现指标中台的过程及提升数据分析ROI的经验进行了详细分享。

什么是“指标中台”

指标是衡量事物的标准，数据分析的关键就是找到正确指标并获得洞察，并开展经营决策。指标中台（Metrics Store）是当下流行的技术之一。

在传统的数据分析场景中，往往会把数据统一接入到一个数据平台，例如数据湖、数据仓库等技术。通过一系列ETL开发后，将数据对接到下游的BI或自研的数据应用，数据分析师或业务用户通过查看报表和数据应用来查看指标数据，并对指标进行洞察分析和开展业务决策。

这种情况下，所有业务指标分散存储在各个BI报表或应用系统当中，当指标数、用户数越来越多时，数据管理和指标管理会产生很大的混乱。例如指标在不同报表中出现同义不同名、同名不同义、数据口径不一致、时间对不齐等难题，极大降低了业务用户对数据的信心。

指标中台的出现，旨在通过一个平台统一管理所有业务指标，以及指标背后的数据。指标中台不仅可以解决前面提到的技术挑战，赋能业务人员更自助、更有信心地使用数据，还能帮助IT团队创造更高业务价值。

影响数据分析ROI的障碍

示例1：

国内某一线互联网企业，早年开始数字化建设，并搭建了数据湖来汇总存储各个来源的数据。按照传统的方式，所有的源表（ODS表）落到数据湖上后，业务用户无法直接使用这些源表，需要经过ETL开发宽表和聚合表才能被下游业务使用。

这就带来了两方面的问题：

宽表爆炸：最初仅有5.7k张ODS表，却膨胀至近百万张宽表和聚合表，给数据存储和数据管理带来极大负担；此外，每个宽表都需要ETL开发和管理工作，对计算资源和管理复杂度也是很大挑战；

难以使用：这么多的宽表和数据表，用户在使用时很难快速定位需要分析的指标存在哪张表上，数据使用的效率很低。

由此可见，影响数据分析ROI的障碍主要是：

指标口径不一致：数据量很大，但缺少信任；

“浑浊”的数据湖——宽表爆炸，数据存储和ETL任务冗余；

IT成本&时效性——IT成本和开发效率随数据量和用户量增长而难以控制。

通过指标中台解决上述挑战

示例2：

如下图所示，传统的在数据湖中加工和分析指标的方式，是经过ETL为每个指标开发宽表和聚合表。虽然很多指标背后的数据是可以复用的，但因为需求来自不同业务部门，缺少数据共享，最终只能重复开发，生成大量冗余的宽表和聚合表。

如下图所示，使用指标中台后，所有的数据指标被统一管理，并形成指标体系，如基础指标、衍生指标等。如果不同的指标背后对应的数据模型是同一个，那么指标的加工和计算过程是可以复用的。如果是同一份数据按不同口径服务不同业务，则通过衍生指标灵活响应业务需求，既能满足业务多变的需求，又能避免数据冗余导致的宽表爆炸。

由此可见，在指标中台里“指标”成为数据和业务交互的主体，通过对“指标“的标准化，形成数据开发和管理的标准化。

示例3：

下图展示的是某银行企业使用指标中台前的状况。银行业务人员需要对用户的消费行为进行分析，从交付指标到获得相关数据，通常需要12个工作日甚至更长时间。数据开发效率低、需求交付周期极长。

下图展示了它使用指标中台后的情况。允许非技术人员自助管理衍生指标，并通过拖拽现成指标的方式创建仪表板，端到端交付时间减少50%，从需求到开发，流程轻松省时、企业人效大幅提升。