您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件开发专栏 > 大数据 > 正文

低代码指标平台,构建人人可用的敏捷指标工具

发表于:2023-06-09 作者:宗正 来源:DataFunTalk

在现代数据服务体系中,指标平台或者说基于指标的服务和应用是其中关键的要素之一。麦肯锡《2025数据驱动企业》报告当中有一个重要观点:到 2025 年,绝大多数人将会使用数据来优化他们工作的几乎各个方面。这里的“绝大多数人”,不仅包括业务决策人员,也有数据分析师和工程师等,而大家所在的行业领域以及相关的背景、经验和技术程度都有所不同,因此低代码和低代码所衍生出的自动化就有着重要的价值。本文将从指标平台应用建设的角度,分享如何发挥低代码的作用,去构建人人可用的敏捷指标工具。

一、数字化转型与指标建设的挑战:低效价值转化

很多行业和领域的企业都在建设自身的指标平台或以指标为核心的数据应用,在此过程中不可避免地会遇到一些问题。

我们先转到数据治理的视角来看,指标其实是一个通用的数据语言,可以跨越人和人之间以及人和数据之间的沟通。

(1)数仓/数据湖的架构范式

无论是数仓还是云上数据湖的建设,已经从数据归集转变为数据联结的模式。首先,数据采集可能来自于不同的源头如各种传感器等;另外,各种上云的业务受制于数据传输的云规范或合规要求,因此各个平台之间或者说各个数据应用之间需要有一个通用的沟通方式。这种沟通方式不仅仅是跨越数据应用的,也是在不同角色之间的一个通用交流方式。这种交流方式其实是为了我们更好地聚焦到指标上。

(2)聚焦指标

过去的沟通更多的是以报表为载体,但对于业务人员来说,可能对一张表或者一份数据并没有特别的感知。而以指标形式呈现出来的数字立刻就会有一种亲切感,助力相关人员更快更准确地做出决策。

(3)可信和效率

如果以指标作为通用数据语言,那么可信和效率就会变得尤为关键。因为对于指标来说,最终是以单个或者多个数字来呈现的,这些数字背后的计算逻辑、计算口径、是否来自于可信数据源、整个数据处理链路是不是被各方接受等等,是这个最终指标结果数值是否可信的基础。而整个协作和数据链路中的效率也是非常关键的,有很多指标具有一定的时效性,过期之后就失去了其作用。

接下来就回头看一下数字化转型和指标建设中所面临的挑战。

1、指标孤岛

我们经常会听到数据孤岛,实际上指标也会存在孤岛的情况。

图片

从上图左边可以看到,过去大量的指标建设和应用的过程都会直接把指标落在 BI 报表/数据应用分析工具上,或者说大量的指标会散落在整个 ETL 处理链路上。在不同的分析工具如 SaaS、自研 BI 应用之中存在着很多相同的指标,但这些指标可能来自于不同的数据源,其计算口径可能不一样,计算逻辑可能跨越了多个宽表,一些计算方式可能会因为维护不到位而丢失,最终就很难判定在哪个平台上的指标是最可信的。

而整个趋势就是从指标孤岛转变为建设统一指标目录:这个指标目录就类似于图中右侧所展示的,对于终端应用或平台所使用的指标,抽取其定义和计算口径,统一放在一个指标目录中。

2、低效价值转化

刚才的问题是在一个切面上,现在我们把视角拉到整个数据处理的链路上。过去从业务方提出需求开始,到最终一些有价值的内容可以回馈给业务方,会经历一个相当长的过程,数据价值转化的效率很低,而且很可能会发生复用不足、成本居高不下的情况。

下面以一个实际的例子来说明,这是我们和一家头部股份制银行开展的基于用户行为分析的场景建设指标平台的过程。

 

图片

 

图中可以看到,上下两个流程中参与的角色都是类似的,有业务方和 IT 方。在过去常规的流程下,业务方提出指标需求,IT 方需要去做大量的需求沟通,接下来是很长一段时间的指标开发,最终呈现的载体是报表,将来有新的指标开发又会是一张新的报表。整个过程的复用性和效率都很低。

换一种方式,在业务方提出需求后,如果有一个指标目录作为载体,基础指标已经存在,衍生指标可以通过对基础指标二次加工得到,所以可能实际只有极少数的指标需要开发,这样就可以很好地控制成本。而最终的产出从报表回到了指标目录上,也就是说,大家集中精力不断迭代更新当前的指标目录,从而使其可以满足更多的业务要求。上层的消费端不管是 BI 工具、表、报表还是 SaaS 等都可以直接调取指标目录中统一管理的指标。这样业务也可以很好地参与进来,也就是我们常常听到的“人人都是分析师”。

图片

在这样的平台建设下,经过两年左右的时间已经取得了非常显著的成果,以指标为基础,可以看到活跃指标数、分析维度有了显著的提升。最终指标的开发周期明显缩短、查询性能有效提高,同时也通过指标复用等大幅提升了整体工作效率。

二、Kyligence Zen 一站式指标平台

基于前文中提到的问题和挑战,我们一起来看一下什么样的指标平台可以做到很好的承接。

1、指标平台的介绍

指标平台通过指标来驱动管理与决策,它是集业务模型、指标管理、指标加工和数据服务于一体的完整解决方案。

指标平台可以分为两大部分:第一部分是指标应用,包括指标定义、口径计算管理等,这部分是以界面的形式开放出来的,通过自助的、低代码的形式;第二部分是计算引擎,指标模型涉及的数据计算、加工等都需要计算引擎来承担,以自动化、无感知的形式呈现。即在界面上对指标进行定义和管理时,平台自动化地完成了大量背后的建模动作。

 

图片

 

Kyligence Zen 一站式指标平台就具备了这样的核心要素。从下图可以看到,第一部分就是前面提到的指标目录,在指标目录之下可以做到指标自动化、指标治理,从而实现了以低代码自助式的形式开放给业务用户以及数据工程师。

图片

2、Kyligence Zen 关键能力和核心价值

(1)指标目录

下图是 Kyligence Zen 的主体界面,可以看到,它不再是以表的形式呈现,而是通过业务人员直接可以感知到的指标名称、指标数值、以及简单图例来呈现。在右边的列表中可以看到一些基础指标,也有基于基础指标的衍生指标,整个指标目录聚焦于指标之上,自动化地呈现和管理一个指标体系,这样的指标体系对业务人员是非常友好的,能够高效地赋能业务自主用数。

图片

(2)归因分析

当然,指标目录只是一个载体。不同的指标可以做不同维度的洞察,而这些洞察中很关键的就是当指标有异动的时候需要去做归因分析。过去我们做归因分析需要和业务沟通、进而由数据工程师去建模、多维度的匹配判定、以及繁琐的取数计算等,一旦关注的维度、时间周期发生变化,整套流程就需要重新构建。

现在在下图界面中可以看到,比如对于关注的净利润指标,只需给出时间区间和关注的维度等,平台就可以快速自动化地为业务方给出按不同维度的归因分析报告,帮助他们更精准、更快速地决策。

图片

(3)指标自动化

再来看一下活跃客户数的例子。统计活跃客户数需要做去重的操作,当数据量较大时会是非常耗时的。这里我们可以引入缓存,对非常关注的、有价值的、可能经常使用相对热门的指标进行自动加速,这个加速过程是通过计算引擎来实现的,包括对应模型建立、索引匹配和优化等。而在界面上只需要进行相应的点选就可以,这也是低代码的重要体现。

 

图片

 

(4)目标管理

上面更多是为业务分析师、数据工程师服务的一些能力,接下来从决策方的角度来看下。决策方更关注的是指标带来的价值是否与业务目标相匹配。

Kyligence Zen 中引入了目标管理,这也是我们认为非常重要的指标管理的方向。因为指标需要和业务目标关联起来,并且能够去主动识别它的状态、风险,并进行相应的预警,这样的指标应用才能发挥其在决策层面的价值。

 

图片

 

(5)开放 APIs

指标平台如果要和内部其它应用实现链路上的打通、做集成,就需要非常良好的开放能力。这种开放能力不仅包括界面上所展示的,所有功能以标准 API 形式开放,也包括与已经形成固有习惯的消费端的融合,比如对接 Excel、WPS 等,在充分保留习惯的基础上去增强现有的分析方式。

图片

(6)总结

通过以上介绍可以看到,涉及到的功能和场景在 Kyligence Zen 指标平台上都是通过自助式的方式去完成,实现了以低代码的服务去赋能指标平台,助力提升从数据到决策的时效性。其优势可以总结为:

① 高效率交付指标:对于数据生产方,比如数据工程师角色,门槛可以大幅降低,IT 团队和业务方之间的沟通是以更形象的数据指标目录的形式来实现,可以更快地将价值交付于业务方,整个数据加工链路也可以大幅简化;

② 自助式消费指标:业务团队可以自助式的消费指标,大幅减少对数据 IT 团队的依赖,快速高效输出可信洞察和决策;

③ 体系化管理指标:从运维和管理的角度,通过体系化的数据指标目录进行统一口径管理及复用,避免重复建设和资源耗费,提升数据价值转化率。

三、低代码指标服务的核心价值

通过上述内容,我们看到了非常多的低代码和自动化的呈现,接下来我们继续深入探讨这两方面。

1、低代码服务

指标平台通常对应多方角色:

(1)一方是业务,包括决策人员、一线业务人员和业务分析师等;

(2)一方是数据团队,包括数据工程师等。

指标平台通过低代码的服务,将技术表达转换到了业务表达。过去我们以表、报表为基础,需要手工处理大量模型;现在则聚焦于指标。过去我们以表、报表来作为数据运作中的核心要素;而现在更细粒度地去看,指标才是数据处理链路上最核心的资产。

指标对业务人员来说更具亲和力,可以让决策层基于数据感知更快地做出决策,帮助业务团队提升数据解读能力;而对于数据团队而言,可以减少重复性生产,降低建模门槛,充分发挥生产力,降低数据开发成本,从而为业务和数据团队带来“双赢”。

 

图片

 

2、自动化服务

前面提到,指标平台的上层是指标应用,下层是计算引擎。在 Kyligence Zen 上所对接的是以 Apache Kylin 为核心的商用化的 Kyligence OLAP 引擎。

如下图所示,左边以数据团队为源头进行数据的加工,右边业务团队去消费指标。中间过程实际上是业务和数据团队最多的联动点,通过低代码、自动化的方式,业务人员可以以熟悉的方式看到指标,并通过自助点选基础指标去生成衍生、复合指标,而不需要再把需求二次给到数据团队;而数据团队通过多维 OLAP 引擎来承载指标目录的建设,包括指标相关的建模、归因分析需要的模型加工、模型关联等、以及根据主动元数据分析热门指标、高价值指标和低效指标等的优化管理,这些都可以通过简单配置方式来实现,从而有效降低重复的、低附加值的工作,提高生产力。

图片

四、从数据驱动到指标驱动

我们很有幸和大家一起看到这个时代经历的非常多的变化,这也包括在数据服务体系中,指标服务正在从以表和报表为基础的数据驱动转向为指标驱动。

下图中可以看到数据驱动和指标驱动的对比。面对表,业务人员可能并不知道下一步要做什么,对数据分析师来说要做大量的建模、ETL 工作;而基于 Kyligence Zen 一站式指标平台,业务人员可以轻松使用指标,完成业务决策。

我们聚焦在指标之上,因为指标是从数据到业务洞察、决策的最佳通道,是对于业务团队最亲切的数据呈现形式,最终通过指标平台的驱动以低代码、自助化的方式对接到计算引擎,充分发挥数据和 IT 团队生产力,高效挖掘数据价值。

 

图片