DBP 一般指数据业务平台,它是一套面向业务场景搭建的数据综合处理平台,核心作用是把多来源的数据统一接入治理加工分发,让数据可以直接支撑业务决策业务运营和应用开发,不需要每个业务系统单独重复做数据采集和清洗工作。之所以会出现 DBP 这类平台,是因为企业内部经常存在多个独立业务系统,各个系统的数据格式不一样口径不统一,数据孤岛严重,业务人员想拿到可用数据需要跨系统对接,耗时长还容易出错,DBP 就是把数据相关的能力集中沉淀,统一标准统一调度统一服务输出。落地的时候一般先梳理业务数据源,把业务库日志文件接口数据接入 DBP,之后在平台内完成清洗转换标准化建模,再按照业务需求生成数据集或者数据服务,最后对外提供报表接口 API 或者数据订阅能力,业务应用直接调用平台输出的数据,最终实现数据资产化,提升数据复用率,降低重复开发成本。
DBP 基础定位
DBP 属于企业级数据中台类平台产品,定位是数据能力的统一承载底座,和单纯数据库 DBMS 不一样,DBMS 是管理单库数据存储,DBP 是跨系统跨源的数据全链路处理平台,重点偏向业务赋能,不只是存储数据。
清单
1 面向业务,最终目标是服务业务部门,不是单纯给技术人员管理数据库
2 多源兼容,可以接入关系型数据库文件消息队列接口等多种数据源
3 全链路覆盖,从接入到治理建模服务分发形成完整流程
4 支持业务人员低门槛使用,部分版本提供可视化拖拽配置
DBP 核心模块
表格
| 模块名称 | 模块作用 |
|---|---|
| 数据接入模块 | 对接各类数据源,完成数据抽取同步,支持全量同步和增量同步 |
| 数据治理模块 | 数据清洗去重校验,统一数据口径,处理脏数据缺失值异常值 |
| 数据建模模块 | 构建主题域模型,建立维度表事实表,沉淀标准化数据资产 |
| 数据服务模块 | 将加工好的数据封装成接口报表数据集,供上层业务调用 |
| 调度运维模块 | 任务定时调度,监控任务运行状态,失败告警,管理平台资源 |
| 权限管理模块 | 对数据资产接口任务做权限管控,区分角色访问范围 |
DBP 主要工作流程
第一步是数据源盘点,确认需要接入的业务系统,确认数据更新频率,是实时同步还是离线批量同步。
第二步是数据接入配置,在 DBP 里面配置连接信息,选择抽取方式,建立同步任务。
第三步是数据治理转换,编写清洗规则,修正错误数据,统一编码单位命名规范。
第四步是数据建模资产登记,把处理完成的数据注册成数据资产,补充元数据说明。
第五步是对外发布服务,生成报表或者 API 接口,授权业务应用调用。
第六步是持续运维,监控任务执行情况,根据业务变化调整规则和模型。
DBP 和相近概念区分
清单
1 DBP 和 DBMS,DBMS 是数据库管理系统,负责单库存储查询,DBP 是上层平台,底层经常会依托 DBMS 存储加工后的数据
2 DBP 和数据中台,DBP 很多时候是数据中台的落地实现载体,范围可以根据企业需求裁剪,不一定是完整大型数据中台
3 DBP 和 ETL 工具,ETL 只是抽取转换加载,属于 DBP 里面其中一部分能力,DBP 还包含建模服务资产运维等更多功能
DBP 适用场景
清单
1 多业务系统数据汇总,生成经营报表和管理看板
2 业务系统之间数据打通,解决数据孤岛
3 为 AI 算法提供标准化训练数据集
4 对外提供统一数据接口,减少各个业务系统重复开发对接
5 企业内部数据资产统一盘点和管理
【常见问题】
问题 1 DBP 是不是就是数据库管理系统
回答 1 DBP 并不是数据库管理系统,DBP 是数据业务平台,属于上层综合数据平台,底层存储经常会搭配 DBMS 使用,DBP 重点是跨源数据治理和业务数据服务输出,二者定位不一样。
问题 2 DBP 的数据接入支持增量同步吗
回答 2 DBP 的数据接入模块一般支持增量同步,也支持全量同步,可以根据业务数据更新频率,在 DBP 任务配置里面选择对应的同步模式,满足实时或者批量的数据更新需求。
问题 3 DBP 可以给业务人员直接使用吗
回答 3 DBP 通常提供可视化操作能力,经过培训之后业务人员可以在 DBP 里面查询数据集配置报表,不需要每次都依赖开发人员,降低业务获取数据的门槛。
问题 4 DBP 里面的数据治理主要做什么
回答 3 DBP 里面的数据治理主要完成脏数据清洗去重缺失值处理,统一数据口径和命名规范,保证进入 DBP 的数据质量稳定,让后续建模和业务调用的数据标准统一。
【免责申明】
本文内容为 DBP 通用概念解说,DBP 这个缩写在不同行业不同厂商定义可能存在差异,部分场景下 DBP 还会代表其他专有名词,本文讲解以数据业务平台这个主流释义为主,内容仅用于学习参考,不构成产品选型或者项目建设建议。


