功能特性
最近更新时间: 2019-10-28 03:02:54
数据集成部分包括的功能有数据检核、数据转换、数据同步和数据整合。主要是完成Source到Sink之间同源、异源、文件到库表以及库表到文件等一系列数据操作。功能细节如下：
- 数据检核部分通常在数据转换、数据同步、数据整合或者数据加工之前进行，分为业务检核和技术检核。
- 数据同步部分是为了实现从源端到目标端数据的加载、卸载、复制。
- 数据整合部分使用增量切片算法、全量切片算法、拉链算法、时点快照算法及数据表拆分等方式实现。
- 数据加工部分主要使用SQL对库表或者非库表数据进行指标、维度、统计等加工计算。