租户端 大数据 数据集成 最佳实践

最佳实践

最近更新时间: 2019-10-28 03:13:45

  1. 数据同步切分键设置：当同步的数据源数据过多时，可以使用切分设置，选取某个特定字段作为切分键，并指定一定的切分数量。目前切分键字段仅支持数字类型，切分数量按照表数据量大小来指定。
  2. 每日增量同步数据：在进行数据源同步时需要对源表进行每日增量数据同，此时可以在【数据过滤】中添加系统变量${BizDate},在调度周期性运行时，调度系统的业务时间会对变量赋值，从而实现了数据过滤的效果。