最佳实践
最近更新时间: 2019-11-12 02:38:33
1) 关于批量采集大批量采集任务创建 建议使用“文件推送(Excel批量上传)”功能,在页面下载Excel模板,汇总待新增的任务信息,并按照规范填写:采集任务名称、目标COS名称、目标Bucket、数据交换接口和采集说明后,将Excel上传至大数据云平台,进行批量创建操作。 2) 关于采集任务运行情况验证
- 针对流式采集:① 可根据采集任务列表的“agent存活数”“”直观查看是否有agent运行成功;② 可点击查看agent管理列表,查看具体客户端的IP、hostname等信息; ③ 可进入“数据管理”→“元数据管理”→“数据目录”→“Kafka”→推送目标的具体topic,选择环境后,点击“数据预览”,查看数据是否正常写入。
- 针对批量采集:①可点击查看文件推送明细,查看具体的推送明细,包括运行开始时间、结束时间、运行状态,推送文件个数、文件大小等; ③ 可进入“数据管理”→“元数据管理”→“数据目录”→“COS”→推送目标的具体Bucket/数据交换接口,选择环境后,点击“数据预览”,查看数据是否正常写入。
3) 关于流式采集agent配置文件升级 为保障流式采集任务的稳定运行,对采集任务的agent配置进行编辑后,不会自动对agent的配置文件进行升级,需用户进入“agent管理”列表,暂停agent后,选择逐个/批量“更新”操作,完成指定客户端的agent升级,完成升级后,点击“恢复”/“批量恢复”可以重新启动采集动作。