采集器与ETL运行监控

2.4采集源类型配置

__菜单路径：__数据管理 → 数据采集 → 采集任务配置 → 新建采集任务

__功能说明：__2.4在文件目录和SYSLOG基础上扩展多种采集源；选择类型后页面显示对应配置项。

__主要配置：__通用项含任务名称、采集器、目标Topic、状态；类型项支持Kafka、Syslog、文件目录、数据库、FTP/SFTP、AWS S3/CloudWatch、阿里云SLS、Azure Blob、华为云等连接参数

__页面按钮：__新建、上一步、下一步、测试连接、保存、取消

点击新建采集任务 → 选择采集源类型 → 填写连接和认证参数 → 测试连接 → 配置采集范围及目标 → 保存 → 启动任务并在监控页验证。

图 248　2.4采集源类型配置

__菜单路径：__数据管理 → 数据采集 → 采集任务配置 → 采集器管理

__功能说明：__查看和维护采集器节点，确认采集器地址、连接状态及任务归属。

__主要配置：__采集器名称、采集器IP、端口、状态、最近心跳时间、关联任务

__页面按钮：__查询、刷新、新增、编辑、删除、查看

进入采集器管理 → 按名称或IP查询 → 新增或选择记录编辑 → 填写连接信息 → 保存 → 刷新确认状态。

图 249　采集器管理

__菜单路径：__数据管理 → 数据采集 → 采集任务配置 → 采集器监控

__功能说明：__查看采集器运行状态、最近数据时间和异常信息。

__主要配置：__采集器名称、IP、端口、运行状态、最近收到数据时间、异常信息

__页面按钮：__查询、刷新、查看详情

进入采集器监控 → 设置查询条件 → 查询 → 查看异常采集器详情 → 根据提示处理并刷新验证。

图 250　采集器监控

__菜单路径：__数据管理 → ETL解析任务监控

__功能说明：__集中查看ETL解析任务状态、批量启停任务，并进行链路体检和数据链路监测。

__主要配置：__任务名称、厂家、产品与版本、解析方式、规则ID、目标索引、运行状态、刷新周期

__页面按钮：__搜索、刷新、查看详情、启动、停止、启动选中、停止选中、启动全部、停止全部、配置告警、链路体检、开始监测

进入ETL解析任务监控 → 搜索任务 → 查看状态 → 按需启动或停止 → 选择任务执行链路体检 → 查看采集入口、解析和ES目标断点。

图 251　ETL解析任务监控

__菜单路径：__数据管理 → ETL解析任务监控 → 采集器断流监控

__功能说明：__针对采集器长时间未收到事件的情况配置邮件或短信告警。

__主要配置：__采集任务、开启监控、无数据阈值、通知方式、通知接收人、告警说明

__页面按钮：__刷新、配置告警、启动监控、停止监控、保存

打开断流监控 → 选择采集任务 → 开启监控 → 填写无数据阈值 → 选择通知方式和接收人 → 保存。

图 252　采集器断流告警

使用场景：需要排查并重启一条异常的解析任务。

进入【ETL与采集器监控】→【任务管理】。

查看运行中/已停止/异常数量，定位异常任务。

点击【查看详情】排查原因后执行重启，确认状态恢复为运行中。