数据采集
数据采集
数据采集
数据采集支持主流数据格式的数据集中上收。
鼠标移动至平台左侧导航栏__系统菜单，点击数据管理模块下数据采集__，可以进入数据采集配置页面。
图 12数据采集入口
·数据采集前置条件：在日志采集服务器或者目标日志服务器上已经部署了日志采集客户端程序，并且启动了日志采集程序。平台可远程对日志采集器进行采集目标管理
数据采集配置页面主要用于对平台数据采集进行管理配置,主要功能包括：
- __采集任务配置：__采集任务配置是数据采集器管理模块，主要用户数据采集器的添加、采集任务的添加、删除、配置等管理工作。
- __解析规则配置：__解析规则管理用于管理（增、删、改、查）已经创建的解析规则。支持主流厂商产品数据解析。
- __数据验证配置：__数据验证用于解析后数据的验证，可针对字段中的内容进行各种条件的验证，检验其是符合数据上收的规范要求。
图 13数据采集配置页面
采集任务配置
点击【采集任务配置】区域，页面跳转至采集任务配置页面。
图 14点击采集任务配置
增加采集节点
采集节点为已安装了日志采集器并启动了日志采集程序的服务，可独立部署至其它服务器。可点击__采集任务配置页面右上【采集器管理】按钮，创建采集器。也可点击数据采集任务配置__页面【添加采集任务配置】按钮，在创建采集任务时同时创建采集器。
图 15点击添加采集管理器
图 16添加采集任务配置_采集器管理
请根据实际情况选择或输入__采集节点IP、采集器名称__信息__：__
- __采集节点IP：__采集服务节点IP地址
- __采集器名称：__根据实际情况自定义
·采集器名称填写建议，请填写采集器主要采集类型数据类别，如：Linux系统日志、Apache中间件日志等
·默认系统本机已安装采集器，支持接收syslog日志和本地文件采集，采集器IP填写本机IP地址即可
新建采集任务
平台采集任务支持常见数据类型数据采集任务配置，包括但不限于：文件目录、SYSLOG、NETCAT、数据库、FTP/SFTP、SNMP、NETFLOW等。本文档主要介绍文件目录和SYSLOG这两种数据源的采集任务配置方法。
图 17采集任务配置添加
文件目录
针对于目录下文件或自定义文本类型数据采集需求时，在__采集任务配置添加__页面，在选择采集方式时，鼠标可选择__文件目录__采集方式，额外配置参数说明如下：
- 采集任务名称：采集任务唯一标识ID
- 源类型：文件或目录
- 路径：若源类型选择文件，则路径要输入文件的绝对路径；若源类型选择目录，则目录输入绝对目录
- 采集子目录：若源类型选择目录，则默认开启子目录递归采集目录下文件功能。
- 主机IP：填写目录与文件数据来源主机IP地址信息
- 字符集：选择原始采集数据数据字符集编码，例如：UTF8、GBK、Unicode
·采集任务名称支持英文（小写）、数字、下划线 、中横线组合命名，且长度不超过50个字符
·采集任务名称不支持@、￥、#、&等特殊符号与中文
图 18文件目录采集任务配置添加
鼠标点击【下一步】按钮，完成文件目录类型采集数据任务添加配置。
图 19文件目录采集任务配置添加完成
SYSLOG
针对于SYSLOG类型数据采集需求时，在__采集任务配置添加__页面，在选择采集方式时，鼠标可选择__SYSLOG__采集方式，额外配置参数说明如下：
采集任务名称：采集任务唯一标识ID
源类型：SYSLOG客户端发送的SYSLOG协议：TCP、UDP
端口：SYSLOG客户端发送至服务区端端口
字符集：SYSLOG客户端发送的数据字符集编码，例如：UTF8、GBK、Unicode
·采集任务名称支持英文（小写）、数字、下划线 、中横线组合命名，且长度不超过50个字符
·采集任务名称不支持@、￥、#、&等特殊符号与中文
图 20SYSLOG采集任务配置添加
鼠标点击【下一步】按钮，完成SYSLOG类型数据采集任务添加配置。
图 21SYSLOG采集任务配置添加完成
·采集任务添加完成后，平台默认会自动识别标准化主流应用或厂商输出的日志或数据格式，包括：Apache、NGINX等应用产生的日志或CISCO、HUAWEI、H3C、绿盟等厂商产品生成的日志
启动采集任务
新建的采集任务默认为未启动状态，需要人工手动启动采集任务。在__采集任务配置__页面，鼠标点击前期平台已配置采集任务右侧的【启动】按钮，启动采集任务。
图 22启动采集任务
停止采集任务
在__采集任务配置__页面，鼠标点击平台已启动采集任务右侧的【停止】按钮，停止采集任务。
图 23停止采集任务
删除采集任务
在__采集任务配置__页面，鼠标点击平台采集任务右侧的【删除】按钮，删除 采集任务。
图 24删除采集任务
·鼠标点击采集任务名，可查看采集任务下的的解析任务
·在删除采集任务前，确保采集任务状态是停止状态，且任务下解析任务已删除
修改采集任务
在__采集任务配置__页面，鼠标点击平台采集任务右侧的【编辑】按钮，编辑采集任务。
图 25编辑采集任务
鼠标点击【保存】按钮，完成采集任务编辑。
解析规则配置
解析规则配置及数据标准化过程，可点击【解析规则配置】区域，页面跳转至解析规则配置页面。
图 26点击解析规则配置
·数标准化分自动和手动模式，在新建采集任务时，平台默认会开启自动取识别主流应用和厂商输出的日志或数据功能，匹配的解析规则会自动映射至采集任务上。
·数据标准化或解析性能：数据标准化手动模式的性能优于自动模式
新增解析规则
在__解析规则配置__页面，鼠标点击【添加规则】按钮，进行日志标准化新增操作。
图 27添加解析规则
页面跳转至__解析规则配置__页面。
图 28解析规则配置
配置项说明如下，按照建议的描述信息分别填写内容：
- __厂商：__数据源设备厂商，如Linux、Windows、绿盟、天融信等（建议输入：英文）
- __产品名称和版本：__此内容不能随意填写，要与采集任务的标题名称保持一致
- __规则名称：__在输入产品名称和版本后，任务名称自动生成。其内容与产品名称和版本的内容一致
- __目的索引：__解析后的数据存储的位置
- __数据源：__选择已建立好的采集任务
- __多行日志模式：__默认禁用，若存在多行日志当作一个日志事件，则开启此功能
- __过滤：__获取采集任务数据源中匹配此解析规则的数据
- __获取数据：__选择数据接入时间范围，点击【获取数据】按钮，即可显示最近500条原始数据，采集日志或数据匹配到“过滤”规则的在“匹配成功”中展示原始日志，未匹配则在匹配失败中展示
- __提取方式：__标准分隔符、正则、KEY VALUE、JSON等。其中正则可应对全部格式的日志的标准化。
- __正则表达式：__人工填写正则表达式，提取需要标准化的字段，所需提取的字段需使用（）来圈定范围
- __字段命名：__对标准化后的值进行字段名定义
·平台默认索引信息，安全设备存储索引：sec；网络设备存储索引：network；数据库存储索引:db；linux存储索引:unix；windows存储索引：windows；数据解析后，在搜索页面输入index=对应索引即可搜索到接入并解析后的数据
·平台标准化工作，大部分情况平台会自动识别解析，无需手动干预
平台新建标准化数据解析步骤如下：
- 建立解析规则
点击添加规则，进行未解析数据规则配置。
图 29添加解析规则
- 数据样本获取
分别按照要求填写__厂商、产品名称和版本、规则名称、目标索引、数据源、过滤__配置项，鼠标点击【获取数据】按钮。
图 30解析规则基础信息填写
- 数据解析
- 正则解析
鼠标选中【正则解析】，按照需求填写正则表达式后，点击【匹配当前】按钮，进行解析正则验证，验证成功后在字段命名中填写对应字段名称，。
配置好解析规则后，对同设备日志不同内容格式情况，鼠标点击【下一条】按钮，选择不同格式原始数据，使用“子正则”功能进行解析配置。
·字段名称优先使用字段库中已存在的内置字段，举例：原始日志中字段名称为srcaddr或源IP，字段命名需要调整为src_ip内置字段，平台内置字段库中已基本定义所有可能会被使用的字段名称，如：src_ip（源地址）、src_port（源端口）、dst_ip（目的地址）、dst_port（目的端口）、name（事件名称或事件描述）、priority（事件等级）等，可按需填写。
图 31正则解析
- 子正则
若场景需要，子正则可根据上述正则已提取字段的字段值，进行进一步数据分流解析，可按照子正则定义的处理逻辑，对字段中不同内容使用不同的子正则表达式解析。
图 32子正则
- Key Value解析
对标准化程度高的KEY=VALUE或KEY:VALUE等样式日志一般使用KV方式解析。
鼠标在__是否存在前缀__配置项中选择“是”，使用正则提取采集时的设备IP后,例如截图中标准的格式Key=value，即可填写基础分隔符和KV分隔符，点击匹配即可，根据系统内置字段修改字段名称。
图 33Key Value解析01
Key-Value中勾选正则解析，可对同一种日志包含两种以上key-Value格式进行正则匹配解析，例如日志中包含，Afield=value和Afield=”value”,即可勾选正则解析模式来填写对应Key-Value解析(\S+)=(\S+)|(\S+)=”(\S+)”。
图 34Key Value解析02
- Json格式解析
对标准JSON样式日志一般使用JSON解析方式解析。
在__提取方式__中配置项选择“Json”，在__是否存在前缀__中选择“是”，使用正则表达式提取设备IP后，鼠标点击【匹配当前】按钮，即完成Json格式日志的解析。
图 35Json解析
- 时间配置
数据解析过程中，如原始日志中有时间字段，提取后则指定时间字段名为“_time”,并在时间戳中选择对应时间格式，默认搜索时间范围依据日志中时间，若不存在或未提取，则平台默认时间为日志或数据采集的时间。
图 36时间戳配置
- 其他配置
自定义字段：在此解析规则的数据中添加自定字段作为标记，规定必须填写三个自定义字段用于区分日志内容。*必填项。
图 37自定义字段
字段映射：可对字段内容的值进行映射，如Ip和主机名映射（需要预先制作映射列表）；
图 38自定义字段、字段映射
字段别名：可为已提取的字段名设置中英文别名。
图 39字段别名
启动解析规则
在__采集任务配置__页面中点击【采集任务名称】，进入解析规则配置页面。
图 40采集任务配置
在__解析规则配置__页面，鼠标点击【启动】按钮，及启动该数据源标准化任务。
图 41启动标准化任务
停止解析规则
在__解析规则配置__页面，鼠标再次点击【启动】按钮，操作显示已取消，及停止该数据源标准化任务。
图 42停止标准化任务
·停止标准化任务前，须保证日志采集程序启动、采集任务启动。
删除解析规则
在__解析规则配置__页面，鼠标点击解析任务行操作栏【删除】按钮，完成该解析任务删除操作。
图 43删除标准化任务
编辑解析规则
在__解析规则配置__页面，鼠标点击解析任务行操作栏【配置】按钮，仅需该解析任务编辑操作。
编辑标准化任务操作方式与新增标准化任务操作步骤一致，参考新增标准化章节。
解析规则高级配置
在__解析规则配置__页面，鼠标点击解析任务行操作栏【高级】按钮，对解析任务进行高级解析功能配置。
图 44高级配置标准化任务
数据进一步处理功能包括如下：
- __数据过滤：__根据数据中字段内容进行过滤与保留，如实现某IP字段中，值为1.1.1.1的数据过滤与保留功能
- __字段替换：__对字段中的值进行替换，如实现level=1替换为level=低功能
- __字段截取：__对字段中的值进行二次提取，并保留原字段，如实现email=test@test.com通过正则进行二次提取邮箱用户名test功能
- __字段合并：__实现将两个字段内容以指定符号进行拼接功能
- __字段模糊：__将字段中指定位数的数据内容模糊处理，如实现订单号、身份证等敏感信息的模糊处理，使用*号屏蔽功能
图 45高级配置
数据验证配置
在日志采集或上收过程中，部分场景存在数据整改有效性判断的需求，数据验证用于解析后数据的验证，可针对字段中的内容进行各种条件的验证，检验其是否符合数据上收的规范要求。
在__数据采集配置__页面，可点击【数据验证配置】区域，页面跳转至数据验证配置页面。
图 46数据验证配置
新增数据验证配置
在__数据验证配置__页面，鼠标点击【添加验证规则】按钮，页面进入新建数据验证配置页面。
图 47添加数据验证
数据验证配置项说明如下：
- __规则名称：__数据验证规则ID
- __数据源：__数据采集上收所需验证的数据源，需与数据采集任务配置关联
- __数据范围选择：__根据字段匹配逻辑，匹配出所需验证的数据
图 48数据范围选择
- __验证规则设置：__可根据字符长度、时间戳、列表对比、内容、是否为空、固定值等维度对选定的字段进行规则验证
图 49验证规则设置
- __字段关联验证：__平台额外支持字段关联验证
图 50字段关联验证
使用示例
使用场景：需要新增一台防火墙的 Syslog 采集任务。
进入【数据采集】→【采集任务配置】，点击【添加采集任务配置】。
选择采集器、协议类型（如 Syslog）和采集方式，填写任务名称、监听端口等参数。
点击【保存】并启动任务，在任务列表确认状态为“运行中”。