IT大数据添加搜索条件过滤日志数据

一、配置需求

IT大数据平台（下文简称“ITOA”） E0103版本中的核心功能之一就是可以在web界面，通过对日志关键字段进行搜索，进而到达过滤日志的目的。在web界面上能够对日志数据进行快速的全文检索，依赖的是基于的Lucene的分布式搜索引擎Elasticsearch，所以所有在界面下发的搜索条件都需要符合lucene语法。

二、配置步骤：

在ITOA的“搜索”界面，提供两种添加过滤条件的方法：

l  添加过滤器

l  在搜索框写lucene语法写过滤条件和逻辑

1、 添加过滤器

在搜索界面左侧罗列了待搜索日志数据的所有字段，点击某个字段默认显示数量前5的值，点击值旁边的“ ”，出现类似下图样式的过滤器，可以过滤出包含这个值的日志；

点击“ ”出现类似下图样式的过滤器，过滤出不包含这个值的日志。

2、 在搜索框写lucene语法写过滤条件和逻辑

添加过滤器的方法不够灵活，特别是面对需要模糊匹配、区段匹配的场景，所以可以直接在搜索框直接写搜索条件，下面介绍常用搜索条件的语法规范。注意：编辑搜索条件需要英文标点。

A、    搜索字段关键字

精确搜索特定字段的特定值，需要用＂＂包括值。

field:＂value＂；

比如src_ip: ＂192.168.1.1＂,搜索src_ip字段等于192.168.1.1的日志数据

搜索字段本身是否存在

_exists_:http   返回结果中需要有http字段

_missing_:http  不能含有http字段

B、    通配符

? 匹配单个字符

   src_ip: 192.168.1.？，搜索字段src_ip的值的范围在192.168.1.0-192.168.1.9的日志。

*  匹配0到多个字符

src_ip: 192.168.1.*，搜索字段src_ip的值的范围在192.168.1.0-192.168.1.254，即192.168.1网段的所有ip。

注意：? * 不能用作第一个字符，例如：?text *text

C、    模糊搜素

~ 在一个单词后面加上~启用模糊搜索

first~ 除了匹配到first，也能匹配到 frist

还可以在~后面添加0到1的数值，指定需要多少相似度，指越大越接近搜索的原始值，默认是0.5

cromm~0.3 会匹配到 from 和 chrome

D、    范围搜索

针对数值和时间类型的字段可以对某一范围进行查询
length:[100 TO 200]
date:{"now-6h" TO "now"}
[ ] 表示端点数值包含在范围内，{ } 表示端点数值不包含在范围内

E、    逻辑搜索

AND（逻辑与）：

src_ip：192.168.1.1 AND dest_ip:192.168.1.10，搜索src_ip等于192.168.1.1.且dest_ip等于192.168.1.10的日志数据。

OR（逻辑或）

src_ip：192.168.1.1 OR dest_ip:192.168.1.10，搜索src_ip等于192.168.1.1.或者dest_ip等于192.168.1.10的日志数据。

+：搜索结果中必须包含此项

+src_ip: ＂192.168.1.1＂搜索src_ip这个字段中值等于192.168.1.1的日志，效果和没有+效果相同。

-：不能含有此项
    - src_ip: ＂192.168.1.1＂搜索src_ip这个字段中值不等于192.168.1.1的日志数据。

F、    分组

添加多个过滤条件时，可以用添加（）进行分组

三、配置关键点

使用添加过滤器的方式可以快速过滤日志，当需要过滤的那个字段中值的类型不多时，用这种方式很快捷。需要注意的的是，添加的过滤器本身的语法也是可以编辑的，但是较为复杂，这个不再赘述。

使用编辑搜索条件的方式，通常出现在需要模糊搜索某个字段的值的场景，例如，分析安全设备的攻击日志时，想搜索攻击源IP中某个网段的所有值，这种需要搜索一个范围内的值的场景，就需要手动编辑搜索条件。

下面看一个例子：

迪普安全设备的样例日志数据如下，添加源ip（srcAddress）到已选字段：

可以看到源IP的内容比较杂乱，假如希望将130.0.0.0网段的源ip都筛选出来，可以在搜索框添加过滤条件：srcAddress:130.*,得到如下图的结果：