跳到主要内容

Dissect 处理器

与 Grok 处理器类似,dissect 也可以从文档中的单个文本字段提取结构化字段。但与 Grok 处理器不同的是,dissect 不使用正则表达式。这使得 dissect 的语法更简单,并且在某些情况下比 Grok 处理器更快。

Dissect 将单个文本字段与定义的模式进行匹配。

例如,以下模式:

%{clientip} %{ident} %{auth} [%{@timestamp}] \"%{verb} %{request} HTTP/%{httpversion}\" %{status} %{size}

将匹配如下格式的日志行:

1.2.3.4 - - [30/Apr/1998:22:00:52 +0000] \"GET /english/venues/cities/images/montpellier/18.gif HTTP/1.0\" 200 3171

并生成包含以下字段的文档:

"doc":{
"_index":"_index",
"_type":"_type",
"_id":"_id",
"_source":{
"request":"/english/venues/cities/images/montpellier/18.gif",
"auth":"-",
"ident":"-",
"verb":"GET",
"@timestamp":"30/Apr/1998:22:00:52 +0000",
"size":"3171",
"clientip":"1.2.3.4",
"httpversion":"1.0",
"status":"200"
}
}

dissect 模式由将被丢弃的字符串部分定义。在上面的示例中,第一个被丢弃的部分是一个空格。Dissect 找到该空格后,将 clientip 的值赋为直到该空格之前的所有内容。接下来,dissect 匹配 [,然后匹配 ],并将两者之间的内容赋给 @timestamp。特别注意模式中需要丢弃的字符串部分,将有助于构建成功的 dissect 模式。

成功的匹配要求模式中的所有键都有值。如果模式中定义的任何 %{keyname} 没有值,则会抛出异常,该异常可通过 on_failure 指令处理。可以使用空键 %{} 或命名跳过键来匹配值,但不将该值包含在最终文档中。所有匹配到的值都以字符串数据类型表示。可以使用 convert 处理器转换为预期的数据类型。

Dissect 还支持键修饰符,可以改变 dissect 的默认行为。例如,你可以指示 dissect 忽略某些字段、追加字段、跳过填充等。更多信息见下文。

参数必填默认值描述
field是-要剖析的字段。
pattern是-要应用的模式。
append_separator否""(空字符串)分隔被追加字段的字符。
ignore_missing否false如果为 true 且 field 不存在或为 null,处理器将静默退出,不修改文档。
description否-处理器的描述。有助于说明该处理器或其配置的用途。
if否-有条件地执行处理器。参阅有条件地运行处理器。
ignore_failure否false忽略处理器的失败。参阅处理管道失败。
on_failure否-处理器的失败处理。参阅处理管道失败。
tag否-处理器的标识符。有助于调试和指标统计。

示例配置:

{
"dissect": {
"field": "message",
"pattern": "%{clientip} %{ident} %{auth} [%{@timestamp}] \"%{verb} %{request} HTTP/%{httpversion}\" %{status} %{size}"
}
}

Dissect 键修饰符​

键修饰符可以改变剖析的默认行为。键修饰符可以位于 %{keyname} 的左侧或右侧,始终位于 %{ 和 } 之内。例如 %{+keyname ->} 同时具有追加和右侧填充修饰符。

修饰符名称位置示例描述详情
->跳过右侧填充(最)右侧%{keyname1->}跳过后面的任何重复字符链接
+追加左侧%{+keyname} %{+keyname}将两个或多个字段追加在一起链接
+ 与 /n按顺序追加左侧和右侧%{+keyname/2} %{+keyname/1}按指定顺序将两个或多个字段追加在一起链接
?命名跳过键左侧%{?ignoreme}在输出中跳过匹配的值。行为与 %{} 相同链接
* 和 &引用键左侧%{*r1} %{&r1}将 * 的值设为输出键,将 & 的值设为输出值链接

右侧填充修饰符​

执行剖析的算法非常严格,要求模式中的所有字符都与源字符串匹配。例如,模式 %{fookey} %{barkey}(1 个空格)可以匹配字符串 "foo bar"(1 个空格),但不能匹配字符串 "foo bar"(2 个空格),因为模式中只有 1 个空格而源字符串中有 2 个空格。

右侧填充修饰符可以解决这种情况。将右侧填充修饰符添加到模式 %{fookey->} %{barkey} 后,它将匹配 "foo bar"(1 个空格)、"foo bar"(2 个空格),甚至 "foo bar"(10 个空格)。

使用右侧填充修饰符可以允许 %{keyname->} 之后的字符重复出现。

右侧填充修饰符可以与任何其他修饰符一起放在任何键上。它应始终是最右侧的修饰符。例如:%{+keyname/1->} 和 %{->}。

右侧填充修饰符示例

模式%{ts->} %{level}
输入1998-08-10T17:15:42,466 WARN
结果ts = 1998-08-10T17:15:42,466
level = WARN

右侧填充修饰符可与空键一起使用,以帮助跳过不需要的数据。例如,同样的输入字符串,如果用方括号包裹,则需要使用带右侧填充的空键才能获得相同的结果。

右侧填充修饰符与空键示例

模式[%{ts}]%{->}[%{level}]
输入[1998-08-10T17:15:42,466] [WARN]
结果ts = 1998-08-10T17:15:42,466
level = WARN

追加修饰符​

Dissect 支持将两个或多个结果追加在一起输出。值从左到右追加。可以指定追加分隔符。在此示例中,追加分隔符定义为空格。

追加修饰符示例

模式%{+name} %{+name} %{+name} %{+name}
输入john jacob jingleheimer schmidt
结果name = john jacob jingleheimer schmidt

按顺序追加修饰符(+ 和 /n)​

Dissect 支持将两个或多个结果追加在一起输出。值按照定义的顺序(/n)追加。可以指定追加分隔符。在此示例中,追加分隔符定义为逗号。

按顺序追加修饰符示例

模式%{+name/2} %{+name/4} %{+name/3} %{+name/1}
输入john jacob jingleheimer schmidt
结果name = schmidt,john,jingleheimer,jacob

命名跳过键​

Dissect 支持在最终结果中忽略某些匹配项。这可以通过空键 %{} 实现,但为了可读性,可以为该空键指定一个名称。

命名跳过键修饰符示例

模式%{clientip} %{?ident} %{?auth} [%{@timestamp}]
输入1.2.3.4 - - [30/Apr/1998:22:00:52 +0000]
结果clientip = 1.2.3.4
@timestamp = 30/Apr/1998:22:00:52 +0000

引用键​

Dissect 支持将解析出的值用作结构化内容的键/值对。设想一个系统以键/值对的形式进行部分日志记录。引用键允许你保持这种键/值关系。

引用键修饰符示例

模式[%{ts}] [%{level}] %{*p1}:%{&p1} %{*p2}:%{&p2}
输入[2018-08-10T17:15:42,466] [ERR] ip:1.2.3.4 error:REFUSED
结果ts = 2018-08-10T17:15:42,466
level = ERR
ip = 1.2.3.4
error = REFUSED

原文链接