Graylog解析Syslog中的Json数据

按照Syslog规范中所定义的message格式,

<PRI>Timestamp Hostname Tag: Content

例如下面的消息:

<28>2018-10-08T16:03:00+08:00 zhangtaodeMacBook-Pro.local demotag[15182]:  
{
"name":"devex",
"status":1
}

对于用户来说，真正关心的是:

{
"name":"devex",
"status":1
}

因此如果使用Graylog来接受Syslog消息时，需要剥离Content之前的数据。

配置Regex Extractors

首先使用正则表达式，从message中提取content。 因为最关心的数据再最后面，同时demotag是程序中固定输出的tag，因此可以按照下面的正则规则来设定：

^.*demotag\[.+\]:(.*)$

我们只保留 : 之后的字符串。 这样就将

{
"name":"devex",
"status":1
}

剥离了出来。 然后下一步就是解析这段字符串。

配置Json Extractors

在Json Extractors中，需要设定对哪个字段进行json解析。 所以需要对上面通过正则解析出来的数据给个字段名，这里命名为raw message。 然后对raw message进行json解析。解析出来的字段保留原始名称。

因为是对raw_message整个字段进行json解析，因此只要这个字段保存的是合法json字符串，那么就可以动态解析其包含的字段。

最后，通过syslog客户端发送数据到graylog，验证一下解析出的数据是否正确。