充分利用logstash的功能

今天有个搜索的小需求，找了下解决方案，好久没弄了，生疏了很多。

需求就是原来一篇文章一个品牌，原来使用elk的整型字段存储，现在一篇文章对应多个品牌，如何设计呢？

解决方案就是在文章索引中新增一个数组字段，那么如何将数据录入进去呢？以前的整型字段值是否要合并进新字段？或者ELK同时对新老字段进行查询？

使用logstash的split和merge解决：

mutate { split => { "brand_ids" => ',' } }
mutate { merge => ["brand_ids", "brand_id"]}

mutate{
    convert => {"brand_ids"=> "integer"}
}

新字段是用逗号分隔的，表示多个品牌，先拆分成数组，然后将旧的品牌值合并到数组中，这样ELK查询新字段就可以了。

merge：

Merge two fields of arrays or hashes. String fields will be automatically be converted into an array

注意在logstash中并没有数组类型，integer仅仅表示数组值的类型。

convert:

Convert a field’s value to a different type, like turning a string to an integer. If the field value is an array, all members will be converted.

那么ELK如何查询呢？很简单:

"term": {
   "brand_ids":3
}

由于很久没弄了，所以生疏了很多，调试不方便，尤其logstash特别慢，修改配置文件后再重新运行很耗费时间，可以：

bin/logstash -f apache.config --config.reload.automatic

-r 参数可以自动加载新的配置文件。

深思了很多，如何才能更熟练，困难的是要重新导入数据到ELK中，不过只要删除logstash的pos文件就可以全量重新导入了，不会影响服务。

参考：

• https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-merge
• https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-convert
• https://www.elastic.co/guide/en/logstash/current/reloading-config.html