Logstash 修改 output elasticsearch 的 Data type

Logstash 預設 output elasticsearch 會使用 dynamic template 去建立 index value，如果沒有特別設定，所有的 data 都會從 String 轉成 Text 的類型。

若要對該 data type 執行特殊的資料處理，或者是圖表呈現的話純 String 格式就無法呈現 (或畫圖)，如 IP Range query 則需要轉換成 IP type 才能使用 10.0.0.0/8 這樣的 query，否則只能使用一般 NOT client : 10.* 等字串型別的查詢。

如果你已經有 Kibana，則可以善用 Dev Tool 來查詢 template index，執行 Query 就可以看到

GET /_template/logstash-index-template

一般正常狀況下，應該像這樣 (6.4.x)：

{
  "logstash-index-template": {
    "order": 0,
    "index_patterns": [
      ".logstash"
    ],
    "settings": {
      "index": {
        "number_of_shards": "1",
        "auto_expand_replicas": "0-1",
        "codec": "best_compression"
      }
    },
    "mappings": {
      "doc": {
        "_meta": {
          "logstash-version": "6.4.0"
        },
        "dynamic": "strict",
        "properties": {
          "description": {
            "type": "text"
          },
          "last_modified": {
            "type": "date"
          },
          "pipeline_metadata": {
            "properties": {
              "version": {
                "type": "short"
              },
              "type": {
                "type": "keyword"
              }
            }
          },
          "pipeline": {
            "type": "text"
          },
          "pipeline_settings": {
            "dynamic": false,
            "type": "object"
          },
          "username": {
            "type": "keyword"
          },
          "metadata": {
            "type": "object",
            "dynamic": false
          }
        }
      }
    },
    "aliases": {}
  }
}

從 logstash 餵進來的 data type 沒有被 template 定義到的都會是 Text 格式。

要定義 template 可以從 logstash 或者 elasticsearch 下手，為了維護方便所以選擇用 logstash 這邊統一處理掉

$ sudo mkdir /etc/logstash/template.d/elasticsearch-template-with-clientip.json
$ tee /etc/logstash/template.d/elasticsearch-template-with-clientip.json <<EOF
{
  "index_patterns" : "logstash-*",
  "version" : 1,
  "settings" : {
    "index.refresh_interval" : "5s"
  },
  "mappings" : {
    "doc" : {
      "properties" : {
        "clientip": {
          "type": "ip",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        }
      }
    }
  }
}
EOF

簡單的來說要先 follow template 格式，從 properties 定義一個 clientip field 的 type 為 ip。

然後 output elasticsearch 的地方指定 template 檔案，template_overwrite 要開啟才會覆蓋預設的 template。

output {
  elasticsearch {
    hosts => "elasticsearch.sys.104dc.com:9200"
    template => "/etc/logstash/template.d/elasticsearch-template-with-clientip.json"
    template_overwrite => true
  }
}

Logstash 重啟後看 log 可以看到 template 被 install 到 elasticsearch，位置是 _template/logstash

[2018-10-02T13:09:01,715][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{“index_patterns”=>”logstash-*”, “version”=>1, “settings”=>{“index.refresh_interval”=>”5s”}, “mappings”=>{“doc”=>{“properties”=>{“clientip”=>{“type”=>”ip”, “fields”=>{“keyword”=>{“type”=>”keyword”, “ignore_above”=>256}}}}}}}}  [2018-10-02T13:09:01,744][INFO ][logstash.outputs.elasticsearch] Installing elasticsearch template to _template/logstash

再用 Kibana 的 Dev Tool 驗證一下新建立的 index，就可以看到自定義的 template

GET /_template/logstash

** 既有的 index 不會生效，必須 rebuild 或 new index。