使用Fluentd收集Docker容器日志

栏目: 编程工具 · 发布时间: 6年前

内容简介:本文介绍使用Fluentd收集standalone容器日志的方法。Docker提供了很多当有多个docker host的时候你会希望能够把日志汇集起来,集中存放到一处,本文讲的是如何通过

本文介绍使用Fluentd收集standalone容器日志的方法。

Docker提供了很多 logging driver ,默认情况下使用的 json-file ,它会把容器打到stdout/stderr的日志收集起来存到json文件中, docker logs 所看到的日志就是来自于这些json文件。

当有多个docker host的时候你会希望能够把日志汇集起来,集中存放到一处,本文讲的是如何通过 fluentd logging driver 配合 fluentd 来达成这一目标。

目标:

  1. 将standalone容器打到stdout/stderror的日志收集起来
  2. 收集的日志根据容器名分开存储
  3. 日志文件根据每天滚动

第一步:配置Fluentd实例

首先是配置文件 fluent.conf

<source>
  @type   forward
</source>

<match *>

  @type              file

  path               /fluentd/log/${tag}/${tag}
  append             true
  <format>
    @type            single_value
    message_key      log
  </format>
  <buffer tag,time>
    @type             file
    timekey           1d
    timekey_wait      10m
    flush_mode        interval
    flush_interval    30s
  </buffer>
</match>

新建一个目录比如 /home/ubuntu/container-logs ,并赋予权限 chmod 777 /home/ubuntu/container-logs

然后启动Fluentd实例,这里使用的 Docker 方式:

docker run -it \
  -d \
  -p 24224:24224 \
  -v /path/to/conf/fluent.conf:/fluentd/etc/fluent.conf \
  -v /home/ubuntu/container-logs:/fluentd/log
  fluent/fluentd:v1.3

第二步:指定容器的logging driver

在启动容器的时候执行使用fluentd作为logging driver:

docker run -d \
  ...
  --log-driver=fluentd \
  --log-opt fluentd-address=<fluentdhost>:24224 \
  --log-opt mode=non-blocking \
  --log-opt tag={{.Name}} \
  <image>

第三步:观察日志

/home/ubuntu/container-logs 目录下能够看到类似这样的目录结构:

.
└── <container-name>
    └── <container-name>.20190123.log

参考文档


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

算法引论

算法引论

[美]Udi Manber / 黄林鹏、谢瑾奎、陆首博、等 / 电子工业出版社 / 2005-9-1 / 35.00元

本书是国际算法大师乌迪·曼博(Udi Manber)博士撰写的一本享有盛誉的著作。全书共分12章:第1章到第4章为介绍性内容,涉及数学归纳法、算法分析、数据结构等内容;第5章提出了与归纳证明进行类比的算法设计思想;第6章到第9章分别给出了4个领域的算法,如序列和集合的算法、图算法、几何算法、代数和数值算法;第10章涉及归约,也是第11章的序幕,而后者涉及NP完全问题;第12章则介绍了并行算法;最后......一起来看看 《算法引论》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换