浅谈 Cgroups V2

女主宣言

之前写过一篇文章对cgroup v1进行了介绍，但是由于当前k8s使用cephfs进行数据存储，当多租户使用时，需要对IO进行限制。 当前cgroup v1由于memcg与blkio没有协作，导致buffer io的throttle一直没有实现。并且cgroup v1在内核的实现一直比较混乱，其中主要的原因在于，cgroup为了提供灵活性，允许进程可以属于多个hierarchy的不同的group。但实际上，多个hierarchy并没有太大的用处，因为控制器(controller)只能属于一个hierarchy。 所以在实际使用中，通常是每个hierarchy一个控制器。

这种多hierarchy除了增加代码的复杂度和理解困难外，并没有太大的用处。一方面，跟踪进程所有controller变得复杂；另外，各个controller之间也很难协同工作（因为controller可能属于不同的hierarchy, 所以从3.16开始，内核开始转向单一层次（unified hierarchy)。并且实现了对buffer io的限制。

在Cgroups v1允许将不同的controller挂载到不同的hierarchies虽然很灵活，但实际上这种方式对于使用者来说是没有必要的。因此在Cgroups v2版本中，将所有的controller都挂载到一个hierarchies。

可以使用下面命令将Cgroups v2挂载到文件系统，并且所有可用的controller会自动被挂载进去。

mount -t cgroup2 none $MOUNT_POINT

一个contoller无法在Cgroups v1和v2中同时使用，如果 想在Cgroups v2使用已经被Cgroups v1使用的controller，则需要先将其从Cgroups v1中umount掉。

要注意的是，系统启动时，systemd默认使用Cgroups v1，并将可以使用的controller mount到/sys/fs/cgroup。如果想在系统启动时，把Cgroups v1关掉，可以在/etc/default/grub文件下修改kernel参数,增加GRUB_CMDLINE_LINUX_DEFAULT="cgroup_no_v1=all"。(all表示关闭所有的controller，如果想关闭指定的controller，则将all替换成你需要的controller名称，并已逗号分隔即可)。 这样就可以在Cgroups v2中使用你想要的controller了。

echo '+pids -memory' > x/y/cgroup.subtree_control

Cgroups v2的具体组织结构如下图所示:

与Cgroups v1不同, Cgroups v2只能将进程绑定到叶子节点。因此不能绑定进程到任何一个已开启controller的任何subgroup中。

在Cgroups v2的实现中，也对获取group empty时获取通知的机制进行了优化。

Cgroups v1使用release_agent和notify_on_release在v2中被移除。替代的是使用了cgroup.events文件。这是一个只读的文件，每行一个key value对，key和value之间通过空格分割。

当前在这个文件中只含有一个key就是populated，对应的value是0。0表示cgroup中没有process，1表示cgroup中包含process。

相关文章

• http://man7.org/linux/man-pages/man7/cgroups.7.html

• https://facebookmicrosites.github.io/cgroup2/docs/create-cgroups.html

• https://events.static.linuxfound.org/sites/events/files/slides/cgroup_and_namespaces.pdf

• https://lwn.net/Articles/679786/

• https://www.lijiaocn.com/%E6%8A%80%E5%B7%A7/2019/01/28/linux-tool-cgroup-detail.html

推荐阅读

浅谈Cgroups

360云计算

由360云平台团队打造的技术分享公众号，内容涉及 数据库、大数据、微服务、容器、AIOps、IoT 等众多技术领域，通过夯实的技术积累和丰富的一线实战经验，为你带来最有料的技术分享