Hi, I'm zorro.
版权声明:
本文章内容在非商业使用前提下可无需授权任意转载、发布。
转载、发布请务必注明作者和其微博、微信公众号地址,以便读者询问问题和甄误反馈,共同进步。
博客: https://zorrozou.github.io/
微信公众号:Linux系统技术
虽然cgroup v2早已在linux 4.5版本的时候就已经加入内核中了,而centos 8默认也已经用了4.18作为其内核版本,但是系统中仍然默认使用的是cgroup v1。
本文主要介绍了在fedora 31系统,内核版本为5.5.15上的cgroup v2使用方法。也是继前几年写的四篇cgroup文章后再次讲解cgroup。谁让我之前在那些文章里挖了坑呢?好吧,这篇是我欠你们的。祝阅读愉快。
因为系统上默认仍然开启cgroup v1,所以我们需要配置一下系统,并且换成cgroup v2。为了确认切换是否成功,我们需要先看一下v1什么样?
[root@localhost zorro]# mount
......
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
......
mount命令中显示的这些cgroup的目录,就是v1的样子。下面我们切换一下v2,看看有什么区别。切换方法其实也很简单,就是在重新启动的时候加上一个内核引导参数:
systemd.unified_cgroup_hierarchy=1
这个参数的意思是,打开cgroup的unified属性。是的,unified的cgroup就是v2了。我们加上参数重新引导之后看一下状态:
grubby --update-kernel=ALL --args=systemd.unified_cgroup_hierarchy=1
在grub2中加入相关内核参数,之后重启系统。
[root@localhost zorro]# mount|grep cgroup
cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate)
cgroup v1比v2啰嗦了不少,切换v2后世界清爽了很多。
我们再来看一下cgroup v2的目录树结构:
[root@localhost zorro]# ls -p /sys/fs/cgroup/
cgroup.controllers cgroup.stat cpuset.cpus.effective machine.slice/
cgroup.max.depth cgroup.subtree_control cpuset.mems.effective memory.pressure
cgroup.max.descendants cgroup.threads init.scope/ system.slice/
cgroup.procs cpu.pressure io.pressure user.slice/
从目录树结构上看,cgroup v2相比v1变化还是很大的。我们基本要重新学习一下如何配置cgroup v2。
根v1类似,我们也是通过在cgroup相关目录下创建新的目录来创建cgoup控制对象的。比如我们想创建一个叫zorro的cgroup组:
[root@localhost zorro]# cd /sys/fs/cgroup/
[root@localhost cgroup]# ls
cgroup.controllers cgroup.stat cpuset.cpus.effective machine.slice
cgroup.max.depth cgroup.subtree_control cpuset.mems.effective memory.pressure
cgroup.max.descendants cgroup.threads init.scope system.slice
cgroup.procs cpu.pressure io.pressure user.slice
[root@localhost cgroup]# mkdir zorro
[root@localhost cgroup]# ls zorro/
cgroup.controllers cgroup.stat io.pressure memory.min memory.swap.max
cgroup.events cgroup.subtree_control memory.current memory.oom.group pids.current
cgroup.freeze cgroup.threads memory.events memory.pressure pids.events
cgroup.max.depth cgroup.type memory.high memory.stat pids.max
cgroup.max.descendants cpu.pressure memory.low memory.swap.current
cgroup.procs cpu.stat memory.max memory.swap.events
解释一下目录中的文件:
cgroup.controllers:这个文件显示了当前cgoup可以限制的相关资源有哪些?v2之所以叫unified,除了在内核中实现架构的区别外,体现在外在配制方法上也有变化。比如,这一个文件就可以控制当前cgroup都支持哪些资源的限制。而不是像v1一样资源分别在不同的目录下进行创建相关cgroup。
默认创建出来的zorro组中的cgroup.controllers内容为:
[root@localhost cgroup]# cat zorro/cgroup.controllers
memory pids
表示当前cgroup只支持针对memory和pids的限制。如果我们要创建可以支持更多资源限制能力的组,就要去其上一级目录的文件中查看,整个cgroup可以支持的资源限制有哪些?
[root@localhost zorro]# cat /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory pids
当前cgroup可以支持cpuset cpu io memory pids的资源限制。
cgroup.subtree_control:这个文件内容应是cgroup.controllers的子集。其作用是限制在当前cgroup目录层级下创建的子目录中的cgroup.controllers内容。就是说,子层级的cgroup资源限制范围被上一级的cgroup.subtree_control文件内容所限制。
所以,如果我们想创建一个可以支持cpuset cpu io memory pids全部五种资源限制能力的cgroup组的话,应该做如下操作:
[root@localhost zorro]# cat /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory pids
[root@localhost zorro]# cat /sys/fs/cgroup/cgroup.subtree_control
cpu memory pids
[root@localhost zorro]# echo '+cpuset +cpu +io +memory +pids' > /sys/fs/cgroup/cgroup.subtree_control
[root@localhost zorro]# cat !$
cat /sys/fs/cgroup/cgroup.subtree_control
cpuset cpu io memory pids
[root@localhost zorro]# mkdir /sys/fs/cgroup/zorro
[root@localhost zorro]# cat /sys/fs/cgroup/zorro/cgroup.controllers
cpuset cpu io memory pids
[root@localhost zorro]# cat /sys/fs/cgroup/zorro/cgroup.subtree_control
[root@localhost zorro]# ls /sys/fs/cgroup/zorro/
cgroup.controllers cpu.pressure io.max memory.oom.group
cgroup.events cpu.stat io.pressure memory.pressure
cgroup.freeze cpu.weight io.stat memory.stat
cgroup.max.depth cpu.weight.nice io.weight memory.swap.current
cgroup.max.descendants cpuset.cpus memory.current memory.swap.events
cgroup.procs cpuset.cpus.effective memory.events memory.swap.max
cgroup.stat cpuset.cpus.partition memory.events.local pids.current
cgroup.subtree_control cpuset.mems memory.high pids.events
cgroup.threads cpuset.mems.effective memory.low pids.max
cgroup.type io.bfq.weight memory.max
cpu.max io.latency memory.min
此时我们创建的zorro组就有cpu,cpuset,io,memory,pids等常见的资源限制能力了。另外要注意,被限制进程只能添加到叶子结点的组中,不能添加到中间结点的组内。
我们再来看一下其他cgroup开头的文件说明:
cgroup.events:包含两个只读的key-value。populated:1表示当前cgroup内有进程,0表示没有。frozen:1表示当前cgroup为frozen状态,0表示非此状态。
cgroup.type:表示当前cgroup的类型,cgroup类型包括:“domain”:默认类型。“domain threaded”:作为threaded类型cgroup的跟结点。“domain invalid”:无效状态cgroup。“threaded”:threaded类型的cgoup组。
这里引申出一个新的知识,即:cgroup v2支持threaded模式。所谓threaded模式其本质就是控制对象从进程为单位支持到了线程为单位。我们可以在一个由domain threaded类型的组中创建多个threaded类型的组,并把一个进程的多个线程放到不同的threaded类型组中进行资源限制。
创建threaded类型cgroup的方法就是把cgroup.type改为对应的类型即可。
cgroup.procs:查看这个文件显示的是当前在这个cgroup中的pid list。echo一个pid到这个文件可以将对应进程放入这个组中进行资源限制。
cgroup.threads:跟上一个文件概念相同,区别是针对tid进行控制。
cgroup.max.descendants:当前cgroup目录中可以允许的最大子cgroup个数。默认值为max。
cgroup.max.depth:当前cgroup目录中可以允许的最大cgroup层级数。默认值为max。
cgroup.stat:包含两个只读的key-value。nr_descendants:当前cgroup下可见的子孙cgroup个数。nr_dying_descendants:这个cgroup下曾被创建但是已被删除的子孙cgroup个数。
cgroup.freeze:值为1可以将cgroup值为freeze状态。默认值为0,
当然,相关说明大家也可以在内核源代码中的:Documentation/admin-guide/cgroup-v2.rst 找到其解释。
根旧版本cgroup功能类似,针对cpu的限制仍然可以支持绑定核心、配额和权重三种方式。只是配置方法完全不一样了。cgoup v2针对cpu资源的使用增加了压力通知机制,以便调用放可以根据相关cpu压力作出相应反馈行为。最值得期待的就是当cpu压力达到一定程度之后实现的自动扩容了。不过这不属于本文章讨论的范围,具体大家可以自己畅想。
使用cpuset资源隔离方式可以帮助我们把整个cgroup的进程都限定在某些cpu核心上运行,在numa架构下,还能帮我们绑定numa结点。
cpuset.cpus:用来制定当前cgroup绑定的cpu编号。如:
# cat cpuset.cpus
0-4,6,8-10
cpuset.cpus.effective:显示当前cgroup真实可用的cpu列表。
cpuset.mems:用来在numa架构的服务器上绑定node结点。比如:
# cat cpuset.mems
0-1,3
cpuset.mems.effective:显示当前cgroup真实可用的mem node列表。
cpuset.cpus.partition:这个文件可以被设置为:root或member,主要功能是用来设置当前cgroup是不是作为一个独立的scheduling domain进行调度。这个功能其实就可以理解为,在root模式下,所有分配给当前cgroup的cpu都是独占这些cpu的,而member模式则可以多个cgroup之间共享cpu。设置为root将使当前cgroup使用的cpu从上一级cgroup的cpuset.cpus.effective列表中被拿走。设置为root之后,如果这个cgroup有下一级的cgroup,这个cgroup也将不能再切换回member状态。在这种模式下,上一级cgroup不可以把自己所有的cpu都分配给其下一级的cgroup,其自身至少给自己留一个cpu。
设置为root需要当前cgroup符合以下条件:
1、cpuset.cpus中设置不为空且设置的cpu list中的cpu都是独立的。就是说这些cpu不会共享给其他平级cgroup。
2、上一级cgroup是partition root配置。
3、当前cgroup的cpuset.cpus作为集合是上一级cgroup的cpuset.cpus.effective集合的子集。
4、下一级cgroup中没有启用cpuset资源隔离。
更细节的说明可以参见文档。
新版cgroup简化了cpu配额的配置方法。用一个文件就可以进行配置了:
cpu.max:文件支持2个值,格式为:$MAX $PERIOD。比如这样的设置:
[root@localhost zorro]# cat /sys/fs/cgroup/zorro/cpu.max
max 100000
[root@localhost zorro]# echo 50000 100000 > /sys/fs/cgroup/zorro/cpu.max
[root@localhost zorro]# cat !$
cat /sys/fs/cgroup/zorro/cpu.max
50000 100000
这个含义是,在100000所表示的时间周期内,有50000是分给本cgroup的。也就是配置了本cgroup的cpu占用在单核上不超过50%。我们来测试一下:
[root@localhost zorro]# cat while.sh
while :
do
:
done
[root@localhost zorro]# ./while.sh &
[1] 1829
[root@localhost zorro]# echo 1829 > /sys/fs/cgroup/zorro/cgroup.procs
[root@localhost zorro]# cat !$
cat /sys/fs/cgroup/zorro/cgroup.procs
1829
[root@localhost zorro]# top
top - 16:27:00 up 2:33, 2 users, load average: 0.28, 0.09, 0.03
Tasks: 169 total, 2 running, 167 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu2 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu3 : 50.0 us, 0.0 sy, 0.0 ni, 50.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
MiB Mem : 1953.2 total, 1057.1 free, 295.5 used, 600.6 buff/cache
MiB Swap: 2088.0 total, 2088.0 free, 0.0 used. 1500.7 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1829 root 20 0 227348 4092 1360 R 52.4 0.2 0:19.24 bash
1 root 20 0 106096 15008 9548 S 0.0 0.8 0:02.40 systemd
......
可以通过cpu.weight文件来设置本cgroup的权重值。默认为100。取值范围为[1, 10000]。
cpu.weight.nice:当前可以支持使用nice值的方式设置权重。取值范围根nice值范围一样[-20, 19]。
另外:
cpu.stat:是当前cgroup的cpu消耗统计。显示的内容包括:
usage_usec:占用cpu总时间。
user_usec:用户态占用时间。
system_usec:内核态占用时间。
nr_periods:周期计数。
nr_throttled:周期内的限制计数。
throttled_usec:限制执行的时间。
cpu.pressure:显示当前cgroup的cpu使用压力状态。详情参见:Documentation/accounting/psi.rst。psi是内核新加入的一种负载状态检测机制,可以目前可以针对cpu、memory、io的负载状态进行检测。通过设置,我们可以让psi在相关资源负载达到一定阈值的情况下给我们发送一个事件。用户态可以通过对文件事件的监控,实现针对相关负载作出相关相应行为的目的。psi的话题可以单独写一个文档,所以这里不细说了。
我们最常用也最好理解的就是对内存使用限制一个上限,应用程序使用不能超过此上限,超过就会oom,这就是硬限制。
memory.max:默认值为max,不限制。如果需要做限制,则写一个内存字节数上限到文件内就可以了。
memory.swap.max:使用swap的上限,默认为max。如果不想使用swap,设置此值为0。
memory.min:这是内存的硬保护机制。如果当前cgroup的内存使用量在min值以内,则任何情况下都不会对这部分内存进行回收。如果没有可用的不受保护的可回收内存,则将oom。这个值会受到上层cgroup的min限制影响,如果所有子一级的min限制总数大于上一级cgroup的min限制,当这些子一级cgroup都要使用申请内存的时候,其总量不能超过上一级cgroup的min。这种情况下,各个cgroup的受保护内存按照min值的比率分配。如果将min值设置的比你当前可用内存还大,可能将导致持续不断的oom。如果cgroup中没有进程,这个值将被忽略。
memory.current:显示当前cgroup内存使用总数。当然也包括其子孙cgroup。
memory.swap.current:显示当前cgroup的swap使用总数。
memory.high:内存使用的上限限制。与max不同,max会直接触发oom。而内存使用超出这个上限会让当前cgroup承受更多的内存回收压力。内核会尽量使用各种手段回收内存,保持内存使用减少到memory.high限制以下。
memory.low:cgroup内存使用如果低于这个值,则内存将尽量不被回收。这是一种是尽力而为的内存保护,这是“软保证”,如果cgroup及其所有子代均低于此阈值,除非无法从任何未受保护的cgroup回收内存,否则不会回收cgroup的内存。
memory.oom.group:默认值为0,值为1之后在内存超限发生oom的时候,会将整个cgroup内的所有进程都干掉,oom_score_adj设置为-1000的除外。
memory.stat:类似meminfo的更详细的内存使用信息统计。
memory.events:跟内存限制的相关事件触发次数统计,包括了所有子一级cgroup的相关统计。
memory.events.local:跟上一个一样,但是只统计自己的(不包含其他子一级cgroup)。
memory.swap.events:根swap限制相关的事件触发次数统计。
以上events文件在发生相关值变化的时候都会触发一个io事件,可以使用poll或select来接收并处理这些事件,已实现各种事件的上层相应机制。
memory.pressure:当前cgroup内存使用的psi接口文件。
io资源隔离相比cgroup v1的改进亮点就是实现了buffer io的限制,让io限速使用在生产环境的条件真正成熟了。我们先来看一下效果:
[root@localhost zorro]# df
Filesystem 1K-blocks Used Available Use% Mounted on
devtmpfs 980892 0 980892 0% /dev
tmpfs 1000056 0 1000056 0% /dev/shm
tmpfs 1000056 1296 998760 1% /run
/dev/mapper/fedora_localhost--live-root 66715048 28671356 34611656 46% /
tmpfs 1000056 4 1000052 1% /tmp
/dev/mapper/fedora_localhost--live-home 32699156 2726884 28288204 9% /home
/dev/sda1 999320 260444 670064 28% /boot
tmpfs 200008 0 200008 0% /run/user/1000
[root@localhost zorro]# ls -l /dev/mapper/fedora_localhost--live-root
lrwxrwxrwx. 1 root root 7 Apr 14 13:53 /dev/mapper/fedora_localhost--live-root -> ../dm-0
[root@localhost zorro]# ls -l /dev/dm-0
brw-rw----. 1 root disk 253, 0 Apr 14 13:53 /dev/dm-0
[root@localhost zorro]# echo "253:0 wbps=2097152" > /sys/fs/cgroup/zorro/io.max
[root@localhost zorro]# cat !$
cat /sys/fs/cgroup/zorro/io.max
253:0 rbps=max wbps=2097152 riops=max wiops=max
按照上面的配置,我们就实现了 / 分区设置了一个2m/s的写入限速。
[root@localhost zorro]# cat dd.sh
#!/bin/bash
echo $$ > /sys/fs/cgroup/zorro/cgroup.procs
dd if=/dev/zero of=/bigfile bs=1M count=200
[root@localhost zorro]# ./dd.sh
200+0 records in
200+0 records out
209715200 bytes (210 MB, 200 MiB) copied, 0.208817 s, 1.0 GB/s
我们会发现,这时dd很快就把数据写到了缓存里。这里要看到限速效果,需要同时通过iostat监控针对块设备的写入:
avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 0.25 2.24 0.00 97.51
Device tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd
dm-0 22.00 0.00 2172.00 0.00 0 2172 0
dm-1 0.00 0.00 0.00 0.00 0 0 0
dm-2 0.00 0.00 0.00 0.00 0 0 0
sda 15.00 0.00 2172.00 0.00 0 2172 0
sdb 0.00 0.00 0.00 0.00 0 0 0
scd0 0.00 0.00 0.00 0.00 0 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 0.00 23.44 0.00 76.56
Device tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd
dm-0 14.00 0.00 2080.00 0.00 0 2080 0
dm-1 0.00 0.00 0.00 0.00 0 0 0
dm-2 0.00 0.00 0.00 0.00 0 0 0
sda 14.00 0.00 2080.00 0.00 0 2080 0
sdb 0.00 0.00 0.00 0.00 0 0 0
scd0 0.00 0.00 0.00 0.00 0 0 0
avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 0.25 21.70 0.00 78.05
Device tps kB_read/s kB_wrtn/s kB_dscd/s kB_read kB_wrtn kB_dscd
dm-0 14.00 0.00 2052.00 0.00 0 2052 0
dm-1 0.00 0.00 0.00 0.00 0 0 0
dm-2 0.00 0.00 0.00 0.00 0 0 0
sda 14.00 0.00 2052.00 0.00 0 2052 0
sdb 0.00 0.00 0.00 0.00 0 0 0
scd0 0.00 0.00 0.00 0.00 0 0 0
命令执行期间,我们会发现iostat中,针对设备的write被限制在了2m/s。
除此之外,标记了direct的io事件限速效果根之前一样:
[root@localhost zorro]# cat dd.sh
#!/bin/bash
echo $$ > /sys/fs/cgroup/zorro/cgroup.procs
dd if=/dev/zero of=/bigfile bs=1M count=200 oflag=direct
[root@localhost zorro]# ./dd.sh
200+0 records in
200+0 records out
209715200 bytes (210 MB, 200 MiB) copied, 100.007 s, 2.1 MB/s
然后我们来看一下io的相关配置文件:
io.max:我们刚才已经使用了这个文件进行了写速率限制,wbps。除此以外,还支持rbps:读速率限制。riops:读iops限制。wiops:写iops限制。在一条命令中可以写多个限制,比如:
echo “8:16 rbps=2097152 wiops=120” > io.max
命令中的其他概念相信大家都明白了,不再多说了。
io.stat:查看本cgroup的io相关信息统计。包括:
====== =====================
rbytes Bytes read
wbytes Bytes written
rios Number of read IOs
wios Number of write IOs
dbytes Bytes discarded
dios Number of discard IOs
====== =====================
io.weight:权重方式分配io资源的接口。默认为:default 100。default可以替换成$MAJ:$MIN表示的设备编号,如:8:0
,表示针对那个设备的配置。后面的100表示权重,取值范围是:[1, 10000]。表示本cgroup中的进程使用某个设备的io权重是多少?如果有多个cgroup同时争抢一个设备的io使用的话,他们将按权重进行io资源分配。
io.bfq.weight:针对bfq的权重配置文件。
io.latency:这是cgroup v2实现的一种对io负载保护的机制。可以给一个磁盘设置一个预期延时目标,比如:
[root@localhost zorro]# echo "253:0 target=100" > /sys/fs/cgroup/zorro/io.latency
[root@localhost zorro]# cat !$
cat /sys/fs/cgroup/zorro/io.latency
253:0 target=100
target的单位是ms。如果cgroup检测到当前cgroup内的io响应延迟时间超过了这个target,那么cgroup可能会限制同一个父级cgroup下的其他同级别cgroup的io负载,以尽量让当前cgroup的target达到预期。更详细文档可以查看:Documentation/admin-guide/cgroup-v2.rst
io.pressure:当前cgroup的io资源的psi接口文件。
pids.max:限制当前cgroup内的进程个数。
pids.current:显示当前cgroup中的进程个数。包括其子孙cgroup。
以上是cgroup v2的配置说明。我们会发现,跟v1相比,新版cgroup配置上的复杂度要小很多。并且加入了包括buffer io限制和psi等新的功能。新版cgroup也放弃了配置网络资源隔离的接口,当然需要的话,网络资源隔离部分还是可以直接使用tc进行配置。
大家好,我是Zorro!
如果你喜欢本文,欢迎在微博上搜索“orroz”关注我,地址是: https://weibo.com/orroz
大家也可以在微信上搜索:Linux系统技术 关注我的公众号。
我的所有文章都会沉淀在我的个人博客上,地址是: https://zorrozou.github.io/。
欢迎使用以上各种方式一起探讨学习,共同进步。
公众号二维码: