内容简介：sed和awk和数组实践-week15
1、总结sed和awk的详细用法；
(1) sed
sed：Stream EDitor，流编辑器，行编辑器
基本原理：
一次从文本中读取一行，放到sed自己的工作车间加工, 该工作车间叫做模式空间(pattern space)
判断该行是否符合过滤模式,
-
如果符合过滤模式:
- 送往标准输出(终端)
- 执行编辑操作, 从模式空间中处理以后,处理过后送到标准输出(不一定有输出,比如删除操作)
- 如果不能被模式过滤,不做任何操作,直接送到标准输出
也可以理解为模式空间的的内容,不管匹配不匹配都会送到标准输出,但删除(d)操作例外
基本语法：
sed [OPTION]… ‘script’ [input-file] …
script：
地址定界编辑命令
常用选项：
-n：不输出模式空间中的内容至屏幕；默认是输出的
-e script, --expression=script：多点编辑；同时执行多个编辑命令
-f /PATH/TO/SED_SCRIPT_FILE : sed脚本,每行一个编辑命令；
-r, --regexp-extended：支持使用扩展正则表达式；
-i[SUFFIX], --in-place[=SUFFIX]：直接编辑原文件 ；危险:修改前先备份
地址定界：
(1) 空地址：对全文进行处理；
(2) 单地址：
#：指定行；
/pattern/：被此模式所匹配到的每一行；
(3) 地址范围
#,#： 从第#行到第#行
#,+#： 从第#行开始，一直到向下的#行
#，/pat1/ 从指定行开始到第一次被patteren匹配的行结束
/pat1/,/pat2/ 从第一次pattern匹配的行,到第一次被pattern匹配的行
$：最后一行
(4) 步进：~
1~2：所有奇数行
2~2：所有偶数行
编辑命令：
d：删除模式空间中的内容
p：显示模式空间中的内容；
a \text：在行后面追加文本“text”，支持使用\n实现多行追加；
i \text：在行前面插入文本“text”，支持使用\n实现多行插入；
c \text：把匹配到的行替换为此处指定的文本“text”；
w /PATH/TO/SOMEFILE：保存模式空间匹配到的行至指定的文件中；
r /PATH/FROM/SOMEFILE：读取指定文件的内容至当前文件被模式匹配到的行后面；文件合并；
=：为模式匹配到的行打印行号；
!：条件取反；
地址定界!编辑命令；
s///：查找替换，其分隔符可自行指定，常用的有s@@@, s###等；
替换标记：
g：全局替换；
w /PATH/TO/SOMEFILE：将替换成功的结果保存至指定文件中；
p：显示替换成功的行；
高级编辑命令：
保持空间 hold space
h：把模式空间中的内容覆盖至保持空间中；
H：把模式空间中的内容追加至保持空间中；
g：把保持空间中的内容覆盖至模式空间中；
G：把保持空间中的内容追加至模式空间中；
x：把模式空间中的内容与保持空间中的内容互换；
n：覆盖读取匹配到的行的下一行至模式空间中； 覆盖原行
N：追加读取匹配到的行的下一行至模式空间中； 追加原行
d：删除模式空间中的行；
D：删除多行模式空间中的所有行；
(2) awk
awk：报告生成器，格式化文本输出
gawk – pattern scanning and processing language
模式扫描及编程语言
基本用法
gawk [options] ‘program’ FILE …
program: PATTERN{ACTION STATEMENTS}
模式{动作语句};
语句之间用分号分隔
PATTERN: 主要用来定界
awk本身实现文件遍历一次读取一行文本，按输入分隔符切片，每一片放在内置变量中（$1,$2...），整行用$0表示，支持条件判断，循环（字段间循环）
print, printf
选项：
-F：指明输入时用到的字段分隔符；默认空白字符
-v var=value: 自定义变量；
1、print
print item1, item2, ...
要点：
(1) 逗号分隔符；
(2) 输出的各item可以字符串，也可以是数值；当前记录的字段、变量或awk的表达式；
(3) 如省略item，相当于print $0;
示例：
[root@localhost ~]# tail -3 /etc/fstab | awk '{print $2,$3}'
/ xfs
/boot xfs
swap swap
[root@localhost ~]# tail -3 /etc/fstab | awk '{print "hello",$2,$3,6}'
hello / xfs 6
hello /boot xfs 6
hello swap swap 6
变量不能放到引号内
[root@localhost ~]# tail -3 /etc/fstab | awk '{print "hello:$1"}'
hello:$1
hello:$1
hello:$1
[root@localhost ~]# tail -3 /etc/fstab | awk '{print "hello:"$1}'
hello:UUID=fcaeeb31-be94-4915-a2cd-0663a733f140
hello:UUID=6caa3eec-f48d-4c2d-a2b0-8657112f6f55
hello:UUID=e2b0cd8f-89a0-458c-8ed9-5ad05f865565
输入整行
[root@localhost ~]# tail -3 /etc/fstab | awk '{print}'
UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 / xfs defaults 0 0
UUID=6caa3eec-f48d-4c2d-a2b0-8657112f6f55 /boot xfs defaults 0 0
UUID=e2b0cd8f-89a0-458c-8ed9-5ad05f865565 swap swap defaults 0 0
每行输入空白
[root@localhost ~]# tail -3 /etc/fstab | awk '{print ""}'
2、变量
2.1 内建变量
FS：input field seperator输入字段分隔符，默认为空白字符；
OFS：output field seperator输入字段分隔符，默认为空白字符；
RS：input record seperator行分隔符，输入时的换行符；
ORS：output record seperator，输出时的换行符；
NF：number of field，字段数量 变量前不加$
{print NF}, 字段数量
{print $NF} 显示的是字段 不要混淆
NR：number of record, 行数；
FNR：各文件分别计数；行数；
FILENAME：当前文件名；
ARGC：命令行参数的个数；
ARGV：数组，保存的是命令行所给定的各参数；
示例：
指明输入文件字段分隔符
[root@localhost ~]# awk -v FS=':' '{print $1}' /etc/passwd
root
bin
daemon
或直接使用选项,效果相同
[root@localhost ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
指明输入分隔符和输出分隔符
[root@localhost ~]# awk -v FS=':' -v OFS=':' '{print $1,$3,$7}' /etc/passwd
root:0:/bin/bash
bin:1:/sbin/nologin
daemon:2:/sbin/nologin
指定行分隔符, 遇到空格和原换行符都换行, 了解
[root@localhost ~]# awk -v RS=' ' '{print}' /etc/passwd
指定输出行分隔符, 结果比较诡异, 空格分割的右#号隔开, 原换行符依然解析为换行
[root@localhost ~]# awk -v RS=' ' -v ORS='#' '{print}' /etc/passwd
输入每行字段个数
[root@localhost ~]# awk '{print NF}' /etc/fstab
0
1
2
10
1
9
12
1
6
6
6
显示行数, 此处为单个文件,表示为行编号
[root@localhost ~]# awk '{print NR}' /etc/fstab
1
2
3
4
5
6
7
8
9
10
11
两个文件的行数,14行
[root@localhost ~]# awk '{print NR}' /etc/fstab /etc/issue
1
2
3
4
5
6
7
8
9
10
11
12
13
14
单独计算行数
[root@localhost ~]# awk '{print FNR}' /etc/fstab /etc/issue
1
2
3
4
5
6
7
8
9
10
11
1
2
3
显示当前正在处理的文件名
[root@localhost ~]# awk '{print FILENAME}' /etc/fstab /etc/issue
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/fstab
/etc/issue
/etc/issue
/etc/issue
命令行参数个数,及 各参数
[root@localhost ~]# awk 'BEGIN{print ARGC}' /etc/fstab /etc/issue
3
[root@localhost ~]# awk 'BEGIN{print ARGV[0]}' /etc/fstab /etc/issue
awk
[root@localhost ~]# awk 'BEGIN{print ARGV[1]}' /etc/fstab /etc/issue
/etc/fstab
[root@localhost ~]# awk 'BEGIN{print ARGV[2]}' /etc/fstab /etc/issue
/etc/issue
2.2 自定义变量
(1) -v var=value
变量名区分字符大小写；
(2) 在program中直接定义
注意: 对文件不做处理时,文件可不带
示例：
输出自定义变量
[root@localhost ~]# awk -v test='hello awk' '{print test}' /etc/fstab
hello awk
hello awk
hello awk
hello awk
hello awk
hello awk
hello awk
hello awk
hello awk
hello awk
hello awk
自定义变量,不带文件
[root@localhost ~]# awk -v test='hello awk' 'BEGIN{print test}'
hello awk
自定义变量,在程序中定义
[root@localhost ~]# awk 'BEGIN{test="hello awk";print test}'
hello awk
3、printf命令
格式化输出：printf FORMAT, item1, item2, ...
FORMAT : 占位
(1) FORMAT必须给出;
(2) 不会自动换行，需要显式给出换行控制符，\n
(3) FORMAT中需要分别为后面的每个item指定一个格式化符号；
格式符： 可加入字符串
%c: 显示字符的ASCII码；
%d, %i: 显示十进制整数；
%e, %E: 科学计数法数值显示；
%f：显示为浮点数；
%g, %G：以科学计数法或浮点形式显示数值；
%s：显示字符串；
%u：无符号整数；
%%: 显示%自身；
修饰符：
#[.#]：第一个数字控制显示的宽度；第二个#表示小数点后的精度；
%3.1f
-: 左对齐
+：显示数值的符号
示例：
[root@localhost ~]# awk -F: '{printf "%s\n",$1}' /etc/passwd
root
bin
daemon
[root@localhost ~]# awk -F: '{printf "username: %s\n",$1}' /etc/passwd
username: root
username: bin
username: daemon
[root@localhost ~]# awk -F: '{printf "username: %s,uid: %d\n",$1,$3}' /etc/passwd
username: root,uid: 0
username: bin,uid: 1
username: daemon,uid: 2
右对齐
[root@localhost ~]# awk -F: '{printf "username: %15s,uid: %d\n",$1,$3}' /etc/passwd
username: root,uid: 0
username: bin,uid: 1
username: daemon,uid: 2
左对齐
[root@localhost ~]# awk -F: '{printf "username: %-15s,uid: %d\n",$1,$3}' /etc/passwd
username: root ,uid: 0
username: bin ,uid: 1
username: daemon ,uid: 2
4、操作符
算术操作符：
x+y, x-y, x*y, x/y, x^y, x%y
-x ： 正数转为负数
+x: 转换为数值；
字符串操作符：没有符号的操作符，字符串连接
赋值操作符：
=, +=, -=, *=, /=, %=, ^=
++, --
比较操作符：
>, >=, <, <=, !=, ==
模式匹配符：
~：是否匹配
!~：是否不匹配
逻辑操作符：
&&
||
!
函数调用：
function_name(argu1, argu2, ...)
条件表达式：
selector?if-true-expression:if-false-expression
# awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd
示例：
[root@localhost ~]# awk -F: '{$3>=1000?usertype="common user":usertype="sysadmin or sysuser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd
root:sysadmin or sysuser
bin:sysadmin or sysuser
5、PATTERN
(1) empty：空模式，匹配每一行；
(2) /regular expression/：仅处理能够被此处的模式匹配到的行；
(3) relational expression: 关系表达式；结果有“真”有“假”；结果为“真”才会被处理；
真：结果为非0值，非空字符串；
(4) line ranges：行范围，
startline,endline：/pat1/,/pat2/
注意： 不支持直接给出数字的格式
~]# awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd
(5) BEGIN/END模式
BEGIN{}: 仅在开始处理文件中的文本之前执行一次；
END{}：仅在文本处理完成之后执行一次；
示例：
取UUID开头的行
[root@localhost ~]# awk '/^UUID/{print $1}' /etc/fstab
UUID=fcaeeb31-be94-4915-a2cd-0663a733f140
UUID=6caa3eec-f48d-4c2d-a2b0-8657112f6f55
UUID=e2b0cd8f-89a0-458c-8ed9-5ad05f865565
取非UUID开头的行
[root@localhost ~]# awk '!/^UUID/{print $1}' /etc/fstab
#
#
#
#
#
#
#
查找id对于1000的用户
[root@localhost ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
han 1000
user101 1001
取出默认 shell 为bash的用户 条件表达式
[root@localhost ~]# awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
han /bin/bash
取出默认shell为bash的用户 模式匹配
[root@localhost ~]# awk -F: '$NF~/bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
han /bin/bash
定界（模式）
[root@localhost ~]# awk -F: '/^root/,/^daemon/{print $1}' /etc/passwd
root
bin
daemon
定界（行号）
[root@localhost ~]# awk -F: '(NR>=1&&NR<=3){print $1}' /etc/passwd
root
bin
daemon
表头和表尾
[root@localhost ~]# awk -F: 'BEGIN{print " username uid \n------------------------"}{print $1,$3}END{print "==============="}' /etc/passwd
username uid
------------------------
root 0
bin 1
daemon 2
===============
6、常用的action
(1) Expressions 表达式
(2) Control statements：if, while等； 控制语句
(3) Compound statements：组合语句； 多个语句作为单个代码块
(4) input statements 输入语句
(5) output statements 输出语句
7、控制语句
if(condition) {statments}
if(condition) {statments} else {statements}
while(conditon) {statments}
do {statements} while(condition)
for(expr1;expr2;expr3) {statements}
break
continue
delete array[index] 从数组中删除某个元素
delete array 删除整个数组
exit 退出
{ statements } 组合语句
7.1 if-else
语法：if(condition) statement [else statement]
注意: 有else语句时,需使用花括号
~]# awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or Sysuser: %s\n",$1}}' /etc/passwd
默认shell为bash
~]# awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd
行数大于5
~]# awk '{if(NF>5) print $0}' /etc/fstab
设备使用率大于20%
~]# df -h | awk -F[%] '/^\/dev/{print $1}' | awk '{if($NF>=20) print $1}'
使用场景：对awk取得的整行或某个字段做条件判断；
示例：
单分支
取用户id大于1000的用户
[root@localhost ~]# awk -F: '{if($3>=1000) print $1,$3}' /etc/passwd
han 1000
user101 1001
取默认shell为bash
[root@localhost ~]# awk -F: '{if($NF=="/bin/bash")print $1,$7}' /etc/passwd
root /bin/bash
han /bin/bash
每行字段数大于5的行
[root@localhost ~]# awk '{if(NF>5)print $0}' /etc/fstab
# Created by anaconda on Sat Aug 20 07:19:36 2016
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 / xfs defaults 0 0
UUID=6caa3eec-f48d-4c2d-a2b0-8657112f6f55 /boot xfs defaults 0 0
UUID=e2b0cd8f-89a0-458c-8ed9-5ad05f865565 swap swap defaults 0 0
双分支
[root@localhost ~]# awk -F: '{if($3>=1000) {printf "Common user: %s\n", $1} else {printf "root or sysuser: %s\n",$1}}' /etc/passwd
root or sysuser: root
root or sysuser: bin
查看硬盘使用情况,大于20%
[root@localhost ~]# df -h | awk -F% '/^\/dev/{print $1}' | awk '{if($NF>=20)print $1,$NF}'
/dev/sda2 37
/dev/sda1 29
/dev/sr0 100
7.2 while循环
语法：while(condition) statement
条件“真”，进入循环；条件“假”，退出循环；
使用场景：对一行内的多个字段逐一类似处理时使用；对数组中的各元素逐一处理时使用；
示例：
显示每行的每一个字段,和字段的字符个数
~]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i); i++}}' /etc/grub2.cfg
显示每行的每一个字段,和字段的字符个数(长度大于等于7)
~]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7) {print $i,length($i)}; i++}}' /etc/grub2.cfg
练习1, 每行的每字段的长度
[root@localhost ~]# awk '/^[[:space:]]*linux16/{print}' /etc/grub2.cfg
linux16 /vmlinuz-3.10.104-1.el7 root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 ro rhgb quiet LANG=en_US.UTF-8
linux16 /vmlinuz-3.10.0-327.el7.x86_64 root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 ro rhgb quiet LANG=en_US.UTF-8
linux16 /vmlinuz-0-rescue-f6f5e947dd374a46b0b7238d0ae4becb root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 ro rhgb quiet
[root@localhost ~]#
linux16 7^C
[root@localhost ~]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/grub2.cfg
linux16 7
/vmlinuz-3.10.104-1.el7 23
root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 46
ro 2
rhgb 4
quiet 5
LANG=en_US.UTF-8 16
linux16 7
/vmlinuz-3.10.0-327.el7.x86_64 30
root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 46
ro 2
rhgb 4
quiet 5
LANG=en_US.UTF-8 16
linux16 7
/vmlinuz-0-rescue-f6f5e947dd374a46b0b7238d0ae4becb 50
root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 46
ro 2
rhgb 4
quiet 5
大于等于7的字段:
[root@localhost ~]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){if(length($i)>=7){print $i,length($i)};i++}}' /etc/grub2.cfg
linux16 7
/vmlinuz-3.10.104-1.el7 23
root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 46
LANG=en_US.UTF-8 16
linux16 7
/vmlinuz-3.10.0-327.el7.x86_64 30
root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 46
LANG=en_US.UTF-8 16
linux16 7
/vmlinuz-0-rescue-f6f5e947dd374a46b0b7238d0ae4becb 50
root=UUID=fcaeeb31-be94-4915-a2cd-0663a733f140 46
7.3 do-while循环
语法：do statement while(condition)
意义：至少执行一次循环体
7.4 for循环
语法：for(expr1;expr2;expr3) statement
for(variable assignment;condition;iteration process) {for-body}
循环显示每行每个字段的长度
~]# awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg
特殊用法：
能够遍历数组中的元素；
语法：for(var in array) {for-body}
7.5 switch语句
语法：switch(expression) {case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/: statement; ...; default: statement}
用于字符串比较判断
7.6 break和continue 针对的是字段
break [n] 跳出n层循环
continue 进入下一轮循环
7.7 next 控制awk的内生循环 针对的是行
提前结束对本行的处理而直接进入下一行；
显示偶数行
~]# awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd
8、array
关联数组：array[index-expression]
index-expression:
(1) 可使用任意字符串；字符串要使用双引号；
(2) 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”；数值运算的话会当成0
若要判断数组中是否存在某元素，要使用"index in array"格式进行；
weekdays[mon]="Monday"
若要遍历数组中的每个元素，要使用for循环；
for(var in array) {for-body}
示例：
~]# awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays) {print weekdays[i]}}'
[root@localhost ~]# awk 'BEGIN{weekday["mon"]="monday";weekday["tue"]="tuesday";for( i in weekday) {print weekday[i]}}'
tuesday
monday
注意：var会遍历array的每个索引；
使用该特性,计算每个状态的次数
state["LISTEN"]++
state["ESTABLISHED"]++
~]# netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state) { print i,state[i]}}'
[root@localhost ~]# netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
LISTEN 2
ESTABLISHED 1
~]# awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log
统计httpd日志中每个ip的访问情况
[root@localhost ~]# awk '/^[^:]/{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log
172.16.0.1 143
练习1：统计/etc/fstab文件中每个文件系统类型出现的次数；
~]# awk '/^UUID/{fs[$3]++}END{for(i in fs) {print i,fs[i]}}' /etc/fstab
[root@localhost ~]# awk '/^UUID/{fs[$3]++}END{for(i in fs){print i,fs[i]}}' /etc/fstab
swap 1
xfs 2
练习2：统计指定文件中每个单词出现的次数；
~]# awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}' /etc/fstab
9、函数
9.1 内置函数
数值处理：
rand()：返回0和1之间一个随机数；
注意： 只有第一次是随机的
[root@localhost ~]# awk 'BEGIN{print rand()}'
0.237788
[root@localhost ~]# awk 'BEGIN{print rand()}'
0.237788
字符串处理：
length([s])：返回指定字符串的长度；
sub(r,s,[t])：以r表示的模式来查找t所表示的字符中的匹配的内容，并将其第一次出现替换为s所表示的内容；
gsub(r,s,[t])：以r表示的模式来查找t所表示的字符中的匹配的内容，并将其所有出现均替换为s所表示的内容；
split(s,a[,r])：以r为分隔符切割字符s，并将切割后的结果保存至a所表示的数组中；
awk数组从1开始编号
~]# netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'
9.2 自定义函数
推荐： 《sed和awk》
2、删除/boot/grub/grub.conf文件中所有行的行首的空白字符；
[root@node1 ~]# sed 's#^[[:space:]]\+##' /boot/grub/grub.conf # grub.conf generated by anaconda # # Note that you do not have to rerun grub after making changes to this file # NOTICE: You have a /boot partition. This means that # all kernel and initrd paths are relative to /boot/, eg. # root (hd0,0) # kernel /vmlinuz-version ro root=/dev/mapper/VolGroup-lv_root # initrd /initrd-[generic-]version.img #boot=/dev/sda default=0 timeout=5 splashimage=(hd0,0)/grub/splash.xpm.gz hiddenmenu title CentOS 6 (2.6.32-504.el6.x86_64) root (hd0,0) kernel /vmlinuz-2.6.32-504.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet initrd /initramfs-2.6.32-504.el6.x86_64.img
3、删除/etc/fstab文件中所有以#开头，后跟至少一个空白字符的行的行首的#和空白字符；
[root@node1 ~]# sed 's@^#[[:space:]]\+@@' /etc/fstab # /etc/fstab Created by anaconda on Sun Apr 23 14:26:50 2017 # Accessible filesystems, by reference, are maintained under '/dev/disk' See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # /dev/mapper/VolGroup-lv_root / ext4 defaults 1 1 UUID=2bf153ef-3ae1-4a1f-8140-813aead76d0a /boot ext4 defaults 1 2 /dev/mapper/VolGroup-lv_home /home ext4 defaults 1 2 /dev/mapper/VolGroup-lv_swap swap swap defaults 0 0 tmpfs /dev/shm tmpfs defaults 0 0 devpts /dev/pts devpts gid=5,mode=620 0 0 sysfs /sys sysfs defaults 0 0 proc /proc proc defaults 0 0
4、把/etc/fstab文件的奇数行另存为/tmp/fstab.3；
[root@node1 ~]# sed -n '1~2w /tmp/fstab.3' /etc/fstab [root@node1 ~]# cat /tmp/fstab.3 # /etc/fstab # # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info /dev/mapper/VolGroup-lv_root / ext4 defaults 1 1 /dev/mapper/VolGroup-lv_home /home ext4 defaults 1 2 tmpfs /dev/shm tmpfs defaults 0 0 sysfs /sys sysfs defaults 0 0
5、echo一个文件路径给sed命令，取出其基名；进一步地，取出其路径名；
取基名：
[root@node1 ~]# echo "/etc/fstab" | sed -r 's@.*/(.*)@\1@' fstab [root@node1 ~]# echo "/var/name/html" | sed -r 's@.*/(.*)@\1@' html
取路径名：
[root@node1 ~]# echo "/var/www/html" | sed -r 's@(.*/).*@\1@' /var/www/ [root@node1 ~]# echo "/etc/fstab" | sed -r 's@(.*/).*@\1@' /etc/
6、统计指定文件中所有行中每个单词出现的次数；
[root@node1 ~]# awk '{i=1;while(i<=NF){word[$i]++;i++}}END{for(i in word){print i,word[i]}}' /etc/fstab
mount(8) 1
Accessible 1
pages 1
reference, 1
/dev/pts 1
/dev/mapper/VolGroup-lv_swap 1
info 1
devpts 2
tmpfs 2
/dev/mapper/VolGroup-lv_home 1
blkid(8) 1
and/or 1
# 7
gid=5,mode=620 1
Sun 1
/ 1
anaconda 1
/proc 1
0 10
1 4
2 2
findfs(8), 1
on 1
/boot 1
Apr 1
/dev/mapper/VolGroup-lv_root 1
/etc/fstab 1
sysfs 2
2017 1
are 1
more 1
/sys 1
'/dev/disk' 1
/home 1
14:26:50 1
defaults 7
proc 2
ext4 3
by 2
swap 2
/dev/shm 1
23 1
for 1
man 1
See 1
filesystems, 1
UUID=2bf153ef-3ae1-4a1f-8140-813aead76d0a 1
maintained 1
Created 1
under 1
fstab(5), 1
7、统计当前系统上所有tcp连接的各种状态的个数；
~]# netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state){print i,state[i]}}'
ESTABLISHED 3
LISTEN 14
8、统计指定的web访问日志中各ip的资源访问次数：
~]# awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log
172.16.0.23 2
9、写一个脚本：定义一个数组，数组元素为/var/log目录下所有以.log结尾的文件的名字；显示每个文件的行数；
#!/bin/bash
# description: 显示/var/log下所有以.log结尾的文件对应的行数
# author: han
declare -a filenames
filenames=(/var/log/*.log)
for((i=0;i<${#filenames[*]};i++));do
filename=`basename ${filenames[$i]}`
lines=`wc -l ${filenames[$i]} | cut -d' ' -f1`
printf "%-30s %-5s\n" $filename $lines
done
执行结果：
]# bash file_lines.sh
anaconda.ifcfg.log 168
anaconda.log 257
anaconda.program.log 387
anaconda.storage.log 1466
anaconda.yum.log 224
boot.log 45
dracut.log 1639
heartbeat.log 5719
mysqld.log 128
yum.log 82
10、写一个脚本，能从所有同学中随机挑选一个同学回答问题；进一步地：可接受一个参数，做为要挑选的同学的个数；
]# cat choose.sh
#!/bin/bash
# 随机抽选一个或几个同学
# han
#定义一个数组，保存同学名字
declare -a names
names=("张三" "李四" "王五" "刘六" "田七" "韩信" "匆匆" "忙忙" "豆豆" "五行")
total=${#names[*]}
#定义一个函数,判断新生成的随机数是否已经在下标列表数组choices中,存在则返回3,
function isexited(){
for((j=0;j<${#choices[*]};j++));do
if [ ${choices[$j]} -eq $choice ];then
return 3
fi
done
}
#参数大于一个时,提示使用方法
[ $# -gt 1 ] && echo "Usage $0 [1-${#names[*]}]" && exit 1
#没有参数时,默认显示一位同学
if [ $# -eq 0 ];then
choice=$[$RANDOM%${total}]
echo "${names[$choice]} "
#有一个参数时
else
#参数非数字时,退出
if [[ ! $1 =~ [0-9] ]];then
echo "Invalid agrument"
exit 2
fi
#参数大小在正确范围时
#定义一个数组,存放出现过的学生下标
declare -a choices
if [ $1 -ge 1 ] && [ $1 -le $total ];then
#循环$1次
for((i=0;i<$1;i++));do
#生成随机数,作为数组下标
choice=$[$RANDOM%${total}]
#调用函数,判断该下标是否在choices数组中
isexited
#判断函数返回值,已存在则将i自减1,使得下个循环变量依然为i,保证下标存在时有多一次循环机会,保证最后choices组有$1个元素
if [ $? -eq 3 ];then
let i--
else
choices[$i]=$choice
fi
done
#根据下标显示挑选出的同学
for i in ${choices[*]};do
echo -n "${names[$i]} "
done
echo
else
echo "Usage $0 [1-${#names[*]}]" && exit 1
fi
fi
效果
[root@node1 scripts]# ./choose.sh 忙忙 [root@node1 scripts]# ./choose.sh 3 匆匆 韩信 刘六 [root@node1 scripts]# ./choose.sh 9 李四 五行 忙忙 豆豆 匆匆 王五 刘六 韩信 张三 [root@node1 scripts]# ./choose.sh 9 张三 韩信 刘六 忙忙 王五 匆匆 李四 五行 田七 [root@node1 scripts]# ./choose.sh 12 Usage ./choose.sh [1-10]
备注: 此题用的方法有些麻烦,看了下其他同学的方法,有个非常简单记录在此:
#!/bin/bash
#
students=(a b c d e f g h i j k)
read -t 5 -p "Please input the number of students: " num
if [[ $num -le ${#students[@]} ]]
then
for ((i=0;i<num;i++))
do x=$[$RANDOM % ${#students[@]}]
echo ${students[$x]}
students[$x]=${students[${#students[@]}-1]}
unset students[${#students[@]}-1] #这样删就不会再选到这个索引号
#unset students[$x] 这个删除只删除了元素的值，但索引号仍在值为空
done
else echo "Error";exit
fi
备注: 大致思路看明白了,只是比较费解这种unset方法
另外一种彻底删除元素加索引的方法:
[root@node1 scripts]# files=(/etc/[Pp]*)
[root@node1 scripts]# echo ${files[@]}
/etc/pam.d /etc/pango /etc/passwd /etc/passwd- /etc/pkcs11 /etc/pki /etc/plymouth /etc/pm /etc/popt.d /etc/postfix /etc/ppp /etc/printcap /etc/profile /etc/profile.d /etc/protocols
[root@node1 scripts]# echo ${#files[@]}
15
#当前数组有15个元素
#删除特定索引的元素(同时删除索引)
[root@node1 scripts]# pos=3 #删除索引3的元素
[root@node1 scripts]# files=(${files[@]:0:$pos} ${files[@]:$(($pos + 1))})
#通过数组切片将前3各元素的数组和从第4各元素开始的数组合并为一个数组
[root@node1 scripts]# echo ${#files[@]}
14
#此时元素各数为14
[root@node1 scripts]# echo ${files[@]}
/etc/pam.d /etc/pango /etc/passwd /etc/pkcs11 /etc/pki /etc/plymouth /etc/pm /etc/popt.d /etc/postfix /etc/ppp /etc/printcap /etc/profile /etc/profile.d /etc/protocols
# 索引为3的元素/etc/passwd-已经被删除
11、授权centos用户可以运行fdisk命令完成磁盘管理，以及使用mkfs或mke2fs实现文件系统管理；
root用户: ]# visudo centos ALL=(ALL) /sbin/fdisk,/sbin/mkfs,/sbin/mke2fs
12、授权gentoo用户可以运行逻辑卷管理的相关命令；
[root@node1 ~]# visudo gentoo ALL=(ALL) /sbin/pvs,/sbin/pvdisplay,/sbin/pvcreate,/sbin/vgs,/sbin/vgdisplay,/sbin/vgcreate,/sbin/vgextend,/sbin/vgreduce,/sbin/vgremove,/sbin/lvs ,/sbin/lvdisplay,/sbin/lvcreate,/sbin/lvremove,/sbin/lvextend,/sbin/resize2fs
13、基于pam_time.so模块，限制用户通过sshd服务远程登录只能在工作时间进行；
需用到pam模块pam_time.so
1) ssh
]# vim /etc/pam.d/sshd #%PAM-1.0 auth required pam_sepermit.so auth include password-auth account required pam_time.so #添加该行 account required pam_nologin.so ...
2）配置time.conf
time.conf配置文件格式：services;ttys;users;times
services — pam服务名列表，可以ls /etc/pam.d查看
tty —终端名.
users —用户名
times —可以使用services 的时间段
]# vim /etc/security/time.conf sshd;*;centos;MoTuWeThFr0900-1800 #centos用户只能在工作时间通过ssh远程登录
验证:
[centos@node1 ~]$ ssh centos@172.16.0.20 centos@172.16.0.20's password: Connection closed by 172.16.0.20
14、基于pam_listfile.so模块，定义仅某些用户，或某些组内的用户可登录系统；
创建允许访问的用户列表 [root@node1 ~]# vim /etc/sshd_userlist root centos 修改文件权限(非必须) [root@node1 ~]# chmod 600 /etc/sshd_userlist 修改pam配置文件 [root@node1 ~]# vim /etc/pam.d/sshd #%PAM-1.0 auth required pam_listfile.so item=user sense=allow file=/etc/sshd_userlist onerr=succeed auth required pam_sepermit.so
验证:
centos可以访问 [centos@node1 ~]$ ssh centos@172.16.0.20 centos@172.16.0.20's password: Last login: Sat May 6 17:04:12 2017 from node1.magedu.com fedora被拒绝访问 [root@node2 ~]# ssh fedora@172.16.0.20 fedora@172.16.0.20's password: Permission denied, please try again. fedora@172.16.0.20's password: Permission denied, please try again. fedora@172.16.0.20's password:
以上所述就是小编给大家介绍的《sed和awk和数组实践-week15》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 初级算法实践之数组篇
- Javascript查找所有不同嵌套数组元素的最佳实践
- 在项目实践中用更优雅的方式处理数组问题
- C语言指针数组和数组指针
- 数组 – 如何在Swift中将数组拆分成两半？
- 菜鸡的算法修炼：数组（旋转数组的最小数字）
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Programming Computer Vision with Python
Jan Erik Solem / O'Reilly Media / 2012-6-22 / USD 39.99
If you want a basic understanding of computer vision's underlying theory and algorithms, this hands-on introduction is the ideal place to start. As a student, researcher, hacker, or enthusiast, you'll......一起来看看 《Programming Computer Vision with Python》 这本书的介绍吧!
