内容简介：例：例：例：
1. 变量替换
从头开始匹配，最短删除 从头开始匹配，最长删除 从尾开始匹配，最短删除 从尾开始匹配，最长删除 替换旧的字符串为新字符串，只替换第一个 替换旧的字符串为新字符串，替换所有
例：
variable_1="i love u, do you love me" echo ${variable_1#*ov} # e u, do you love me echo ${variable_1##*ov} # e me echo ${variable_1%ov*} # i love u, do you l echo ${variable_1%%ov*} # i l echo ${variable_1/ov/bb} # i lbbe u, do you love me variable_1="i love u, do you love me" variable_2=${variable_1/ov/bb} echo $variable_2 # i lbbe u, do you lbbe me
2. 字符串处理
2.1 获取字符串长度
- ${#string}
- expr length "$string"
例：
variable_1="i love u, do you love me" echo ${#variable_1} expr length "$variable_1" len=`expr length "$variable_1"` echo $len
2.2 获取子串在字符串中的索引位置
-
expr index "$string" "$substring"
[不是子串，而是子串切分成单个字符，查找第一个出现的字符的位置]
例：
variable_1="i love u, do you love me" variable_2="ov" expr index "$variable_1" "$variable_2" # 4 variable_2="ok" expr index "$variable_1" "$variable_2" # 4
2.3 获取子串长度
-
expr match "string substring"
[必须从头开始匹配，能匹配到的子串返回长度，支持正则]
例：
variable_1="quickstart is a app" echo `expr match "$variable_1" app` # 0 echo `expr match "$variable_1" quick` # 5 echo `expr match "$variable_1" quick.` # 6 echo `expr match "$variable_1" quick.*` # 19
2.4 子串抽取
从string的position位置开始 从position位置开始抽取length长度 从右边开始匹配 从左边开始匹配 从position位置开始抽取length长度，索引从0开始
注意：${string:position}索引从1开始，而 expr 索引从0开始
例：
variable_1="i love u, do you love me" position=4 length=4 echo ${variable_1:position} # ve u, do you love me echo ${variable_1:position:length} # ve u echo ${variable_1: -position} # e me echo ${variable_1:(-position)} # ve u, do you love me echo ${variable_1:(-position)} # e me variable_2=`expr substr "$variable_1" "$position" "$length"` echo $variable_2 # ove
3. 字符串练习
string="bigdata process framework is hadoop, hadoop is an open source project"
执行脚本后，打印输出string字符串变量，并给出用户以下选项：
(1) 打印string长度
(2) 在整个字符串中删除Hadoop
(3) 替换第一个Hadoop为Mapreduce
(4) 替换全部Hadoop为Mapreduce
用户输入对应的数字会执行相应的功能，输入q|Q退出操作
#!/bin/bash string="Bigdata process framework is Hadoop,Hadoop is an open source project" function print_tips { echo "******************************************" echo "*** (1) 打印string长度" echo "*** (2) 在整个字符串中删除Hadoop" echo "*** (3) 替换第一个Hadoop为Mapreduce" echo "*** (4) 替换全部Hadoop为Mapreduce" echo "******************************************" } function print_len { echo "${#string}" } function del_Hadoop { echo "${string//Hadoop/}" } function rep_Hadoop_to_Mapreduce_first { echo "${string/Hadoop/Mapreduce}" } function rep_Hadoop_to_Mapreduce_alll { echo "${string//Hadoop/Mapreduce}" } while true do echo echo echo "【string=$string】" print_tips read -p "please input your choice(1|2|3|4|q|Q): " choice case $choice in 1) echo print_len ;; 2) echo del_Hadoop ;; 3) echo rep_Hadoop_to_Mapreduce_first ;; 4) echo rep_Hadoop_to_Mapreduce_alll ;; q|Q) exit ;; *) echo echo "error input!" ;; esac done
4. 命令替换
- `command`
- $(command)
$(())主要用来进行整数运算，包括加减乘除
例1：获取系统中的所有用户并输出(/etc/passwd)
cat /etc/passwd | cut -d ":" -f 1 #!/bin/bash index=1 for user in `cat /etc/passwd | cut -d ":" -f 1` do echo "this is $index user: $user" index=$(($index+1)) done
例2：根据系统时间计算今年、明年
echo "this is $(date +%Y), next year is $(($(date +%Y)+1))"
例3：根据系统时间获取今年还剩下多少个星期，已经过了多少个星期
echo "今年已经过了$(date +%j)天，合$(($(date +%j) / 7))周，还剩下$(((365-$(date +%j)) / 7))周"
例子4：判断nginx进程是否存在，不存在的话拉起该进程
#!/bin/bash nginx_process_num=$(ps -ef | grep nginx | grep -v grep | wc -l) if [ $nginx_process_num -eq 0 ]; then systemctl start nginx fi
5. 有类型变量
- declare、typeset
-r 只读 -i 整数 -a 数组 -f 在脚本中显示定义的函数和函数体 -F 在脚本中显示定义的函数 -x 环境变量
如果要取消类型声明，减号变加号就行了
例：
declare -r variable_1="hello java" variable_1="abc" num1=10 echo $num1+1 declare -i num2=10 declare -i num3 num3=$num2+1 echo $num2+1 echo $num3 declare -f declare -F array=("jane" "jone" "jack" "jordan") 输出数组内容 echo ${array[@]} 输出所有内容 echo ${array[0]} 输出下标对应的内容 获取数组长度 echo ${#array} echo ${#array[0]}
6. 数字运算
- expr $num1 operator $num2
- $(($num1 operator $num2))
注意：expr只支持整型运算
- expr 操作符
num1 | num2 num1不为空且不为0，返回num1，否则返回num2 num1 & num2 num1不为空且不为0，返回num1，否则返回0 num1 < num2 num1小于num2，返回1，否则返回0 num1 <= num2 num1小于等于num2，返回1，否则返回0 num1 = num2 num1等于num2，返回1，否则返回0 num1 != num2 num1不等于num2，返回1，否则返回0 num1 > num2 num1大于num2，返回1，否则返回0 num1 >= num2 num1大于等于num2，返回1，否则返回0 num1 + num2 num1 - num2 num1 * num2 num1 / num2 num1 % num2
例：
num1=10 num2=20 expr $num1 + $num2 echo $(($num1 + $num2)) expr $num1 \| $num2 expr $num1 \& $num2 expr $num1 \> $num2 expr $num1 \>= $num2 expr $num1 \< $num2 expr $num1 \<= $num2 expr $num1 = $num2 expr $num1 + $num2 expr $num1 - $num2 expr $num1 \* $num2 expr $num1 / $num2 expr $num1 % $num2
练习：提示用户输入一个正整数num，然后计算1+2+3+...+num的值，必须判断num是否为正整数，不符合允许再次输入
#!/bin/bash sum=0 while true do read -p "please input: " num expr $num + 1 &> /dev/null if [ $? -eq 0 ]; then if [ `expr $num \> 0` -eq 1 ]; then for ((i=0;i<=$num;i++)) do sum=$(($sum + $i)) done echo $sum exit else echo "小于等于0" continue fi else echo "不是整数" continue fi done
7. 函数定义和使用
7.1 函数定义
function name {
}
name() {
}
例：写一个nginx的守护脚本
#!/bin/bash this_pid=$$ while true do ps -ef | grep nginx | grep -v grep | grep -v $this_pid &> /dev/null if [ $? -eq 0 ]; then echo "nginx is running well!" sleep 3 else echo "starting!" systemctl nginx start sleep 1 fi done
7.2 传递参数
例：写一个脚本支持+-*/四种运算
#!/bin/bash function cal { case $2 in +) echo $(($1 + $3)) ;; -) echo $(($1 - $3)) ;; \*) echo $(($1 * $3)) ;; /) echo $(($1 / $3)) ;; *) echo "error input!" ;; esac } cal $1 $2 $3
7.3 返回值
- return返回值，只能返回1-255之内的整数。使用return返回值，通常供其他地方调用获取状态，因此通常返回0或者1，0表示成功，1表示失败。return表示return 0
- echo返回值，可以返回任何字符结果，通常用于返回数据，比如一个字符串或列表值
例：
#!/bin/bash this_pid=$$ function is_nginx_running { ps -ef | grep nginx | grep -v grep | grep -v $this_pid &> /dev/null if [ $? -eq 0 ]; then return else return 1 fi } is_nginx_running && echo "nginx is running" || echo "nginx is down" sh -x nginx_stat.sh [-x可以查看执行过程] #!/bin/bash function get_user_list { users=$(cat /etc/passwd | cut -d ":" -f1) echo $users } index=1 user_list=$(get_user_list) for u in $user_list do echo "this is the $((index++)) user: $u" done
7.4 变量
- 使用local定义变量表示局部变量，否则一般的变量都是全局变量
- 函数内部的变量如果跟外部变量同名，则函数内部的变量替换外部的变量
7.5 函数库
例：定义一个函数库，该函数库实现以下几个函数
(1)加法函数 add (2)减法函数 reduce (3)乘法函数 multiple (4)除法函数 dived (5)打印系统运行情况的函数sys_load，该函数可以显示系统内存运行情况
base_function.lib #!/bin/echo function add { echo "`expr $1 + $2`" } function reduce { echo "`expr $1 - $2`" } function multiple { echo "`expr $1 \* $2`" } function divide { echo "`expr $1 / $2`" } function sys_load { echo "---memory info---" free -m echo echo "---disk info---" df -h }
calculate.sh #!/bin/bash . /root/script/base_function.lib add 1 2 reduce 11 33 multiple 3 44 divide 20 2 sys_load
- 库文件的后缀是任意的，但是一般以.lib使用
- 库文件通常没有执行权限
8. 常用查找命令
8.1 find [路径] [选项] [操作]
选项
-name 根据名字 -iname 根据名字，不区分大小写 -perm 根据权限 -prune 该选项可以排除某些查找目录 -user 根据文件用主 -group 根据文件属组 -mtime -n|+n 根据文件更改时间，-n表示n天以内修改的文件，+n表示n天意外修改的文件 -mmin -n|+n 根据文件更改时间，-n表示n分钟以内修改的文件，+n表示n分钟意外修改的文件 -newer file1 ! file2 比file1新但是比file2旧的文件 -type 根据文件类型 f-文件，d-目录，l-管道文件 -size -n +n 根据文件大小 -mindepth n 从n级子目录开始搜索 -maxdepth n 最多搜索到n级子目录 -a 与 -o 或 !|-not 非
操作
-print 默认操作 -exec 对搜索到的文件执行特定操作，格式为 -exec command {} \; ，其中{}代表搜索到的文件，如：find . -name "*.conf" -exec rm -rf {} \; -ok 跟-exec一样，只是每次操作都会给用户提示
例：将/var/log目录下以log结尾，且更改时间在7天以上的删除
find /var/log -name "*log" -mtime +7 -exec rm -rf {} \;
8.2 locate which whereis
locate 不同于 find，find会查找整个磁盘，而locate命令会在数据库中查找，只能查找单个文件。可以用updatedb更新数据库文件，该文件是 /var/lib/mlocate/locate.db whereis -b，只返回二进制文件，-m，只返回帮助文档文件，-s，只返回源码文件 which 只查找二进制文件
9. grep
- grep [option] [pattern] [file1,file2]
- command | grep [option] [pattern]
参数
-i 不区分大小写 -v 反向选择 -n 显示行号 -r 递归 -E 支持扩展正则表达式 -F 不按正则表达式，按字符串字面匹配 -x 匹配整行 -w 匹配整词 -c 只输出匹配到的总行数，不显示具体内容 -l 只列出文件，不显示具体内容
例：grep -E "python|PYTHON" file
egrep 和 grep -E 等价
10. sed(stream editor缩写)
10.1 sed
- sed [option] "pattern command" file
- stdout | sed [option] "pattern command" file
option
-n 只打印模式匹配行。sed -n "/python/p" sed.txt -e 直接在命令行编辑。sed -n -e "/PYTHON/p" -e "/python/p" sed.txt，多重处理的时候用-e连接 -f 指定编辑处理的 pattern command 内容。sed -n edit.sed sed.txt，edit.sed中的内容是/python/p -r pattern支持扩展正则表达式。sed -n -r "/python|PYTHON/p" sed.txt -i 对源文件进行修改
例：替换文件中love为like
sed -n "s/love/like/g;p" sed.txt sed -i "s/love/like/g" sed.txt
pattern
10command 匹配第10行 10,20command 匹配第10-20行 10,+5command 匹配第10-16行 /pattern1/command 匹配pattern1的行。sed -n "/\/spool\//p" /etc/passwd，匹配带有/spool/的行。sed -n "/^daemon/p" /etc/passwd，匹配daemon开头的行 /pattern1/,/pattern2/command 匹配pattern1到pattern2的行结束。sed -n "/^daemon/p" /etc/passwd 10,/pattern1/command 从第10行开始匹配到第一个pattern1的行结束 /pattern1/,10command 连续匹配10行
command
查询 p 打印 增加 a 行后追加。sed -i "/\/bin\/bash/a this user can login to system" passwd i 行前追加 r 外部文件读入，行尾追加 w 匹配行写入外部文件 删除 d 删除不能登录的用户，sed -i "/\/sbin\/nologin/d" passwd。删除从mail开头的行到ftp开头的行，sed -i "/^mail/,/^ftp/d" passwd 例：删除配置文件中的所有空行和注释行。sed -i "/^$/d;/[:blank:]*#/d;/\t/d" nginx.conf，[:blank:]匹配空格，\t匹配tab 例：在配置文件中所有不以#开头的行前面添加*符号（#开头的行不添加）。sed -i "s/^\([^#]\)/\*\1/g" nginx.conf 或者 sed -i "s/^[^#]/*&/g" nginx.conf 更改 s/old/new/ 将行内第一个替换 s/old/new/g 将行内所有替换 s/old/new/2 将行内第二个替换 s/old/new/2g 从第二个开始替换所有的 s/old/new/ig 忽略大小写 例：删掉所有的数字。sed -i "s/[0-9]+//g" sed.txt 其它 = 显示行号。sed -n "/\/sbin\/nologin/=" passwd
10.2 反向引用
- & 和 1 引用模式匹配到的整个串（1的时候要替换的模式匹配中的串要用小括号包围起来）
例：sed -i "s/had..p/&s/g" sed.txt 给能匹配到had..p的字符串后面加上s，hadoopx -> hadoopsx
sed -i "s/ha\(d..p\)/XX\1/g" sed.txt 给能匹配到had..p的d..p之外的串全替换成上XX，hadoopx -> XXdoopx
例：统计 mysql 配置文件各配置段的数量
#!/bin/bash FILE_NAME=/root/script/my.cnf function get_all_segament { sed -n '/\[.*\]/p' $FILE_NAME | sed -e "s/\[//g" | sed -e "s/\]//g" # 查找[开头]结尾的行，并且删除掉[和] } function get_all_segament_count { count=`sed -n "/\[$1\]/,/\[.*\]/p" $FILE_NAME | grep -v "^#" | grep -v "^$" | grep -v "\[.*\]" | wc -l` # 查找[$1]开头的行到发现[.*]的行结束，去掉#开头和空行，并去掉[.*]的行（即开头和结束的行），统计数量 echo $count } index=0 for segament in $(get_all_segament) do index=`expr $index + 1` count=`get_all_segament_count $segament` echo "$index: $segament $count" done 输出： 1: client 1 2: mysql 1 3: mysqld 6 4: mysqldump 3
11. awk
- awk 'BEGIN{}pattern{commands}END{}' file_name
- stdout | 'BEGIN{}pattern{commands}END{}'
BEGIN{} 正式处理之前执行的 pattern 匹配模式 {commands} 执行命令（可能多行） END{} 处理完所有的匹配数据之后执行
11.1 内置变量
$0 整行内容 $1-$n 本行中按照某个字符分隔后的第n个变量 NF 当前行的字段个数，也就是列的个数（Number Field） NR 当前行的行号，从1开始计算（Number Row） FNR 多文件处理时，每个文件行号单独计数，都是从1开始（File Number Row） FS 输入字段分隔符，不输入默认是空格或者tab键分隔（Field Separator) RS 输入行分隔符。默认回车换行（Row Separator) OFS 输出字段分隔符。默认空格 ORS 输出行分隔符。默认回车 FILENAME 处理的文件名 ARGC 命令行参数个数 ARGV 命令行参数数组
例：打印/etc/passwd文件的内容
awk '{print $0}' /etc/passwd awk 'BEGIN{FS=":"}{print $1}' /etc/passwd awk 'BEGIN{FS=":"}{print NF}' /etc/passwd awk '{print NR}' /etc/passwd nginx.conf awk '{print FNR}' /etc/passwd nginx.conf awk 'BEGIN{RS="--"}{print $0}' test.txt echo "a-b-c--d-e-f--g-h-i" | awk 'BEGIN{RS="--";FS="-"}{print $3}' echo "a-b-c--d-e-f--g-h-i" | awk 'BEGIN{RS="--";FS="-";ORS="|";OFS="&"}{print $1,$2,$3}' #必须用逗号分隔，否则输出字段分隔符不会起作用。a&b&c|d&e&f|g&h&i awk '{print FILENAME}' nginx.conf #文件有多少行就会输出多少次 awk '{print ARGC}' /etc/passwd test.txt
11.2 printf 格式化输出
%s 打印字符串 %d 打印十进制数字 %x 打印十六进制 %f 打印浮点型 %o 打印八进制 %e 打印科学计数法 %c 打印ascii码 - 左对齐 + 右对齐 # 显示八进制在前面加0，十六进制在前面加0x
例：
awk 'BEGIN{FS=":"}{printf "%s\n",$1}' /etc/passwd awk 'BEGIN{FS=":"}{printf "%-20s %-20s\n",$1,$7}' /etc/passwd awk 'BEGIN{FS=":"}{printf "%#o\n",$3}' /etc/passwd
11.3 模式匹配的两种方式
- 正则表达式
- 按关系运算符匹配
> < == 可以用于数值和字符串 <= >= != ~ 匹配正则表达式 !~ 不匹配正则表达式 && || !
例：
匹配/etc/passwd中包含root的行。 awk '/root/{print $0}' /etc/passwd 匹配/etc/passwd中以root开头的行。 awk '/^root/{print $0}' /etc/passwd 匹配/etc/passwd中第3个字段大于50的行。 awk 'BEGIN{FS=":"}$3>50{printf "%s\n",$0}' /etc/passwd 匹配/etc/passwd中第7个字段等于/sbin/nologin的行。 awk 'BEGIN{FS=":"}$7=="/sbin/nologin"{printf "%s\n",$7}' /etc/passwd 匹配/etc/passwd中第7个字段不等于/sbin/nologin的行。 awk 'BEGIN{FS=":"}$7!="/sbin/nologin"{printf "%s\n",$7}' /etc/passwd 匹配/etc/passwd中第3个字段包含三个以上数字的行（匹配正则表达式）。 awk 'BEGIN{FS=":"}$3~/[0-9]{3,}/{printf "%d\n",$3}' /etc/passwd 匹配/etc/passwd中包含root或nologin的所有行。awk '/root/ || /nologin/{print $0}' /etc/passwd 匹配/etc/passwd中第3个字段包含小于50并且第4个字段大于60并且第7行包含/sbin/nologin的所有行 awk 'BEGIN{FS=":"}$3>50 && $4<60 && $7~/\/sbin\/nologin/{printf "%s %s %s\n",$3,$4,$7}' /etc/passwd
11.4 动作表达式中的算术运算符
+ - * \ ^或** 乘方 ++x x++ --x x--
例：
awk 'BEGIN{var1=10;var2="hello";print var1,var2}' awk 'BEGIN{num1=10;num2+=num1;print num1,num2}' awk 'BEGIN{num1=10;num2=29;print num1+num2}' awk 'BEGIN{num1=10;num2=29;print num1-num2}' awk 'BEGIN{num1=10;num2=29;print num1*num2}' awk 'BEGIN{num1=10;num2=29;print num1/num2}' awk 'BEGIN{num1=10;num2=29;print num1^num2}' awk 'BEGIN{x=10;y=20;print x++;y++}' awk 'BEGIN{x=10;y=20;print ++x;++y}' awk 'BEGIN{num1=10;num2=29;printf "%0.2f\n",num1/num2}' #保留两位小数
例：使用awk计算某文件中空白行的数量
awk '/^$/{sum++}END{print sum}' my.cnf
例：计算课程分数平均值
Allen 90 99 93 73 Jone 83 23 38 97 Monica 99 77 89 43 Jerry 77 44 32 91 awk 'BEGIN{printf "%-8s %-8s %-8s %-8s %-8s\n","姓名","语文","数学","物理","平均分"}{total=$2+$3+$4+$5;avg=total/4;printf "%-8s %-8d %-8d %-8d %-8d %0.2f\n",$1,$2,$3,$4,$5,avg}' score.txt
11.5 条件
if (条件表达式1)
动作1
else if (条件表达式2)
动作2
else
动作3
例：
awk 'BEGIN{FS=":"}{if($3<50) {printf "%-10s %-4d\n","小于50的uid",$3} else if($3<80) {printf "%-10s %-4d\n","小于80的uid",$3} else {printf "%-10s %-4d\n","其它uid",$3}}' /etc/passwd
awk的代码可能很长，这个时候可以写成脚本用-f来调用
BEGIN { FS=":" } { if($3<50) { printf "%-10s %-4d\n","小于50的uid",$3 } else if($3<80) { printf "%-10s %-4d\n","小于80的uid",$3 } else { printf "%-10s %-4d\n","其它uid",$3 } } awk -f script.awk /etc/passwd
例：计算课程分数平均值，并且只打印分数大于70的同学的姓名和分数
Allen 90 99 93 73 Jone 83 23 38 97 Monica 99 77 89 43 Jerry 77 44 32 91 awk '{total=$2+$3+$4+$5;avg=total/4;if(avg>70){printf "%-10s %-0.2f\n",$1,avg}}' score.txt
11.6 循环
while(条件表达式) 动作 do 动作 while(条件表达式) for(初始化计数器;测试计数器;计数器变更) 动作
例：计算1+2+3+...+100的和，分别使用do-while、while、for实现
awk 'BEGIN{for(i=1;i<=100;i++){sum+=i};printf "sum=%d\n",sum}' awk 'BEGIN{do{sum+=i++}while(i<=100);printf "sum=%d\n",sum}' awk 'BEGIN{while(i<=100){sum+=i++};printf "sum=%d\n",sum}'
11.7 字符串函数
函数名 解释 函数返回值 ----------------------------------------------------------------------------------------------------------- length(str) 计算字符串长度 整数返回值 index(str1,str2) 在str1中查找str2的位置 返回值为索引，从1开始 toupper(str) 转换为大写 转换后的大写字符串 tolower(str) 转换为小写 转换后的小写字符串 substr(str,m,n) 从str的m个字符截取n位 截取后的子串 split(str,arr,fs) 按fs切割字符串，结果保存到arr（分隔符默认是空格，可以省略） 切割后的子串的个数 match(str,RE) 在str中按照RE查找，返回位置 返回索引位置，从1开始 sub(RE,RepStr,str) 在str中按RE搜索字符串并将其替换为RepStr，只替换第一个，返回替换的个数 gsub(RE,RepStr,str) 在str中按RE搜索字符串并将其替换为RepStr，替换所有
例：
awk 'BEGIN{print length("abcd")}' awk 'BEGIN{print index("abcd","c")}' awk 'BEGIN{print toupper("abCd")}' awk 'BEGIN{print tolower("abCd")}' awk 'BEGIN{print substr("hello,world",3,6)}' awk 'BEGIN{print split("root:x:0:0:root",arr,":");print arr}' awk 'BEGIN{print match("hello,world", /lo/)}'
例：返回/etc/passwd中每个字段的长度
awk 'BEGIN{FS=":";OFS=":"}{print length($1),length($2),length($3),length($4),length($5),length($6),length($7)}' /etc/passwd 搜索"i have a dream"中ea的位置 awk 'BEGIN{print index("i have a dream","ea")}' awk 'BEGIN{print match("i have a dream","ea")}' 将"Hadoop is a bigdata framework"转换为小写 awk 'BEGIN{print tolower("Hadoop is a bigdata framework")}' 将"Hadoop is a bigdata framework"转换为大写 awk 'BEGIN{print toupper("Hadoop is a bigdata framework")}' 将"Hadoop is a bigdata framework"按空格分割后保存在数组中 awk 'BEGIN{str="Hadoop is a bigdata framework";split(str,arr," ");for(a in arr){print arr[a]}}' 找出字符串"Transaction 23345 start: select * from master"中第一个数字出现的位置 awk 'BEGIN{str="Transaction 23345 start: select * from master";print match(str,/[0-9]/)}' 截取字符串"Transaction 23345 start: select * from master"，从第4个开始截取5位 awk 'BEGIN{str="Transaction 23345 start: select * from master";print substr(str,4,5)}' 替换"Transaction 23345 start, Event ID: 9002"中出现的第一个数字串为$ awk 'BEGIN{str="Transaction 23345 start, Event ID: 9002";count=sub(/[0-9]+/,"$",str);print count,str}'
11.8 选项
-v 参数传递 -f 指定awk脚本文件 -F 指定分隔符，可以连着写 -V 查看awk版本
例：
awk -v arg1=12 -v arg2="hello world" 'BEGIN{print arg1,arg2}' awk -F ":" '{print $1}' /etc/passwd awk -F: '{print $1}' /etc/passwd
11.9 awk中数组的用法
- 数组使用（索引从0开始）
array=("janee" "jone" "jacek" "jordan") 打印元素 echo ${array[0]}、echo ${array[@]} 打印元素个数 echo ${#array[@]} 打印元素长度 echo ${#array[0]} 给元素赋值 array[2]="messi" 删除元素 unset array[2]、unset array 分片访问 echo ${array[0]:1:3} 元素替换 ${array[@]/e/E}（替换元素中的第一个e为E）、${array[@]//e/E}（替换元素中的所有e为E） 元素便利 for a in ${array[@]}; do echo $a; done
- awk中数组的用法（索引从1开始）
awk 'BEGIN{str="hadoop spark yarn storm flume";split(str,array," ");for(i=1;i<=length(array);i++){print array[i]}}' awk的数组中可以使用字符串作为数组的下标 awk 'BEGIN{array["var1"]="zhangsan";array["var2"]="lisi";array["var3"]="wangwu";for(i in array){print array[i]}}'
例：统计各种tcp状态连接状态数
netstat -an | grep tcp | awk '{array[$6]++}END{for(i in array){print i,array[i]}}'
例：计算纵向横向总和
Allen 90 99 93 73 Jone 83 23 38 97 Monica 99 77 89 43 Jerry 77 44 32 91 awk '{line++;line_sum=0;for(i=1;i<=NF;i++){line_sum+=$i;col_sum[i]+=$i;printf "%-6s ",$i};print line_sum}END{printf "%-6s","";for(i=2;i<=length(col_sum);i++){printf "%-6s ",col_sum[i]};printf "\n"}' score.txt 输出： Allen 90 99 93 73 355 Jone 83 23 38 97 241 Monica 99 77 89 43 308 Jerry 77 44 32 91 244 349 243 252 304
11.10 awk中数组的用法
例：用awk脚本处理数据并生成报告
生成数据的脚本：insert.sh #!/bin/bash function create_random { min=$1 max=$(($2-$min+1)) num=$(date +%s%N) echo $(($num%$max+$min)) } INDEX=1 while true do for user in Mike Allen Jerry Tracy Hanmeimei Lilei do COUNT=$RANDOM NUM1=`create_random 1 $COUNT` NUM2=`expr $COUNT - $NUM1` echo "`date "+%Y-%m-%d %H:%M:%S"`" $INDEX Batches: $user insert $COUNT data into table 'test1', insert $NUM1 records successfully, failed insert $NUM2 records >> /root/script/data.txt INDEX=`expr $INDEX + 1` done done 数据格式： 2019-04-17 23:44:36 495 Batches: Jerry insert 7658 data into table test1, insert 1008 records successfully, failed insert 6650 records 2019-04-17 23:44:36 496 Batches: Tracy insert 17609 data into table test1, insert 10348 records successfully, failed insert 7261 records 2019-04-17 23:44:36 497 Batches: Hanmeimei insert 14256 data into table test1, insert 1599 records successfully, failed insert 12657 records 2019-04-17 23:44:36 498 Batches: Lilei insert 9279 data into table test1, insert 7856 records successfully, failed insert 1423 records 2019-04-17 23:44:36 499 Batches: Mike insert 22652 data into table test1, insert 6291 records successfully, failed insert 16361 records (1)、统计每个人员插入了多少条数据进数据库 awk 'BEGIN{printf "%-10s %-10s\n","name","total"}{stat[$5]+=$7}END{for(i in stat){printf "%-10s %-10s\n",i,stat[i]}}' data.txt (2)、统计每个人员插入成功和失败了多少条数据进数据库 awk 'BEGIN{printf "%-10s %-10s %-10s %-10s\n","User","Total","Succeed","Failed"}{sum[$5]+=$7;suc_sum[$5]+=$13;fail_sum[$5]+=$18}END{for(i in sum){printf "%-10s %-10s %-10s %-10s\n",i,sum[i],suc_sum[i],fail_sum[i]}}' data.txt (3)、在(2)的基础上统计全部插入记录数 awk 'BEGIN{printf "%-10s %-10s %-10s %-10s\n","User","Total","Succeed","Failed"}{sum[$5]+=$7;suc_sum[$5]+=$13;fail_sum[$5]+=$18}END{for(i in sum){all_sum+=sum[i];all_suc_sum+=suc_sum[i];all_fail_sum+=fail_sum[i];printf "%-10s %-10s %-10s %-10s\n",i,sum[i],suc_sum[i],fail_sum[i]};printf "%-10s %-10s %-10s %-10s\n","",all_sum,all_suc_sum,all_fail_sum}' data.txt (4)、查找丢失数据，也就是成功+失败的记录数不等于总共插入的记录数 awk '{if($7!=$13+$18){print $0}}' data.txt
12. mysql操作
12.1 安装启动mariadb
yum install mariadb mariadb-server mariadb-libs -y systemctl start mariadb
13. 脚本工具
脚本 工具 功能概述 (1)、实现一个脚本，该脚本提供类似supervisor的功能，可以对进程进行管理 (2)、一键查看所有进程运行状态 (3)、单个或批量启停进程 (4)、提供进程分组功能，可以按组查看进程运行状态，可以按组启停进程
配置文件 process.cfg [GROUP_LISE] WEB_LIST DB_LIST HADOOP_LIST YARN_LIST [WEB_LIST] nginx httpd [DB_LIST] mysql postgresql [HADOOP_LIST] datanode namenode [YARN_LIST] resourcemanager nodemanager [nginx] description="Web Server 1" program_name=tail parameter=-f /root/tmp/web-nginx.conf [httpd] description="Web Server 2" program_name=tail parameter=-f /root/tmp/web-httpd.conf [mysql] description="High Perfrmance Database" program_name=tail parameter=-f /root/tmp/db-mysql.conf [postgresql] description="High Perfrmance Database" program_name=tail parameter=-f /root/tmp/db-postgresql.conf [datanode] description="Hadoop datanode" program_name=tail parameter=-f /root/tmp/hadoop-datanode.conf [namenode] description="Hadoop namenode" program_name=tail parameter=-f /root/tmp/hadoop-namenode.conf [resourcemanager] description="yarn resourcemanager" program_name=tail parameter=-f /root/tmp/yarn-resourcemanager.conf [nodemanager] description="yarn nodemanager" program_name=tail parameter=-f /root/tmp/yarn-nodemanager.conf
#!/bin/bash THIS_PID=$$ GROUP_LIST=GROUP_LIST CFG_FILE=/root/script/tmp/process.cfg function group_list { group_list=`sed -n "/\[$GROUP_LIST\]/,/^\[.*\]/p" $CFG_FILE | grep -v "^$" | grep -v "\[.*\]" | grep -v "\#"` echo $group_list } function get_all_process { for group in $(group_list) do p_list=$(get_all_process_by_group $group) echo $p_list done } function get_all_process_by_group { group_process=`sed -n "/\[$1\]/,/\[.*\]/p" $CFG_FILE | grep -v "^$" | grep -v "\[.*\]" | grep -v "\#"` echo $group_process } function is_group_exists { count=`sed -n "/\[$1\]/p" $CFG_FILE | grep -v "$GROUP_LIST" | wc -l` if [ $count -eq 1 ]; then return 0 else return 1 fi } function get_group_by_process_name { for g in $(group_list) do for p in `get_all_process_by_group $g` do if [ $p == $1 ]; then echo "$g" fi done done } function get_process_info_by_pid { ps -ef | awk -v pid=$1 '$2==pid{print}' &> /dev/null if [ $? -eq 0 ]; then proc_status="RUNNING" else proc_status="STOPPED" fi proc_cpu=`ps aux | awk -v pid=$1 '$2==pid{print $3}'` proc_mem=`ps aux | awk -v pid=$1 '$2==pid{print $4}'` proc_start_time=`ps -p $1 -o lstart | grep -v "STARTED"` } function get_pid_by_process_name { if [ $# -ne 1 ]; then return 1 else pid=`ps -ef | grep "$1" | grep -v grep | grep -v "$0" | awk '{print $2}'` echo $pid fi } function format_print { group=`get_group_by_process_name $1` ps -ef | grep $1 | grep -v grep | grep -v $THIS_PID &> /dev/null if [ $? -eq 0 ]; then for pids in `get_pid_by_process_name $1` do for _pid in $pids do get_process_info_by_pid $_pid awk -v p_name="$1" \ -v p_group="$group" \ -v p_id="$_pid" \ -v p_status="$proc_status" \ -v p_cpu="$proc_cpu" \ -v p_mem="$proc_mem" \ -v p_start_time="$proc_start_time" \ 'BEGIN{printf "%-20s%-10s%-10s%-10s%-10s%-10s%-10s\n",p_name,p_group,p_status,p_id,p_cpu,p_mem,p_start_time;}' done done else awk -v p_name="$1" \ -v p_group="$group" \ 'BEGIN{printf "%-20s%-10s%-10s%-10s%-10s%-10s%-10s\n",p_name,p_group,"NULL","NULL","NULL","NULL","NULL";}' fi } echo "********************************************************************************************************" echo `group_list` echo `get_all_process` echo `get_all_process_by_group DB_LIST` echo `is_group_exists WEB_LIST` echo $(get_group_by_process_name mariadb) format_print $1 echo "********************************************************************************************************"
14. 其它
ps -ef | grep nginx | awk '{print $2}' | xargs kill $? 命令执行的结果，0表示成功，其它表示有异常 $$ 脚本执行的子进程的pid $# 参数数量 $0 shell文件名 $@ shell执行的时候传入的所有参数 shift shell执行的时候跳过一个传入的参数
netstat -l[listening] -a[all] -t[tcp] -p[program] Show the PID and name of the program to which each socket belongs.
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- 跟着google学习mvp架构（clean篇）
- 跟着google学习mvp架构（clean篇）
- 【跟着我们学Golang】基础结构
- 【跟着我们学Golang】流程控制
- 跟着老杨玩python之开篇
- 跟着whatwg看一遍事件循环
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Responsive Web Design
Ethan Marcotte / Happy Cog / 2011-6 / USD 18.00
From mobile browsers to netbooks and tablets, users are visiting your sites from an increasing array of devices and browsers. Are your designs ready? Learn how to think beyond the desktop and craft be......一起来看看 《Responsive Web Design》 这本书的介绍吧!
