轻松掌握 Linux 文本处理三剑客：grep、awk 和 sed 实战演练
为什么要学习 Shell 脚本语言？
现代的互联网架构底层系统几乎都是基于 Linux 操作系统构建的，Linux 的核心价值在于提供了强大的系统内核功能进行文件管理和信息交互管理。
而 Shell 则是软体研发人员高效控制和使用 Linux 的工具和桥梁。Shell 本身是 C 语言编写的系统软体，通常也叫命令行工具。它具有一个基础的界面，用户在这个界面通过 Shell 脚本语言（Shell Script）来访问 Linux 操作系统内核服务。
Tips：尽管通常我们把「Shell」和「Shell 脚本语言」都叫做 「Shell」，但其实这两者是有本质区别的。
在科幻电影里，我们经常看到在暗色调的屏幕上 Shell 脚本代码在快速滚动，这简直成为了 Geek／Hacker 的一个形象标签。而实际工作中，Shell 也备受开发、运维、测试人员甚至运营人员的青睐，几乎是 IT 技术人员的必备技能。在软体测试技术领域，Shell 脚本编程更是自动化测试技术的基石，是测试开发工程师的必备技能。
Shell 脚本语言编程有哪些优势呢？
Shell 脚本语言的优势在于能够以最轻量级最快捷的速度处理 Linux 操作系统偏底层的业务。比如软体的自动化安装、更新版本，监控报警，日志分析等。虽然其他高级编程语言如 PHP、Python、Ruby 等语言也能做到，但是效率和开发成本上会大打折扣，所谓「杀鸡用牛刀」，有点得不偿失。
成熟的技术人会摒弃华而不实的方法，而会根据不同的场景选择最合适的工具去解决问题，朴实而高效。比如本文著重介绍的 Linux 三剑客：grep、awk 和 sed 就是 Linux 文本处理问题的最高效工具。
下面，我们将依次介绍 Linux 文本处理三剑客的基础语法，使用场景和特性，以及给出对应的实战演练题目。
Shell 编程环境安装
- Windows 用户，建议安装 Git Bash 软体。
- Mac 用户，建议安装 iterm2 软体。
- ssh 工具
- 霍格沃兹测试学院的学员可以用自己的帐号登录
ssh 手机号码后8位@shell.testing-studio.com - 没有 ssh 账号的可以临时用
ssh [email protected] - 演练文档：http://testerhome.com/tmp/nginx.log 保存了一份一天的 Nginx 访问 log。
Linux 三剑客介绍
- grep：主要用于文本内容查找，支持正则表达式。
- awk：主要用于文本内容的分析处理，也常用于处理数据，生成报告，非常适用于需要按列处理的数据。（现在很多Linux使用gawk）
- sed：全称为 Stream editor ，主要用于文本内容的编辑，默认只处理模式空间，不改变原数据，而且 sed 使用逐行读取的方式处理数据。
grep
grep 示例 Shell 脚本代码
ps -ef | grep bash
echo "ABC" | grep -i abc
ps -ef | grep bash | grep -v grep
echo "1234 7654" | grep -o "[0-9]4"
echo "1234 7654" | grep -oE "[0-9]4|76"
grep 实战演练题目
- 找出 nginx.log 中所有 404 和 503 报错的 log 数据，取出前 3 条数据，把命令贴到回复里。
- 找出 testerhome 首页的所有 http 和 https 的链接。
awk
awk 示例 Shell 脚本代码
ps | awk BEGIN{print "start"}{print $0}END{print "end"}
awk / 404 | 500 / /tmp/nginx.log
echo 1
2
3
4
5 | awk /2/,/4/
echo 1
2
3
4
5 | awk $0>3
ps | awk NR>1
ps | awk {print $NF}
echo $PATH | awk BEGIN{RS=":"}{print $0} | grep -v "^$" | awk BEGIN{FS="
";ORS=":"}{print $0}END{printf "
" }
echo 1,10
2,20
3,30 | awk BEGIN{a=0;FS=","}{a+=$2}END{print a,a/NR}
awk BEGIN{print 33*20*76/200/3}
echo "123|456_789" | awk BEGIN{FS="\||_"}{print $2}
echo "123|456_789" | awk "BEGIN{FS="\\||_"}{print $2}" #尽量使用单引号
awk 实战演练题目
- 找出 404 和 500 的数据，只列印状态码这一列，然后排序去重。把命令贴到回复里
- 去 testerhome 首页找到所有的 http 的连接，然后列印不带 http 的纯域名部分
sed
pattern表达式
- 20 30,35 行数与行数范围
- /pattern/ 正则匹配
- //,// 正则匹配的区间
action
- d 删除
- p 列印，通畅结合-n参数
- s/REGEXP/REPLACEMENT/[FLAGS]
- 替换时引用 1 2 匹配的栏位
sed 示例 Shell 脚本代码
ps | sed -n 1,3p
ps | sed s/CMD/command/
ps | sed -n /ps/p
echo 1
2
3
4
5 | sed -n /3/,/4/p
echo 1
2
3
4
5 | sed /3/,/4/d
ps | sed -e s/CMD/command/ -e s#00#20#g
sed 实战演练题目
- 对所有404 500 的数据，统计出现这种状态码的url，需要对url汇总（汇总相似的url，把相同的资源但是变化的id去掉）去重，列印前5个出问题的路径，把命令贴到回复里。
免费领取《Shell 高级实战》课程
2019 年 1 月 20 日，霍格沃兹测试学院在北京组织了一次小型（限额 20 人） WorkShop 实战训练营线下活动，主题是《测试开发工程师必备 Shell 高级实战技能》，旨在帮助测试开发同学熟练掌握 Shell 高阶技能，更高效的定位 Bug。
WorkShop 结束之后，考虑到学院大部分同学未能参加该活动，而 Shell 高阶技能确实有点烧脑，是学员的普遍痛点。学院决定优化课程设计，增加基础部分内容，打通从入门到高级路径，并以「学伴分享」形式免费发布这个课程，作为给测试开发同学的年度福利。关于免费领取的规则，请点击上图或者「阅读原文」了解更多详情。
推荐阅读
- 免费领取 99 元 Shell 高级实战课程 | 福利
- 如何从 0 开始学 Python 自动化测试（一）
- 寒冬来临，测试工程师职业发展该何去何从？
- 测试开发工程师技能图谱 | V 1.0 版
- Java or Python，测试开发首选哪门语言？
- 面试 | 互联网大厂测试开发岗位问哪些问题？
- Google 测试总监聊如何经营成功测试职业生涯
- 做到这几点，你也能成为 BAT 的抢手人才！（上）
- 做到这几点，你也能成为 BAT 的抢手人才！（下）
- 中高级测试开发「名企定向培养」计划
推荐阅读：
