您的位置: 首页  >  IT文章  >  Linux 命令-高级-文件处理"三剑客"

Linux 命令-高级-文件处理"三剑客"

分类: IT文章 • 2022-04-12 12:56:50

Linux 命令-高级-文件处理

　　　　　　　　Linux 文件处理三剑客 指的是grep,awk,sed 三条指令

为什么要学这三条指令?

　　如果你入侵了别人的系统要对日志进行清除，你不可能直接把别人日志文件删了吧，而且绝大部分时候你是通过交互式的命令行来进行操控他人系统的，你能看到别人文件内容 但是如果有成千上万的代码 你真一个一个找么？(隐藏远比破坏重要的多)  删了日志 一定会被发现入侵 而修改就不一定了

grep能通过模式匹配 包括正则表达式搜索文本，并进行输出 grep相比sed 功能较少 是以行为单位进行字符串对比过滤
格式： grep [-n] [-A] [-B] [--color==auto] '搜索字符串' filename 

 参数有：

  • -a 或 --text : 不要忽略二进制的数据。
  • -A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。
  • -b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
  • -B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。
  • -c 或 --count : 计算符合样式的列数。
  • -C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。
  • -d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
  • -e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
  • -E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
  • -f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
  • -F 或 --fixed-regexp : 将样式视为固定字符串的列表。
  • -G 或 --basic-regexp : 将样式视为普通的表示法来使用。
  • -h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
  • -H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
  • -i 或 --ignore-case : 忽略字符大小写的差别。
  • -l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
  • -L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
  • -n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
  • -o 或 --only-matching : 只显示匹配PATTERN 部分。
  • -q 或 --quiet或--silent : 不显示任何信息。
  • -r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
  • -s 或 --no-messages : 不显示错误信息。
  • -v 或 --invert-match : 显示不包含匹配文本的所有行。
  • -V 或 --version : 显示版本信息。
  • -w 或 --word-regexp : 只显示全字符合的列。
  • -x --line-regexp : 只显示全列符合的列。
  • -y : 此参数的效果和指定"-i"参数相同

几个与渗透相关联的例子:

从很多内容的文件中找到关键词-flag

例子1: vim test.txt

a
b
#c
dd
opg
flag .........................

写入内容

然后 命令 : cat test.txt|grep 'flag' 

可打印出含有flag 关键字的那一行

例子2 ： 命令 grep flag *txt

查找当前目录下所有含有flag 的txt文件 并将文件含flag关键词的一行打印

例子3：  命令 grep flag xx* 

查找前缀有xx且包含关键词flag 的文件

例子4： 命令 grep -r flag / 

递归查询指定目录下包含flag的文件 

例子5： 命令 grep -i 'flag' /  

打印指定目录下包含flag文件的那一行  不区分大小写（比赛中可能有故意大写的flag）

例子6： 补充  grep –e "正则表达式" 文件名

比较灵活 效果和之前 差不多 不过需要用到正则表达式 

注意：grep 命令 一般用于找包含某字符串的某文件的内容   不用于找文件 

SED指令：利用脚本来处理文本文件

语法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

参数说明：

  • -e<script>或--expression=<script> 以选项中指定的script来处理输入的文本文件。
  • -f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
  • -h或--help 显示帮助。
  • -n或--quiet或--silent 仅显示script处理后的结果。
  • -V或--version 显示版本信息。

动作说明：

  • a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
  • c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
  • d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
  • i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
  • p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
  • s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦

相比于grep 指令 sed指令最重要的是能对文件进行增删改

例子1 ： 类似grep -i flag *txt  命令 :  cat 2.txt|sed '/flag/p' 

查看2.txt下所有含flag的行 不区分大小写
例子2:   cat 2.txt|sed '/flag/d' 删除所有含flag的行
例子3： sed '' 2.txt  可以直接打开2.txt 查看里面的内容 我理解是 ''是脚本执行的第一步 读取文件 这里因为没有其他命令就直接输出了

例子4： 

数据的搜寻并执行命令

搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：

nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p;q}'    
1  root:x:0:0:root:/root:/bin/blueshell




主要记找到flag并打印就行

AWK:

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

选项参数说明：

    • -F fs or --field-separator fs
      指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
    • -v var=value or --asign var=value
      赋值一个用户定义变量。
    • -f scripfile or --file scriptfile
      从脚本文件中读取awk命令。
    • -mf nnn and -mr nnn
      对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
    • -W compact or --compat, -W traditional or --traditional
      在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
    • -W copyleft or --copyleft, -W copyright or --copyright
      打印简短的版权信息。
    • -W help or --help, -W usage or --usage
      打印全部awk选项和每个选项的简短说明。
    • -W lint or --lint
      打印不能向传统unix平台移植的结构的警告。
    • -W lint-old or --lint-old
      打印关于不能向传统unix平台移植的结构的警告。
    • -W posix
      打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。
    • -W re-interval or --re-inerval
      允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
    • -W source program-text or --source program-text
      使用program-text作为源代码，可与-f命令混用。
    • -W version or --version
      打印bug报告信息的版本。

例子1 ：  命令 awk '{print $1,$3}' 2.txt

指定打印出 2.txt中的第一和第三行

例子2：   命令  awk '$0 ~ /flag/ {print $1,$5}' 2.txt

找到2.txt文件下所有包含flag的列 并打印第一列   列与列之间以空格区分 比如 a空格b a为第一列 b为第二列
 一样可以找flag  如果题目把sed过滤了

例子3：  命令 awk '/flag/' 2.txt 

打印出2.txt下包含flag关键字的行

相关推荐