当前位置: 移动技术网 > 科技>操作系统>Linux > linux tcpdump抓取HTTP包的详细解释

linux tcpdump抓取HTTP包的详细解释

2018年03月02日  | 移动技术网科技  | 我要评论

召唤狂人在异界,大裂谷历险记,非诚勿扰20150912

tcpdump

tcpdump是linux系统自带的抓包工具,主要通过命令行的方式,比较适合在线上服务器进行抓包操作,如果是windows或者ubuntu完全可 以选择一些图形化的工具,ubuntu比较推荐用wireshark,安装方式很简单sudo apt一下即可。

命令行格式:
tcpdump [ -adeflnnopqstvx ] [ -c 数量 ] [ -f 文件名 ][ -i 网络接口 ] [ -r 文件名] [ -s snaplen ][ -t 类型 ] [ -w 文件名 ] [表达式 ]
 
常用的参数:
-l    使标准输出变为缓冲行形式;
-n    不把网络地址转换成名字;

-c    在收到指定的包的数目后,tcpdump就会停止;
-i    指定监听的网络接口;(如果没有指定可能在默认网卡上监听,需要指定绑定了特定ip的网卡)
-w    直接将包写入文件中,并不分析和打印出来;
-s 指定记录package的大小,常见 -s 0 ,代表最大值65535,一半linux传输最小单元mtu为1500,足够了
-x 直接输出package data数据,默认不设置,只能通过-w指定文件进行输出

常用表达式:

关于类型的关键字,主要包括host,net,port
传输方向的关键字,主要包括src , dst ,dst or src, dst and src
协议的关键字,主要包括fddi,ip ,arp,rarp,tcp,udp等类型
逻辑运算,取非运算是 'not ' '! ', 与运算是'and','&&';或运算 是'or' ,'||'
其他重要的关键字如下:gateway, broadcast,less,greater

实际例子:

1. http数据包抓取 (直接在终端输出package data)

tcpdump tcp port 80 -n -x -s 0 指定80端口进行输出

2. 抓取http包数据指定文件进行输出package

tcpdump tcp port 80 -n -s 0 -w /tmp/tcp.cap

对应的/tmp/tcp.cap基本靠肉眼已经能看一下信息,比如http header , content信息等

3. 结合管道流

tcpdump tcp port 80 -n -s 0 -x -l | grep xxxx

这样可以实时对数据包进行字符串匹配过滤

4. mod_proxy反向代理抓包

线上服务器apache+jetty,通过apache mod_proxy进行一个反向代理,80 apache端口, 7001 jetty端口

apache端口数据抓包: tcpdump tcp port 80 -n -s 0 -x -i eth0   注意:指定eth0网络接口
jetty端口数据抓包: tcpdump tcp port 7001 -n -s 0 -x -i lo 注意:指定loopback网络接口

5. 只监控特定的ip主机
tcpdump tcp host 10.16.2.85 and port 2100 -s 0 -x 
需要使用tcp表达式的组合,这里是host指示只监听该ip

小技巧:

1. 可结合tcpdump(命令) + wireshark(图形化)

操作: 

在服务器上进行tcpdump -w /tmp/tcp.cap 指定输出外部文件
scp /tmp/tcp.cap 拷贝文件到你本地
wireshark &  启动wireshark
通过 file -> open  打开拷贝下来的文件,这样就可以利用进行数据包分析了
剩下来的事就非常方便了

tcpdump -xvvennss 0 -i eth0 tcp[20:2]=0x4745 or tcp[20:2]=0x4854

0x4745 为"get"前两个字母"ge"

0x4854 为"http"前两个字母"ht"

说明: 通常情况下:一个正常的tcp连接,都会有三个阶段:1、tcp三次握手;2、数据传送;3、tcp四次挥手

里面的几个概念:

  • syn: (同步序列编号,synchronize sequence numbers)
  • ack: (确认编号,acknowledgement number)
  • fin: (结束标志,finish)

tcp三次握手(创建 open)

  • 客户端发起一个和服务创建tcp链接的请求,这里是syn(j)
  • 服务端接受到客户端的创建请求后,返回两个信息: syn(k) + ack(j+1)
  • 客户端在接受到服务端的ack信息校验成功后(j与j+1),返回一个信息:ack(k+1)
  • 服务端这时接受到客户端的ack信息校验成功后(k与k+1),不再返回信息,后面进入数据通讯阶段

数据通讯

  • 客户端/服务端 read/write数据包

tcp四次握手(关闭 finish)

  • 客户端发起关闭请求,发送一个信息:fin(m)
  • 服务端接受到信息后,首先返回ack(m+1),表明自己已经收到消息。
  • 服务端在准备好关闭之前,最后发送给客户端一个 fin(n)消息,询问客户端是否准备好关闭了
  • 客户端接受到服务端发送的消息后,返回一个确认信息: ack(n+1)
  • 最后,服务端和客户端在双方都得到确认时,各自关闭或者回收对应的tcp链接。

详细的状态说明(以及linux相关参数调整)

  1. syn_send
    • 客户端尝试链接服务端,通过open方法。也就是tcp三次握手中的第1步之后,注意是客户端状态
    • sysctl -w net.ipv4.tcp_syn_retries = 2 ,做为客户端可以设置syn包的重试次数,默认5次(大约180s)引用校长的话:仅仅重试2次,现代网络够了
  2. syn_received
    • 服务接受创建请求的syn后,也就是tcp三次握手中的第2步,发送ack数据包之前
    • 注意是服务端状态,一般15个左右正常,如果很大,怀疑遭受syn_flood攻击
    • sysctl -w net.ipv4.tcp_max_syn_backlog=4096 , 设置该状态的等待队列数,默认1024,调大后可适当防止syn-flood,可参见man 7 tcp
    • sysctl -w net.ipv4.tcp_syncookies=1 , 打开syncookie,在syn backlog队列不足的时候,提供一种机制临时将syn链接换出
    • sysctl -w net.ipv4.tcp_synack_retries = 2 ,做为服务端返回ack包的重试次数,默认5次(大约180s)引用校长的话:仅仅重试2次,现代网络够了
  3. established
    • 客户端接受到服务端的ack包后的状态,服务端在发出ack在一定时间后即为established
    • sysctl -w net.ipv4.tcp_keepalive_time = 1200 ,默认为7200秒(2小时),系统针对空闲链接会进行心跳检查,如果超过net.ipv4.tcp_keepalive_probes * net.ipv4.tcp_keepalive_intvl = 默认11分,终止对应的tcp链接,可适当调整心跳检查频率
    • 目前线上的监控 waring:600 , critial : 800
  4. fin_wait1
    • 主动关闭的一方,在发出fin请求之后,也就是在tcp四次握手的第1步
  5. close_wait
    • 被动关闭的一方,在接受到客户端的fin后,也就是在tcp四次握手的第2步
  6. fin_wait2
    • 主动关闭的一方,在接受到被动关闭一方的ack后,也就是tcp四次握手的第2步
    • sysctl -w net.ipv4.tcp_fin_timeout=30, 可以设定被动关闭方返回fin后的超时时间,有效回收链接,避免syn-flood.
  7. lask_ack
    • 被动关闭的一方,在发送ack后一段时间后(确保客户端已收到),再发起一个fin请求。也就是tcp四次握手的第3步
  8. time_wait
    • 主动关闭的一方,在收到被动关闭的fin包后,发送ack。也就是tcp四次握手的第4步
    • sysctl -w net.ipv4.tcp_tw_recycle = 1 , 打开快速回收time_wait,enabling this option is not recommended since this causes problems when working with nat (network address translation)
    • sysctl -w net.ipv4.tcp_tw_reuse =1, 快速回收并重用time_wait的链接, 貌似和tw_recycle有冲突,不能重用就回收?
    • net.ipv4.tcp_max_tw_buckets: 处于time_wait状态的最多链接数,默认为180000.

相关说明

  • 主动关闭方在接收到被动关闭方的fin请求后,发送成功给对方一个ack后,将自己的状态由fin_wait2修改为time_wait,而必须 再等2倍的msl(maximum segment lifetime,msl是一个数据报在internetwork中能存在的时间)时间之后双方才能把状态 都改为closed以关闭连接。目前rhel里保持time_wait状态的时间为60秒
  • keepalive策略可以有效的避免进行三次握手和四次关闭的动作

其他网络重要参数

net.ipv4.tcp_rmem 参数

默认值: min=4096 default=87380 max=4194304
 

net.ipv4.tcp_wmem 参数

默认值: min=4096 default=16384 max=4194304

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网