如何记录 Linux 端口的出口 http 请求并统计

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1229 天前的主题，其中的信息可能已经有所发展或是发生改变。

我想要统计一段时间内 Linux 服务器发送的请求信息，预期的统计结果形式类似如下：
2021-7-11 8:00-18:00
url method conut
baidu.com get 2
v2ex.com post 3
...
目前我了解到 tcpdump 可以对请求进行抓包并记录，最后可以通过脚本的方法进行统计处理，但似乎有点麻烦，不知各位老哥有啥建议。

请求

Linux

统计

抓包并

13 条回复 • 2021-07-12 00:14:15 +08:00

cdlnls

2021-07-11 14:06:50 +08:00

似乎只有抓包这一条路可以走
waf 防火墙设备的统计信息里面可能有记录这些服务器发起 http 请求

SJ2050cn

2021-07-11 14:45:38 +08:00

@cdlnls 有啥功能全的 waf 防火墙推荐吗，我目前机子用的 verynginx，很简陋。

2021-07-11 15:35:46 +08:00 via iPhone

clarles

2021-07-11 15:36:32 +08:00 via iPhone

纠正 charles

SJ2050cn

2021-07-11 18:31:41 +08:00

@ik 请问这个可以单独命令行安装和运行吗，服务器没配置图形化界面，上网搜了一下 charles 的教程都是在图形化界面下进行的。

2021-07-11 19:32:17 +08:00 via iPhone

@SJ2050cn 估计得图形化界面…

gefranks

2021-07-11 19:58:01 +08:00 via iPhone

本机搞个透明代理要抓的流量都过一次代理？

adrianzhang

2021-07-11 20:16:59 +08:00

如果只是 http 的话，可以从 web 服务器日志分析下手。这方面 Splunk 可以做，也有很多 open source 项目。

also24

2021-07-11 21:26:01 +08:00

直觉上可以用 mitmproxy 搞定

https://mitmproxy.org/

woodrat

2021-07-11 21:47:04 +08:00

统计出流量并且不指定进程的话，tcpdump 比较可行，其他的更麻烦一点

cdlnls

2021-07-11 22:17:51 +08:00

@SJ2050cn 额，我刚刚说的防火墙不是 verynginx 这种软件。是那种硬件设备(类似深信服安恒这样厂家的产品)，这些都是基于流量去做防护的，所以我才说*可能*有记录服务器发起的 http 请求。

另外刚刚又想到一个问题，如果是在本机通过 tcpdump 抓包的话，是统计不了 https 的访问请求的，获取不到 url 和 method 。上面的 waf 应该也不行，貌似解决的办法只有让需要统计的程序使用代理，然后再在代理那一层上统计，或者是改程序，由发起请求的程序统计。

also24

2021-07-11 23:25:53 +08:00

@cdlnls #11
楼主在问题里虽然写的是 url，但是从下面的例子来看又只取了域名，如果只需要域名的话靠 SNI 信息就行了。

supermoonie

2021-07-12 00:14:15 +08:00 via iPhone

之前 java 写过 https 抓包，图形界面写了一大半，再改改就能满足你的需求