打印

LAMP/Apache下access_log统计访客日志不完全有遗漏(防DDoS用)

LAMP/Apache下access_log统计访客日志不完全有遗漏(防DDoS用)

军哥你好!

感谢你的一键安装包,已经成功搭建的LAMP环境并建站多时。

现在有个疑问:

按理说VPS上的所有访问应该都在access_log里有记录,也就是说不管VPS上建了几个网站,所有的记录都应该提现在总日志access_log里。

但是,我的AAA网站开启了日志记录并记录在access_log_AAA里,但是总日志access_log里居然没有。

我把网站AAA的记录关掉后,总日志access_log里还是没有。

而BBB网站和CCC网站的记录在access_log里却有。

比如,58.58.68.68这个IP访问了AAA网站,access_log_AAA里有其记录,而access_log却没有。

非常困惑。

请问军哥:如果我想VPS上所有网站的访客记录全部记录到access_log里(而非单个access_log_XXX),那么干如何设置呢?

或者说,access_log本身就是记录全部的,是因为我的某些设置错误才导致了出现这种问题呢?

非常感谢!

[ 本帖最后由 ifrederick 于 2018-5-26 08:29 编辑 ]

TOP

access_log 并不是用来记录日志的
默认虚拟主机的是IP_access_log 这个文件,默认虚拟主机就只记录默认虚拟主机的,其他虚拟主机的不记录
如果你添加的域名开启了日志功能,记录的文件是 域名或自定义的名字-access_log

LNMP付费问题排查/LNMP技术支持/Paypal信用卡代付/代购VPS,域名,软件等 QQ 503228080 旺旺 lzhenbao
军哥淘宝店铺
QQ/旺旺仅提供代购及付费代维/问题解决等服务,其他不回复!LNMP相关问题请在本论坛发帖,提问前先搜索,按https://bbs.vpser.net/thread-2555-1-1.html 要求反馈问题!

TOP

回复 2# 的帖子

感谢军哥的解答。

经过测试,access_log里是可以记录(甚至全部)来自VPS非IP的访问的,比如 yourdomain.com/sample-url
而IP_access_log只记录直接通过IP访问的信息,比如 123.123.123.123/sample-url

而记录不完全的原因,貌似找到了,应该和开启HTTPS访问有关。

AAA域名,从80端口来的普通的HTTP访问在access_log里不记录,但是自身的access_log_AAA有记录。
我把AAA开启HTTPS加密访问后,access_log里就有记录了。

作为对比,我又验证了BBB域名,普通的HTTP访问在access_log里没有记录,但是在自身access_log_BBB里有记录。
所以,我觉得很可能是关于access_log和80、443端口设置方面出了问题。

请问,access_log有记录端口的相关设置吗?



**********背景**********

我是要抓取access_log的日志并分析,封掉违反规则的IP地址,达到缓解/阻止DDoS的目的。

试用了DDoS-Deflate,发现有点麻烦,设置起来效果并没有多大。所以自己写了一个脚本,自动屏蔽异常IP,效果还不错。

但问题是,所有加密的HTTPS域名访问日志可以直接在access_log里获取,但其他非加密的HTTP域名访问日志抓不到,DDos攻击依然存在。

开贴中,我把AAA域名开启HTTPS访问后,已经屏蔽了不少DDoS的IP地址(效果附下)。但针对HTTP访问的BBB域名,依然没有抓到,因为access_log里根本没记录到。

解决的办法目前能想到的有三个:

①全部开启HTTPS访问(略麻烦,网站较多,有的暂时也没必要);
②加密的HTTPS和非加密的HTTP都能记录到access_log里(同时记录80和443端口);
③同时统计总的access_log日志和单独的access_log_XXX日志(增加额外操作、占用VPS资源);

#  防DDoS的效果(屏蔽时间、被封前攻击次数、攻击IP和被封原因):

2018-05-23 15:44:01        33        118.24.116.161                404
2018-05-23 16:34:01        64        180.76.134.115                404
2018-05-23 23:33:01        35        180.76.114.186                404
2018-05-24 07:37:01        86        183.78.180.97                 404
2018-05-25 00:57:01        56        122.227.62.206                /wp-login.php
2018-05-25 00:57:01        56        122.227.62.206                302
2018-05-25 01:13:01        28        218.3.210.2                   /wp-login.php
2018-05-25 01:13:01        28        218.3.210.2                   302
2018-05-25 01:48:01        39        157.119.227.25                /wp-login.php
2018-05-25 01:48:01        39        157.119.227.25                302
2018-05-25 01:52:01        48        152.204.28.192                /wp-login.php
2018-05-25 01:52:01        48        152.204.28.192                302
2018-05-25 16:35:01        11        118.114.1.139                 TCP(Dropped if >= 50)
2018-05-25 19:50:01        87        180.76.101.70                 404
2018-05-25 22:01:01        38        180.76.232.106                404
2018-05-26 04:28:01        85        180.76.245.155                301
2018-05-26 04:28:01        83        180.76.245.155                404
2018-05-26 05:15:01        15        95.24.156.48                  TCP(Dropped if >= 50)
2018-05-26 05:47:01        81        118.24.134.86                 301
2018-05-26 05:47:01        61        118.24.134.86                 404


#  非HTTPS访问的access_log_BBB日志记录:
设置了wp-login.php保护,即便如此,一个多小时攻击了8000多次,大量的302转向还是导致CPU占用一直50%以上。
因为记录不在access_log日志里,所以没有抓住该IP并封掉。

54.36.168.175 - - [26/May/2018:06:05:17 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:18 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:19 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:19 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:20 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:20 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:21 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:22 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:22 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:23 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:23 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:24 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:24 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:25 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:26 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:26 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:27 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:27 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:28 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:28 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:29 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:30 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:30 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:31 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:31 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:32 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:32 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:33 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:34 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:34 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:35 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:35 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:36 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:37 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:37 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:38 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:38 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:39 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:40 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:40 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:41 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:41 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:42 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:42 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:43 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:44 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:44 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
54.36.168.175 - - [26/May/2018:06:05:45 +0800] "POST /wp-login.php HTTP/1.0" 302 3424 "-" "-"
……
……

[ 本帖最后由 ifrederick 于 2018-5-26 09:44 编辑 ]

TOP

回复 3# 的帖子

自己通过日志分析的话太累,nginx上的话开启lua后有很多waf可以选择,apache上的话暂时还没了解

LNMP付费问题排查/LNMP技术支持/Paypal信用卡代付/代购VPS,域名,软件等 QQ 503228080 旺旺 lzhenbao
军哥淘宝店铺
QQ/旺旺仅提供代购及付费代维/问题解决等服务,其他不回复!LNMP相关问题请在本论坛发帖,提问前先搜索,按https://bbs.vpser.net/thread-2555-1-1.html 要求反馈问题!

TOP