陌路寒暄

  • 笔记
  • WEB
  • 随笔
  • 访客墙
  • 友情链接
  • 关于
Kratos
这让人揪心的代码
  1. 首页
  2. WEB
  3. 正文

Apache利用USER_AGENT屏蔽恶意蜘蛛

2018年4月6日 7908点热度 2人点赞 0条评论

最近发现日志里有很多没见过的蜘蛛UA,基本上都是国外的一些搜索引擎,或者很本不是搜索引擎,有的抓取频率很高,刚开始设置了下robots.txt,因为他们首先都抓取了robots.txt,应该是遵守规则的,没想到人家只是走个过场,并没有把robot.txt放在眼里。

记得Apache可以用.htaccess文件来通过useragent来屏蔽一些访问,搜了一下,大概可以这么做:

 

.htaccessSetEnvIfNoCase User-Agent ^.*Scrapy.* bad_bot
SetEnvIfNoCase User-Agent ^.*SemrushBot.* bad_bot
SetEnvIfNoCase User-Agent ^.*ExtLinksBot.* bad_bot
SetEnvIfNoCase User-Agent ^.*YandexBot.* bad_bot
SetEnvIfNoCase User-Agent ^.*MauiBot.* bad_bot
SetEnvIfNoCase User-Agent ^.*Python.* bad_bot
SetEnvIfNoCase User-Agent ^.*NetcraftSurveyAgent.* bad_bot
Deny from env=bad_bot

这样当这些匹配的useragent就会被返回403禁止访问。

可是第二天发现有几个useragent疯狂的访问robot.txt,反正都不遵守规则,那么执着的访问robots.txt干什么。。。。。

于是我换了一种方法,打算用302(301也一样啦,对这些恶意蜘蛛没那么讲究)把他们转走。

.htaccessRewriteCond %{HTTP_USER_AGENT} ^.*Scrapy.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*ExtLinksBot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*YandexBot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*MauiBot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Python.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*SemrushBot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*NetcraftSurveyAgent.* [NC]
RewriteRule ^(.*)$ http://tip.imlhx.com/ [L]

这样,就都被302到tip.imlhx.com了,现在再看那些未知的蜘蛛基本不会在主站乱爬了。

另:.htaccess的正则:"^"代表字符串的开始,".*"代表任意字符。

NC代表不区分大小写,OR代表或者,L的意思是一旦有符合条件的规则就不再执行下面的规则,所以这些语句要放在WordPress等程序默认伪静态规则的前面。

标签: apache wordpress 蜘蛛
最后更新:2018年4月6日

jlqwer

这个人很懒,什么都没留下

点赞
< 上一篇
下一篇 >

jlqwer

当前 -人在线,共打开 -个页面

最新 热点 随机
最新 热点 随机
Ubuntu24.04更换源地址(新版源更换方式) Ubuntu下PHP安装imagick拓展报错 悬浮窗计时器组件 Ubuntu 重启后 ufw状态变为inactive问题 悬浮窗倒计时组件 linux下去除不可见字符“&;#65279”
Ubuntu24.04更换源地址(新版源更换方式)
Apache利用USER_AGENT屏蔽恶意蜘蛛 刚来到WordPress就被攻击 ubuntu Apache 设置反向代理 我又回到WP了。。。 certbot 申请泛域名证书 悬浮窗计时器组件
友情链接
  • 搜索引擎蜘蛛IP大全
  • 援军 援军
  • 范明明 范明明
  • Caid Blog Caid Blog
  • 诗酒趁年华 诗酒趁年华
  • 千千 千千
  • 翔哥奇思妙想 翔哥奇思妙想
  • 深海小涛 深海小涛
  • Aidea资讯脉动 Aidea资讯脉动
  • 老董 老董
  • 简忆博客 简忆博客
  • 简忆工具箱 简忆工具箱
  • 搜索引擎蜘蛛鉴别 搜索引擎蜘蛛鉴别

COPYRIGHT © 2025 陌路寒暄. ALL RIGHTS RESERVED. Theme Kratos Made By Seaton Jiang

鲁公网安备 37131202371485号 | 鲁ICP备16042736号-1 | doNotClick