论坛 › Web技术 › 大佬们，htaccess屏蔽爬虫，姿势怎么摆啊

fifalan 发表于 2018-6-8 20:09:41

大佬们，htaccess屏蔽爬虫，姿势怎么摆啊

小站被yandex直接爬挂了，写了robots，不过生效太慢，然后网上找了htaccess屏蔽代码，如下
RewriteCond %{HTTP_USER_AGENT} “Bingbot|MSNbot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu”
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard

RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard    这段有点不理解，是只要这些爬虫就让他们访问 robots么，后面的网址是什么意思啊。懂的大佬指点下吧

yanghao54 发表于 2018-6-8 20:27:11

robots不起作用的，封ip段，来一次封一次。

fifalan 发表于 2018-6-8 20:32:08

yanghao54 发表于 2018-6-8 20:27
robots不起作用的，封ip段，来一次封一次。

没IP库...这个htaccess可以么

yanghao54 发表于 2018-6-8 20:34:14

看日志呀，还要什么ip库，一个蜘蛛也就十几个ip段。

fifalan 发表于 2018-6-8 20:43:21

yanghao54 发表于 2018-6-8 20:34
看日志呀，还要什么ip库，一个蜘蛛也就十几个ip段。

直接屏蔽所有垃圾爬虫不是最省事么

Abbey 发表于 2018-6-8 20:56:26

yandex我是直接导向百度的

fifalan 发表于 2018-6-8 21:11:22

Abbey 发表于 2018-6-8 20:56
yandex我是直接导向百度的

大佬怎么弄的啊我被搞的死去活来yc002t

icefox913 发表于 2018-6-21 13:13:28

封ip是最简单的办法现在免费的东西越来越少

查看完整版本: 大佬们，htaccess屏蔽爬虫，姿势怎么摆啊