直接用robots.txt 不就完了么
封IP是下策
如果是用的多镜像呢? 写到 robots 直接网站也挂了 原帖由 yim 于 2011-5-3 14:01 发表 http://hostloc.wiki/images/common/back.gif
哥被yahoo的蜘蛛爬死了,屏蔽之后,那速度哗啦啦的
yahoo不来我这。。。。 原帖由 wdlth 于 2011-5-3 08:28 发表 http://hostloc.wiki/images/common/back.gif
谷歌IP一堆,会换的。
这是谷歌在加利福尼亚州的全部ipv4地址了。
页:
1
[2]