gdtv 发表于 2009-8-15 14:19:35

我的网站是做给蜘蛛看的

来访者全部是蜘蛛，没有一个真人

zyypp 发表于 2009-8-15 15:07:28

呵呵 我在查看 web 日志时 得到的IP 几乎也都是些 爬虫 不过 我只放了一个页面 嘿嘿

cpuer 发表于 2009-8-16 20:01:58

Google和sougou的蜘蛛是最会爬的，小心服务器被爬挂。

fanslive 发表于 2009-8-18 08:45:24

我的蜘蛛访问通常一天要耗费流量至少5G。
我一个月到底流量能用光，蜘蛛太强大了！:D

phpwinder 发表于 2009-8-18 09:58:29

回复 3# 的帖子

是啊，我的HM主机都被爬死过。

cpuer 发表于 2009-8-18 10:24:45

回复 5# 的帖子

有些搜索引擎蜘蛛很厉害，但是不来流量的话可以屏蔽掉。

cpuer 发表于 2009-8-18 10:25:06

原帖由 fanslive 于 2009-8-18 08:45 发表 http://hostloc.wiki/images/common/back.gif
我的蜘蛛访问通常一天要耗费流量至少5G。
我一个月到底流量能用光，蜘蛛太强大了！:D

我知道你是强人 :lol

微笑着吃饭 发表于 2009-8-21 20:10:04

robot.txt
:lol

cpuer 发表于 2009-8-22 11:33:35

回复 8# 的帖子

还得靠搜索引擎来些流量呢 :D

zyypp 发表于 2009-8-22 11:43:58

回复 8# 的帖子

有些 爬虫 不守规矩 无视robot.txt的
对付这些不守规矩爬虫 最好的方法就是 屏蔽他 嘿嘿
页: [1] 2
查看完整版本: 我的网站是做给蜘蛛看的