万能的hostloc，请赐予我答案吧！！

小伦 · 发表于 2011-7-29 13:53:37

遇到一个很郁闷的问题，一个网站，GG收录很给力，基本是秒收，但是百度就是不收录，1年了，就收录了一个主页
但是他的爬虫24小时在我的网站上爬，光爬虫都走了1G的流量
是什么问题啊？
万能的hostloc，请给我答案吧！！
下面是爬虫记录
18 个机器人* 文件数字节最近参观日期
BaiDuSpider 71786+8 1.01 G字节 2011年 7 月 29日 13:36
Googlebot 10535+15 119.61 M字节 2011年 7 月 29日 13:36

geyunbing · 发表于 2011-7-29 13:55:47

提示: 作者被禁止或删除内容自动屏蔽

神马皆浮云 · 发表于 2011-7-29 13:58:35

小伦老湿，求学生mm

神马皆浮云 · 发表于 2011-7-29 14:01:02

话说小伦老湿你这个爬虫记录肿么看的？还能看大小？

iller_K · 发表于 2011-7-29 14:01:13

这个可以有!

samuel · 发表于 2011-7-29 14:20:29

加上百度连接，上书“度娘，我会给你高潮”

金关村村长 · 发表于 2011-7-29 14:25:40

放网址出来才是啊

小伦 · 发表于 2011-7-29 20:59:09

神啊，就没有人给个答案

fhs · 发表于 2011-7-29 21:09:39

去吸引度娘蜘蛛

小伦 · 发表于 2011-7-29 21:49:00

蜘蛛天天爬啊，一个月爬1G多流量，就是不收录

		自动登录	找回密码
密码			注册

geyunbing geyunbing 当前离线积分 5217	发表于 2011-7-29 13:55:47 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
geyunbing geyunbing 当前离线积分 5217
	回复支持反对举报

万能的hostloc，请赐予我答案吧！！

评分

回复 3# 神马皆浮云的帖子

浏览过的版块

万能的hostloc，请赐予我答案吧！！

评分

回复 3# 神马皆浮云 的帖子

浏览过的版块

回复 3# 神马皆浮云的帖子