论坛 › Web技术 › 万能的hostloc，请赐予我答案吧！！

小伦 发表于 2011-7-29 13:53:37

万能的hostloc，请赐予我答案吧！！

遇到一个很郁闷的问题，一个网站，GG收录很给力，基本是秒收，但是百度就是不收录，1年了，就收录了一个主页
但是他的爬虫24小时在我的网站上爬，光爬虫都走了1G的流量
是什么问题啊？
万能的hostloc，请给我答案吧！！
下面是爬虫记录
18 个机器人*        文件数        字节        最近参观日期
BaiDuSpider        71786+8         1.01 G字节        2011年 7 月 29日 13:36
Googlebot        10535+15        119.61 M字节        2011年 7 月 29日 13:36

geyunbing 发表于 2011-7-29 13:55:47

神马皆浮云 发表于 2011-7-29 13:58:35

小伦老湿，求学生mm

神马皆浮云 发表于 2011-7-29 14:01:02

话说小伦老湿你这个爬虫记录肿么看的？还能看大小？

iller_K 发表于 2011-7-29 14:01:13

回复 3# 神马皆浮云 的帖子

这个可以有!

samuel 发表于 2011-7-29 14:20:29

加上百度连接， 上书“度娘，我会给你高潮”

金关村村长 发表于 2011-7-29 14:25:40

放网址出来才是啊

小伦 发表于 2011-7-29 20:59:09

神啊，就没有人给个答案

fhs 发表于 2011-7-29 21:09:39

去吸引度娘蜘蛛

小伦 发表于 2011-7-29 21:49:00

蜘蛛天天爬啊，一个月爬1G多流量，就是不收录

查看完整版本: 万能的hostloc，请赐予我答案吧！！