zhongziso
发表于 2018-4-1 19:34:14
百度爬虫一天来十万次是好还是坏?
流量没看增加，尽是爬虫来访。数据库经常被爬挂了。要不要限制频率呢？
一灰
发表于 2018-4-1 19:36:45
看看是不是真蜘蛛
百度的真蜘蛛，80%都是集中爬网站20%的页面
sora
发表于 2018-4-1 19:36:00
撸主. 换友链么
kittyy487
发表于 2018-4-1 19:46:22
也可能是用的百度蜘蛛协议头的采集器哟！
欧阳逍遥
发表于 2018-4-1 19:53:54
去百度站长后台看看 爬取数据
beixiaoqian
发表于 2018-4-1 19:55:56
有多少数据啊，这么给力..
TITAN-LOC
发表于 2018-4-1 19:57:55
三月份爬虫( ๑ŏ ﹏ ŏ๑ )
flash
发表于 2018-4-1 20:05:17
这样的明显不正常，不是采集就是测试采集。 :lol
半半
发表于 2018-4-1 20:15:44
感觉不是正常的采集:lol
xiaoxong740
发表于 2018-4-1 20:51:25
:lol感情是一群人在采集
