binghe
发表于 2018-5-20 19:22:01
administratorA
发表于 2018-5-20 19:26:45
什么搜索引擎60秒爬100次？
binghe
发表于 2018-5-20 19:33:58
qccj001
发表于 2018-5-20 19:55:06
小站可以这样做 大站的话现在很多地方都是共用出口 会误封
搜索引擎不是同一IP爬站，是N个IP爬 一般不会影响蜘蛛
小夜
发表于 2018-5-20 19:58:25
蜘蛛一般不会影响，以百度为例，都是整个段来爬的。每个IP，要好久才能轮一次。
yugan300
发表于 2018-5-20 20:04:44
hundouluo
发表于 2018-5-20 20:40:00
binghe 发表于 2018-5-20 19:33
我不是很懂搜索引擎，所以来问一下，只要不会出现这种情况就好。我之前一直很信任Cloudflare，直到昨天晚 ...
那是你策略不对，CF可不背这个锅！
yangen
发表于 2018-5-20 20:51:03
搜索引擎正常是没事，不会一个ip一直爬，都是非常多ip分布式的爬取
页:
[1]
