围观者 发表于 2018-2-27 21:16:30

cloudflare的五秒盾，影响蜘蛛抓取和收录吗

如果网站不想被收录，开着这个五秒盾，可以防止来蜘蛛抓取吗


这样开着，能保证蜘蛛抓取不到内容吗？
因为我听说cloudflare对谷歌和几家大的搜索引擎，有特殊通道，不受五秒盾影响

安之若素 发表于 2018-2-27 21:17:32

Robots 不行吗，

hxuf 发表于 2018-2-27 21:17:04

应该都没有影响 只是会影响用户体验

hellfires 发表于 2018-2-27 21:18:27

raingoc 发表于 2018-2-27 21:25:07

3楼说的这么好为什么不采纳呢

sskdgu 发表于 2018-2-27 21:27:31

好像受影响的，爬不到了

冻猫 发表于 2018-2-27 21:28:04

robots.txt
User-agent: *
Disallow: /

wxchello 发表于 2018-2-27 21:57:52

想要不想收录很简单，用个便宜的非主流域名后缀加robots，robots防止谷歌收录，便宜非主流域名后缀防止国内搜索引擎收录
页: [1]
查看完整版本: cloudflare的五秒盾，影响蜘蛛抓取和收录吗