全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
楼主: Polymer_dg

有什么办法 不让网站 被各大搜索引擎收录

[复制链接]
发表于 2017-8-19 19:26:57 来自手机 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
发表于 2017-8-19 19:44:40 来自手机 | 显示全部楼层
头部返回500状态
发表于 2017-8-19 19:46:20 | 显示全部楼层
用这个 http://tool.chinaz.com/robots/
发表于 2017-8-19 19:47:01 | 显示全部楼层
CC策略屏蔽引擎
发表于 2017-8-19 19:50:36 | 显示全部楼层
以lnmp为例,在/usr/local/nginx/conf/vhost文件夹中找到你的域名配置文件,输入以下代码:
  1. if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
  2. return 403;
  3. }
复制代码

然后重启nginx生效,能不让搜索引擎收录,但是我的网站还是被墙了
发表于 2017-8-19 21:10:25 | 显示全部楼层
设置网站访问密码
发表于 2017-8-19 23:26:05 | 显示全部楼层
垃圾域名就不会被收录,TK、ML这些
发表于 2017-8-19 23:48:48 | 显示全部楼层
dvbhack 发表于 2017-8-19 19:23
就是robots.txt,“各大搜索引擎”还是能遵守的,不遵守的都是些不知道什么玩意儿的搜索引擎 ...

google就帶頭不遵守
发表于 2017-8-20 01:36:43 来自手机 | 显示全部楼层
屏蔽了还是会收录 比如你在百度搜索淘宝网那种效果,最好的是直接屏蔽搜索引擎的ip地址
发表于 2017-8-20 01:38:13 | 显示全部楼层
你需要按照防采集的思路防搜索引擎
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-1-18 15:40 , Processed in 0.063949 second(s), 8 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表