yumijie 发表于 2017-7-19 17:53:34

网站怎样才能不被搜索引擎收录

用robot.txt最好的结果也会被收录首页,想禁止一切搜索引擎收录,连首页也不能,怎么才能做到?

搭建暗网的话普通浏览器又不能访问,有什么好方法,请高手能赐教!!!

shazhumaiyou 发表于 2017-7-19 22:37:37

               if ($http_user_agent ~* (baiduspider|soso|sogou|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
         return 403;
         }

萌䒤萌 发表于 2017-7-19 17:54:46

不用域名啊，ip 默认网站弄成404，用本地hosts访问

yumijie 发表于 2017-7-19 17:57:34

萌䒤萌 发表于 2017-7-19 17:54
不用域名啊，ip 默认网站弄成404，用本地hosts访问

能具体点吗?貌似这样也会收录首页吧

萌䒤萌 发表于 2017-7-19 18:02:28

yumijie 发表于 2017-7-19 17:57
能具体点吗?貌似这样也会收录首页吧

比如用lnmp的话，默认打开Ip 是一个网站，这里不管，直接添加虚拟主机，域名可以随便弄，比如baidu.com
你本机上修改Hosts文件，把baidu.com 指向你的IP就可以访问，而别人不知道你的域名是什么，也不会去修改Hosts

zdszf 发表于 2017-7-19 18:14:52

VPS搭建基于zeronet的网站，会不会被收录:o

萌䒤萌 发表于 2017-7-19 18:18:37

zdszf 发表于 2017-7-19 18:14
VPS搭建基于zeronet的网站，会不会被收录

zeronet就无所谓搭建在哪了吧

hmy111 发表于 2017-7-19 18:18:43

关注这个 马克一下

醉里耍大刀 发表于 2017-7-19 18:20:03

nginx设置需要登录访问就可以了

oskey 发表于 2017-7-19 18:20:08

屏蔽蜘蛛，截取蜘蛛转发出去。我瞎说的

malaohu 发表于 2017-7-19 18:21:25

将 搜索引擎 解析到 127。0。0。1
不知道行不行。
页: [1] 2 3
查看完整版本: 网站怎样才能不被搜索引擎收录