chen0717 发表于 2025-5-17 19:11:20

为何在未设置robots.txt的情况下谷歌搜不到上海人大官网任何内容但Bing正常搜到？

搜索 site:www.shrd.gov.cn ，
Google的搜索结果为0
Bing的搜索结果包括了大部分公开内容，https://www.shrd.gov.cn 并未设置robots.txt

maro666 发表于 2025-5-17 19:52:04

服务器屏蔽了谷歌蜘蛛抓取就行了呗

chen0717 发表于 2025-5-17 19:55:19

maro666 发表于 2025-5-17 19:52
服务器屏蔽了谷歌蜘蛛抓取就行了呗

为什么不同时屏蔽掉bing？想不出仅仅屏蔽掉谷歌蜘蛛有啥用

swds 发表于 2025-5-17 21:32:21

很多政府网站屏蔽境外IP。科学上网时试试看就知道了

chen0717 发表于 2025-5-17 22:14:06

swds 发表于 2025-5-17 21:32
很多政府网站屏蔽境外IP。科学上网时试试看就知道了

上海人大网站境外可以正常访问
页: [1]
查看完整版本: 为何在未设置robots.txt的情况下谷歌搜不到上海人大官网任何内容但Bing正常搜到？