专业黑人抬棺 发表于 2021-5-6 14:52:14

如果不是伪装的蜘蛛，那也没办法，本来 国内的搜索引擎就很流氓，从不看
robots.txt

比如 今日头条 ，你全屏蔽了它蜘蛛也每天来https://cdn.jsdelivr.net/gh/hishis/forum-master/public/images/patch.gif

cheshirex 发表于 2021-5-6 14:57:22

naohion 发表于 2021-5-6 14:43
等了一周它还在爬我新文章，而且排名很高，都想把域名卖了

我记得我有个站几个月了才更新。

naohion 发表于 2021-5-6 18:39:38

页: 1 [2]
查看完整版本: 屏蔽百毒爬虫百毒还是一堆搜索结果怎么办