商务布丁 发表于 2022-3-8 13:16:18

通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。

在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
页: [1]
查看完整版本: 通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀