naohion
发表于 2021-5-6 12:00:40
naohion
发表于 2021-5-6 12:10:08
naohion
发表于 2021-5-6 12:27:38
leven5
发表于 2021-5-6 12:33:15
robots.txt也不行吗
naohion
发表于 2021-5-6 12:36:30
naohion
发表于 2021-5-6 12:46:28
naohion
发表于 2021-5-6 13:38:29
cheshirex
发表于 2021-5-6 14:15:56
naohion 发表于 2021-5-6 12:36
最早就是用淘宝https://www.taobao.com/robots.txt的那个
User-agent: Baiduspider
索引要等段时间才更新的。
txjcv
发表于 2021-5-6 14:19:45
是不是大姐姐网站，然后自己私有享用被爬了
naohion
发表于 2021-5-6 14:43:33
