论坛 › Web技术 › 一个新站，这是不是百度蜘蛛在爬

mha 发表于 2021-4-12 13:35:08

一个新站，这是不是百度蜘蛛在爬

https://ae01.alicdn.com/kf/U877f0001780b4354ac86a84fc1e2cb0fy.jpg

柳逸寒 发表于 2021-4-12 13:35:32

关站保平安啊老哥

mha 发表于 2021-4-12 13:36:23

柳逸寒 发表于 2021-4-12 13:35
关站保平安啊老哥

为什么要关呢

怪人 发表于 2021-4-12 13:37:51

采集loc么

流交机主球全 发表于 2021-4-12 13:39:09

在采论坛帖子吗https://cdn.jsdelivr.net/gh/hishis/forum-master/public/images/patch.gif

mha 发表于 2021-4-12 13:44:23

流交机主球全 发表于 2021-4-12 13:39
在采论坛帖子吗

没，只是截图伪装用hostloc域名

aRNoLD 发表于 2021-4-12 13:48:04

    # 屏蔽非正能量蜘蛛爬虫

    if ($http_user_agent ~* (LieBaoFast|UCBrowser|Mb2345Browser|SEMrushBot|360Spider|百度之流全写这里……) ) {
   
      return 403;
   
    }


我一般是这样处理这些不顺眼的蜘蛛的。

nginx代码

查看完整版本: 一个新站，这是不是百度蜘蛛在爬