怎么给网站安排人机验证但不能妨碍搜索引擎抓取

qinjoo · 发表于 2024-10-3 11:26:05

导航站点被扫描器天天扫，国内国外的IP成段扫描，我都怀疑是国内网安公司有组织性的批量扫描行为，1h 1g小鸡遭不住了，想开人机验证又怕影响搜索引擎抓取导致流量下降。MJJ有什么好办法没？

xiF · 发表于 2024-10-4 11:16:55

放行爬虫，其他验证

谷歌：https://developers.google.com/static/search/apis/ipranges/googlebot.json

必应：https://www.bing.com/toolbox/bingbot.json

百度搜狗 360 劝大家远离

lordong · 发表于 2024-10-3 11:28:48

开人机验证

然后放行已知搜索引擎机器人

喵酱文晓依 · 发表于 2024-10-3 11:29:07

开IP段白名单，搜索引擎爬虫IP段都是公开的

小伟 · 发表于 2024-10-3 11:30:02

yanaxiao · 发表于 2024-10-3 15:09:08

建议换台8核8G的机子

hxuf · 发表于 2024-10-4 10:41:34

开验证，但是这样会有问题。有时候搜索引擎模拟普通用户抓取。会判定为作弊。

zsj1259 · 发表于 2024-10-4 10:43:07

开个白名单的事

wmfy808 · 发表于 2024-10-4 11:18:01

分ip解析

		自动登录	找回密码
密码			注册