优Python大佬在吗？请教个问题

ziyounb · 发表于 2020-1-18 10:17:11

目前有几百个url需要用requests请求并把返回的数据保存到数据库里。
循环这些地址的时候需要来一个time.sleep吗？

显示全部楼层 · 发表于 2020-1-18 10:21:20

提示: 作者被禁止或删除内容自动屏蔽

ApkB · 发表于 2020-1-18 10:22:17

服务器没什么限制的话，尽量多线程呗
如果有限制特定时间内的连接数，那就随机time.sleep秒数好了

ziyounb · 发表于 2020-1-18 10:29:13

cherbim 发表于 2020-1-18 10:21
你要明白time.sleep什么意思，要是网站没限制，就不需要，要是频繁访问网站会限制，就随机加个睡眠时间，伪 ...

是的，明白了。

风在吹屌在飞 · 发表于 2020-1-18 11:00:07

别爬的太快可能会导致封了ip

soeur · 发表于 2020-1-18 11:26:07

如果不是同一个网站，那不会有限制呀，相当于同一个网站只是访问了一次。

seobaikewang · 发表于 2020-1-18 11:26:50

提示: 作者被禁止或删除内容自动屏蔽

soeur · 发表于 2020-1-18 11:27:15

爬虫的话建议上异步哦，这种io阻塞最适合async了，效率杠杠的

		自动登录	找回密码
密码			注册

cherbim 该用户已被删除	发表于 2020-1-18 10:21:20 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
cherbim 该用户已被删除
	回复支持反对举报

seobaikewang seobaikewang 当前离线积分 1031	发表于 2020-1-18 11:26:50 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
seobaikewang seobaikewang 当前离线积分 1031
	回复支持反对举报

[Windows VPS] 优Python大佬在吗？请教个问题