eqblog 发表于 2018-3-14 09:49:51

关于javhd脚本的一些问题

yc008t首先我承认,我写的脚本很容易被识别为机器,然后就爬不成了。

解决办法很简单,让它每爬一页休息一会就好了。


关于限速问题:

将线程放少点就好了,具体 就是将37行的10改的小一点就好了

python问题建议百度,centos下python3安装https://eqblog.com/centos-install-python3-6-4.html
安装好后使用pip3安装所需库就好了

yeshan 发表于 2018-3-14 09:51:15

试用会员爬不了全部视频,建议要爬全站的来一个月正式会员

eqblog 发表于 2018-3-14 09:51:56

yeshan 发表于 2018-3-14 09:51
试用会员爬不了全部视频,建议要爬全站的来一个月正式会员

yc006t谢谢mjj提醒

Lucas 发表于 2018-3-14 09:56:28

手上没有大盘鸡可以爬下全部视频就个7o

sm1314 发表于 2018-3-14 17:25:44

yeshan 发表于 2018-3-14 09:51
试用会员爬不了全部视频,建议要爬全站的来一个月正式会员

有不能爬的链接吗,为啥我爬了900多部好像没遇到,,,

itsme 发表于 2018-3-14 17:38:47

我最近两天用的,反正爬1分钟不到就识别为爬虫了,估计是最近改动的。

savior 发表于 2018-3-14 17:45:47

早上还好好的,想在不知道原因爬不见了

itsme 发表于 2018-3-14 17:50:19

还是不行。我在原来目录下运行,脚本跳过几十个已下载的文件后还是同样报错,这时候去网站登录就是脚本被识别为爬虫并要求非机器人验证。
补充下,我环境没问题的,之前已经下了600G多。

Traceback (most recent call last):
File "javhd.py", line 85, in <module>
    run()
File "javhd.py", line 75, in run
    mp4_dict=s.find_mp4(i,reqget)
File "javhd.py", line 24, in find_mp4
    return req.json()
File "/usr/local/lib/python3.6/site-packages/requests/models.py", line 892, in json
    return complexjson.loads(self.text, **kwargs)
File "/usr/local/lib/python3.6/json/__init__.py", line 354, in loads
    return _default_decoder.decode(s)
File "/usr/local/lib/python3.6/json/decoder.py", line 339, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "/usr/local/lib/python3.6/json/decoder.py", line 357, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

savior 发表于 2018-3-14 17:57:04

感觉我和楼上大佬一样的,跳过几十个以后就报错了,一脸懵逼

ehane 发表于 2018-3-14 18:35:00

savior 发表于 2018-3-14 17:57
感觉我和楼上大佬一样的,跳过几十个以后就报错了,一脸懵逼

跳过几十个之后因为快速访问大量网址所以IP直接被ban了。换ip就行。
页: [1] 2 3 4
查看完整版本: 关于javhd脚本的一些问题