关于javhd脚本的一些问题

eqblog

流量之神 发表于 2018-3-14 22:03
请问这个脚本可以断点采集吗？第二次接着第一次的采集继续爬

不能 但是可以手动设置页数

openos

eqblog 发表于 2018-3-14 22:16
不能 但是可以手动设置页数

怎么样手动设置呢? 因为封了几个ip, 不想重复下载了

ehane

openos 发表于 2018-3-16 11:47
怎么样手动设置呢? 因为封了几个ip, 不想重复下载了

flag 就是开始爬的页数。你查一下看你爬到哪个文件，搜一下在第几页，把记得flag设置在下一页，不然肯定ban

zhp521163

我在本地爬了1380个视频，不知道全部视频有多少

zhp521163

开了一个月会员，可惜这脚本还是有问题，哎

openos

zhp521163 发表于 2018-3-16 15:17
开了一个月会员，可惜这脚本还是有问题，哎

牛B啊，一个月会员$40?

itsme

ehane 发表于 2018-3-16 14:37
flag 就是开始爬的页数。你查一下看你爬到哪个文件，搜一下在第几页，把记得flag设置在下一页，不然肯定b ...

如果要从60页开始，是改flag =60吗，改了后脚本一直没输出。改回原来=1，就可以正常输出信息
def run():
    s=spider(quality)
    reqget=s.req()
    flag=60
    while True:
        time.sleep(5)
        page=s.page(flag)
        info=s.find_info(page)
        for i in info:
            mp4_dict=s.find_mp4(i[0],reqget)
            tittle=i[1].strip()
            print(tittle)
            if os.path.exists(str(tittle)+'.mp4')==False:
                print(s.sources_mp4(mp4_dict,reqget))
                download(s.sources_mp4(mp4_dict,reqget),tittle)
            else:
                #continue
                time.sleep(time_sleep)
        flag+=1
        time.sleep(5)

itsme

eqblog 发表于 2018-3-14 22:16
不能 但是可以手动设置页数

如果要从61页开始抓取，只要改下面这个flag的值吗 改了脚本似乎卡住没任何动静了

def run():
    s=spider(quality)
    reqget=s.req()
    flag=61

itsme

本帖没内涵