流量之神 发表于 2018-3-14 22:03
请问这个脚本可以断点采集吗？第二次接着第一次的采集继续爬
不能 但是可以手动设置页数
eqblog 发表于 2018-3-14 22:16
不能 但是可以手动设置页数
怎么样手动设置呢? 因为封了几个ip, 不想重复下载了
:lol
openos 发表于 2018-3-16 11:47
怎么样手动设置呢? 因为封了几个ip, 不想重复下载了
flag 就是开始爬的页数。你查一下看你爬到哪个文件，搜一下在第几页，把记得flag设置在下一页，不然肯定ban
我在本地爬了1380个视频，不知道全部视频有多少
开了一个月会员，可惜这脚本还是有问题，哎
zhp521163 发表于 2018-3-16 15:17
开了一个月会员，可惜这脚本还是有问题，哎
牛B啊，一个月会员$40?
ehane 发表于 2018-3-16 14:37
flag 就是开始爬的页数。你查一下看你爬到哪个文件，搜一下在第几页，把记得flag设置在下一页，不然肯定b ...
如果要从60页开始，是改flag =60吗，改了后脚本一直没输出。改回原来=1，就可以正常输出信息
def run():
s=spider(quality)
reqget=s.req()
flag=60
while True:
time.sleep(5)
page=s.page(flag)
info=s.find_info(page)
for i in info:
mp4_dict=s.find_mp4(i,reqget)
tittle=i.strip()
print(tittle)
if os.path.exists(str(tittle)+'.mp4')==False:
print(s.sources_mp4(mp4_dict,reqget))
download(s.sources_mp4(mp4_dict,reqget),tittle)
else:
#continue
time.sleep(time_sleep)
flag+=1
time.sleep(5)
eqblog 发表于 2018-3-14 22:16
不能 但是可以手动设置页数
如果要从61页开始抓取，只要改下面这个flag的值吗 改了脚本似乎卡住没任何动静了
def run():
s=spider(quality)
reqget=s.req()
flag=61
本帖最后由 itsme 于 2018-3-18 05:26 编辑
本帖没内涵
