批量下载若干文件 按目录保存怎么搞啊

webrun

www.aaa.com/data/202101/11/vrt5t5v5by.jpg
www.aaa.com/data/202202/11/v5y5b6by.jpg
www.aaa.com/data/202203/10/vyvb**v.jpg
www.aaa.com/data/202201/02/c43vtb5v.jpg
www.aaa.com/data/202205/05/vtv5tv5t bb.jpg
www.aaa.com/data/202201/11/vtvt54tb.jpg
www.aaa.com/data/202206/09/v5ty5n.jpg

有十几万条

全部按路径保存下来 一层一层

哪个软件好使？idm好像要先做成在线网页？

sqliuchang

wget -r递归就行了

webrun

sqliuchang 发表于 2022-10-10 13:37
wget -r递归就行了

在win10里啊

webrun

没人会么

期权小王子

python应该几行代码就可以搞定，还可以搞成多进程下载

强迫症专家

webrun 发表于 2022-10-10 21:34
没人会么

如果是我 我会用火车头浏览器，弄个小程序 搞。

小猪佩奇

nginx开文件，让idm自己爬

dsusu

import requests
import os
#下载图片
def download(url):
    #获取路径
    path = url.split('data')[1]
    #获取文件名
    filename = path.split('/')[-1]
    #获取文件夹名
    dirname = path.split('/')[-2]
    dirname1= path.split('/')[-3]
      #判断diranme是否存在
    if not os.path.exists(dirname1):
        os.mkdir(dirname1)
    #判断文件夹是否存在
    if not os.path.exists(dirname1+'/'+dirname):
        #创建文件夹
        os.mkdir(dirname1+'/'+dirname)
    #获取图片
    response = requests.get(url)
   
    #保存图片到本地
    with open(dirname1+'/'+dirname+'/'+filename,'wb') as f:
        f.write(response.content)
download('www.aaa.com/data/202101/11/vrt5t5v5by.jpg')
[/code]
应该能用，没测试，就是大概这个样子，后续自行发挥

acpp

idm支持导入一行一行格式的。
直接取文件名前2字符做文件夹名称存入也可以

henbf

curl www.aaa.com/data/202101/11/vrt5t5v5by.jpg --create-dirs -o /data/202101/11/vrt5t5v5by.jpg