标签: 

正在查看 29 个帖子:1-29 (共 29 个帖子)
  • 作者
    帖子
  • @45227 回复

    未曾
    管理员

    dezoomify-rs批量下载的问题,交流区多次有人问到过。由于我不太会写BAT脚本(windows),所以一直未作相关答复

    后来看@zhudw 在bookget里面也有生成类似的脚本,但是这个脚本将urls集成到bat脚本里面了,不方便更换新的urls列表。

    今天@老杨 分享了他的基于python的下载批处理命令(@45210

    我感觉大多数用户是Windows用户,直接用bat应该就能处理这种问题。大致在网上看了些相关命令格式,拼凑出这个批量处理的BAT脚本(在Windows)

    @echo off
    setlocal enabledelayedexpansion
    set /a a=1
    set /p downdir=Download folder: 
    if "%downdir%"=="" set downdir="download"
    if not exist %downdir% md %downdir%
    for /f "delims=" %%i in (urls.txt) do (
    dezoomify-rs -l --accept-invalid-certs -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36" %%i %downdir%/!a!.jpg
    set /a a+=1
    timeout /t 0
    ) 
    pause

    脚本说明

    0,首先要创建一个包含分页json/dzi/XML参数的urls.txt文件

    1,为了方便归类多种资源,打开脚本会提示输入需要保存的文件夹名(输入后会自动创建,不输入会 默认创建并保存到download目录)

    2,需要配合dezoomify-rs使用

    3,dezoomify-rs 的相关参数可自行补充

    4,如果需要任务延迟可在timeout /t 后面带上秒数,例如10s timeout /t 10

    5,如果遇到红字I/O错误,说明文件名占用了(已经存在了)

    6,在系统盘以外的盘使用

    脚本(downall.bat)下载地址:
    yun.daoon.com/wl/?i...e=download

    @45231 回复

    老杨
    游客

    哈哈哈,有效的验证了开放共享是推动进步的力量,别管推动什么了~~

    对了,还有一句话,人类所有的发明创造都为了一个字,懒~~~哈哈哈哈

    @45232 回复

    老杨
    游客

    刚跑了200多个下载,发现整理url也是累人的事情,继续推进更新~~~

    @45234 回复

    zhudw
    游客

    这个批处理写的很有水平,够用了。

    @45249 回复

    未曾
    管理员

    @zhudw #45234

    现学现卖~~😂

    @45250 回复

    墨雲
    游客

    有url的话,我平时都是这样列好,直接复制黏贴就能批量了

    比起批量,我倒是更想要提取,和整理的,不过因为每个网站的形式都不同,估计很难有通用的

    @45333 回复

    tigershuai
    游客

    又一下載利器,方便了廣大書友,功德無量。

    @45337 回复

    tigershuai
    游客

    另外就是zhudw老大的神器可以多線程下載,希望未曾先生這個批處理工具也能增加多線程的功能,這樣下載就更快了。

    @45340 回复

    未曾
    管理员

    @tigershuai #45337

    dezoomify-rs默认同时下载16个碎片

    @45353 回复

    读书人
    游客

    bat应该为小写,没有大写的写法

     

    @45363 回复

    未曾
    管理员

    @读书人 #45353

    我觉得作为batch file的缩写,大写也无所谓。其文件扩展名是.bat

    @45421 回复

    老杨
    游客

    @墨雲 #45250

    说到关键了,url确实要比批量下载更痛。

    我之前没用过,最近才开始下载,摸索了俩办法,一个办法就是自己拼url,适合有规律的,还有一个办法就是去爬url

    拼装或许可以摸索个通用工具出来,爬取几乎都要单独定制了

    @52540 回复

    xgdd2018
    游客

    @未曾

    请问这个批量下载脚本也能套用到mac上吗?

     

    @52543 回复

    未曾
    管理员

    @xgdd2018 #52540

    bat是windows系统的脚本文件,所以不能用于其它系统

    按理说苹果系统更简单,dezoomify-rs 网站有说明

    使用如下命令

    xargs -d '\n' -n 1 ./dezoomify-rs < ./urls.txt

    抱歉,我并没有Mac设备所以无法测试

    @52718 回复

    xgdd2018
    游客

    @未曾 #52543

    就是在dezoomily-fs 所在文件夹新建一个名为url.txt的文件,把链接放在文件放进里面,然后运行dezoomify-fs?

    @52719 回复

    xgdd2018
    游客

    @未曾 #52543

    这个xargs命令能进行批量下载吗?能否以familysearch为例,写一个命令行?

    @52721 回复

    未曾
    管理员

    @xgdd2018 #52718

    基本是这样~

    @xgdd2018 #52719

    首先我没有mac设备测试

    其次familysearch不在我们的处理范围

    @52723 回复

    zhudw
    游客

    @xgdd2018 #52719

    你可以换windows使用。mac电脑毕竟是小众用户,一般大厂的软件才会考虑兼容它。

    mac电脑要用的好,一般需要编程技能的,至少要会shell编程,才能玩的转。它内置的终端zsh/bash/sh等和linux系统命令是兼容的。

     

     

    @52764 回复

    xgdd2018
    游客

    @zhudw #52723

    @未曾 #52721

    好的,谢谢两位的解答和建议。

    @53937 回复

    Ru_Evan
    游客

    何必这么麻烦,在EXCEL表格把URL调整一下就行了,如下:

    bat文件内容:

    urls

    下载状态:

    捕获

    @53953 回复

    xgdd2018
    游客

    @Ru_Evan #53937

    请问一下,需要COOKIE的网站也如何修改网址?

    @53962 回复

    Ru_Evan
    游客

    @xgdd2018 #53953

    哪家需要啊?

    @53991 回复

    轩辕十四
    游客

    @未曾 #52543

     

    @53992 回复

    轩辕十四
    游客

    @未曾 #52721

    请问先生:webarchives.tnm.jp/dlib/...8CB0DFF7ED

    1

    3

    2

    这三者关系,如何操作?琢么了半天还是不得其要领。。多页XML已经排出,不知粘贴在哪里?感谢!

    @54003 回复

    xgdd2018
    游客

    @Ru_Evan #53962

    familysearch

    @54005 回复

    未曾
    管理员

    @轩辕十四 #53992

    不要着急上来就操作。仔细阅读一下主帖的内容

    保存为urls.txt到dezoomify-rs 同一目录

    为了方便归类多种资源,打开脚本会提示输入需要保存的文件夹名(输入后会自动创建,不输入会 默认创建并保存到download目录)

    脚本(downall.bat)下载地址:
    yun.daoon.com/wl/?i...e=download

    @54910 回复

    Ru_Evan
    游客

    @xgdd2018 #53953

    加 -H "Referer:url" 参数。

    @54925 回复

    xgdd2018
    游客

    @Ru_Evan #54910

    不用加COOKIE参数吗?

    @56082 回复

    吃饺子不沾醋
    游客

    感谢未曾先生今天试了一下批量下载,比之前单个下载方便多了,谢谢!谢谢!

正在查看 29 个帖子:1-29 (共 29 个帖子)
正在查看 29 个帖子:1-29 (共 29 个帖子)

上传图片

拖拽或点击选择图片

回复至:【测试】dezoomify-rs 批量下载 BAT 脚本
您的信息:



初次发帖前:建议先阅读