标签: 

正在查看 43 个帖子:1-43 (共 43 个帖子)
  • 作者
    帖子
  • @45227 回复

    未曾
    管理员

    dezoomify-rs批量下载的问题,交流区多次有人问到过。由于我不太会写BAT脚本(windows),所以一直未作相关答复

    后来看@zhudw 在bookget里面也有生成类似的脚本,但是这个脚本将urls集成到bat脚本里面了,不方便更换新的urls列表。

    今天@老杨 分享了他的基于python的下载批处理命令(@45210

    我感觉大多数用户是Windows用户,直接用bat应该就能处理这种问题。大致在网上看了些相关命令格式,拼凑出这个批量处理的BAT脚本(在Windows)

    @echo off
    setlocal enabledelayedexpansion
    set /a a=1
    set /p downdir=Download folder: 
    if "%downdir%"=="" set downdir="download"
    if not exist %downdir% md %downdir%
    for /f "delims=" %%i in (urls.txt) do (
    dezoomify-rs -l --accept-invalid-certs -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36" %%i %downdir%/!a!.jpg
    set /a a+=1
    timeout /t 0
    ) 
    pause

    脚本说明

    0,首先要创建一个包含分页json/dzi/XML参数的urls.txt文件

    1,为了方便归类多种资源,打开脚本会提示输入需要保存的文件夹名(输入后会自动创建,不输入会 默认创建并保存到download目录)

    2,需要配合dezoomify-rs使用

    3,dezoomify-rs 的相关参数可自行补充

    4,如果需要任务延迟可在timeout /t 后面带上秒数,例如10s timeout /t 10

    5,如果遇到红字I/O错误,说明文件名占用了(已经存在了)

    6,在系统盘以外的盘使用

    脚本(downall.bat)下载地址:
    yun.daoon.com/wl/?i...e=download

    @45231 回复

    老杨
    游客

    哈哈哈,有效的验证了开放共享是推动进步的力量,别管推动什么了~~

    对了,还有一句话,人类所有的发明创造都为了一个字,懒~~~哈哈哈哈

    @45232 回复

    老杨
    游客

    刚跑了200多个下载,发现整理url也是累人的事情,继续推进更新~~~

    @45234 回复

    zhudw
    游客

    这个批处理写的很有水平,够用了。

    @45249 回复

    未曾
    管理员

    @zhudw #45234

    现学现卖~~😂

    @45250 回复

    墨雲
    游客

    有url的话,我平时都是这样列好,直接复制黏贴就能批量了

    比起批量,我倒是更想要提取,和整理的,不过因为每个网站的形式都不同,估计很难有通用的

    @45333 回复

    tigershuai
    游客

    又一下載利器,方便了廣大書友,功德無量。

    @45337 回复

    tigershuai
    游客

    另外就是zhudw老大的神器可以多線程下載,希望未曾先生這個批處理工具也能增加多線程的功能,這樣下載就更快了。

    @45340 回复

    未曾
    管理员

    @tigershuai #45337

    dezoomify-rs默认同时下载16个碎片

    @45353 回复

    读书人
    游客

    bat应该为小写,没有大写的写法

     

    @45363 回复

    未曾
    管理员

    @读书人 #45353

    我觉得作为batch file的缩写,大写也无所谓。其文件扩展名是.bat

    @45421 回复

    老杨
    游客

    @墨雲 #45250

    说到关键了,url确实要比批量下载更痛。

    我之前没用过,最近才开始下载,摸索了俩办法,一个办法就是自己拼url,适合有规律的,还有一个办法就是去爬url

    拼装或许可以摸索个通用工具出来,爬取几乎都要单独定制了

    @52540 回复

    xgdd2018
    游客

    @未曾

    请问这个批量下载脚本也能套用到mac上吗?

     

    @52543 回复

    未曾
    管理员

    @xgdd2018 #52540

    bat是windows系统的脚本文件,所以不能用于其它系统

    按理说苹果系统更简单,dezoomify-rs 网站有说明

    使用如下命令

    xargs -d '\n' -n 1 ./dezoomify-rs < ./urls.txt

    抱歉,我并没有Mac设备所以无法测试

    @52718 回复

    xgdd2018
    游客

    @未曾 #52543

    就是在dezoomily-fs 所在文件夹新建一个名为url.txt的文件,把链接放在文件放进里面,然后运行dezoomify-fs?

    @52719 回复

    xgdd2018
    游客

    @未曾 #52543

    这个xargs命令能进行批量下载吗?能否以familysearch为例,写一个命令行?

    @52721 回复

    未曾
    管理员

    @xgdd2018 #52718

    基本是这样~

    @xgdd2018 #52719

    首先我没有mac设备测试

    其次familysearch不在我们的处理范围

    @52723 回复

    zhudw
    游客

    @xgdd2018 #52719

    你可以换windows使用。mac电脑毕竟是小众用户,一般大厂的软件才会考虑兼容它。

    mac电脑要用的好,一般需要编程技能的,至少要会shell编程,才能玩的转。它内置的终端zsh/bash/sh等和linux系统命令是兼容的。

     

     

    @52764 回复

    xgdd2018
    游客

    @zhudw #52723

    @未曾 #52721

    好的,谢谢两位的解答和建议。

    @53937 回复

    Ru_Evan
    游客

    何必这么麻烦,在EXCEL表格把URL调整一下就行了,如下:

    bat文件内容:

    urls

    下载状态:

    捕获

    @53953 回复

    xgdd2018
    游客

    @Ru_Evan #53937

    请问一下,需要COOKIE的网站也如何修改网址?

    @53962 回复

    Ru_Evan
    游客

    @xgdd2018 #53953

    哪家需要啊?

    @53991 回复

    轩辕十四
    游客

    @未曾 #52543

     

    @53992 回复

    轩辕十四
    游客

    @未曾 #52721

    请问先生:webarchives.tnm.jp/dlib/...8CB0DFF7ED

    1

    3

    2

    这三者关系,如何操作?琢么了半天还是不得其要领。。多页XML已经排出,不知粘贴在哪里?感谢!

    @54003 回复

    xgdd2018
    游客

    @Ru_Evan #53962

    familysearch

    @54005 回复

    未曾
    管理员

    @轩辕十四 #53992

    不要着急上来就操作。仔细阅读一下主帖的内容

    保存为urls.txt到dezoomify-rs 同一目录

    为了方便归类多种资源,打开脚本会提示输入需要保存的文件夹名(输入后会自动创建,不输入会 默认创建并保存到download目录)

    脚本(downall.bat)下载地址:
    yun.daoon.com/wl/?i...e=download

    @54910 回复

    Ru_Evan
    游客

    @xgdd2018 #53953

    加 -H "Referer:url" 参数。

    @54925 回复

    xgdd2018
    游客

    @Ru_Evan #54910

    不用加COOKIE参数吗?

    @56082 回复

    吃饺子不沾醋
    游客

    感谢未曾先生今天试了一下批量下载,比之前单个下载方便多了,谢谢!谢谢!

    @62251 回复

    游客

    未曾兄早上好!包含分页json/dzi/XML参数的urls.txt文件里面的内容怎么能弄到呀?例如下面的从那里可以看到或列出来?

    webarchives.tnm.jp/dlib/...erties.xml

    @62365 回复

    吃饺子不沾醋
    游客

    webarchives.tnm.jp/dlib/...855/tiles/ L0252591/ImageProperties.xml

    看下一张图片如果是绿色部分的加一就可以用

    ok.daoing.com/url/ 批量生成一本的链接

    @69991 回复

    xyz
    游客

    研究了一晚上了,终于到了这一步,可是所有的小图片在下载的过程中,都出现这个黄色的内容,还是失败了。还请老师指点一下@未曾屏幕截图 2022-12-03 225658

    @69993 回复

    未曾
    管理员

    @xyz #69991

    关于北京故宫博物院的获取,建议看看这个帖子
    new.shuge.org/meet/...post-16727

    @69995 回复

    xyz
    游客

    @未曾 #69993

    感谢未曾老师深夜指点,我再研究研究

    @69999 回复

    xyz
    游客

    @未曾 #69993

    终于成功了,折腾了4、5个小时,真是不知道怎么失败的,也不知道最后是怎么弄好的。。。

    @70442 回复

    修隐者
    游客

    求教未曾先生为啥我这批量下载显示这个啊,操作方法是:打开运行-cmd-把dezoomify-rs 拖进去就行嘛?还是需要更改您发的那个bat里的内容?

    QQ浏览器截图20221206123212

    @70443 回复

    未曾
    管理员

    @修隐者 #70442

    脚本说明

    0,首先要创建一个包含分页json/dzi/XML参数的urls.txt文件

    1,为了方便归类多种资源,打开脚本会提示输入需要保存的文件夹名(输入后会自动创建,不输入会 默认创建并保存到download目录)

    2,需要配合dezoomify-rs使用

    3,dezoomify-rs 的相关参数可自行补充

    4,如果需要任务延迟可在timeout /t 后面带上秒数,例如10s timeout /t 10

    5,如果遇到红字I/O错误,说明文件名占用了(已经存在了)

    6,在系统盘以外的盘使用

    脚本(downall.bat)下载地址:
    yun.daoon.com/wl/?i...e=download

    @70494 回复

    tigershuai
    游客

    事实上bookget也能达到此脚本的功能,至于使用方法大同小异。

    @70522 回复

    修隐者
    游客

    @未曾 #70443

    未曾先生这个关于第一步创建urls.txt文件我懂了,之后1,3是需要咋操作啊,没太明白。

     

    @tigershuai #70494

    bookget的类似方法我实验貌似有BUG,他不会把同名文件从新命名,我下载100个文件最后一直给我替换同名的就剩下20多个

    @70534 回复

    xiaopengyou
    游客

    @修隐者 #70522

    記得好像是要把urls.txt,dezoomify-rs,bat三個東西,放在C盤以外的同一個新設文件夾去操作。

    您試試看。

     

    @70535 回复

    修隐者
    游客

    @xiaopengyou #70534

    感谢,我再研究研究看

    @71119 回复

    嘿岛
    游客

    @修隐者 #70522

    最近刚学用bookget,比如两册书都是一百页,确实同名会直接覆盖,所以差不多第一册下载个几十页了就把图片移出那个目录就不会被覆盖了。

    @71528 回复

    游客

    @未曾 #45227

    未曾兄晚上好!四川省图书馆怎样使作dezoomify-rs下载大图呀?谢谢指点!

    guji.sclib.org/qt-ts...tml?id=250

正在查看 43 个帖子:1-43 (共 43 个帖子)
正在查看 43 个帖子:1-43 (共 43 个帖子)

上传图片

拖拽或点击选择图片

回复至:【测试】dezoomify-rs 批量下载 BAT 脚本
您的信息:



初次发帖前:建议先阅读