我想运行一个命令来并行下载3000个文件。 我使用Cygwin + Windows操作系统。
通过在WGET终端下载单个文件:
wget --no-check-certificate --content-disposition --load-cookies cookies.txt \ -p https://username:password@website.webpage.com/folder/document/download/1?type=file
让我可以下载的文件ID为1奇,以正确的格式(只要--content-disposition
是命令)。
我遍历这个REST API调用来下载整个文件夹(3000个文件)。 这工作不错,但速度很慢。
FOR /L %i in (0,1,3000) do wget --no-check-certificate --content-disposition --load-cookies cookies.txt \ -p https://username:password@website.webpage.com/folder/document/download/%i?type=file
现在我试图运行在Cygwin的程序并行。
seq 3000 | parallel -j 200 wget --no-check-certificate --content-disposition --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/{}?type=file
它运行,但文件名和格式丢失(而不是"index.html"
,例如,我们可能会得到"4@type=file"
作为文件名)。
有我的方式来解决这个问题?