WGET忽略--content-处置?(WGET ignoring --content-dispos

2019-10-22 21:04发布

我想运行一个命令来并行下载3000个文件。 我使用Cygwin + Windows操作系统。

通过在WGET终端下载单个文件:

wget --no-check-certificate --content-disposition --load-cookies cookies.txt \ -p https://username:password@website.webpage.com/folder/document/download/1?type=file

让我可以下载的文件ID为1奇,以正确的格式(只要--content-disposition是命令)。

我遍历这个REST API调用来下载整个文件夹(3000个文件)。 这工作不错,但速度很慢。

FOR /L %i in (0,1,3000) do wget --no-check-certificate --content-disposition  --load-cookies cookies.txt \ -p https://username:password@website.webpage.com/folder/document/download/%i?type=file

现在我试图运行在Cygwin的程序并行。

seq 3000 | parallel -j 200 wget --no-check-certificate --content-disposition  --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/{}?type=file

它运行,但文件名和格式丢失(而不是"index.html" ,例如,我们可能会得到"4@type=file"作为文件名)。

有我的方式来解决这个问题?

Answer 1:

目前还不清楚,你想他们的名字命名的。 让我们假设你希望他们命名为:指数[1-3000]的.html

seq 3000 | parallel -j 200 wget -O index.{}.html --no-check-certificate --content-disposition  --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/{}?type=file

我的猜测是,它是由--content-配置是实验性引起的,而wget通过CygWin的使用可能会比旧wget使用的for循环。 要检查运行:

wget --version

在Cygwin中和Cygwin外(即在那里你会运行FOR循环)。



文章来源: WGET ignoring --content-disposition?