URL的wget的下载列表，并设置不同的文件路径(Wget download list of URL

我读到这里http://www.thegeekstuff.com/2009/09/the-ultimate-wget-download-guide-with-15-awesome-examples/ ，如果我想下载多个URL的，我可以将它们保存在一个文本文件，这样

$ cat > download-file-list.txt
URL1
URL2
URL3
URL4

而使用wget这样

$ wget -i download-file-list.txt

但是假设我希望每个URL被保存在它自己的目录我的硬盘上，这样的：

URL1 -> Users/Downloads/Tech
URL2 -> Users/Downloads/Fashion
URL3 -> Users/Downloads/Cooking
URL4 -> Users/Downloads/News

如何做到这一点？ 是否可以手动设置目录在文本文件中的每个URL，并带有wget读取并自动知道在哪里保存每个文件？ 是否有任何其他的方法来实现我需要什么？ 我试图设置和自动下载使用cronjobs以后的过程。

谢谢

Answer 1:

那么你就不能使用该方法。 那么最好的办法是一个bash，Perl或Python脚本，在某些格式（也许“URL目录”）的文件读取和下载每个URL到指定的目录。 但是，你需要把一些智慧之外的wget来获得该行为。

Answer 2:

下面是一个批处理脚本，可以做到这一点，提供这样的列表：

$ cat > urllist.txt
URL1 file1
URL2 file2
URL3 file3
URL4 file4

$ while read url file; do 
    wget -c -O "$file" "$url"
done < urllist.txt

不应该有在URL中（它们可以通过20％来表示）但是，可以在文件名称中的空格的任何空间。

文章来源: Wget download list of URL and set different file paths