wgetを使って複数のURLから一度にファイルをダウンロードする方法をご紹介します。
最も簡単な方法は、URLリストをテキストファイルに保存し、そのファイルをwgetコマンドで参照する方法です。
urls.txt)を作成します。https://example.com/file1.zip
https://example.com/file2.pdf
https://example.com/file3.jpg
wget -i urls.txt
-iオプション(または--input-file)は、指定したファイルからURLを読み込みます。
ダウンロードをより制御するための便利なオプションをいくつか紹介します:
-P [ディレクトリ]:ダウンロードしたファイルを指定したディレクトリに保存します
wget -i urls.txt -P downloads/
-c:ダウンロードが中断された場合に再開します
wget -c -i urls.txt
--limit-rate=[速度]:ダウンロード速度を制限します(例:500k = 500KB/秒)
wget -i urls.txt --limit-rate=500k
-t [回数]:再試行回数を指定(デフォルトは20回、無限は0)
wget -t 5 -i urls.txt
-w [秒数]:各ダウンロード間の待機時間を設定
wget -w 2 -i urls.txt
-U [ユーザーエージェント]:ユーザーエージェントを指定
wget -U "Mozilla/5.0" -i urls.txt
これらのオプションを組み合わせることで、サーバーに負荷をかけずに多数のファイルを効率的にダウンロードできます。