UNIX系OS ( Mac / Linux / FreeBSD )のシェルコマンドに関する各種メモ書き

wgetでURLのリストから全てを一気にダウンロードしたい

wgetを使って複数のURLから一度にファイルをダウンロードする方法をご紹介します。

最も簡単な方法は、URLリストをテキストファイルに保存し、そのファイルをwgetコマンドで参照する方法です。

  1. まず、ダウンロードしたいURLを1行に1つずつ記載したテキストファイル(例:urls.txt)を作成します。
https://example.com/file1.zip
https://example.com/file2.pdf
https://example.com/file3.jpg
  1. 次に、以下のコマンドを実行します:
wget -i urls.txt

-iオプション(または--input-file)は、指定したファイルからURLを読み込みます。

追加オプション

ダウンロードをより制御するための便利なオプションをいくつか紹介します:

  • -P [ディレクトリ]:ダウンロードしたファイルを指定したディレクトリに保存します

    wget -i urls.txt -P downloads/
    
  • -c:ダウンロードが中断された場合に再開します

    wget -c -i urls.txt
    
  • --limit-rate=[速度]:ダウンロード速度を制限します(例:500k = 500KB/秒)

    wget -i urls.txt --limit-rate=500k
    
  • -t [回数]:再試行回数を指定(デフォルトは20回、無限は0)

    wget -t 5 -i urls.txt
    
  • -w [秒数]:各ダウンロード間の待機時間を設定

    wget -w 2 -i urls.txt
    
  • -U [ユーザーエージェント]:ユーザーエージェントを指定

    wget -U "Mozilla/5.0" -i urls.txt
    

これらのオプションを組み合わせることで、サーバーに負荷をかけずに多数のファイルを効率的にダウンロードできます。

No.2591
02/26 16:52

edit