Startseite > Netzwerkverwaltung > wget

wget -i: URLs aus einer Dateiliste herunterladen

`wget -i` wird verwendet, um eine Liste von URLs aus einer Textdatei zu lesen und die Dateien sequenziell herunterzuladen. Dies ist äußerst nützlich für das Herunterladen großer Mengen von Dateien im Stapelbetrieb oder für die Verarbeitung von dynamisch generierten URL-Listen in Skripten. Jede URL muss in einer eigenen Zeile in der Datei stehen.

Übersicht

`wget -i` reduziert den Aufwand, jede URL manuell eingeben zu müssen, wenn mehrere Dateien gleichzeitig heruntergeladen werden müssen. Es ist besonders effizient beim Herunterladen von Ergebnissen aus Web-Crawling oder von Dateien mit bestimmten Mustern. Dieser Befehl verarbeitet alle URLs in der angegebenen Datei nacheinander und ermöglicht die Kombination mit anderen `wget`-Optionen für jeden Download.

Hauptmerkmale

  • Stapelverarbeitung von URL-Listen
  • Einfache Integration mit Skripten
  • Unterstützung für Wiederaufnahme von Downloads
  • Kombinierbar mit verschiedenen `wget`-Optionen

Wichtige Optionen

Dies sind die am häufigsten verwendeten Optionen in Verbindung mit `wget -i`.

Ein-/Ausgabesteuerung

Erzeugter Befehl:

Kombinieren Sie die Befehle.

Beschreibung:

`wget` Führen Sie den Befehl aus.

Kombinieren Sie diese Optionen und führen Sie die Befehle virtuell zusammen mit der KI aus.

Anwendungsbeispiele

Verschiedene Szenarien, die den `wget -i`-Befehl nutzen.

Beispiel für die Erstellung einer URL-Datei

echo "http://example.com/file1.zip\nhttp://example.com/image.jpg\nhttps://www.gnu.org/software/wget/manual/wget.pdf" > urls.txt

Erstellt eine Datei `urls.txt`, die eine Liste von URLs zum Herunterladen enthält.

Grundlegende Verwendung

wget -i urls.txt

Lädt alle URLs aus der Datei `urls.txt` in das aktuelle Verzeichnis herunter.

Herunterladen in ein bestimmtes Verzeichnis

wget -i urls.txt -P /data/downloads

Speichert die heruntergeladenen Dateien im Verzeichnis `/data/downloads`.

Download fortsetzen und Protokollierung

wget -i urls.txt -c -o wget_log.txt

Setzt unterbrochene Downloads fort und protokolliert alle Fortschritte und Fehler in der Datei `wget_log.txt`.

Download-Geschwindigkeit begrenzen und vorhandene Dateien nicht überschreiben

wget -i urls.txt --limit-rate=500k -nc

Begrenzt die Download-Geschwindigkeit auf 500 KB/s und überspringt vorhandene Dateien, anstatt sie zu überschreiben.

Tipps & Hinweise

Tipps zur Steigerung der Effizienz und zur Vermeidung potenzieller Probleme bei der Verwendung von `wget -i`.

Nützliche Tipps

  • **Format der URL-Datei**: Jede Zeile muss eine einzelne URL enthalten. Leere Zeilen oder Kommentare (die normalerweise mit `#` beginnen) werden von `wget` automatisch ignoriert.
  • **Download fortsetzen**: Die Option `-c` ermöglicht die Fortsetzung unterbrochener Downloads, was bei großen Dateien oder instabilen Netzwerkverbindungen sehr nützlich ist.
  • **Protokollprüfung**: Mit der Option `-o` können Sie eine Logdatei erstellen, um den Download-Fortschritt, Fehler usw. zu verfolgen. Dies ist sehr hilfreich bei der Fehlerbehebung.
  • **Parallele Downloads**: `wget -i` unterstützt selbst keine parallelen Downloads. Um mehrere Dateien gleichzeitig herunterzuladen, sollten Sie es mit anderen Tools wie `xargs -P` kombinieren oder einen parallelen Download-Manager wie `aria2c` in Betracht ziehen.
  • **Vermeidung von Überschreibungen**: Die Option `-nc` (no-clobber) verhindert das Überschreiben vorhandener Dateien, wodurch versehentliche Beschädigungen wichtiger Dateien vermieden werden.

Gleiche Kategorie Befehle