Startpagina > Netwerkbeheer > wget

wget -i: Download URLs from a file list

`wget -i` wordt gebruikt om een lijst met URL's uit een tekstbestand te lezen en de bestanden sequentieel te downloaden. Dit is erg handig voor het batchgewijs downloaden van grote hoeveelheden bestanden of voor het verwerken van dynamisch gegenereerde URL-lijsten in scripts. Elke URL moet op een aparte regel in het bestand staan.

Overzicht

`wget -i` vermindert de moeite van het handmatig invoeren van elke URL wanneer u meerdere bestanden tegelijk moet downloaden. Het is vooral efficiënt bij het downloaden van webcrawlingresultaten of bestanden met specifieke patronen. Dit commando verwerkt alle URL's in het opgegeven bestand op volgorde, en u kunt andere `wget`-opties combineren met elke download.

Belangrijkste Kenmerken

  • Batchverwerking van URL-lijsten
  • Eenvoudige integratie met scripts
  • Ondersteuning voor downloadonderbreking
  • Combineerbaar met diverse `wget`-opties

Belangrijkste Opties

Opties die vaak worden gebruikt in combinatie met `wget -i`.

Input/Output Controle

Gegenereerde opdracht:

Probeer de opdrachtcombinaties.

Uitleg:

`wget` Voer het commando uit.

Combineer deze opties en voer de opdracht virtueel uit met de AI.

Voorbeelden

Diverse scenario's met het `wget -i` commando.

Voorbeeld van het maken van een URL-bestand

echo "http://example.com/file1.zip\nhttp://example.com/image.jpg\nhttps://www.gnu.org/software/wget/manual/wget.pdf" > urls.txt

Maakt een `urls.txt` bestand met een lijst van URL's om te downloaden.

Basisgebruik

wget -i urls.txt

Downloadt alle URL's uit het `urls.txt` bestand naar de huidige map.

Downloaden naar een specifieke map

wget -i urls.txt -P /data/downloads

Slaat de gedownloade bestanden op in de map `/data/downloads`.

Download hervatten en logboek bijhouden

wget -i urls.txt -c -o wget_log.txt

Hervat onderbroken downloads en logt alle voortgang en fouten naar `wget_log.txt`.

Downloadsnelheid beperken en bestaande bestanden niet overschrijven

wget -i urls.txt --limit-rate=500k -nc

Beperkt de downloadsnelheid tot 500KB/s en slaat bestaande bestanden over zonder ze te overschrijven.

Tips & Aandachtspunten

Tips om de efficiëntie te verhogen en potentiële problemen te voorkomen bij het gebruik van `wget -i`.

Nuttige Tips

  • **URL-bestandsformaat**: Elke regel moet één URL bevatten. Lege regels of commentaar (meestal beginnend met `#`) worden automatisch genegeerd door `wget`.
  • **Download hervatten**: Met de `-c` optie kunt u onderbroken downloads voortzetten, wat erg handig is voor grote bestanden of bij onstabiele netwerkomstandigheden.
  • **Logboek controleren**: Met de `-o` optie kunt u een logboekbestand aanmaken om de downloadvoortgang, fouten, etc. bij te houden. Dit is zeer nuttig voor probleemoplossing.
  • **Parallel downloaden**: `wget -i` zelf ondersteunt geen parallelle downloads. Om meerdere bestanden tegelijk te downloaden, kunt u het combineren met andere tools zoals `xargs -P` of een parallelle downloadmanager zoals `aria2c` overwegen.
  • **Bestanden niet overschrijven**: Met de `-nc` (no-clobber) optie worden bestaande bestanden niet overschreven maar overgeslagen, wat voorkomt dat u per ongeluk belangrijke bestanden beschadigt.

Hétzelfde categoriecommando