wget: Download en spiegelen van webinhoud

Overzicht

wget werkt op de achtergrond en biedt automatische herhalingen bij netwerkonderbrekingen, wat zorgt voor betrouwbare downloads. Het is bijzonder nuttig voor het lokaal spiegelen van websites of het massaal downloaden van specifieke bestanden.

Belangrijkste Kenmerken

Niet-interactieve downloads (kan op de achtergrond draaien)
Recursieve downloads en website-spiegeling
Automatische herhalingen bij netwerkonderbrekingen
Ondersteuning voor HTTP, HTTPS, FTP protocollen
Ondersteuning voor proxy's en authenticatie

Belangrijkste Opties

Met de diverse opties van wget kunt u downloadmethoden, opslaglocaties, recursieve diepte, enz. nauwkeurig regelen.

Download Controle

Gegenereerde opdracht:

Probeer de opdrachtcombinaties.

Uitleg:

`wget` Voer het commando uit.

Combineer deze opties en voer de opdracht virtueel uit met de AI.

Gebruiksvoorbeelden

Ontdek verschillende toepassingen van wget met echte commando's.

Download een enkel bestand

wget https://example.com/archive.zip

Download een bestand van de opgegeven URL.

Recursief spiegelen van een website (inclusief externe links)

wget -r -l inf -H -P ./my_mirror https://example.com

Downloadt een website recursief en volgt links naar externe domeinen om bestanden op te halen. Stelt de recursieve diepte in op oneindig (-l inf) en slaat de gedownloade bestanden op in de map 'my_mirror'.

Recursief spiegelen van een website (exclusief externe links, geen navigatie naar bovenliggende mappen)

wget -r -np -P ./local_site https://example.com

Downloadt een website recursief, maar navigeert niet naar externe domeinen of bovenliggende mappen. Slaat op in de map 'local_site'.

Hervat een onderbroken download

wget -c https://example.com/large_file.iso

Hervat het downloaden van een eerder gedeeltelijk gedownload bestand.

Sla alle bestanden op in één map

wget -nd -P ./flat_downloads https://example.com/path/to/file1.txt https://example.com/another/file2.jpg

Genereert geen mapstructuur tijdens het downloaden; alle bestanden worden opgeslagen in de opgegeven map.

Installatie

wget is standaard geïnstalleerd op de meeste Linux-distributies. Als het niet is geïnstalleerd, kunt u het installeren met de volgende commando's.

Debian/Ubuntu

sudo apt update && sudo apt install wget

Installeert wget met de APT-pakketbeheerder.

CentOS/RHEL (yum)

sudo yum install wget

Installeert wget met de YUM-pakketbeheerder.

Fedora/RHEL (dnf)

sudo dnf install wget

Installeert wget met de DNF-pakketbeheerder.

Tips & Aandachtspunten

Handige tips en zaken om op te letten bij het gebruik van wget.

Belangrijkste Tips

**Ethisch gebruik**: Wees voorzichtig met het spiegelen van websites om overmatige belasting van de server te voorkomen en controleer het robots.txt-bestand van de site om binnen de toegestane grenzen te blijven.
**User-Agent instellen**: Sommige websites kunnen specifieke User-Agents blokkeren. Door `-U` te gebruiken met een User-Agent die vergelijkbaar is met die van een browser, kunt u blokkades omzeilen.
**Download snelheid beperken**: U kunt de downloadsnelheid beperken met de optie `--limit-rate=AMOUNT` (bv. `--limit-rate=200k` beperkt tot 200 KB/s).
**Op de achtergrond uitvoeren**: Gebruik het commando `nohup wget ... &` om de download op de achtergrond te laten doorgaan, zelfs nadat u de terminal sluit.
**Logbestand**: Gebruik de optie `-o LOGFILE` om de downloadvoortgang en eventuele fouten naar een specifiek bestand te schrijven.
**robots.txt negeren**: Met de optie `-e robots=off` kunt u het `robots.txt`-bestand van een website negeren en proberen te downloaden, maar dit kan in strijd zijn met het beleid van de website en moet met voorzichtigheid worden gebruikt.