Overzicht
wget -r scant en downloadt automatisch bestanden en mappen van een webserver tot een gespecificeerde diepte. Dit kan worden gebruikt voor het spiegelen van websites, offline browsen, of het verzamelen van specifieke bestandstypen.
Belangrijkste functies
- Volledige website spiegelen
- Links volgen tot gespecificeerde diepte
- Bestandstypen filteren
- Links converteren voor offline browsen
Belangrijkste opties
Dit zijn de belangrijkste opties die de recursieve downloadactie van wget -r nauwkeurig kunnen regelen.
Recursieve downloadcontrole
Opslag en uitvoer
Gegenereerde opdracht:
Probeer de opdrachtcombinaties.
Uitleg:
`wget` Voer het commando uit.
Combineer deze opties en voer de opdracht virtueel uit met de AI.
Gebruiksvoorbeelden
Dit zijn praktische voorbeelden van het gebruik van het wget -r commando.
Basis recursieve download
wget -r https://example.com/docs/Downloadt recursief alle inhoud van de gespecificeerde URL.
Website spiegelen (diepte beperken, links converteren)
wget -r -l 2 -k -p https://example.com/Downloadt een website tot een diepte van 2 niveaus en converteert links naar lokale paden om offline browsen mogelijk te maken.
Alleen specifieke bestandstypen downloaden
wget -r -A "*.pdf,*.doc" https://example.com/files/Downloadt recursief alleen PDF- en DOC-bestanden uit de gespecificeerde map.
Downloaden zonder naar bovenliggende mappen te gaan
wget -r -np https://example.com/data/Downloadt recursief alleen binnen de huidige map en gaat niet naar bovenliggende mappen.
Downloadmap specificeren
wget -r -P /home/user/websites https://example.com/Slaat alle gedownloade bestanden op in de specifieke lokale map `/home/user/websites`.
Downloadlimiet en wachttijd instellen
wget -r --limit-rate=200k --wait=1 https://example.com/large-site/Beperkt de downloadsnelheid tot 200 KB/s en wacht 1 seconde tussen elk verzoek om de serverbelasting te verminderen.
Tips & Aandachtspunten
Bij het gebruik van wget -r is het belangrijk om voorzichtig te zijn met het niet overbelasten van de server en om de efficiëntie te verhogen door alleen de benodigde bestanden te downloaden.
Nuttige tips
- Verminder serverbelasting met de `--wait` optie: Het versturen van veel verzoeken in korte intervallen kan de server belasten, dus het gebruik van opties zoals `--wait=1` (1 seconde wachten) is aan te raden.
- Beperk bandbreedte met `--limit-rate`: U kunt de downloadsnelheid beperken om te voorkomen dat u te veel netwerkbandbreedte gebruikt.
- Respecteer de Robots Exclusion Protocol (`robots.txt`): De meeste websites specificeren hun crawlregels via een `robots.txt`-bestand. `wget` respecteert dit standaard, maar u kunt het negeren met de optie `--execute=robots=off` (niet aanbevolen).
- Gebruik `-l` (diepte) en `-np` (geen bovenliggende mappen) opties om oneindige lussen te voorkomen: Onjuiste configuraties kunnen leiden tot oneindige lussen of het downloaden van ongewenste grote hoeveelheden bestanden.
- Gebruik `-k` (links converteren) en `-p` (pagina-vereisten) opties samen voor offline browsen: Deze twee opties zijn essentieel voor het soepel navigeren door gedownloade websites lokaal.