Overzicht
De `-L` optie van wget, wanneer gebruikt in combinatie met recursief downloaden (`-r`), instrueert wget om alleen relatieve padlinks binnen het huidige domein te volgen. Dit speelt een cruciale rol bij het spiegelen van specifieke submappen of structuren van een website, door te voorkomen dat onnodige gegevens worden gedownload als gevolg van externe links.
Belangrijkste kenmerken
- Volgt alleen relatieve links om navigatie naar externe domeinen te voorkomen
- Geschikt voor het spiegelen van specifieke secties van een website
- Krachtige functionaliteit bij gebruik met recursieve downloads (`-r`)
- Voorkomt het downloaden van onnodige gegevens en verspilling van bandbreedte
Belangrijkste opties
De `-L` optie komt het best tot zijn recht wanneer deze wordt gecombineerd met andere `wget` opties, in plaats van alleen te worden gebruikt.
Link volgen en downloaden
Gegenereerde opdracht:
Probeer de opdrachtcombinaties.
Uitleg:
`wget` Voer het commando uit.
Combineer deze opties en voer de opdracht virtueel uit met de AI.
Gebruiksvoorbeelden
Diverse gebruiksvoorbeelden van `wget` met de `-L` optie.
Recursief downloaden met alleen relatieve links
wget -r -L -np http://example.com/docs/Downloadt de website recursief vanaf de opgegeven URL, waarbij alleen relatieve links worden gevolgd. Navigeert niet naar bovenliggende mappen.
Links converteren naar lokaal na download
wget -r -L -np -k http://example.com/docs/Downloadt op dezelfde manier als het vorige voorbeeld, maar converteert de links in de gedownloade HTML-bestanden zodat ze lokaal werken.
Opslaan in een specifieke map
wget -r -L -np -k -P my_docs http://example.com/docs/Slaat alle gedownloade bestanden op in de map 'my_docs'.
Downloaddiepte beperken
wget -r -L -np -l 2 http://example.com/docs/Volgt tijdens recursieve downloads links tot een diepte van 2 niveaus vanaf de start-URL.
Tips & Aandachtspunten
Handige tips en aandachtspunten bij het gebruik van wget -L.
Tips voor efficiënt gebruik
- **Gebruik de `--level` optie**: Met de `-l` optie kunt u de diepte van recursieve downloads beperken, wat helpt bij het voorkomen van het downloaden van onnodige bestanden en het vermijden van oneindige lussen.
- **`--wait` en `--random-wait`**: Het is raadzaam om een pauze in te lassen tussen verzoeken om de server niet te overbelasten. Dit is vooral nuttig bij grootschalige mirroring.
- **`--limit-rate`**: U kunt de downloadsnelheid beperken om de netwerkbandbreedte efficiënt te beheren.
- **`--no-clobber`**: Voorkomt het overschrijven van bestaande bestanden, wat handig is voor het hervatten van onderbroken downloads of het voorkomen van onbedoelde beschadiging van bestanden.
Aandachtspunten
- **Serverbelasting**: Overmatige recursieve downloads kunnen de doelserver belasten. Het is raadzaam om de interval tussen verzoeken aan te passen met de `--wait` optie.
- **Respecteer robots.txt**: De meeste websites specificeren hun crawlregels via het `robots.txt` bestand. U kunt dit negeren met de optie `--execute robots=off`, maar dit kan een schending zijn van het websitebeleid, dus gebruik het met voorzichtigheid.
- **Mogelijkheid tot oneindige lussen**: Onjuiste optiecombinaties kunnen oneindige lussen veroorzaken en systeembronnen verbruiken. Vooral bij het gebruik van `-L` en `-r` is het belangrijk om het bereik duidelijk te beperken met opties zoals `-np` of `-l`.