
Robots.txt is een tekstbestand op je website dat zoekmachinecrawlers vertelt welke URL-paden ze wel of niet mogen bezoeken. Je gebruikt het om crawlgedrag te sturen, bijvoorbeeld door onbelangrijke of technische onderdelen buiten bereik te houden. Het bestand is geen beveiligingslaag en voorkomt niet gegarandeerd dat een pagina in de zoekresultaten verschijnt.
Dat onderscheid is belangrijk: een onjuiste regel kan ervoor zorgen dat Google belangrijke pagina's of bijbehorende bestanden niet kan crawlen. Tegelijkertijd kan een goed beheerd bestand crawlers helpen hun aandacht te richten op onderdelen die je wél vindbaar wilt maken. Voor Nederlandse ondernemers is robots.txt vooral relevant bij webshops, grotere websites, filters en sites met een CMS dat automatisch URL's aanmaakt. Hieronder lees je hoe je het bestand begrijpt, opstelt, controleert en veilig onderhoudt.
In het kort
- Robots.txt geeft crawlers instructies over welke URL-paden ze mogen bezoeken, maar garandeert geen verwijdering uit zoekresultaten.
- Plaats het bestand in de hoofdmap van je domein en gebruik duidelijke regels per crawler.
- Test wijzigingen zorgvuldig, want een fout kan belangrijke pagina's of bestanden ontoegankelijk maken voor zoekmachines.
- Gebruik robots.txt niet om vertrouwelijke informatie te beveiligen of pagina's uit de index te verwijderen.
Wat is robots.txt en hoe werkt het?

Robots.txt is een openbaar tekstbestand dat crawlers vrijwillige instructies geeft over het bezoeken van URL-paden op je website. Een crawler leest het bestand voordat die pagina's op hetzelfde hostadres bezoekt en probeert de regels voor zijn eigen user-agent te volgen.
Het bestand staat op de hoofdmap van een host. Voor een website op voorbeeld.nl is dat doorgaans https://voorbeeld.nl/robots.txt. Een versie op www.voorbeeld.nl geldt niet automatisch voor voorbeeld.nl, en ook een subdomein zoals shop.voorbeeld.nl heeft een eigen bestand nodig. Controleer daarom eerst welke domeinvariant je website gebruikt.
Robots.txt werkt met regels zoals User-agent en Disallow. Met User-agent benoem je de crawler waarop regels van toepassing zijn; met Disallow geef je aan welk pad die niet moet bezoeken. Een lege Disallow betekent dat je met die regel geen paden blokkeert. De instructies zijn gericht op crawlers die het protocol respecteren, niet op kwaadwillende bezoekers.
Crawlgedrag is iets anders dan indexering
Crawlen betekent dat een bot een URL bezoekt en de inhoud ophaalt. Indexeren betekent dat een zoekmachine informatie over die URL kan opnemen in zijn index. Een geblokkeerde URL kan soms toch in zoekresultaten verschijnen, bijvoorbeeld wanneer er links naar verwijzen. De zoekmachine kan dan de inhoud niet ophalen om die goed te beoordelen.
Gebruik robots.txt dus om toegang voor crawlers te sturen, niet als verwijderknop. Wil je een pagina uit de index houden, dan moet de crawler de pagina kunnen zien om een passende indexeringsinstructie te verwerken.
Wanneer gebruik je robots.txt?

Gebruik robots.txt wanneer je crawlerbezoek aan bepaalde delen van je website wilt beperken zonder die URL's voor bezoekers ontoegankelijk te maken. De juiste toepassing hangt af van je site, de URL-structuur en het doel van de regel.
Een webwinkel kan bijvoorbeeld URL-paden met sorteer- of filtervarianten laten ontstaan. Als die varianten weinig unieke waarde hebben en onnodig veel crawlruimte vragen, kan een gerichte blokkade passend zijn. Ook interne zoekresultaten, testomgevingen en technische paden kunnen kandidaten zijn. Beoordeel eerst of zoekmachines die pagina's nodig hebben om relevante content of links te ontdekken.
Controleer wat je precies blokkeert
Maak vóór een wijziging een lijst van de URL's die de regel raakt. Vraag bij elk pad: staat hier waardevolle content, moet een crawler interne links volgen, of zijn er bestanden nodig om de pagina goed te begrijpen? Denk bij dat laatste aan CSS- en JavaScript-bestanden die de vormgeving of inhoudsweergave beïnvloeden.
Blokkeren is niet altijd de beste oplossing. Als een filterpagina waardevolle landingspagina is, kan uitsluiting de zichtbaarheid schaden. Als een URL wel bereikbaar moet zijn voor bezoekers maar niet in de index thuishoort, is een indexeringsinstructie op de pagina meestal geschikter dan Disallow.
Beperk regels zo veel mogelijk tot het bedoelde pad. Een brede blokkade kan onbedoeld productpagina's, categorieën of mediabestanden raken. Bij twijfel is het veiliger om eerst te onderzoeken hoe de URL's worden gebruikt en pas daarna een regel toe te voegen. Een technische SEO-audit kan helpen om zulke afhankelijkheden en bestaande crawlproblemen in samenhang te beoordelen.
Laat je technische SEO controleren Twijfel je of robots.txt goed samenwerkt met je sitemap, indexeringsinstellingen en URL-structuur? Met een technische SEO-audit krijg je inzicht in mogelijke knelpunten en concrete vervolgstappen. Bekijk Technische SEO-audit
Hoe stel je robots.txt veilig in?

Stel robots.txt in met een klein aantal specifieke regels die je kunt uitleggen en controleren. Begin niet met blokkeren, maar met het vaststellen van je domein, de gewenste crawlerinstructies en de URL-paden waarop die van toepassing zijn.
Praktische stappen
- Open de hoofdmap van de juiste host en controleer of er al een robots.txt-bestand bestaat. Pas bestaande regels aan in plaats van er blind een tweede versie naast te maken.
- Noteer per regel het doel en de URL's die geraakt worden. Controleer ook hoofdletters, schuine strepen en de precieze padstructuur.
- Gebruik
User-agent: *voor algemene instructies aan crawlers die deze regel volgen. Je kunt ook een specifieke user-agent benoemen, maar controleer dat de overige regels niet onbedoeld anders uitpakken. - Voeg alleen een
Disallow-regel toe wanneer je het betreffende pad daadwerkelijk voor crawling wilt afschermen. Een regel alsDisallow: /zoeken/richt zich op URL's onder dat pad; een brede regel op de hoofdmap kan de hele site raken. - Verwijs desgewenst naar je sitemap met een volledige sitemap-URL. De sitemap helpt crawlers URL's te ontdekken, maar heft een blokkade niet op.
- Sla het bestand op als platte tekst en controleer of het via de juiste host bereikbaar is.
Houd instructies leesbaar
Een eenvoudig bestand is makkelijker te beheren dan een lange verzameling uitzonderingen. Voeg waar nodig korte opmerkingen toe met #, zodat een collega begrijpt waarom een regel bestaat. Vermijd gevoelige details in opmerkingen: robots.txt is openbaar en kan door iedereen worden bekeken.
Bij wildcardtekens en uitzonderingen kunnen interpretatieverschillen of crawlerregels een rol spelen. Test zulke combinaties daarom zorgvuldig en gebruik ze alleen als je de precieze reikwijdte begrijpt.
Hoe test je robots.txt en voorkom je fouten?

Test robots.txt voordat je wijzigingen live zet en controleer daarna of het gepubliceerde bestand het gewenste crawlgedrag oplevert. Een regel die op papier logisch lijkt, kan door een brede match meer URL's raken dan bedoeld.
Begin met het openen van het bestand op de exacte host die je wilt controleren. Kijk of het bestand zonder foutmelding wordt geladen en of de inhoud overeenkomt met je laatste wijziging. Vergelijk vervolgens de regels met concrete URL's: een belangrijke productpagina, een categorie, een filtervariant en eventuele bestanden die nodig zijn voor de weergave.
Veelvoorkomende valkuilen
- De hele website blokkeren. Een regel die de hoofdmap uitsluit, kan alle pagina's ontoegankelijk maken voor crawlers. Controleer daarom extra zorgvuldig bij een nieuwe website of na een migratie.
- Een pagina blokkeren die je wilt laten indexeren. De crawler kan dan mogelijk geen inhoud of indexeringsinstructie ophalen.
- CSS of JavaScript uitsluiten. Als die bestanden nodig zijn om de pagina te begrijpen, kan blokkeren de beoordeling van de pagina hinderen.
- Alleen een subdomein controleren. Een wijziging op de ene host geldt niet automatisch voor de andere.
- Vergeten dat een regel openbaar is. Gebruik het bestand nooit om wachtwoorden, privébestanden of interne informatie te verbergen.
Test niet alleen de URL die je wilt blokkeren, maar ook pagina's die bereikbaar moeten blijven. Controleer na publicatie de live versie opnieuw. Leg bij belangrijke wijzigingen vast wat de regel doet en wie de wijziging heeft goedgekeurd. Zo kun je een onverwacht effect sneller herkennen en terugdraaien.
Voorkomt robots.txt dat pagina's worden geïndexeerd?

Nee, robots.txt voorkomt niet betrouwbaar dat een URL wordt geïndexeerd, omdat het bestand crawlen stuurt en geen verwijderinstructie is. Dit is een van de belangrijkste onderscheidingen bij het beheren van zoekresultaten.
Als een crawler een pagina mag bezoeken, kan die de inhoud verwerken en een instructie op de pagina tegenkomen, zoals noindex. Als robots.txt diezelfde crawler de toegang ontzegt, kan die de pagina-instructie niet ophalen. De URL kan nog steeds bekend zijn via een link of verwijzing, waardoor de zoekmachine mogelijk een vermelding toont zonder volledige inhoudsinformatie.
Kies de juiste methode voor je doel
Wil je voorkomen dat een pagina wordt opgenomen in zoekresultaten, zorg dan dat de crawler de pagina kan bezoeken en de passende indexeringsinstructie kan lezen. Wil je een bestaande vermelding laten verwijderen, gebruik dan het daarvoor bedoelde proces bij de zoekmachine; een blokkade in robots.txt is op zichzelf geen garantie op verwijdering.
Wil je juist voorkomen dat crawlers een pad bezoeken, dan kan robots.txt geschikt zijn. Dat kan bijvoorbeeld spelen bij URL-varianten die geen nuttige zoeklandingspagina's vormen. Weeg wel af of een blokkade de ontdekking van links of het renderen van pagina's hindert.
Vertrouwelijke informatie hoort achter passende toegangsbeveiliging, niet achter een robots-regel. Omdat het bestand publiek toegankelijk is, kan het zelfs zichtbaar maken welke paden je liever niet onder de aandacht brengt. Controleer daarom bij iedere regel of je doel crawling beperken, indexering sturen of toegang beveiligen is. Dat zijn verschillende problemen en vragen om verschillende maatregelen.
Hoe onderhoud je robots.txt bij wijzigingen?

Onderhoud robots.txt als onderdeel van je technische websitebeheer en controleer het bestand wanneer URL's, templates of domeinen veranderen. Een regel die vandaag passend is, kan na een nieuwe categorie-indeling of migratie onbedoeld belangrijke pagina's blokkeren.
Neem robots.txt mee in het controleproces bij een nieuwe website, een CMS-wijziging, een domeinverhuizing en de lancering van nieuwe functionaliteit. Denk aan filters, interne zoekfuncties en onderdelen die URL's met parameters genereren. Laat degene die een wijziging uitvoert ook controleren welke URL's de nieuwe regel raakt.
Een eenvoudige onderhoudschecklist
- Controleer of het bestand op iedere relevante host aanwezig en bereikbaar is.
- Vergelijk blokkades met actuele categorieën, landingspagina's en belangrijke bestanden.
- Controleer of de sitemapverwijzing nog naar de juiste sitemap leidt.
- Test een geblokkeerde voorbeeld-URL én pagina's die crawlbaar moeten blijven.
- Verwijder verouderde regels en noteer waarom nieuwe regels zijn toegevoegd.
- Controleer de live versie na publicatie en na ingrijpende technische wijzigingen.
Koppel deze controle aan een bredere beoordeling van de technische gezondheid van je website. Robots.txt is maar één onderdeel: interne links, canonicals, indexeringsinstructies, redirects en sitemaps beïnvloeden samen hoe zoekmachines URL's ontdekken en verwerken. Met een technische SEO-audit kun je zulke signalen in samenhang laten beoordelen.
Bij een klein, stabiel domein is periodieke controle vaak overzichtelijk. Bij een grote webshop of een site met veel automatisch gegenereerde URL's is het verstandiger om wijzigingen direct te testen en documenteren. Zo blijft het bestand aansluiten op de website die daadwerkelijk live staat.
Veelgestelde vragen
Wat is een robots.txt bestand?
Een robots.txt bestand is een openbaar tekstbestand in de hoofdmap van een host. Het geeft crawlers aanwijzingen over URL-paden die ze wel of niet moeten bezoeken. Het bestand beveiligt geen informatie en garandeert niet dat geblokkeerde URL's uit zoekresultaten verdwijnen.
Hoe maak je een robots.txt bestand?
Maak of bewerk een bestand als platte tekst met regels voor de relevante crawlers en URL-paden. Plaats het op de hoofdmap van de juiste host, bijvoorbeeld op het hoofddomein dat je website gebruikt. Test de inhoud en controleer na publicatie of de live versie klopt.
Hoe blokkeer je pagina's met robots.txt?
Je kunt met een Disallow-regel aangeven dat crawlers een bepaald URL-pad niet moeten bezoeken. Gebruik een specifieke regel en controleer welke URL's eronder vallen. Als je een pagina uit zoekresultaten wilt houden, is robots.txt meestal niet de juiste methode: een crawler moet de pagina kunnen lezen om een indexeringsinstructie te verwerken.
Hoe test je robots.txt?
Open robots.txt op de exacte host en controleer of het bestand bereikbaar is en de verwachte inhoud bevat. Vergelijk regels met concrete URL's die je wilt blokkeren én pagina's die crawlbaar moeten blijven. Controleer na publicatie opnieuw de live versie, vooral na wijzigingen aan URL-structuur of websitebeheer.
Kan robots.txt indexering voorkomen?
Nee, robots.txt stuurt crawling en is geen betrouwbare instructie om een URL uit de index te houden. Een geblokkeerde pagina kan nog bekend worden via links. Wil je indexering voorkomen, zorg dan dat zoekmachines de pagina kunnen bezoeken en de daarvoor bedoelde indexeringsinstructie kunnen uitlezen.
Conclusie
Robots.txt is een nuttig hulpmiddel om crawlgedrag te sturen, mits je precies weet welke URL's je met een regel raakt. Het bestand is geen beveiliging en vervangt geen indexeringsinstructie. Begin daarom met je doel, controleer de juiste host en test zowel geblokkeerde als belangrijke toegankelijke pagina's. Neem robots.txt opnieuw onder de loep wanneer je URL-structuur of website verandert. Als je niet zeker weet of de regels passen bij de rest van je technische inrichting, laat dan de relevante onderdelen in samenhang controleren voordat je wijzigingen doorvoert.
Hulp nodig bij de uitvoering? We kijken graag mee naar jouw situatie en vertellen eerlijk wat het meeste oplevert. Vraag een vrijblijvende offerte aan


