Robots.txt Analyzer
Analyseer en test je robots.txt bestand op crawl-problemen. Controleer welke URL's geblokkeerd of toegestaan zijn voor zoekmachine-bots.
Hulp nodig bij het optimaliseren van je crawl-budget?
Ons team auditeert en optimaliseert robots.txt, XML-sitemaps en crawl-richtlijnen zodat zoekmachines je meest waardevolle pagina's indexeren.
Gratis strategiegesprekZo werkt het
Voer je domein in
We halen automatisch het robots.txt bestand van je website op.
Bekijk geanalyseerde regels
Zie alle user-agent regels, allow/disallow richtlijnen en sitemap-verwijzingen.
Test URL's
Controleer of specifieke pagina's geblokkeerd of toegestaan zijn door je robots.txt regels.
Veelgestelde vragen
Wat is robots.txt?
Robots.txt is een tekstbestand in de root van je website dat zoekmachine-crawlers vertelt welke pagina's ze wel en niet mogen bezoeken.
Kan robots.txt indexering blokkeren?
Robots.txt blokkeert crawling, niet indexering. Pagina's kunnen nog steeds in zoekresultaten verschijnen. Gebruik noindex meta-tags om indexering te voorkomen.
Wat gebeurt er als ik belangrijke pagina's blokkeer?
Als robots.txt pagina's blokkeert die je wilt indexeren, zullen zoekmachines ze niet crawlen en kunnen ze posities verliezen.
Moet ik /cart en /checkout blokkeren?
Ja, het is een best practice om pagina's zoals /cart, /checkout en /account te blokkeren die niet geindexeerd hoeven te worden.