ClaudeBot is de webcrawler die door Anthropic wordt beheerd om trainingsgegevens voor Claude te verzamelen. Het is een gedeclareerde, HTTP-gebaseerde crawler: het identificeert zichzelf, werkt vanuit gepubliceerde IP-ranges en is ontworpen om robots.txt-richtlijnen te respecteren. Het blokkeren ervan is technisch eenvoudig.
De belangrijkere context: het blokkeren van ClaudeBot pakt Anthropics pijplijn voor trainingsgegevens aan. Het heeft geen effect op door Claude aangedreven agenten, tools of producten die namens gebruikers het web doorzoeken. Dat zijn aparte systemen die detectie op browserniveau vereisen. Voor het bredere patroon over AI-scrapers heen, zie onze gids voor het blokkeren van AI-agent content-scraping-bots.
Wat Is ClaudeBot?
Snel antwoord: ClaudeBot is Anthropics trainingscrawler. Het verzamelt publiek beschikbare webcontent om Claude-modellen te trainen en te verbeteren. Het gebruikt een gedeclareerde user-agent-string en staat vermeld in Anthropics openbare documentatie samen met zijn IP-ranges. Het is een HTTP-crawler, geen interactieve browseragent.
De primaire user-agent-identifier van ClaudeBot is Claude-Web/1.0, met een verwijzing naar Anthropics crawlerdocumentatiepagina. Anthropic onderhoudt documentatie die het doel, het gedrag en de manier waarop je de crawler blokkeert beschrijft.
Net als GPTBot voert ClaudeBot geen JavaScript uit en interageert het niet met interfaces van webapplicaties. Het doet HTTP GET-verzoeken aan publiek toegankelijke URL's, leest de respons en gaat verder. Het logt niet in, vult geen formulieren in en navigeert niet door interactieve elementen.
Hoe Blokkeer Je ClaudeBot met robots.txt
Snel antwoord: Voeg
ClaudeBottoe aan jerobots.txtom de crawler volledig te blokkeren. Anthropics documentatie stelt dat ClaudeBot deze richtlijnen respecteert. Gebruik regels op padniveau als je alleen gevoelige secties wilt beperken terwijl je de crawler op publieke content toestaat.
Om ClaudeBot van je hele site te blokkeren:
User-agent: ClaudeBot
Disallow: /
Om de crawler op publieke content toe te staan maar gevoelige paden te beperken:
User-agent: ClaudeBot
Disallow: /account/
Disallow: /checkout/
Disallow: /admin/
Allow: /blog/
Allow: /products/
Anthropic heeft een goede reputatie op het gebied van naleving wat betreft het respecteren van robots.txt-regels door zijn crawlers. Dit is de eenvoudigste en breedst effectieve aanpak om de toegang van ClaudeBot te beheren zonder wijzigingen op infrastructuurniveau. Dezelfde robots.txt-aanpak werkt voor andere gedeclareerde crawlers, waaronder CCBot en Bytespider.
Blokkeren op IP-Niveau voor ClaudeBot
Snel antwoord: Anthropic publiceert de IP-ranges van ClaudeBot in zijn crawlerdocumentatie. Het weigeren van deze ranges op je firewall of CDN biedt handhaving die niet afhankelijk is van de crawler die
robots.txtleest. Controleer de documentatie periodiek, want IP-ranges kunnen uitbreiden wanneer Anthropic zijn crawlinfrastructuur opschaalt.
Blokkeren op IP-niveau is de robuustere handhavingsoptie:
- Het vangt elke versie van de crawler die
robots.txtmogelijk niet correct verwerkt - Het creëert een log op serverniveau van geblokkeerde verzoeken die je kunt controleren
- Het is niet afhankelijk van zelfidentificatie via de user-agent-string
De afweging: Anthropics gepubliceerde IP-ranges vereisen onderhoud. Als je ze op firewallniveau blokkeert, stel dan een herinnering in om elk kwartaal op range-updates te controleren of wanneer Anthropic changelog-vermeldingen aan zijn crawlerdocumentatie toevoegt.
ClaudeBot vs. Door Claude Aangedreven Agenten: De Kloof Die Ertoe Doet
Snel antwoord: ClaudeBot is Anthropics crawler. Claude de assistent is een ander product. Wanneer Claude een gebruiker helpt het web te doorzoeken, een onderwerp te onderzoeken of een taak te voltooien, gebruikt het andere infrastructuur dan ClaudeBot. Het blokkeren van ClaudeBot voorkomt niet dat door Claude aangedreven agenten je site bezoeken.
Dit is dezelfde structurele kloof die geldt voor GPTBot en OpenAI Operator. De trainingscrawler en de interactieve agent zijn aparte systemen.
Wanneer een gebruiker Claude vraagt om een product te onderzoeken, prijzen te vergelijken of een webgebaseerde taak te voltooien, gebruikt Claude een browsersessie of webzoektool die niet ClaudeBot is. Die sessie heeft mogelijk helemaal geen identificerende headers die het aan Anthropic koppelen. Vanuit het perspectief van je server ziet het eruit als een standaard browserverzoek.
Het juiste mentale model: robots.txt en IP-blokkering beheren je relatie met Anthropics pijplijn voor gegevensverzameling. Ze beheren niet je relatie met Claude als product dat door echte gebruikers wordt gebruikt om met je site te interageren.
Wat Gebeurt Er Nadat Je ClaudeBot Blokkeert
Snel antwoord: Het blokkeren van ClaudeBot voorkomt dat je content in Anthropics pijplijn voor trainingsgegevens terechtkomt. Het voorkomt niet dat Claude naar je site verwijst in antwoorden op basis van eerder geïndexeerde content. Het voorkomt niet dat door Claude aangedreven agentische systemen je site namens gebruikers doorzoeken.
Na een ClaudeBot-blokkering:
- Toekomstige trainingsruns bevatten je nieuwe content niet
- Eerder verzamelde content blijft in de gewichten van bestaande Claude-modellen
- Claude-gebruikers die Claude vragen je site te bezoeken, worden niet beïnvloed
- Elke door Claude aangedreven agent (Claude.ai computer use, Claude API-agenten) die je site bezoekt, wordt niet beïnvloed
De reikwijdte van een robots.txt-blokkering is smaller dan de meeste site-eigenaren verwachten. Het is een uitspraak over één specifieke crawler, geen beleid dat geldt voor het volledige productportfolio van een AI-bedrijf.
Detectie op Browserniveau Voorbij ClaudeBot
Snel antwoord: Het blokkeren van ClaudeBot is eenvoudig. Het lastigere probleem is het detecteren van door Claude aangedreven agenten die je site doorzoeken in echte browsersessies namens gebruikers, sessies die er op netwerkniveau identiek uitzien als menselijk verkeer. Dat vereist observatie op browserniveau.
Bedenk wat een door Claude aangedreven computer use-agent feitelijk doet wanneer een gebruiker het vraagt een SaaS-product te onderzoeken. Het opent een echte Chromium-sessie, laadt de prijzenpagina en scrollt door de functietabel. Op netwerkniveau ziet het verzoek er identiek uit als een menselijk bezoek: een standaard Chrome user-agent, een residentieel IP, een TLS-vingerafdruk binnen het bereik. Geen ClaudeBot-header. Geen Anthropic-IP-range. De agent navigeert in 11 seconden door vier pagina's zonder ook maar één variatie in muisbeweging, scrollt nooit terug en pauzeert nooit bij een formulierveld tenzij de taak invoer vereist. Die timingsignalen en interactiepatronen zijn alleen binnen de browsersessie detecteerbaar. cside's instrumentatie legt ze vast op de JavaScript-uitvoeringslaag voordat enige tool op netwerkniveau ze kan zien. In cside's gecontroleerde tests misten traditionele tools AI-agenten die binnen echte browsersessies opereerden in 81 van de 100 scenario's: netwerktools kijken simpelweg niet naar de juiste laag.
cside werkt binnen de browsersessie en legt de gedragssignalen bloot die door agenten uitgevoerd browsen onderscheiden van menselijk gedrag. Interactietiming, navigatiepatronen, consistentie van vingerafdrukken en kenmerken van JavaScript-uitvoering zijn allemaal observeerbaar binnen een browsersessie, maar onzichtbaar voor tools op netwerkniveau. ClaudeBot zelf valt niet in die categorie: het is eenvoudig te blokkeren. De agenten die via browsersessies opereren, zijn precies wat die tests identificeerden als de onzichtbare dreiging.
