Skip to main content
Blog
Blog

Hoe blokkeer en detecteer je AI-agents op je website: 4 methoden vergeleken

Vergelijk 4 methoden om AI-agents te blokkeren en detecteren: robots.txt, servermaatregelen, traditionele botdetectie en gespecialiseerde AI-agentdetectie. Ontdek welke fraude écht stopt.

Feb 24, 2026 Bijgewerkt Aug 11, 2026 17 min read
Hoe blokkeer je AI-agents op je website - cside
Inhoudsopgave

Kort samengevat: robots.txt versus gespecialiseerde AI-agentdetectie

  • robots.txt is een verzoek: Iedereen grijpt eerst naar robots.txt. Een Duke University-onderzoek uit 2025 vond dat slechts ongeveer 60% van de AI-assistenten meewerkt, Perplexity respecteert 'disallow' zo'n 20% van de tijd en headless-browser-agents ongeveer 10%. Het is een beleefd verzoek, geen controle.
  • Hoe cside het vangt: Interne tests van cside omzeilden traditionele botdetectie in 80 van de 100 pogingen met minimale moeite. cside AI Agent Detection installeert als één snippet, combineert netwerk-, applicatie- en interactiesignalen en vangt lokaal gehoste Playwright-, Selenium-, Manus- en Comet-browsers die legacy tools missen.
  • De beslissing: Wil je alleen grote crawlers als GPTBot en ClaudeBot afremmen, dan volstaan robots.txt en serverregels. Krijg je te maken met promo-misbruik, card testing, piraterij of chargeback-fraude door AI-agents, gebruik dan gespecialiseerde detectie met een governancebeleid per sessie.

Weinig tijd? Bekijk cside's AI-agentdetectie. Dit dekt alles hieronder in één deployment.

4 methoden om AI-agents op je website te blokkeren (vergelijking)

  <thead>
    <tr>
      <th>Methode</th>
      <th>Hoe het werkt</th>
      <th>Effectief tegen:</th>
      <th>Beveiliging/antifraude diepgang:</th>
      <th>Kosten</th>
      <th>Implementatiemoeilijkheid</th>
    </tr>
  </thead>

  <tbody>

    <tr>
      <td><strong>robots.txt</strong></td>
      <td>
        Een tekstbestand dat je aanmaakt en uploadt naar je website. Het vertelt crawlers welke delen van je website ze niet mogen bezoeken.
      </td>
      <td>
        • AI-zoekcrawlers van grote platforms (Google, ChatGPT)<br>
        • AI-scrapers die LLM-modellen trainen
      </td>
      <td>
        <strong>Zwak</strong><br>
        • De meeste AI-agents respecteren robots.txt niet<br>
        • User-agent spoofing is eenvoudig<br>
        • Geen zicht op gedrag<br>
        • Ineffectief tegen kwaadwillende of lokaal gehoste agents
      </td>
      <td>Gratis</td>
      <td>Eenvoudig. Kan worden geïmplementeerd door niet-technische teams.</td>
    </tr>

    <tr>
      <td><strong>Servermaatregelen</strong></td>
      <td>
        Stel regels in op serverniveau om agents te blokkeren op basis van IP of user-agent-richtlijnen.
      </td>
      <td>
        • AI-zoekcrawlers van grote platforms (Google, ChatGPT)<br>
        • AI-scrapers die LLM-modellen trainen
      </td>
      <td>
        <strong>Zwak</strong><br>
        • IP-gebaseerde blokkering kan worden omzeild met residentiële proxies<br>
        • HTTP-headers kunnen worden gespoofed<br>
        • Vereist handmatige configuratie die snel fout kan gaan
      </td>
      <td>Laag tot gemiddeld (vereist tijd van personeel)</td>
      <td>Gemiddeld. Vereist ondersteuning van een ontwikkelaar of DevOps</td>
    </tr>

    <tr>
      <td><strong>Traditionele botdetectie (zoals Cloudflare)</strong></td>
      <td>
        Leverancierstool met dashboards. Kent botscores toe op basis van netwerklaagsignalen, reputatiedatabases en beperkte client-side monitoring.
      </td>
      <td>
        • AI-zoekcrawlers<br>
        • AI-scrapers die LLM-modellen trainen<br>
        • Eenvoudige bots en scrapers<br>
        • DDoS-aanvallen
      </td>
      <td>
        <strong>Gemiddeld</strong><br>
        • Moeite met lokaal gehoste browseragents<br>
        • Beperkt zicht op interactieniveau<br>
        • Binaire toestaan/weigeren-logica<br>
        • Zwakke governancemogelijkheden
      </td>
      <td>Laag tot gemiddeld (afhankelijk van prijsplan)</td>
      <td>Eenvoudig.</td>
    </tr>

    <tr>
      <td><strong>Gespecialiseerde AI-agentdetectie (zoals cside)</strong></td>
      <td>
        Leverancierstool met dashboards. Kijkt naar gedragsuitvoering, diepgaande client-side monitoring en unieke signalen om AI-agents nauwkeuriger te herkennen.
      </td>
      <td>
        • AI-zoekcrawlers van grote platforms (Google, ChatGPT)<br>
        • AI-scrapers die LLM-modellen trainen<br>
        • Eenvoudige bots en scrapers<br>
        • Consumer-agents die draaien als browserextensies<br>
        • Frauduleuze AI-agents (lokaal gehoste omgevingen, headless browsers)
      </td>
      <td>
        <strong>Sterk</strong><br>
        • Speciaal gebouwd om AI-agents te weren<br>
        • Combineert netwerk-, applicatie- en interactieniveausignalen<br>
        * Nauwkeurigere detectie van agents op basis van headless browsers
      </td>
      <td>Laag tot gemiddeld (afhankelijk van prijsplan)</td>
      <td>Eenvoudig. Installeer een stukje code op je website.</td>
    </tr>

  </tbody>
</table>
Tabel: Vergelijking van methoden voor het blokkeren van AI-crawlers en AI-agents.

1. Robots.txt

Hoe het werkt: Je maakt een "robots.txt"-bestand aan en uploadt dit naar je website. Dit tekstbestand bevat een lijst met namen van AI-agents die wel of niet zijn toegestaan. Wanneer die agents je website bezoeken en lezen dat ze "disallowed" zijn, zullen ze afzien van toegang tot je site.*

* Alleen agents die ervoor kiezen je robots.txt te respecteren, worden daadwerkelijk geweerd. Dit bestand kan worden genegeerd door kwaadwillende of verkeerd geconfigureerde agents.

Vereenvoudigd voorbeeld

# Allow OpenAI's crawler (ChatGPT / GPTBot)
User-agent: GPTBot
Allow: /
## Disallow DeepSeek's crawler
User-agent: DeepSeekBot
Disallow: /

Codeblok: Voorbeeld van een robots.txt-richtlijn die GPTBot toestaat en DeepSeekBot blokkeert

De meeste robots.txt-bestanden bevatten tientallen user-agent-richtlijnen.

Voordelen

  • Gratis
  • Veel tools en sjablonen om snel aan de slag te gaan
  • Kan binnen een dag worden ingesteld
  • Kan worden geïmplementeerd door een niet-technisch persoon

Beperkingen

  • Agents zijn niet verplicht je robots.txt-bestand te respecteren. Het is meer een beleefd verzoek. Crawlers van grote AI-aanbieders (Meta, Anthropic, OpenAI) respecteren deze richtlijnen doorgaans, maar deze bedrijven zijn slechts het topje van de ijsberg van alle AI-agents.
  • Kwaadwillende AI-agents negeren je robots.txt-bestand.
  • Handmatig onderhoud voor honderden populaire AI-agenttools, elk met meerdere agentidentiteiten (crawler, onderzoek, actievoerder).
  • Niet alle AI-agents hebben een publieke "identiteit". Platforms zoals Selenium en Playwright stellen gebruikers in staat agents te maken die je website bezoeken zonder duidelijke identiteit.
  • Je hebt nul zicht op gedrag. Dit mechanisme dient slechts als een "blokkeer of niet"-lijst. Je ziet niet hoeveel verkeer agentisch is of wat agents doen.

Moet je robots.txt gebruiken: Ja. Het is een goed startpunt voor kleine bedrijven en beschermt je tegen grote, publiek bekende crawlers zoals Meta die anders serverresources verspillen. Dit mechanisme beschermt je echter niet tegen AI-agentfraude.

2. Servermaatregelen

Hoe het werkt: Je configureert regels op je webserver (.htaccess), CDN of firewall die AI-agents daadwerkelijk blokkeren via:

  • Blokkeren van specifieke IP-adressen of -reeksen van bekende agents
  • Rate limiting bij buitensporige verzoekpatronen
  • Inspecteren van HTTP-headers
  • Controleren van user-agent-identiteiten (vergelijkbaar met robots.txt)

Anders dan robots.txt hebben servermaatregelen echte handhavingskracht. Deze regels blokkeren agents of retourneren een foutcode zodat ze geen toegang krijgen tot je website.

Voordelen

  • Echte handhaving tegen agentverkeer
  • Vermindert eenvoudige scrapingagents
  • Stopt misbruik van grote aantallen verzoeken
  • Werkt goed voor het stoppen van publiek geïdentificeerde crawlers (Meta, DeepSeek, Google)

Beperkingen

  • Vereist technische configuratie en onderhoud, vaak door een webontwikkelaar
  • Kwaadwillende AI-agents kunnen deze maatregelen omzeilen
  • IP-gebaseerde blokkering kan worden omzeild door residentiële proxies of roterende IP-adressen
  • HTTP-headers kunnen eenvoudig worden gespoofed
  • Geen zicht op gedrag. Dit mechanisme blokkeert agents maar geeft geen inzicht in wat agents doen.

Conclusie: Als je technisch personeel hebt, zijn servermaatregelen een krachtige manier om agentcrawlerverzoeken te weigeren. Deze methode schiet echter tekort bij het verdedigen tegen AI-agentfraude of AI-ondersteunde websiteaanvallen, omdat kwaadwillende agents valse identiteiten kunnen aanmaken en verificatiecontroles kunnen passeren.

3. Traditionele botdetectietools (bijv. Cloudflare)


Veel traditionele botdetectieproducten hebben hun branding bijgewerkt naar 'AI-agentdetectie', maar hebben hun daadwerkelijke product onvoldoende doorontwikkeld en slagen er niet in lokaal gehoste browsers of agentomgevingen te detecteren die zijn gebouwd om detectie te vermijden.


Hoe het werkt: Leverancierstools zoals Cloudflare botdetectie kennen elke bezoeker een "botscore" toe op basis van gedragsanalyse, vingerafdrukken, reputatiedatabases van bekende bedreigingen en andere signalen.

Deze leverancierstools werken voornamelijk op de CDN- of netwerklaag van je website, met enige JavaScript-injectie op webpagina's om browsersignalen te verzamelen (client-side monitoring).

Voordelen

  • Relatief eenvoudig te installeren
  • Kijkt vergeleken met toestaan/weigeren-lijsten naar meer geavanceerde signalen dan alleen identiteit
  • Bewezen bescherming tegen aanvallen zoals DDoS en eenvoudige scrapingbots
  • Meer geautomatiseerd dan handmatige servermaatregelen

Beperkingen

  • Kan worden omzeild door frauduleuze AI-agents die menselijk gedrag nabootsen
  • Moeite met het detecteren van lokaal gehoste browseragents, die steeds vaker worden gebruikt door consumenten en aanvallers
  • Vertrouwt op applicatieniveausignalen, met zeer beperkte interactieniveausignalen
  • Geen mogelijkheid om consumer-AI-agents te begeleiden in het aankooptraject
  • Beperkt zicht op client-side signalen

Traditionele botdetectietools zijn niet klaar voor AI-agents: Deze oplossingen zijn gebouwd voor een tijdperk waarin bots in cloudinfrastructuur leefden, niet konden redeneren en voorspelbare patronen volgden. Moderne AI-agents draaien in echte browsers en gaan op in normaal verkeer. Alles blokkeren stopt voor de hand liggend misbruik, maar een moderne agentgovernancestrategie vereist inzicht in intentie en dynamische regels.

Onze interne tests bij cside konden traditionele botdetectie omzeilen bij 80/100 pogingen met minimale inspanning.

4. Gespecialiseerde AI-agentdetectietools (bijv. cside)

Voorbeelddashboard van een gespecialiseerde AI-agentdetectietool (cside)
Voorbeelddashboard van een gespecialiseerde AI-agentdetectietool (cside)

Verwante lectuur: onze complete gids voor het detecteren van AI-agent-verkeer op je website · bots detecteren die niet gedetecteerd willen worden

Hoe het werkt: Een stukje code wordt op je site geïnstalleerd, waarmee je controle krijgt over:

  • Detectie: Observeer tientallen signalen om AI-agents, hun acties en frauderisico te identificeren.
  • Blokkering: Risicoscores worden samengesteld uit een verscheidenheid aan signalen, interactiepatronen, vingerafdrukken, JavaScript-uitvoeringscontext, reputatiedatabases, honeypots en meer. Je kunt agentrisico beoordelen en dynamische regels instellen om agents volledig te blokkeren of beperkte toegang te verlenen.
  • Governance: Een SDK wordt door ontwikkelaars gebruikt om guardrails toe te voegen aan agentsessies. Bepaalde stappen kunnen bijvoorbeeld menselijke validatie vereisen, of bepaalde vertrouwde agents kunnen aankopen doen terwijl anderen beperkt zijn tot alleen-lezen modus.

Voordelen

  • Eenvoudig te implementeren met dashboards voor fraudeteams en SDK's voor ontwikkelaars
  • Speciaal gebouwd voor AI-agents. cside is beter in het detecteren van lokaal gehoste browser-AI-agents (bijv. Playwright, Selenium)
  • Sterker in het detecteren van agents die werken vanuit browserextensies (Manus AI, Comet)
  • Gebouwd om agentgebaseerde aanvallen en fraude te voorkomen in plaats van alleen "crawlers blokkeren"
  • Governancemogelijkheden om agentische commerce-ervaringen te verbeteren
  • Zicht op agentisch verkeer. Een dashboard met welke agents op je site zijn, welke acties ze uitvoeren, waar ze vastlopen en welk risico ze met zich meebrengen.

Moderne webbeveiliging heeft een gespecialiseerde AI-agentdetectietool nodig: "Bots" en crawlers blokkeren is niet langer voldoende. AI-agents vereisen gedragsclassificatie en dynamische regels. Tools zoals cside AI Agent Detection geven ondernemingen dit inzicht zodat fraude kan worden geblokkeerd zonder legitieme consumer-agents te hinderen.

Waarom je (sommige) AI-agents van je website moet blokkeren

Infographic: AI-agentbedreigingen voor je website
Infographic: AI-agentbedreigingen voor je website

Niet alle AI-agents zijn schadelijk. Sommige helpen consumenten. Sommige fungeren als onderzoekstools. Maar veel agents zijn frauduleus. Een onderzoeksrapport van Ahrefs stelde vast dat 63% van de websites agentisch verkeer ontvangt. Dat was begin 2025. Inmiddels ligt dat percentage waarschijnlijk hoger.

Waarom crawlers en scrapers blokkeren:

Het gesprek over agentisch verkeer richt zich momenteel op zichtbare crawlers van ChatGPT, Gemini of andere LLM-platforms die content ophalen voor antwoorden of om modellen te trainen. De motivatie om crawlers en scrapers te blokkeren is valide, met name voor bedrijven met unieke content zoals uitgevers of mediastreaming-diensten die te maken hebben met:

  • Scraping van premiumcontent voor piraterij
  • Harvesten van content om LLM-modellen te trainen zonder toestemming

Waarom frauduleuze AI-agents:

Crawlers van LLM-platforms zijn niet de enige bedreiging. Ze bevinden zich zelfs aan de "veiligere" kant van het botautomatiseringsspectrum. De zorgwekkendere bedreiging is hoe geautomatiseerd misbruik door aanvallers wordt versterkt door AI-agents. Agents maken het eenvoudiger om detectie te vermijden en menselijk gedrag na te bootsen.

Een rapport over financiële criminaliteit van het Amerikaanse Ministerie van Financiën wijst erop hoe AI-agents de drempel verlagen voor geavanceerde aanvalstechnieken die voorheen beperkt waren door middelen, en geautomatiseerde fraude toegankelijk maken voor laaggeschoolde aanvallers.

Agentische bedreigingen voor beveiligingsteams:

  • Geautomatiseerde pogingen tot accountovername
  • AI-ondersteunde kwetsbaarheidsontdekking
  • Misbruik van geauthenticeerde gebruikersstromen
  • Gescripte manipulatie van het afrekenproces

Agentische bedreigingen voor fraudeteams:

  • Gestolen inloggegevens op grote schaal testen
  • Promotiecodes en coupons misbruiken
  • Retourfraudeworkflows automatiseren
  • Neppe profielen aanmaken met document-ID's en foto's gegenereerd door LLM's

Agentische bedreigingen voor e-commerceteams:

  • Voorraadhamsteren door geautomatiseerde kopers
  • Prijsscraping door geautomatiseerde cataloguscrawlers
  • Affiliatelinkfraude

Het AI-agentbedreigingslandschap in 2026

Sinds begin 2025 hebben verschillende ontwikkelingen het aanvalsoppervlak van AI-agents vergroot en detectie aanzienlijk moeilijker gemaakt.

Agents met computergebruiksmogelijkheden

Platforms zoals OpenAI Operator en Anthropic's Claude computer use kunnen autonoom websites navigeren, formulieren invullen en transacties voltooien. Dit zijn dezelfde acties als een menselijke gebruiker. Deze agents draaien in echte browsers, wat betekent dat traditionele netwerkcontroles ze zien als normaal webverkeer. Google Gemini Live breidt vergelijkbare mogelijkheden uit naar mobiele omgevingen.

Agentcommunicatie op protocolniveau

Het Model Context Protocol (MCP), geïntroduceerd door Anthropic, stelt AI-agents in staat rechtstreeks verbinding te maken met services en databronnen. Agents die via MCP werken, kunnen standaard authenticatiestromen omzeilen of hoge-frequentie API-aanroepen triggeren die niets lijken op browsergebaseerd gebruikersverkeer. Google's Agent-to-Agent (A2A) protocol maakt taakdelegatie tussen meerdere agents mogelijk, waardoor multi-hop aanvraagketens ontstaan die moeilijk te attribueren zijn.

Misbruik van agentische handel op schaal

Wat begin 2025 nog theoretisch was, wordt nu waargenomen in e-commerce en financiële diensten: AI-agents die autonoom aankopen doen, coupons inwisselen, accounts aanmaken en profielen beheren. Het recyclen van promocodes, manipulatie van betaalstromen en automatisering van retourneerfraude zijn nu haalbare aanvalsvectoren.

Implicatie voor detectie: Al deze agenttypen opereren binnen legitieme browseromgevingen. Detectie vereist gedragssignalen die binnen de sessie worden vastgelegd, niet alleen IP-reputatie of user-agent-inspectie.

Hoe je AI-agents op je website blokkeert (stap voor stap)

Stap 1: Identificeer de AI-agents op je website (wie zijn ze)

Met een detectietool:

  • Voor een direct dashboard van frauduleuze AI-agents en crawlerverkeer kun je cside Agent Detection gebruiken.
  • Als je website is verbonden met Cloudflare kun je hun Bot Analytics-dashboard raadplegen voor een overzicht van AI-crawlerverkeer.
  • Voor SEO-specifiek inzicht in AI-crawlerverkeer kun je de loganalyzer van Screaming Frog gebruiken. Deze tool analyseert je ruwe serverlogs en visualiseert een verkeersrapport.

Zelf doen:

Als een AI-crawler zichzelf publiekelijk identificeert, toont het herkenbare signalen op de verzoeklaag. Controleer user-agent-strings in HTTP-verzoeken. Om toegang te krijgen tot deze informatie moet je naar je serverlogs gaan en zoeken naar velden die correleren met AI-agentidentiteiten:

  • GPTBot
  • ChatGPT-User
  • ClaudeBot

Stap 2: Begrijp welke acties AI-agents op je site uitvoeren (wat doen ze)

Met een gespecialiseerde detectietool: AI-agentgovernanceplatforms zoals cside AI Agent Detection of HUMAN Agentic Trust monitoren browseruitvoering, navigatiestromen en gedragspatronen. Dit verschuift de analyse van "is dit een bot?" naar "wat probeert deze bot te bereiken?". Een moderne detectielaag ziet:

  • Of een agent inlog- of afrekenworkflows activeert
  • Herhaalde pogingen op gevoelige endpoints
  • Geautomatiseerde formulierinzendingen

Zelf doen: Handmatig ontdekken wat AI-agents doen vereist het analyseren van serverlogs, verzoektiming en JavaScript-uitvoeringspatronen.

Stap 3: Begrijp de intentie achter AI-agents (vormen ze een risico)

Voorbeeld van vertrouwde en niet-vertrouwde agents uit een AI-agentdetectietool-dashboard (cside)
Voorbeeld van vertrouwde en niet-vertrouwde agents uit een AI-agentdetectietool-dashboard (cside)

De intentie van AI-agents begrijpen vereist onderscheid maken tussen automatisering die nuttig is en automatisering die schadelijk is. Traditionele botdetectietools zijn niet gebouwd om agents te verwerken die menselijk gedrag nabootsen en draaien vanuit de browseromgeving van een echte gebruiker.

Met een gespecialiseerde detectietool: Oplossingen zoals cside AI Agent Detection of het Agent Trust-platform van DataDome zijn gebouwd voor het agentische internet. Ze helpen je onderscheid te maken tussen consumer-AI-agents die helpen bij onderzoek en winkelen versus frauduleuze AI-agents die promotiecodes misbruiken, informatie scrapen of neppe profielen aanmaken.

In plaats van binaire beslissingen op basis van identiteit gebruiken dergelijke platforms geavanceerde risicoscoreregels die zijn opgesteld door beveiligingsingenieurs. Deze kijken naar signalen zoals:

  • Buitensporige of abnormale verzoeken
  • Gebruik van VPN's of proxies
  • Verdachte browseruitvoeringsomgevingen
  • Vingerafdrukken om hergebruik van apparaten te detecteren in risicovolle workflows (zoals inwisseling van promotiecodes)
  • Interacties en gedragsanalyse

Stap 4: Beheer AI-agents op basis van gedrag (blokkeren, vertrouwen of begeleiden)

Zodra je begrijpt wat AI-agents op je site doen, kun je bepalen hoe ze met je website mogen omgaan. De reflexmatige reactie is alles blokkeren behalve crawlers die helpen met SEO of AI-zoeken. Die aanpak is goed voor beveiliging, maar sluit legitieme AI-agents buiten die mogelijk producten onderzoeken, tickets boeken, formulieren invullen of vragen indienen.

Dit is waarom traditionele botdetectie tekortschiet in het agentische tijdperk. Ze bieden je basale toestaan/weigeren-logica. Het agentische tijdperk vereist meer nuance. Agentische "bots" worden dagelijks door consumenten aangemaakt en zijn alomtegenwoordig bij het navigeren op internet. Een volwassen agentische governancestrategie bepaalt: "wat mag deze agentische sessie doen?"

Bijvoorbeeld:

  • Onderzoeksagents hebben mogelijk alleen leestoegang tot je website nodig
  • Taakgebaseerde agents mogen formulieren indienen of informatie opvragen
  • Diezelfde taakgebaseerde agents kunnen hun toestemming voor acties ingetrokken zien op gevoelige pagina's zoals profielbeheerportalen

Platforms zoals cside AI Agent Detection ondersteunen dit soort gedragsgebaseerde governance. Dashboards maken het fraudeteams eenvoudig om gegevens te krijgen om AI-agentmisbruik vroegtijdig te stoppen. Ontwikkelaars krijgen een SDK en bibliotheken om de ervaring voor browsergebaseerde agents aan te passen, wat agentische commerce verder mogelijk maakt.

Waarom robots.txt niet genoeg is om AI-agents te blokkeren

robots.txt is een vrijwillige richtlijn, geen beveiligingsmaatregel. Het verzoekt bepaalde crawlers je site niet te bezoeken, maar verhindert dit technisch gezien niet. Robots.txt kan een nuttig mechanisme zijn om grote crawlers (Meta, ChatGPT, GoogleBot) te blokkeren die beloven deze richtlijn te respecteren, maar het doet weinig om AI-agentfraude te stoppen.

AI-assistenten en zoekcrawlers voldoen niet altijd aan robots.txt

Datavisualisatie: Frequentie van robots.txt-controles door AI-agents en bots.
Datavisualisatie: Frequentie van robots.txt-controles door AI-agents en bots. Bron: 'Scrapers Selectively Respect robots.txt Directives', Duke University

Een academisch onderzoeksrapport uit 2025 van Duke University toont aan dat slechts ~60% van de AI-assistenten en AI-zoekcrawlers 'disallow'-verzoeken in robots.txt bekijkt of naleeft. Dat gemiddelde wordt waarschijnlijk omhoog getrokken door bots van ChatGPT en GoogleBot die de richtlijn 99%+ van de tijd respecteren.

Sommige populaire bots zoals Perplexity respecteren de 'disallow'-richtlijn slechts ~20% van de tijd.

AI-agents die headless browsers gebruiken (zoals op maat gemaakte agents gemaakt door consumenten) respecteren robots.txt het minst, met naleving van 'disallow'-richtlijnen van slechts ~10% van de tijd.

User-agent-spoofing om robots.tx te omzeilen

robots.txt is gebaseerd op zelf opgegeven "user-agent strings". Het is alsof je wordt gevraagd wat je naam is. Je kunt zelf opgeven wat je maar wilt. Als je een evenement wilt binnenkomen en je weet dat de naam "Brad Pitt" op de lijst staat, kun je zeggen dat dat jouw naam is. In de echte wereld word je mogelijk gevraagd bewijs te tonen. robots.txt heeft daarentegen geen manier om te bevestigen dat identiteiten daadwerkelijk geldig zijn.

Frauduleuze agents kunnen dus beweren "Claudebot" of "GPTBot" te zijn. Als die identiteiten zijn toegestaan op je site, laat robots.txt ze gewoon door.

Traditionele botdetectie (zoals Cloudflare) mist AI-agents

Traditionele botdetectiesystemen zijn ontworpen voor een tijdperk waarin automatisering draaide op cloudservers of voor de hand liggende proxynetwerken. Deze systemen vertrouwen sterk op netwerklaagsignalen en reputatiedatabases met beperkt zicht op JavaScript-uitvoering en websiteinteracties.

De opkomst van lokaal gehoste, browsergebaseerde automatisering

Een groeiende categorie automatisering draait nu in echte browseromgevingen:

  • Consumer-agents die draaien als browserextensies zoals Manus of de browserextensie van Claude
  • Automatiseringen gemaakt door ontwikkelaars die headless browsertechnologieën zoals Playwright of Selenium gebruiken op machines of zelfs mobiele apparaten
  • Frauduleuze actoren die open source headless browsertechnologieën gebruiken om aanvallen uit te voeren

Deze categorie agents is deels ontstaan om het voor legitieme consumenten en ontwikkelaars eenvoudig te maken AI-bots te bouwen die met het web communiceren. Het is ook bewust ontstaan als poging om detectie door traditionele botgovernancetools te vermijden.

Screenshot van een headless browser-leverancier die adverteert met de mogelijkheid om traditionele detectietools zoals Cloudflare en DataDome te omzeilen
Deze screenshot is afkomstig van een headless browser-leverancier die we hier niet bij naam noemen, maar die expliciet adverteert met de mogelijkheid om traditionele detectietools zoals Cloudflare en DataDome te omzeilen

Deze headless browsergebaseerde agents identificeren zichzelf niet duidelijk. Ze proberen er juist opzettelijk uit te zien als een echte menselijke gebruiker, wat fraudedetectie moeilijker maakt (en tegelijkertijd analyses vergiftigt).

Het opsporen van headless browsergebaseerde agents vereist een gespecialiseerde AI-agentdetectietool die kijkt naar gedragssignalen en diepgaande browsercontext.

Hoe cside ondernemingen helpt agentische aanvallers te blokkeren

cside-dashboard voor AI-agentdetectie
cside-dashboard voor AI-agentdetectie

cside is een webbeveiligingsplatform, gespecialiseerd in het monitoren van browserlaagsignalen om fraude voor ondernemingen te verminderen. cside AI Agent Detection helpt je agentisch verkeer op je website te identificeren, classificeren en beheren.

  • Krijg een dashboard van welke agents toegang hebben tot je site en wat ze doen
  • Automatische risicoscores op basis van gedragssignalen om slechte AI-agents te detecteren (inclusief browsergebaseerde en lokaal gehoste) die traditionele botbeveiliging omzeilen
  • Geef je ontwikkelaars tools om guardrails te plaatsen rondom wat agents kunnen doen
  • Voorkom AI-agentfraude zoals misbruik van promotiecodes, contentpiraterij, creditcardtesten, kwetsbaarheidsontdekking en geavanceerde scraping

Je kunt beginnen met het bekijken van agentisch verkeer op je website met een gratis account.

Juan Combariza
Growth Marketer

Researching & writing about client side security.

FAQ

Frequently Asked Questions

Je kunt robots.txt gebruiken om AI-crawlers te verzoeken je site niet te bezoeken, maar het is slechts een vrijwillige richtlijn. Grote zoekmachines respecteren dit doorgaans, terwijl kwaadwillende of verkeerd geconfigureerde agents het negeren. robots.txt heeft geen handhavingsmechanisme of identiteitsvalidatie, waardoor het een startpunt is en geen echte fraudepreventie.

Veel traditionele botdetectietools zijn gebouwd voor een tijdperk waarin automatisering afkomstig was van voor de hand liggende cloudinfrastructuur en voorspelbare verkeerspatronen volgde. Moderne AI-agents werken binnen echte browseromgevingen, soms lokaal gehost op apparaten van gebruikers, en zijn ontworpen om menselijk gedrag nauwkeurig na te bootsen, waardoor ze aanzienlijk moeilijker te detecteren zijn.

De juiste aanpak hangt af van je doel. Als je alleen grote zoekcrawlers of LLM-trainingsscrapers wilt beperken, kan robots.txt voldoende zijn. Server-side maatregelen zoals IP-blokkering bieden sterkere handhaving. Om AI-gedreven fraude of browsergebaseerde automatisering te voorkomen, heb je echter een gespecialiseerd AI-agentdetectieplatform nodig, zoals cside.

Een AI-crawler leest doorgaans openbaar beschikbare inhoud en gaat verder nadat pagina's zijn opgehaald. Een frauduleuze AI-agent communiceert actief met je site door inlogformulieren te testen, promotieprocessen te misbruiken, gestructureerde data te scrapen of schadelijke automatisering uit te voeren. Crawlers identificeren zichzelf vaak, terwijl frauduleuze AI-agents hun identiteit verbergen en proberen eruit te zien als legitieme gebruikers.

AI-agentdetectie is het proces van het identificeren van geautomatiseerde browsersessies die worden uitgevoerd door AI-systemen in plaats van menselijke gebruikers. In tegenstelling tot traditionele botdetectie, die zoekt naar automatiseringspatronen aan de serverkant, richt AI-agentdetectie zich op gedragssignalen binnen de browseromgeving: hoe een agent navigeert, JavaScript uitvoert en omgaat met pagina-elementen. Omdat moderne AI-agents werken in echte browseromgevingen en zijn ontworpen om menselijk gedrag na te bootsen, is gespecialiseerde client-side monitoring vereist.

Gespecialiseerde AI-agentdetectietools installeren een lichtgewicht JavaScript-snippet op je site die signalen bewaakt vanuit de browsersessie van de bezoeker. Dit omvat interactiepatronen (muisbeweging, scrollsnelheid, typritme), JavaScript-uitvoeringscontext (headless browser-indicatoren, automatiseringsframeworkartefacten), vingerafdruksignalen (canvas-rendering, WebGL-eigenschappen) en gedragssequenties (navigatiestroom, tijd op element, formuliercompletiepatronen). Deze signalen worden gecombineerd tot een risicoscore per sessie, waardoor beveiligingsteams sessies kunnen blokkeren, uitdagen of toestaan op basis van de beoordeelde intentie.

Gespecialiseerde AI-agentdetectie is de enige van de vier methoden die is gebouwd om fraude te stoppen in plaats van alleen crawlers af te remmen. robots.txt is een vrijwillig verzoek, serverbeheer en IP-regels zijn eenvoudig te omzeilen met residentiële proxy's, en traditionele botdetectie heeft moeite met agents die in echte browsers draaien. Als je te maken hebt met misbruik van promoties, het testen van kaarten of accountovernames door AI-agents, is een tool zoals cside die elke sessie op gedrag scoort de juiste keuze.

Ja, ze lossen verschillende problemen op. robots.txt en serverbeheer zijn goedkope manieren om nette crawlers zoals GPTBot en ClaudeBot af te remmen en onnodige serverbelasting te beperken, dus houd ze aan. Ze doen niets tegen agents die identiteiten vervalsen of in echte browsers draaien, en daar komt gespecialiseerde detectie om de hoek kijken. Zie robots.txt als basishygiëne en cside als de handhavingslaag die het werkelijke gedrag van elke sessie scoort en aanstuurt.

Geef prioriteit aan tools die gedrag binnen de browsersessie analyseren, niet alleen IP-reputatie of user-agent-strings. Let op nauwkeurige detectie van lokaal gehoste headless agents zoals Playwright en Selenium, risicoscores per sessie in plaats van binair toestaan of weigeren, inzicht in wat agents daadwerkelijk doen, en governancecontroles zodat je nuttige consumentagents kunt toelaten terwijl je misbruik blokkeert. cside wordt geïmplementeerd als één first-party script en dekt dit allemaal zonder je verkeer om te leiden.

cside leest meer dan 250 signalen binnen elke browsersessie, waaronder interactiepatronen, de uitvoeringscontext van JavaScript, headless- en automatiseringsartefacten en de apparaatvingerafdruk, en combineert deze tot een risicoscore per sessie. Omdat tools zoals Playwright, Selenium, Manus en Comet in echte browsers draaien en menselijk gedrag nabootsen, kan inspectie op netwerkniveau ze op zichzelf niet zien. cside wordt geïnstalleerd als één first-party snippet en observeert de sessie dus rechtstreeks in plaats van te gissen op basis van IP-reputatie.

Ja, dat onderscheid is precies het doel van gedragsgebaseerde risicoscores. cside classificeert elke sessie op basis van hoe deze navigeert, JavaScript uitvoert, apparaten hergebruikt en gevoelige workflows zoals inloggen of afrekenen raakt, in plaats van een binaire beslissing over identiteit te nemen. Een onderzoeksagent die producten bekijkt krijgt een andere score dan een agent die gestolen kaarten test of promocodes recyclet, zodat je per sessie kunt toestaan, uitdagen of blokkeren en vertrouwde agents zelfs beperkte acties kunt geven via de SDK voor ontwikkelaars.

Je voegt één first-party JavaScript-snippet aan je site toe, zonder DNS-wijziging en zonder verkeer om te leiden, en agentisch verkeer begint in het dashboard te verschijnen. cside staat niet vóór je verkeer; het observeert de sessie en haalt scripts van derden aan zijn eigen kant op. De prijs volgt een gemeten model op basis van sessies of paginaweergaven, met gelaagde abonnementen en een gratis account om te beginnen, dus je kunt met het team overleggen om het te schalen.

Monitor en beveilig je third-party scripts

Gain full visibility and control over every script delivered to your users to enhance site security and performance.

Start gratis, of probeer Business met een proefperiode van 14 dagen.

cside-dashboardinterface met scriptmonitoring en beveiligingsanalyses
Related Articles
Boek een demo

Wil je dit doornemen met een engineer?

Dertig minuten, op je eigen site. Geen slides.

Boek een persoonlijke demo om te zien:

Hoe je in 1 dag voldoet aan PCI DSS-vereisten 6.4.3 en 11.6.1
Waarom scripts van derden een beveiligingsrisico zijn voor jou en je bezoekers
Hoe je privacy- en toestemmingslekken (AVG, CCPA) bij elke derde partij monitort
Hoe je misbruik van aanmeldingen, account sharing en chargeback-fraude stopt met device intelligence
Hoe je AI-agents en bots die je site bereiken in realtime detecteert en beheerst

Liever gewoon een vraag stellen?

Vrije momenten zoeken…

Alleen echte mensen. Wij merken het.

Lukt het boeken niet? Agenda in een nieuw tabblad openen

Wat wil je oplossen?

Vertel het ons in één zin, dan komen we terug met iets bruikbaars in plaats van een standaardverhaal.

Waar we meestal mee helpen:

Zien welke scripts van derden op je site draaien
Bewijs voor PCI DSS 6.4.3 en 11.6.1
Bots, AI-agents en accountovername

Liever meteen een moment inplannen? Kies een tijdstip