Kort samengevat: PerplexityBot blokkeren na de uitgeversnalevingscontroverse van 2024
- Het nalevingsprobleem van 2024: De standaardaanname is dat een
Disallow: PerplexityBot-regel het gesprek afsluit. In 2024 meldden Wired, The Atlantic en andere uitgevers dat Perplexity gedetailleerde fragmenten uit door robots.txt-geweerde content bleef tonen, en Perplexity's uitleg was inconsistent. - Handhaving op IP-niveau: PerplexityBot gebruikt
PerplexityBot/1.0 (+https://docs.perplexity.ai/docs/perplexitybot)en Perplexity publiceert IP-ranges in zijn crawlerdocumentatie; een robots.txt-blokkade plus IP-weigering bij de firewall geeft handhaving die niet afhangt van zelfrapportage door de crawler, en terms-of-service-taal voegt een juridische laag toe. - De beslissing: Is je content betaalmuurjournalistiek of origineel onderzoek en zag je fragmenten in Perplexity-antwoorden ondanks een robots.txt-blokkade, escaleer dan dit kwartaal naar IP-blokkade en TOS. Zijn je pagina's marketingcontent en wil je Perplexity-citaties, laat PerplexityBot dan toegestaan en herzie als het nalevingsbeeld verschuift.
Weinig tijd? Bekijk cside's AI-agentdetectie. Dit dekt alles hieronder in één deployment.
PerplexityBot is de gedeclareerde webcrawler die de AI-zoekmachine van Perplexity aandrijft. Wanneer een gebruiker een vraag stelt aan Perplexity, putten de zoekresultaten uit content die PerplexityBot heeft geïndexeerd. In 2024 meldden meerdere uitgevers dat Perplexity auteursrechtelijk beschermde content van hun sites in zoekresultaten reproduceerde ondanks robots.txt-blokkeringen, waarmee PerplexityBot een van de meer controversiële AI-crawlers werd om te blokkeren.
Deze gids gaat specifiek over PerplexityBot. Als je de shopping agent van Perplexity wilt beheersen, zie dan onze begeleidende post over hoe je Perplexity Shopper blokkeert, want dat vereist een volledig andere aanpak. Voor het bredere patroon over gedeclareerde crawlers heen, zie onze gids voor het blokkeren van AI-agent content-scrapingbots.
Wat Is PerplexityBot?
Snel antwoord: PerplexityBot is de AI-zoekcrawler van Perplexity. Het indexeert webcontent om de door AI gegenereerde zoekresultaten van Perplexity aan te drijven. Het identificeert zichzelf met een gedeclareerde user-agent-string en is gedocumenteerd op docs.perplexity.ai. In 2024 kreeg het aanzienlijke kritiek van uitgevers vanwege schijnbare niet-naleving van
robots.txten reproductie van content zonder voldoende bronvermelding.
De user-agent van PerplexityBot: PerplexityBot/1.0 (+https://docs.perplexity.ai/docs/perplexitybot)
De controverse van 2024 is relevante context voor je blokkeringsbeslissing. Meerdere grote uitgevers, waaronder mediabedrijven en nieuwsorganisaties, meldden dat Perplexity gedetailleerde reproducties van hun content achter een betaalmuur of via robots.txt afgeschermd in AI-zoekantwoorden naar voren bracht. Perplexity betwistte sommige van deze karakteriseringen, maar de kwestie stelde vast dat de naleving van PerplexityBot actiever wordt aangevochten dan die van GPTBot of ClaudeBot.
De Nalevingscontroverse van 2024
Snel antwoord: In 2024 meldden Wired, The Atlantic en andere uitgevers dat Perplexity content van hun sites in AI-zoekresultaten reproduceerde ondanks
Disallow: PerplexityBotin hunrobots.txt. De verklaringen van Perplexity destijds waren inconsistent, wat ertoe leidde dat verschillende uitgevers aanvullende technische en juridische stappen ondernamen.
De zorg ging dieper dan alleen crawlen. Samenvatting en reproductie bleven optreden, zelfs wanneer PerplexityBot robots.txt respecteerde voor zijn directe crawl, omdat Perplexity dezelfde content via andere wegen kon benaderen en samenvatten: gecachte kopieën, gegevensbronnen van derden of live browsing-infrastructuur. Het netto resultaat was, vanuit het perspectief van uitgevers, dat hun content in Perplexity-antwoorden verscheen ongeacht hun robots.txt-instellingen.
De controverse verliep ongeveer in deze volgorde tussen 2024 en 2025:
- Uitgevers voegden
Disallow: PerplexityBottoe aan hunrobots.txt. - Beperkte content bleef verschijnen, als fragmenten binnen de AI-antwoorden van Perplexity.
- Wired en The Atlantic rapporteerden de schijnbare niet-naleving.
- Perplexity betwistte de karakteriseringen; de verklaringen waren inconsistent.
- Verschillende uitgevers escaleerden naar IP-blokkering plus juridische of servicevoorwaarden-acties.
robots.txt-blokkering heeft nog steeds waarde voor PerplexityBot, maar de reikwijdte ervan is beperkt tegen een zoekproduct met meerdere kanalen voor contentverwerving. Blokkering op IP-niveau en actieve monitoring bieden betrouwbaardere handhaving.
Hoe Blokkeer Je PerplexityBot met robots.txt
Snel antwoord: Voeg
PerplexityBottoe aan jerobots.txt. Gezien de nalevingscontroverse van 2024 implementeer je ook blokkering op IP-niveau en overweeg je om juridische bepalingen aan je gebruiksvoorwaarden toe te voegen die het verzamelen van AI-trainingsgegevens en AI-zoeksamenvattingen expliciet beperken.
Om PerplexityBot van je hele site te blokkeren:
User-agent: PerplexityBot
Disallow: /
Voor controle op padniveau:
User-agent: PerplexityBot
Disallow: /premium/
Disallow: /members/
Disallow: /api/
Allow: /public/
Gezien de controverse van 2024 behandel je robots.txt voor PerplexityBot als een signaal van intentie in plaats van een harde technische beheersmaatregel. Dezelfde aanpak voor gedeclareerde crawlers is betrouwbaarder voor crawlers met een schonere nalevingsgeschiedenis, zoals CCBot.
Blokkeren op IP-Niveau
Snel antwoord: Perplexity publiceert de IP-ranges van PerplexityBot in zijn documentatie. Het weigeren van deze ranges op firewall- of CDN-niveau biedt handhaving die onafhankelijk is van de vraag of de crawler
robots.txtleest. Voor uitgevers of content-intensieve sites is blokkering op IP-niveau de betrouwbaardere aanpak gezien de nalevingsgeschiedenis.
Zoek de actuele IP-ranges van Perplexity op in hun officiële documentatie op docs.perplexity.ai. Voeg ze toe aan je firewall, je CDN-edge-configuratie of de deny-regels van je reverse proxy. Bekijk deze lijst elk kwartaal, want de IP-ranges van crawlinfrastructuur breiden uit naarmate het crawlvolume groeit.
PerplexityBot vs. Perplexity Shopper: Een Cruciaal Onderscheid
Snel antwoord: PerplexityBot (de indexerende crawler) en Perplexity Shopper (de transactie-uitvoerende agent) zijn aparte systemen. Het blokkeren van PerplexityBot heeft geen effect op Perplexity Shopper. Shopper gebruikt een echte browsersessie met een standaard Chrome user-agent. Het vereist detectie op browserniveau, geen
robots.txt-blokkering.
| Systeem | Doel | User-agent | Detectieaanpak |
|---|---|---|---|
| PerplexityBot | Crawlt en indexeert content | PerplexityBot/1.0 (gedeclareerd) | robots.txt + IP-blokkering |
| Perplexity Shopper | Voltooit aankopen voor gebruikers | Standaard Chrome (niet-gedeclareerd) | Gedragssignalen op browserniveau |
Engineers die PerplexityBot aan robots.txt toevoegen en het Perplexity-probleem als opgelost beschouwen, hebben slechts één van de twee systemen aangepakt. Perplexity Shopper is onzichtbaar voor alles binnen de blocklist-aanpak. In cside's gecontroleerde tests misten traditionele tools AI-agenten in 81 van de 100 gecontroleerde testscenario's, en Shopper is precies het soort sessie dat die tools missen.
Hoe dat er in de praktijk uitziet: een Perplexity Shopper-sessie met de opdracht om een specifiek product te kopen, opent een echte Chrome-sessie, navigeert naar de categoriepagina van een retailer, filtert op de gevraagde specificatie, selecteert een product en gaat door naar de checkout. Elk signaal op netwerkniveau is schoon: een residentieel IP-adres, een standaard TLS-handshake en een Chrome-user-agent-string die niet te onderscheiden is van een menselijke shopper. De verraderlijke aanwijzing zit in de browserlaag. De agent doorloopt de productfiltering zonder enige variatie in cursorbeweging, selecteert het eerste in aanmerking komende resultaat zonder te pauzeren om alternatieven te vergelijken, en voert adresgegevens in met een uniform toetsaanslaginterval zonder correctiegebeurtenissen. cside's AI agent detection-instrumentatie legt die anomalieën op de interactielaag vast voordat enige checkout-gebeurtenis wordt geactiveerd, waardoor operators inzicht krijgen dat de netwerklaag nooit biedt.
Wat Het Blokkeren van PerplexityBot Daadwerkelijk Bereikt
Snel antwoord: Een PerplexityBot-blokkering voorkomt dat de gedeclareerde crawler je content rechtstreeks indexeert in toekomstige crawlruns. Het voorkomt niet dat Perplexity naar eerder geïndexeerde content verwijst, je content via bronnen van derden benadert of samenvattingen in AI-zoekresultaten naar voren brengt via andere kanalen dan directe crawling.
robots.txt en IP-blokkering beheren alleen de gedeclareerde crawl. De andere drie kanalen bereiken hoe dan ook een Perplexity-antwoord:
| Acquisitiekanaal | Wat het is | Gestopt door robots.txt + IP-blokkering? |
|---|---|---|
Gedeclareerde crawl (PerplexityBot) | De benoemde crawler van Perplexity die directe verzoeken doet | Ja (het enige pad dat het beheert) |
| Gecachte webkopieën | Content die al is geïndexeerd in de kennisbank van Perplexity | Nee (buiten het bereik van robots.txt) |
| Datalicenties van derden | Gesyndiceerde, geaggregeerde en gelicentieerde datasets | Nee (buiten het bereik van robots.txt) |
| Live browsen op verzoek | Ophalen op aanvraag wanneer een gebruikersquery een zoekopdracht activeert | Nee (buiten het bereik van robots.txt) |
Dit is de beperking die de controverse van 2024 blootlegde. Robots.txt blokkeert een specifieke crawler van het doen van nieuwe verzoeken. Het wist geen bestaande geïndexeerde content uit de kennisbank van een zoekproduct, en het voorkomt geen contentverwerving via alternatieve kanalen die de crawler zelf niet rechtstreeks gebruikt.
Voor organisaties met strikte eisen (content achter een betaalmuur, eigen onderzoek, gelicentieerd materiaal) biedt de combinatie van robots.txt, IP-blokkering, juridische bepalingen in de gebruiksvoorwaarden en technische contentbescherming zoals authenticatiemuren en dynamische rendering een vollediger beschermingspositie dan welke afzonderlijke aanpak dan ook.
