Apple gebruikt twee verschillende webcrawlers. De standaard Applebot voedt Siri, Spotlight Search en de contentsuggesties van Safari. Hij bestaat al jaren en gedraagt zich als een conventionele zoekmachinecrawler. Applebot-Extended is nieuwer, geïntroduceerd naast Apple Intelligence, en verzamelt webcontent specifiek voor het trainen van AI-modellen en generatieve functies.
Het blokkeren van de standaard Applebot heeft invloed op de prestaties van je site in Apples zoek- en ontdekkingsproducten. Het blokkeren van Applebot-Extended specifiek meldt je af voor Apples AI-trainingspijplijn zonder invloed op de standaard zoekfuncties van Apple. De twee vereisen afzonderlijke robots.txt-regels. Als je de bredere lijst met AI-crawlers doorwerkt, geldt dezelfde aanpak voor andere zoals Anthropics ClaudeBot en Common Crawls CCBot.
Standaard Applebot versus Applebot-Extended
Snel antwoord: De standaard Applebot is Apples zoek- en ontdekkingscrawler. Applebot-Extended is Apples AI-trainingscrawler, gebruikt om content te verzamelen voor Apple Intelligence en de ontwikkeling van basismodellen. Ze gebruiken verschillende user-agent-strings. Het blokkeren van de ene blokkeert de andere niet.
| Crawler | Doel | User-agent |
|---|---|---|
| Applebot | Siri, Spotlight, Safari-suggesties, zoekindexering | Applebot/0.1 |
| Applebot-Extended | AI-training voor Apple Intelligence, generatieve functies | Applebot-Extended/0.1 |
Dit onderscheid is belangrijk omdat de meeste site-eigenaren die het verzamelen van AI-trainingsdata willen blokkeren, hun relatie met Apples zoek- en ontdekkingsfuncties niet willen verbreken. Het blokkeren van Applebot-Extended is chirurgisch: het meldt je af voor AI-training zonder je site te verwijderen uit Siri-suggesties, Spotlight-zoekresultaten of Safari-contentfuncties.
Wat Is Apple Intelligence en Waarom Voedt Applebot-Extended Het?
Snel antwoord: Apple Intelligence is Apples AI-systeem, aangekondigd op WWDC 2024, ingebouwd in iOS 18, iPadOS 18 en macOS Sequoia. Het voedt schrijfhulp, beeldgeneratie, Siri-verbeteringen en generatieve functies in Apples apparaatecosysteem. Applebot-Extended verzamelt webcontent die deze AI-mogelijkheden traint en verbetert.
Apple Intelligence draait voor veel functies op het apparaat zelf en gebruikt Apples serverinfrastructuur voor complexere taken. De modellen die deze functies aandrijven, vereisen trainingsdata van het web, en dat is wat Applebot-Extended verzamelt. Naarmate Apple de mogelijkheden van Apple Intelligence uitbreidt (meer diepgang in Siri, betere schrijfsuggesties, rijkere generatieve functies) zal de crawl-activiteit van Applebot-Extended waarschijnlijk toenemen.
Hoe Blokkeer Je Applebot-Extended (Zonder de Standaard Applebot te Blokkeren)
Snel antwoord: Gebruik afzonderlijke
robots.txt-vermeldingen voorApplebot-ExtendedenApplebot. EenDisallow: /onderApplebot-Extendedblokkeert het verzamelen van AI-trainingsdata. DoorApplebotonbeperkt te laten, behoud je de aanwezigheid van je site in Siri-, Spotlight- en Safari-functies.
Om Applebot-Extended te blokkeren terwijl je de toegang van de standaard Applebot behoudt:
User-agent: Applebot-Extended
Disallow: /
User-agent: Applebot
Allow: /
Of met padniveau-beperkingen op de standaard Applebot:
User-agent: Applebot-Extended
Disallow: /
User-agent: Applebot
Disallow: /account/
Disallow: /checkout/
Allow: /
Apple documenteert dit proces in zijn officiële Applebot-documentatie. De documentatie beschrijft Applebot-Extended expliciet en biedt het afmeldmechanisme.
Hoe Blokkeer Je Beide Applebot-Varianten
Snel antwoord: Als je alle geautomatiseerde toegang van Apple wilt beperken, zowel standaard zoeken als AI-training, voeg dan beide user-agents toe aan je
robots.txt. Dit verwijdert je site uit Siri-suggesties en Spotlight-resultaten, evenals uit de training van Apple Intelligence.
User-agent: Applebot-Extended
Disallow: /
User-agent: Applebot
Disallow: /
De meeste site-eigenaren melden zich alleen af voor Applebot-Extended. Het blokkeren van de standaard Applebot is een belangrijke beslissing die de vindbaarheid van je content op Apple-apparaten vermindert. Het is de moeite waard om de blokkering te beperken tot de specifieke crawler die dataproblemen oproept.
Waarom Je Applebot-Extended Zou Kunnen Blokkeren
Snel antwoord: De redenen om Applebot-Extended te blokkeren zijn vergelijkbaar met de redenen om andere AI-trainingscrawlers te blokkeren: bedrijfseigen content, gelicentieerd materiaal, IP-bezwaren of expliciet organisatiebeleid over AI-trainingsdata. De afweging om te blokkeren is enigszins eenvoudiger omdat je het kunt doen zonder Apples zoekfuncties te verbreken.
Specifieke redenen waarom organisaties Applebot-Extended blokkeren:
- Gelicentieerde content: Uitgevers met content die voor specifiek gebruik is gelicentieerd, mogen die content wettelijk niet toelaten in AI-trainingspijplijnen zonder afzonderlijke toestemming
- Concurrerende content: Bedrijven met bedrijfseigen prijs-, product- of onderzoeksdata willen die data niet in Apples AI-trainingscorpus
- Beleidsnaleving: Organisaties met expliciet databeheerbeleid dat het verzamelen van AI-trainingsdata beperkt
- Voorkeur voor controle: Een algemene voorkeur om je af te melden voor AI-trainingsdataprogramma's voordat de volledige implicaties van opname duidelijk zijn
Het afmeldmechanisme dat Apple biedt, is netter dan wat de meeste AI-crawlers aanbieden: afzonderlijke user-agents met gedocumenteerd gedrag, expliciete Apple-documentatie en een nalevingsgeschiedenis die aansluit bij Apples bredere benadering van relaties met ontwikkelaars en uitgevers. Hetzelfde robots.txt-patroon is uitbreidbaar naar het bredere probleem van het blokkeren van AI-contentscrapers bij elke aangegeven crawler die de standaard respecteert.
Detectie op Browserniveau: Wat het Blokkeren van Applebot-Extended Niet Dekt
Snel antwoord: Het blokkeren van Applebot-Extended beheert Apples trainingsdatapijplijn. Het beheert geen toekomstige agentische Apple Intelligence-producten die je site namens gebruikers bezoeken, of enige andere onaangegeven AI-agent die in een echte browsersessie opereert. Die vereisen detectie op browserniveau.
Apples huidige focus met Apple Intelligence ligt op verwerking op het apparaat en AI-ondersteunde functies. Maar de richting van AI-ontwikkeling gaat naar agentische producten die namens gebruikers browsen en transacties uitvoeren. Als Apple agenten bouwt of mogelijk maakt die taken voltooien via echte browsersessies, zullen die sessies de Applebot-Extended-user-agent niet dragen en niet worden beïnvloed door je robots.txt-blokkering.
cside opereert binnen de browsersessie en legt de gedragssignalen bloot die door machines uitgevoerde sessies onderscheiden van menselijk browsen: timing van interacties, lineariteit van navigatie, vingerafdrukkenmerken en patronen van JavaScript-uitvoering. In cside's gecontroleerde tests misten traditionele tools AI-agenten die binnen echte browsersessies opereerden in 81 van de 100 scenario's. Voor organisaties die zowel aangegeven crawlers als onaangegeven browseragenten willen dekken, bieden robots.txt en monitoring op browserniveau samen de volledige beveiligingspositie.
Bekijk eens hoe een agentische Apple Intelligence-taak eruitziet op browserniveau. Een gebruiker op een iPhone vraagt Siri om abonnementsplannen van twee SaaS-aanbieders te vergelijken en de goedkopere jaaroptie aan te bevelen. Siri delegeert aan een agent die een WebKit-sessie opent, naar elke prijspagina navigeert en tabelgegevens extraheert. Het verzoek arriveert met een standaard Safari-user-agent en een legitieme iOS-apparaatvingerafdruk. Er is geen Applebot-Extended-header omdat dit geen trainingscrawl is, maar een agentische productsessie. De agent voltooit beide prijspagina's in minder dan 20 seconden, scrolt programmatisch naar de prijssectie zonder enige verkennende navigatie, en dient geen formulierinteracties in. Die gedragssignalen (smal scrollpad, nul variatie in verblijfsduur, geen terugkeernavigatie) zijn onzichtbaar op netwerkniveau en worden alleen blootgelegd door instrumentatie die binnen de browsersessie draait. Voor een diepere blik op hoe agentische sessies robots.txt volledig omzeilen, zie onze gids voor het blokkeren van AI-agent contentscraping-bots.
