Of een AI-assistent jouw bedrijf noemt, hangt maar voor een klein deel af van hoe je schrijft. Het hangt vooral af van zeven technische dingen die je in een middag zelf kunt nakijken. Per check staat hieronder wat je doet en wat een goede uitkomst is.
Op 21 augustus 2026 kondigde Cloudflare Bot Preference Sync aan: een functie die je robots.txt automatisch laat meelopen met het AI-botbeleid uit het Cloudflare-dashboard. Je eigen regels blijven staan, maar er komt iets boven. De functie rolt vanaf de week van 24 augustus uit over alle pakketten en staat bij nieuwe klanten standaard aan.
Handig bedoeld. Maar het betekent dat het bestand dat crawlers op jouw domein ophalen niet meer per definitie het bestand is dat jij hebt geschreven.
Tegelijk is dit het eerste jaar dat je de uitkomst kunt meten. Microsoft haalde het AI Performance-rapport in Bing Webmaster Tools op 11 februari 2026 uit preview: je ziet daar hoe vaak je pagina's in Copilot worden aangehaald, en op welke vragen.
Leg het bestand in je browser naast het bestand dat jij beheert, en kijk welke bots erin genoemd worden.
goede uitkomst: beide zijn gelijk, of je weet welke laag het verschil maaktTraining, zoeken en citeren zijn losse crawlers met losse gevolgen; GPTBot dichtzetten haalt je niet uit de antwoorden.
goede uitkomst: een bewuste keuze; training mag je weigeren, zoeken en citeren nooitTel je pagina's met site:jouwdomein.nl, leg dat naast je sitemap en open het AI Performance-rapport in Bing Webmaster Tools.
goede uitkomst: elke sitemap-pagina staat in Bing en het AI-rapport is niet leegControleer of het IndexNow-sleutelbestand in de hoofdmap staat en of je publicatieproces de melding echt verstuurt.
goede uitkomst: je kunt de melding aanwijzen en de laatste gaf een 200 of 202 terugOpen de paginabron en zoek met ctrl-F een letterlijke zin terug, ook op je dienstenpagina's.
goede uitkomst: je tekst staat in de broncode van elke pagina die je gevonden wilt hebbenControleer of elke belangrijke pagina een JSON-LD-blok heeft dat klopt met wat er werkelijk staat.
goede uitkomst: een geldig schema-blok per belangrijke pagina, zonder er meer van te verwachtenEen samenvatting en wegwijzer voor taalmodellen in de hoofdmap; geen grote aanbieder heeft toegezegd hem te gebruiken.
goede uitkomst: hij staat er, kostte een half uur, en je verwacht er niets vanOpen jouwdomein.nl/robots.txt in een privevenster en leg het naast het bestand zoals het in je project of je CMS staat. Staat er meer in de browser, dan schrijft iets anders mee: je CDN, een securityplugin of je hosting. Kijk daarna wie er genoemd wordt. De namen die vandaag tellen zijn GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended en Applebot-Extended.
Goede uitkomst: het bestand in je browser is hetzelfde als het bestand dat jij beheert, of je weet welke laag het verschil maakt en waarom.
Hier gaat het vaak mis, omdat "AI blokkeren" geen knop is maar een reeks losse keuzes. OpenAI gebruikt drie crawlers met elk een eigen doel: GPTBot haalt materiaal op voor training, OAI-SearchBot bouwt de index waar de bronvermeldingen in ChatGPT uit komen, en ChatGPT-User haalt een pagina op wanneer een gesprek daar om vraagt.
Blokkeer je GPTBot, dan weiger je training, maar je verdwijnt niet uit de antwoorden. Blokkeer je OAI-SearchBot, dan verdwijn je uit de bronvermeldingen zonder training tegen te houden. Bij Google speelt hetzelfde in andere vorm: Google-Extended dichtzetten haalt je niet uit AI Overviews, want die hangen aan de gewone zoekindex. Cloudflare hanteert precies dat onderscheid: Search, Agent en Training.
Goede uitkomst: je hebt bewust gekozen. Voor de meeste mkb-bedrijven is dat: training mag je weigeren als je dat wilt, zoeken en citeren nooit.
Zoek site:jouwdomein.nl op in Bing, tel de pagina's en leg dat naast je sitemap. Meld je site daarna aan in Bing Webmaster Tools en open het AI Performance-rapport. Staat alles op nul terwijl je pagina's netjes in de index staan, dan is het een inhoudelijk verhaal. Staan je pagina's er helemaal niet, dan is het omgekeerd.
Goede uitkomst: elke pagina uit je sitemap komt terug in Bing, en het AI-rapport is niet leeg.
IndexNow is het protocol waarmee je een zoekmachine direct meldt dat er iets nieuws staat, in plaats van te wachten tot een crawler langskomt. Het vraagt een sleutelbestand in de hoofdmap van je site en een aanroep bij elke publicatie. Omdat Bing de motor onder Copilot is, werkt het door in AI-antwoorden.
Controleer of dat sleutelbestand er staat en of je publicatieproces de melding echt verstuurt. Een script dat stil faalt is hier de klassieke valkuil: er verandert niets zichtbaar, dus niemand merkt het.
Goede uitkomst: je kunt aanwijzen waar in je publicatieproces de melding zit, en de laatste keer gaf een 200 of 202 terug.
Veel AI-crawlers voeren geen of maar beperkt JavaScript uit. Wordt je tekst pas door een script ingeladen, dan ziet zo'n crawler een lege pagina. Google gaat hier soepeler mee om, en juist daardoor kun je netjes in Google staan en nergens in AI-antwoorden.
De test duurt tien seconden: klik met rechts, kies "paginabron weergeven" en zoek met ctrl-F een letterlijke zin uit je eigen tekst terug. Doe dit ook op je dienstenpagina's, niet alleen op de homepage. Zware page builders zijn hier de vaste boosdoener.
Goede uitkomst: je vindt je tekst terug in de broncode, op elke pagina die je gevonden wilt hebben.
Gestructureerde data via schema.org vertelt een machine wat er op je pagina staat: Organization, Article of BlogPosting, FAQPage, BreadcrumbList. Controleer of elke belangrijke pagina zo'n JSON-LD-blok heeft en of het klopt met wat er werkelijk staat.
Wees eerlijk over wat het oplevert. Aangehaalde pagina's bevatten ongeveer drie keer zo vaak JSON-LD, en dat cijfer wordt graag als bewijs opgevoerd. Maar een onderzoek onder 1.885 pagina's die JSON-LD toevoegden, vergeleken met circa 4.000 pagina's zonder die wijziging, vond geen duidelijke groei in aanhalingen. Het correleert, het veroorzaakt niet.
Goede uitkomst: elke belangrijke pagina heeft een geldig schema-blok dat overeenkomt met de inhoud. Meer verwachten is niet realistisch.
Er is een voorgestelde standaard, llms.txt, waarin je taalmodellen in de hoofdmap van je site een samenvatting en een wegwijzer geeft. Het eerlijke beeld is niet vrolijk: geen enkele grote AI-aanbieder heeft officieel toegezegd het te gebruiken, en een analyse van 300.000 domeinen vond geen statistisch verband met aangehaald worden. Het kost een half uur en kan geen kwaad, dus zet hem neer. Maar wie het je verkoopt als de oplossing voor AI-vindbaarheid, verkoopt je lucht. De zes checks hierboven doen het werk.
Kijk terug naar waar die checks zitten. Een bestand in de hoofdmap. Een botinstelling in een CDN-dashboard. Een stap in je publicatieproces. HTML die leesbaar is zonder JavaScript. Gestructureerde data in de broncode. Geen enkele daarvan is een tekst die je in een editor typt.
Vallen er een paar tegen, dan is de vraag zelden wat er moet veranderen. Dat is meestal binnen een uur duidelijk. De vraag is wie het doet. Zit je site achter een stapel plugins of bij een bureau dat de sleutels heeft, dan is elk punt een ticket, een wachtrij en een factuur.
En het blijft niet bij een keer. In het afgelopen half jaar kwam er een AI-rapportage bij een zoekmachine, een opt-out bij een andere, nieuwe crawlernamen, en werd je robots.txt iets wat je CDN kan bijschrijven. De vraag is niet of je een keer kunt aanpassen, maar of je kunt blijven aanpassen.
Geen van de punten is tekst die je in een editor typt. Het zit in een bestand in de hoofdmap, een CDN-dashboard, je publicatieproces en je HTML.
Wat er moet veranderen is meestal binnen een uur duidelijk. De vraag is wie het doet: achter een stapel plugins of bij een bureau met de sleutels is elk punt een ticket, een wachtrij en een factuur.
Vandaag klopt het. In een half jaar kwamen er een AI-rapport, een opt-out en nieuwe crawlernamen bij; de vraag is of je kunt blijven aanpassen.
Wij bouwen websites in eigen beheer: eigen code, eigen hosting, niets tussen jou en je robots.txt. Niet omdat eigen beheer per definitie mooier is, maar omdat dit soort onderhoud anders blijft liggen. Hoe die overstap eruitziet staat op de pagina van WordPress naar eigen beheer.
Wil je eerst de achtergrond, lees dan vindbaar worden in ChatGPT en Perplexity: daar staan de vijf lagen onder deze checklist. Het is dezelfde afhankelijkheid als bij je bedrijfssoftware, zie Data Act: vanaf 2027 mag overstappen niets kosten.
Met zeven checks die je in een middag kunt doen: lees je robots.txt zoals een crawler hem krijgt, weet welke bot je blokkeert en waarvoor, controleer of je in Bing staat en daar wordt aangehaald, controleer of je publicatieproces echt een IndexNow-melding verstuurt, zoek een letterlijke zin terug in je paginabron, controleer of elke belangrijke pagina een geldig schema-blok heeft, en zet llms.txt neer zonder er iets van te verwachten.
Nee. Training, zoeken en citeren lopen via losse crawlers met losse gevolgen. GPTBot dichtzetten weigert het gebruik van je content voor training, maar haalt je niet uit de antwoorden. Wil je zichtbaar blijven, dan mag je training weigeren, maar zoeken en citeren nooit. "AI blokkeren" is dus geen enkele knop.
Omdat er tussenlagen kunnen meeschrijven. Cloudflare kondigde op 21 augustus 2026 Bot Preference Sync aan, dat je robots.txt laat meelopen met het AI-botbeleid uit het Cloudflare-dashboard; die functie rolt vanaf de week van 24 augustus uit over alle pakketten en staat bij nieuwe klanten standaard aan. Leg daarom het bestand in je browser naast het bestand in je project, en weet welke laag het verschil maakt.
In het AI Performance-rapport in Bing Webmaster Tools, dat Microsoft op 11 februari 2026 uit preview haalde. Daar staat hoe vaak je pagina's in Copilot worden aangehaald en op welke vragen. Google Search Console rapporteert sinds 3 juni 2026 apart over generatieve AI-features, maar geeft alleen vertoningen.
Dan lopen AI-crawlers het risico een lege pagina te zien, want veel van hen voeren geen of maar beperkt JavaScript uit. De check is simpel: open de paginabron en zoek met ctrl-F een letterlijke zin uit je tekst terug. Kun je die niet vinden, dan staat je tekst er voor een crawler niet.
In de whitepaper lees je wat de verborgen rekening van je huidige site is en hoe de overstap in een week verloopt.
Download de whitepaper