Je staat in Google, maar ChatGPT noemt je nooit

Kort antwoord: Blokkeert je robots.txt de AI-crawlers, dan kunnen assistenten je site niet lezen en dus niet citeren. Zet ze bewust aan of bewust uit, maar weet wat er staat.

Herken je dit?

Je rankt prima in Google, maar stel je een assistent een vraag over je eigen onderwerp, dan word je niet genoemd en je concurrent wel. In je analytics zie je er niets van terug, want een antwoord dat jou niet noemt levert ook geen bezoek op om te meten.

Waarom dit pijn doet

Een groeiend deel van je doelgroep stelt de oriëntatievraag niet meer aan een zoekmachine maar aan een assistent: welke partij past bij ons, wat kost dit ongeveer, wie doet dit in Nederland. Dat is precies de fase waarin een shortlist ontstaat. Kom je daar niet in voor, dan val je af voordat de vergelijking begint, en je merkt het nooit.

Het vervelende is dat dit zelden een contentprobleem is. Je kunt het beste artikel van je vakgebied hebben staan; als de crawler er niet in mag, bestaat het niet voor de assistent. Het is meestal één regel in één bestand, vaak ooit neergezet door iemand die schrapers wilde weren.

De fix

• Open jouwdomein.nl/robots.txt en kijk welke crawlers je uitsluit.
• Let specifiek op GPTBot (ChatGPT), ClaudeBot, PerplexityBot en Google-Extended.
• Beslis per crawler of je gelezen wilt worden. Dat is een keuze, geen standaardinstelling.
• Wil je vindbaar zijn, haal die regels weg of geef expliciet toestemming.
• Controleer het opnieuw na een migratie of een nieuw thema, want die zetten de regel vaak terug.

Hoe je het meet

Twee dingen, en ze meten iets anders. In je robots.txt zie je of het mág. Stel daarnaast tien vragen die je ideale klant zou stellen aan ChatGPT, Perplexity en Google AI Mode, en tel in hoeveel antwoorden je genoemd wordt en in hoeveel je geciteerd wordt met een link. Dat tweede getal is je echte uitgangspunt. Herhaal het per kwartaal, want de antwoorden verschuiven.

In HubSpot

Je beheert robots.txt per domein in de instellingen van je website-pagina's, niet als bestand op een server. Pas hem daar aan, anders overschrijft HubSpot je wijziging bij de volgende publicatie.

Wanneer je dit kunt laten

Als je bewust niet gelezen wilt worden. Draai je op unieke research, tarieven of data waar je niet wilt dat een assistent mee weggeeft zonder bron, dan is blokkeren een verdedigbare keuze. Maak die keuze dan expliciet en leg vast waarom, in plaats van hem te erven van een oude instelling.

Veelgemaakte fout

Aannemen dat je al vindbaar bent omdat je in Google staat. Dat zijn andere crawlers met andere regels, en Google-Extended staat los van de gewone Googlebot: je kunt prima ranken en tegelijk uit AI-antwoorden geweerd zijn.