Snelle antwoorden

AIGROW biedt monitoring van AI-zichtbaarheid, een bedrijfsassistent, blogpublicatie en afgebakende automatiseringsdiensten. Begin met de gratis scan om het resultaat te bekijken voordat je betaalt.

Voer de gratis scan uit

De scan is gratis en monitoringplannen beginnen bij € 29 per maand. De operationele audit kost € 290, de zichtbaarheidsaudit kost € 490 en voor maatwerk ontvang je vóór de start een schriftelijke prijsopgave.

Bekijk de plannen

Voer de gratis scan uit. Die leest je site, vraagt verschillende AI-assistenten wat je klanten vragen en wijst je op één ding. Aanmelden is niet nodig en de scan vertelt je als je ons niet nodig hebt.

Begin nu

Ja. Gebruik het contactformulier voor vragen over het product, facturatie, ondersteuning of een project. Beschrijf het doel en het betrokken systeem, zodat de eerste reactie specifiek kan zijn.

Neem contact op met AIGROW

Kunnen AI-assistenten je site lezen?

Controleer de robots.txt-regels, noindex- en noai-signalen en HTTP-antwoorden voor je site.

Gratis, zonder account of e-mailadres. De controle duurt enkele seconden.

Een homepage of een andere pagina. Alleen die pagina wordt gecontroleerd.

Deze gratis checker voor AI-crawlers leest robots.txt, controleert meta robots- en X-Robots-Tag-signalen en verstuurt verzoeken met de user agents van AI-crawlers. Elke rij toont de toepasselijke regel en het HTTP-antwoord. De resultaten ‘toegestaan’, ‘geblokkeerd’ en ‘onduidelijk’ beschrijven wat onze server heeft waargenomen. Ze bewijzen niet dat een echte crawler hetzelfde antwoord krijgt.

Hoe deze controle werkt

robots.txt
De robots.txt van de site wordt één keer gelezen. Daarna worden de regels voor elke crawler op de pagina toegepast volgens RFC 9309: de groep die de crawler bij naam noemt, gaat boven de groep voor alle crawlers.
Een verzoek als elke crawler
De pagina wordt opgevraagd met de user agent van elke crawler. De tabel toont de HTTP-status, eventuele verificatie en de verzonden user-agentstring. Google-Extended en Applebot-Extended zijn besturingstokens waarvoor geen apart verzoek wordt verstuurd. Googlebot en Bingbot worden alleen in robots.txt gecontroleerd.
Controleverzoek
De pagina wordt ook opgevraagd als een gewone browser. Als ook dat verzoek wordt geweigerd, zeggen de crawlerverzoeken niets over crawlers in het bijzonder en beoordelen we alleen robots.txt.
De beperking
Onze verzoeken komen vanaf ons eigen adres. Een firewall die de gepubliceerde IP-adressen van een crawler controleert, kan ons verzoek weigeren en de echte crawler toch toelaten. Daarom beoordelen we Googlebot en Bingbot alleen op basis van robots.txt.

Elke crawler in de tabel heeft een eigen pagina in de lijst met AI-crawlers.

Stel een volledig AI robots.txt-bestand samen · Controleer de lengte van je titel en beschrijving

Vragen over AI-crawlers

Voer je domein of het volledige adres van een pagina in en kies ‘Controleer de pagina’. Bekijk de status van elke crawler, de toepasselijke regel in robots.txt en het HTTP-antwoord. Hef ongewenste beperkingen op en controleer opnieuw. Alleen de opgegeven pagina wordt getest. Resultaten kunnen tien minuten in de cache blijven.

Met noindex vraag je zoekmachines een pagina niet in hun index op te nemen. Noai en noimageai geven voorkeuren voor het gebruik van content aan, maar de ondersteuning verschilt per aanbieder. Geen van deze tags voorkomt een HTTP-verzoek. Deze checker toont de waargenomen signalen afzonderlijk van robots.txt en de antwoorden van de firewall.

Zoekcrawlers, zoals OAI-SearchBot, indexeren content om antwoorden te geven. Gebruikerscrawlers halen pagina's op wanneer iemand daarom vraagt. Trainingscrawlers verzamelen content voor de ontwikkeling van modellen. Je kunt je voorkeuren voor training afzonderlijk instellen. Google-Extended regelt ook het gebruik van content als bron voor Gemini, en sommige crawlers die op verzoek van gebruikers werken, negeren mogelijk robots.txt.

Een CDN, firewall of dienst voor botbescherming kan verzoeken op basis van de user agent weigeren, nog voordat robots.txt wordt gelezen. Sommige hebben een instelling voor AI-crawlers. De site opent nog wel in een browser, waardoor de blokkade onopgemerkt blijft.

Nee. llms.txt is een voorgesteld bestand dat de belangrijkste pagina's van een site voor taalmodellen opsomt. Voor de crawlers in deze controle moet robots.txt toegang toestaan en moet de server de pagina beschikbaar stellen. Een llms.txt-bestand verandert daar niets aan.

Nee. Het betekent alleen dat assistenten de pagina kunnen lezen. Of ze een bedrijf noemen, hangt af van wat de pagina en andere sites erover zeggen.

Ontdek wat assistenten over je zeggen

De gratis scan leest je site, controleert dezelfde crawlers en stelt assistenten de vragen die je potentiële klanten stellen.

Start de gratis AI-scan