AI og Søkgrowth
AI Crawler Traffic
Se hvilke AI-boter og agenter som faktisk besøker nettstedet
Hva det gjør
AI Crawler Traffic leser serverloggen din (Apache, Nginx, Vercel eller JSON) og finner besøk fra AI-boter ut fra User-Agent. Botlista følger leverandørenes egen dokumentasjon, og hver bot er sortert etter hva den gjør: brukerutløste agenter som ChatGPT-User og Claude-User henter en side fordi en person spurte om noe, AI-søk indekserer for siteringer, og AI-trening samler innhold til modeller. Du ser forespørsler per bot, kanal, side og dag, hvor mange som hentet llms.txt, og en sjekk av agent-infrastrukturen på domenet (llms.txt, robots.txt, strukturerte data og API). Analysen skjer i nettleseren, og loggen lagres ikke hos oss. GA4 ser ikke boter, fordi de ikke kjører JavaScript; derfor trengs loggen.
Problemet
AI-boter og agenter synes ikke i Google Analytics.
- Boter kjører ikke JavaScript, så GA4 teller dem ikke
- Uklart om ChatGPT, Claude og Perplexity faktisk henter sidene dine
- Vanskelig å skille brukerutløste besøk fra crawling til trening
Løsningen
Serverloggen viser hvert besøk, også fra boter.
- Gjenkjenner AI-boter etter leverandørenes dokumenterte User-Agent
- Kanaler: brukerutløste agenter, AI-søk, AI-trening og søkemotor
- Hvilke sider botene besøker, og hvem som henter llms.txt
- Sjekk av agent-infrastrukturen på domenet i samme kjøring
Funksjoner
- Brukerutløste agenter: Besøk fra ChatGPT-User, Claude-User, Perplexity-User og andre som henter en side fordi en person spurte om noe.
- Kanalfordeling: Forespørsler og andel per kanal, med hvilke boter som står bak.
- Sider og llms.txt: De mest besøkte sidene per bot, og hvor mange hentinger av llms.txt og llms-full.txt.
- Agent-infrastruktur: llms.txt, robots.txt, strukturerte data og API sjekket mot domenet ditt.
Slik fungerer det
- Last opp loggen: Last opp eller lim inn en tilgangslogg fra Apache, Nginx, Vercel eller i JSON-format, og oppgi domenet.
- Botene gjenkjennes: Hver linje sjekkes mot en botliste verifisert mot leverandørenes dokumentasjon. Vanlige nettlesere og generiske crawlere telles ikke.
- Rapport: Du ser forespørsler per bot, kanal, side og dag, llms.txt-hentinger og infrastruktursjekken.
Bruksområder
- Se om AI-assistenter bruker innholdet: Brukerutløste agenter viser at noen faktisk har spurt en AI om noe som førte til nettstedet ditt.
- Før du endrer robots.txt: Se hvilke boter som kommer før du blokkerer eller åpner for dem.
Ofte stilte spørsmål
- Hvorfor trengs serverloggen?
- AI-boter kjører ikke JavaScript, så de synes ikke i Google Analytics. Serverloggen registrerer hvert besøk, også fra boter.
- Lagres loggen?
- Nei. Loggen leses i nettleseren din. Bare rapporten lagres, i denne nettleseren, så den overlever en oppdatering av siden.
- Hvilke boter gjenkjennes?
- Botene til OpenAI, Anthropic, Perplexity, Meta, Mistral, DuckDuckGo, Apple, Google (Vertex), ByteDance, Common Crawl og Amazon, pluss Bingbot, etter leverandørenes egen dokumentasjon.
- Hvor mange credits koster det?
- 20 credits per analyse, inkludert sjekken av agent-infrastrukturen.
Prøv AI Crawler Traffic gratis