Vad är crawling?
Kort svar
Crawling innebär att sökmotorers robotar besöker och hämtar innehåll från webbadresser. Google använder bland annat Googlebot för att upptäcka nya sidor och uppdatera befintliga.
Svaret är skrivet för att både Google och AI-söktjänster som ChatGPT ska kunna läsa och citera det direkt.
Fördjupning
Google hittar webbadresser via länkar och sitemaps, men crawling innebär inte per automatik att sidan indexeras. Robots.txt kan styra robotens åtkomst, men inte pålitligt förhindra indexering av själva URL:en. För att förstå nästa steg, se vad är indexering.
Relaterade frågor
Kunskapsguiden är framtagen av HelloSEO.se – byggd för SEO och GEO (Google och AI-sök som ChatGPT)