Har du skapat en ny sida på din webbplats och är nyfiken på hur Google hittar den? Det kallas för crawlspindlar eller crawlers och är metoden Google använder för att hitta nya och uppdaterade sidor.
Google har som affärsidé att kunna leverera de mest relevanta resultaten på användarnas sökbeteende. En del i den processen är att crawla sidor och lägga till dessa till Googles index, d.v.s visas publikt som ett sökresultat. Google använder nämligen automatiserade program som kallas för crawlers för att upptäcka och skanna internet för att hitta nya sidor. När sökmotorroboten (eller crawlspindeln) hittar en ny sida så följer den länkarna på den sidan för att hitta andra sidor för att på så sätt bygga en lista med sidor som ska crawlas. På så sätt katalogiserar sökroboten din hemsida.
Crawl skapar ett relevant sökresultat
Den här processen är en viktig del av Googles arbete då det gör så att världens största sökmotor kan upptäcka och indexera nytt innehåll, som sedan görs tillgängligt för användarna via sökresultatet. Under processens gång byggs en karta upp som får roboten att förstå förhållandet mellan de olika sidorna samt bedöma vilken sida som är viktigast. Slutresultatet blir ett sökresultat som hela tiden hålls uppdaterat och relevant. Så att underlätta för sökrobotarna att förstå din hemsida är alltså väldigt viktigt för din sökmotoroptimering. Detta görs bland annat med hjälp av en sitemap.