Hur fungerar sökmotorer?

I den här guiden ger vi dig en introduktion till hur sökmotorer fungerar. Detta kommer att täcka processerna för crawlning och indexering samt begrepp som crawlbudget och PageRank.

Sökmotorer fungerar genom att crawla hundratals miljarder sidor med hjälp av sina egna webcrawlers. Dessa webcrawlare kallas vanligen för sökmotorrobotar eller spindlar. En sökmotor navigerar på webben genom att ladda ner webbsidor och följa länkar på dessa sidor för att upptäcka nya sidor som har gjorts tillgängliga.

Sökmotorindexet

Webbsidor som har upptäckts av sökmotorn läggs till i en datastruktur som kallas index.

Indexet innehåller alla upptäckta webbadresser tillsammans med ett antal relevanta nyckelsignaler om innehållet i varje webbadress, till exempel:

• De nyckelord som upptäckts i sidans innehåll – vilka ämnen täcker sidan?
• Den typ av innehåll som kryssas (med hjälp av mikrodata som kallas Schema) – vad ingår på sidan?
• Sidans färskhet – hur nyligen uppdaterades den?
• Den tidigare användarengagemanget för sidan och/eller domänen – hur interagerar människor med sidan?

Vad är syftet med en sökmotoralgoritm?

Sökmotoralgoritmens syfte är att presentera en relevant uppsättning sökresultat av hög kvalitet som uppfyller användarens förfrågan/fråga så snabbt som möjligt.

Användaren väljer sedan ett alternativ från listan med sökresultat och denna handling, tillsammans med efterföljande aktivitet, matas sedan in i framtida inlärning som kan påverka sökmotorns rankning framåt.

Vad händer när en sökning utförs?

När en användare skriver in en sökfråga i en sökmotor identifieras alla sidor som anses vara relevanta från indexet och en algoritm används för att hierarkiskt rangordna de relevanta sidorna till en uppsättning resultat.

Algoritmerna som används för att rangordna de mest relevanta resultaten skiljer sig åt för varje sökmotor. Till exempel kan en sida som rankas högt för en sökfråga i Google inte rankas högt för samma fråga i Bing.

Förutom sökfrågan använder sökmotorerna andra relevanta uppgifter för att återge resultaten, bland annat:

• Plats – Vissa sökfrågor är platsberoende, t.ex.
• Språk som upptäcks – Sökmotorer returnerar resultat på användarens språk, om det kan upptäckas.
• Tidigare sökhistorik – Sökmotorer returnerar olika resultat för en sökfråga beroende på vad användaren tidigare har sökt efter.
• Device – A different set of results may be returned based on the device from which the query was made.

Why Might a Page Not be Indexed?

There are a number of circumstances where a URL will not be indexed by a search engine. This may be due to:

• Robots.txt file exclusions – a file which tells search engines what they shouldn’t visit on your site.
• Directives on the webpage telling search engines not to index that page (noindex tag) or to index another similar page (canonical tag).
• Search engine algorithms judging the page to be of low quality, have thin content or contain duplicate content.
• The URL returning an error page (e.g. a 404 Not Found HTTP response code).

Next: Search Engine Crawling

Author