Vad gör robots.txt?

Robots.txt är en textfil (därav .txt delen!) på en webbplats som berättar för sökmotorerna vilka sidor som ska eller inte ska indexeras! Filen kan begränsa åtkomsten för motorerna till vissa delar av webbplatsen, så det gäller att ha koll på vilka sidor du vill ska synas.

Den jobbar ihop med din sitemap: robots.txt säger vad som inte ska läsas, sitemapen vad som ska.