robots.txt är en fil som talar om för kompatibla crawlers vilka delar av webbplatsen de får eller inte får crawla.
På vanlig svenska
Det här är en del av hur söksystem hittar, tolkar, jämför eller visar information. Du behöver inte bli SEO-tekniker för att förstå nyttan. Den viktiga frågan är vilket jobb begreppet beskriver: upptäckt, förståelse, placering, presentation eller mätning. När du vet det blir jargongen betydligt mindre märkvärdig.
Ett verkligt exempel
Du kan blockera crawling av ett tekniskt område som inte behöver hämtas om och om igen.
Poängen är relationen: en riktig person har ett behov och söksystemet försöker koppla behovet till användbar information. Begreppet beskriver en del av den kopplingen.
Varför det spelar roll
Den hjälper till att styra crawleråtkomst och belastning.
För ett litet företag är poängen inte att jaga varje ny sökfunktion. Det viktiga är att centrala sidor går att hitta, förstå och nå tekniskt. När du kan begreppet blir det lättare att skilja ett verkligt problem från en imponerande rekommendation som du kanske inte alls behöver.
När behöver du faktiskt bry dig?
Du behöver bry dig när en viktig sida inte går att hitta, när söktrafiken kommer av fel skäl, när en redesign ändrar URL:er eller struktur eller när någon rekommenderar “SEO-arbete” som du inte kan koppla till ett verkligt problem. På en frisk liten sajt behöver du inte besatta dig av varje detalj i söksystemen. Du behöver förstå tillräckligt för att veta vad som spelar roll nu och vad som kan vänta.
Bra frågor att ställa
- Handlar det här om att bli hittad, förstådd, visad eller mätt?
- Påverkar det en sida som är viktig för kunder eller intäkter?
- Vilket bevis visar att det finns ett problem värt att lösa?
Vad gör du med det här?
Fråga tre saker: vilket praktiskt problem ska det här lösa, hur skulle du känna igen problemet på din sajt och vilket bevis skulle visa att arbetet hjälpte? De frågorna gör det mesta sökspråket till ett begripligt affärsbeslut.
Vad det inte betyder
Det är inte ett säkert sätt att hålla privat information hemlig, och blockerad crawling garanterar inte alltid att URL:en aldrig syns.
Kortversionen
Använd rätt verktyg: crawl-kontroll är något annat än noindex och åtkomstskydd.
Relaterat: noindex och crawling.
Fördjupning: Google om robots.txt.