Robots.txt

Robots.txt on tekstitiedosto, jonka avulla verkkosivuston omistaja voi ohjeistaa hakukonerobotteja siitä, mitä sivuston osia saa tai ei saa indeksoida. Tiedosto sijaitsee verkkosivuston juurihakemistossa (esim. www.omadomain.fi/robots.txt) ja voi estää esimerkiksi hallintapaneeleiden tai testisivujen päätymisen hakutuloksiin. Oikein käytetty robots.txt auttaa pitämään hakukoneindeksoinnin hallinnassa ja suuntaamaan hakukoneiden huomion olennaiseen sisältöön. Huolimattomasti käytettynä se voi kuitenkin estää tärkeitä sivuja näkymästä Googlessa.