Robots.txt – plik zawierający główne informacje dla robotów wyszukiwarek odwiedzających stronę, który umieszcza się w katalogu głównym domeny. Jest to jeden z najważniejszych elementów mogących mieć wpływ na SEO obok sitemap.xml.
Zawartość pliku robots.txt
W pliku tym może znaleźć się cała lista komend dla robota nadających mu dostęp do określonych katalogów w witrynie a także blokujących inne miejsca, aby nie były odwiedzane przez crawler (np. panel administracyjny CMS). Z punktu widzenia działania plik nie jest dyrektywą dla robotów, lecz raczej sugestią. Dlatego też jeżeli jest potrzeba zabezpieczenia określonych miejsc w witrynie przed indeksowaniem lub dostępem, zdecydowanie lepiej posłużyć się innym rozwiązaniem, np. htaccess.
Przykładowy takiego pliku można zobaczyć poniżej
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/