Robots.txt - definicja pojęcia

Stosując się do instrukcji zawartych w pliku robots.txt, roboty indeksujące mogą optymalizować proces indeksowania i unikać obciążenia serwerów zbyt częstymi żądaniami. W efekcie plik robots.txt wpływa na efektywność strategii SEO, kontrolując sposób prezentacji zawartości strony w wynikach wyszukiwania.

Przykładowe konfiguracje pliku robots.txt

1. Pozwól wszystkim robotom indeksować wszystkie strony:

User-agent: *

Disallow:

2. Zablokuj wszystkim robotom indeksowanie całej strony:

User-agent: * Disallow: /

3. Zablokuj określonego robota indeksującego dla całej strony:

User-agent: Googlebot Disallow: /

4. Zablokuj dostęp do określonych sekcji strony dla wszystkich robotów:

User-agent: * Disallow: /sekcja_tajna/

Gdzie jest plik robots.txt?

Plik robots.txt znajduje się zazwyczaj w głównym katalogu serwera strony internetowej, czyli w katalogu głównym domeny (np. https://twojadomena.com/robots.txt). Witryny mające poddomeny mogą posiadać odrębne pliki robots.txt dla każdej z nich.

Jak dodać robots.txt w WordPress?

W przypadku witryn opartych na WordPress, istnieje kilka sposobów dodania pliku robots.txt:

1. Ręcznie, tworząc plik “robots.txt” w głównym katalogu witryny za pomocą klienta FTP lub panelu administracyjnego serwera.
2. Używając wtyczki SEO, takiej jak Yoast SEO czy All in One SEO Pack, które oferują narzędzia do zarządzania plikiem robots.txt w prosty sposób z poziomu panelu administracyjnego WordPress.