2. Czym jest plik robots.txt? Jak go zmienić i czy w ogóle powinienem to robić?

Odpowiedź: Kiedy roboty wyszukiwarek odwiedzają Twoją stronę, w pierwszej kolejności szukają tego pliku. Robots.txt jest plikiem tekstowym. Znajduje się on w katalogu głównym witryny i zawiera instrukcje dla wyszukiwarek dotyczące tej strony. Webmaster może ustawić parametry indeksowania albo dla wszystkich wyszukiwarek jednocześnie, albo osobno dla poszczególnych.

Oczywiście, możesz wgrać własny plik robots.txt za pomocą Menedżera plików lub klienta FTP. Jednak zalecamy, aby tego nie robić, ponieważ domyślny plik robots.txt jest dostosowany tak, aby wyszukiwarki mogły zindeksować twoją stronę w najlepszy sposób, to znaczy żeby widziały tylko te strony twojej witryny, które zawierają informacje, a nie widziały żadnych stron technicznych (logowanie użytkowników, rejestracja użytkowników, itp.).

W większości przypadków standardowa wersja pliku robots.txt jest całkowicie wystarczająca. Jeśli chcesz go zmienić, można to zrobić za pomocą edytora tekstu. Nie zapomnij sprawdzić pliku robots.txt po dokonaniu zmian. Można to zrobić za pomocą paska narzędzi Google Webmaster Toolbar.