noindex vs robots.txt – czym się różnią i kiedy używać?
noindex i robots.txt rozwiązują dwa różne problemy pozycjonowania strony. Robots.txt mówi wyszukiwarkom, których podstron nie pobierać. Noindex każe nie wyświetlać danej strony w wynikach. Pierwszy dotyczy dostępu, drugi widoczności. Ich mylenie to jeden z najczęstszych błędów technicznego SEO.
Czym różni się noindex od robots.txt?
Robots.txt blokuje pobieranie, noindex blokuje obecność w indeksie. Podstrona, której wyszukiwarka nie może pobrać przez regułę Disallow, i tak może trafić do indeksu z samym adresem, jeśli istnieją do niej linki. Noindex działa odwrotnie: pozwala stronę odczytać, ale usuwa ją z wyników.
Klucz jest taki: sama blokada w robots.txt nie usuwa strony z Google. Często skutkuje wpisem „brak dostępnego opisu tej strony”, bo robot zna URL, lecz nie zna treści. Żeby podstrona nie była zaindeksowana, potrzebny jest noindex, nie sama blokada.
Co robi plik robots.txt?
To tekstowy plik w katalogu głównym witryny, który mówi robotom wyszukiwarek, które ścieżki mogą pobierać. Steruje dostępem botów, nie indeksem.
Najważniejsze dyrektywy:
- User-agent – wskazuje, kogo dotyczy reguła (np. Googlebot lub
*dla wszystkich). - Disallow – ścieżka, której robot nie ma pobierać.
- Allow – wyjątek wewnątrz zablokowanego katalogu.
Przykład:
User-agent: *
Disallow: /koszyk/
Allow: /szukaj/popularne
Sitemap: https://twojadomena.pl/sitemap.xml
Pamiętaj: to ogranicza dostęp, ale nie gwarantuje, że strona zniknie z wyników.
Co robi tag noindex i gdzie go umieścić?
To dyrektywa, która każe wyszukiwarce nie pokazywać strony w wynikach. Wdrożysz ją na dwa sposoby.
Meta tag robots w sekcji <head> dokumentu HTML, dla zwykłych podstron:
<meta name="robots" content="noindex, follow">
Nagłówek X-Robots-Tag w odpowiedzi serwera, dla plików innych niż HTML, na przykład PDF:
X-Robots-Tag: noindex
Ta wartość znaczy: nie indeksuj tej strony, ale podążaj za linkami. To częsty wybór dla paginacji i filtrów. Aby zadziałała, robot musi mieć dostęp do strony, więc nie wolno jej blokować w robots.txt.
noindex vs robots.txt – tabela porównawcza
| Cecha | robots.txt | noindex |
|---|---|---|
| Warstwa | pobieranie (dostęp) | indeksowanie (obecność w wynikach) |
| Gdzie | plik w katalogu głównym | meta tag w HTML lub X-Robots-Tag |
| Usuwa stronę z Google? | nie, URL może zostać w indeksie | tak, podstrona zostaje wykluczona |
| Oszczędza crawl budget? | tak | nie, robot i tak pobiera stronę |
| Działa na PDF? | tak (po ścieżce) | tak, przez X-Robots-Tag |
Najczęstszy błąd: noindex i blokada na tej samej podstronie
Nie blokuj w robots.txt adresu, który ma już tag noindex. To sprzeczne polecenia o efekcie odwrotnym do zamierzonego.
Mechanizm jest prosty. Jeśli blokada zabrania pobrać podstronę, Googlebot nigdy nie odczyta jej kodu HTML, więc nie zobaczy tagu noindex. W efekcie URL może dalej wisieć w Google, mimo że „kazałeś” go usunąć. Aby noindex zadziałał, strona musi być crawlowalna.
Kiedy użyć noindex, a kiedy robots.txt?
Reguła kciuka: chcesz, by coś zniknęło z wyników – wybierz noindex. Chcesz tylko, by robot nie marnował czasu na nieważne adresy – wybierz robots.txt.
Wybierz noindex, gdy:
- Strona jest publiczna, ale nie ma się wyświetlać (regulamin, wewnętrzne wyniki wyszukiwania, strony podziękowań).
- Podstrona jest już zaindeksowana i chcesz ją wycofać.
- Zależy Ci, by Google dalej podążał za linkami, aby nie tracić link juice.
Wybierz robots.txt, gdy:
- Chcesz oszczędzić crawl budget na dużej witrynie z tysiącami nieważnych podstron.
- Blokujesz całe katalogi techniczne, których wyszukiwarka nie musi pobierać.
- Pamiętasz, że to nie usuwa strony z indeksu, a jedynie ogranicza dostęp.
Co z nofollow? nofollow to osobny atrybut, który dotyczy linków, nie całej strony. Wartość „noindex, nofollow” wyklucza stronę z wyników i każe nie podążać za jej linkami. Stosuj nofollow świadomie, bo wstrzymuje przepływ link juice do podlinkowanych adresów.
FAQ
Czy robots.txt usuwa stronę z Google? Nie. Ten plik blokuje pobieranie, ale adres może nadal trafić do wyników, jeśli prowadzą do niego linki. Aby usunąć podstronę z wyników, zastosuj noindex i pozwól robotowi ją odczytać.
Czy mogę użyć noindex i blokady naraz? Nie dla tej samej podstrony. Blokada uniemożliwia robotowi odczytanie meta tagu, więc noindex nie zadziała, a URL może zostać w wynikach wyszukiwania.
Czym różni się noindex od nofollow? noindex wyklucza całą stronę z wyników. nofollow to atrybut linków, który mówi robotom, by nie podążały za odnośnikiem i nie przekazywały jego wartości.
Jak ukryć plik PDF w Google? PDF nie ma sekcji HTML, więc meta tag nie zadziała. Użyj nagłówka X-Robots-Tag: noindex zwracanego przez serwer dla danej ścieżki lub typu pliku.
Następny krok
Zrób krótki audyt: otwórz plik robots.txt swojej witryny i sprawdź, czy nie blokujesz podstron, które mają tag noindex. To najczęstsza sprzeczność, przez którą strony nie znikają z Google. Jeśli chcesz uporządkować indeksowanie serwisu tak, by noindex i robots.txt ze sobą współgrały, w promoscript.pl przeprowadzimy audyt SEO i sprawdzimy zgłoszenia w Google Search Console.
