Plik robots.txt i mapa sitemap.xml, co powinny zawierać

Robots i sitemap: co to jest i dlaczego ma znaczenie

Plik robots.txt i mapa witryny sitemap.xml to dwa pliki techniczne, które odpowiadają za to, jak robot Google porusza się po Twojej stronie. Pierwszy mówi mu, gdzie może, a gdzie nie powinien wchodzić. Drugi wskazuje mu listę adresów, które warto zaindeksować. Razem tworzą podstawę każdej dobrze skonfigurowanej witryny.

Dla właściciela małej firmy te pliki wyglądają jak temat dla programistów. W praktyce nieprawidłowy robots.txt może zablokować całą stronę przed Google, a brak sitemap.xml sprawia, że nowe podstrony czekają na indeksację tygodniami zamiast dni. Warto wiedzieć, jak działają, nawet jeśli konfiguruje je ktoś inny.

W tym artykule wyjaśniamy, co powinien zawierać każdy z tych plików, jakie błędy najczęściej się pojawiają i jak sprawdzić, czy Twoja strona ma je poprawnie skonfigurowane. Piszemy z myślą o właścicielu firmy, który chce rozumieć temat i kontrolować, co robi agencja lub programista. Całość wpisuje się w szerszy temat pozycjonowania stron, gdzie te pliki to jeden z elementów SEO technicznego.

Czym jest plik robots.txt i jak działa

Robots.txt to prosty plik tekstowy, który mówi robotom wyszukiwarek, które części strony mogą przeglądać, a które powinny pominąć. Standard ten, znany jako Robots Exclusion Protocol, działa od lat dziewięćdziesiątych i jest respektowany przez Google, Bing i inne wyszukiwarki.

Działanie jest proste: gdy Googlebot chce odwiedzić stronę po raz pierwszy lub po dłuższej przerwie, sprawdza najpierw plik robots.txt pod adresem twojastrona.pl/robots.txt. Jeśli plik zawiera blokadę dla danego adresu, robot pomija to miejsce. Jeśli nie ma żadnej blokady, wchodzi i indeksuje treść.

Ważna uwaga: robots.txt nie jest gwarancją prywatności. Plik jest publiczny i każdy może go przeczytać. Blokada w robots.txt nie usuwa strony z indeksu, jeśli Google już ją zaindeksował wcześniej. Do tego służy tag noindex, który opisujemy dalej.

Co powinien zawierać prawidłowy plik robots.txt

Podstawowy plik robots.txt dla małej firmy usługowej jest krótki i zawiera kilka jasnych dyrektyw. Przykład, który sprawdza się w większości przypadków, wygląda tak:

User-agent: *
Allow: /

Sitemap: https://twojastrona.pl/sitemap.xml

Trzy linie. Pierwsza mówi, że reguły dotyczą wszystkich robotów (*). Druga zezwala na dostęp do całej strony. Trzecia podaje adres mapy witryny, żeby Google wiedział, gdzie jej szukać.

Do tego prostego szablonu dokłada się blokady tylko dla adresów, których nie chcemy indeksować.

Przykład rozbudowanego pliku z blokadami dla WordPressa:

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cart/
Disallow: /checkout/
Disallow: /?s=
Disallow: /tag/

Sitemap: https://twojastrona.pl/sitemap.xml

Jedna zasada: każda linia Disallow powinna mieć konkretny powód. Nie blokuj na wszelki wypadek, bo każda blokada może objąć też zasoby, które chcesz mieć zaindeksowane.

Najczęstsze błędy w robots.txt

Błędy w robots.txt potrafią zablokować całą stronę przed Google albo odsłonić zasoby, które miały być ukryte. Poniżej cztery sytuacje, które napotykamy najczęściej.

Blokada całej strony podczas tworzenia. Wiele systemów CMS, w tym WordPress, domyślnie ustawia podczas instalacji blokadę Disallow: /. To po to, żeby boty nie indeksowały strony w trakcie budowania. Problem zaczyna się, gdy ktoś zapomina zmienić ten wpis przed uruchomieniem strony. Efekt: strona działa, wygląda dobrze, a Google nic o niej nie wie.

Blokada plików CSS i JavaScript. Dawniej blokowanie tych zasobów było zalecane, żeby oszczędzać budżet crawlowania. Google od lat radzi, żeby nie blokować zasobów potrzebnych do renderowania strony. Jeśli Googlebot nie może wczytać CSS i JS, widzi stronę inaczej niż użytkownik, co negatywnie wpływa na ocenę jakości.

Konflikt z tagiem noindex. Zdarza się, że strona jest jednocześnie zablokowana w robots.txt i ma tag noindex w kodzie. To sprzeczność: blokada robots.txt uniemożliwia Google'owi wejście i odczytanie tagu noindex. W rezultacie Google widzi blokadę, może (ale nie musi) pokazać URL w wynikach bez treści, bo skądś zna adres. Poprawna zasada: jeśli chcesz ukryć stronę z indeksu tagiem noindex, strona musi być dostępna dla Googlebota. Temat indeksacji opisujemy szerzej w artykule jak sprawdzić, czy strona jest poprawnie zaindeksowana.

Brak wpisu Sitemap. Robots.txt to dobre miejsce, żeby poinformować Google o lokalizacji mapy witryny. Wielu właścicieli tego nie robi, zostawiając Google'a do samodzielnego odkrycia pliku. To nie jest tragedia, ale skoro można podać adres wprost, warto to zrobić.

Czym jest mapa witryny sitemap.xml

Mapa witryny to plik XML, który zawiera listę adresów URL na stronie wraz z dodatkowymi informacjami o każdym z nich: datą ostatniej modyfikacji, częstotliwością zmian i priorytetem. Google używa tego pliku, żeby wiedzieć, jakie strony istnieją i kiedy były ostatnio aktualizowane.

Sitemap.xml jest szczególnie ważna w trzech sytuacjach. Pierwsza to nowa strona bez linków zewnętrznych, bo bez mapy Google może nie odkryć wszystkich podstron samodzielnie. Druga to duży serwis z setkami lub tysiącami podstron, gdzie Googlebot mógłby część przeoczyć. Trzecia to strona, gdzie treści są regularnie aktualizowane lub dodawane, na przykład blog lub sklep.

Dla małej strony firmowej z kilkunastoma podstronami mapa witryny nie jest krytyczna, ale jej obecność i poprawność to sygnał profesjonalnego przygotowania witryny, który Google docenia.

Co powinna zawierać dobra mapa witryny XML

Podstawowy wpis w sitemap.xml wygląda tak:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://twojastrona.pl/</loc>
    <lastmod>2026-04-01</lastmod>
    <changefreq>monthly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://twojastrona.pl/oferta/</loc>
    <lastmod>2026-03-15</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Każdy wpis <url> zawiera co najmniej jeden obowiązkowy element <loc> z pełnym adresem URL. Pozostałe pola są opcjonalne, ale warto je podawać.

Kilka zasad, które poprawiają jakość mapy witryny:

• Dodawaj tylko strony dostępne publicznie i zwracające kod 200.
• Nie dodawaj stron z tagiem noindex ani przekierowaniami.
• Nie dodawaj zduplikowanych adresów URL (np. wersji z www i bez, albo z końcowym ukośnikiem i bez).
• Używaj adresów kanonicznych, takich jak te zdefiniowane w znaczniku <link rel="canonical">.
• Dla dużych stron podziel mapę na kilka plików i stwórz plik indeksu sitemap.

Jak podzielić sitemap na kilka plików

Dla stron z ponad kilkuset podstronami warto podzielić mapę witryny na kilka plików i stworzyć nadrzędny indeks sitemap. To standardowe rozwiązanie dla sklepów, portali i rozbudowanych serwisów firmowych.

Robots i sitemap: jak to skonfigurować w popularnych CMS-ach

Sposób generowania i zarządzania tymi plikami zależy od platformy strony. Oto co działa najlepiej w każdym systemie.

WordPress

W WordPress robots.txt generowany jest dynamicznie przez sam system, gdy nie istnieje fizyczny plik. Do pełnej kontroli polecamy wtyczkę Yoast SEO lub RankMath: edytują robots.txt z panelu i automatycznie generują sitemap.xml ze wszystkich opublikowanych stron, wpisów i taksonomii. Mapa witryny w Yoast dostępna jest pod adresem twojastrona.pl/sitemap_index.xml.

Nuxt 3

W Nuxt 3 używaj modułu nuxt-simple-sitemap, który automatycznie generuje sitemap.xml na podstawie tras. Robots.txt obsługuje ten sam moduł lub plik statyczny w katalogu public/, razem z modułem @nuxtjs/robots.

Webflow i Squarespace

Obie platformy generują sitemap.xml automatycznie dla opublikowanych podstron. Robots.txt edytuje się w ustawieniach SEO projektu. Sprawdź, czy nie masz aktywnej opcji "ukryj stronę przed wyszukiwarkami", bo dodaje globalną blokadę do robots.txt.

Jak sprawdzić i przesłać sitemap w Google Search Console

Google Search Console to podstawowe narzędzie do monitorowania stanu mapy witryny. Pozwala zgłosić sitemap, zobaczyć, ile adresów URL Google zaindeksował i wykryć błędy w pliku.

Raport w GSC jest tu kluczowy: jeśli sitemap zawiera 80 adresów URL, a Google zaindeksował tylko 45, pozostałe 35 ma jakiś problem. Mogą to być strony z tagiem noindex, błędy serwera, blokady w robots.txt albo treść oceniona jako zduplikowana. Każdy z tych przypadków wymaga osobnej analizy.

Robots i sitemap jako część szerszego SEO technicznego

Te dwa pliki to element technicznego fundamentu strony, który przekłada się na efektywność całego pozycjonowania. Nawet najlepsza treść nie będzie rankować, jeśli Google nie może jej zaindeksować. Właśnie dlatego przy każdym audycie SEO sprawdzamy robots.txt i sitemap.xml jako pierwsze.

Dobrze skonfigurowane robots i sitemap to warunek, który umożliwia dalszą pracę: optymalizację treści pod frazy kluczowe, budowanie linków i poprawę Core Web Vitals. Jeśli zaczynasz budować widoczność strony od zera, przeczytaj też artykuł jak zbudować stronę pod pozycjonowanie lokalne oraz co to są słowa kluczowe i jak je dobierać.

Dla firm działających lokalnie w Warszawie, Krakowie, Wrocławiu czy Gdańsku poprawna indeksacja to istotny czynnik: strony z błędami technicznymi tracą pozycje na rzecz konkurentów bez tych problemów. O tym, jak zbudować lokalną widoczność, przeczytasz na stronach pozycjonowanie stron Warszawa, Kraków lub Wrocław.