Twoja strona ma dwa wyglądy: ten, który widzisz w przeglądarce, i ten, który dostaje robot wysłany po treść w imieniu asystenta AI. Zwykle są takie same. Gdy nie są, najlepszy tekst w serwisie nie ma szans trafić do żadnej odpowiedzi.

Pierwsze miejsce: blokada, o której nikt nie pamięta

Roboty firm zajmujących się AI mają własne nazwy, na przykład GPTBot, OAI-SearchBot czy PerplexityBot. Wiele serwisów blokuje je w pliku robots.txt, bo ktoś kiedyś wpisał regułę „na wszelki wypadek”, albo dlatego, że gotowa wtyczka bezpieczeństwa robi to domyślnie.

Drugie źródło problemu leży wyżej niż plik tekstowy. Zapora serwera, usługa CDN albo wtyczka antybotowa potrafią odsyłać nieznane roboty z błędem 403, choć robots.txt jest czysty. Z poziomu przeglądarki nic z tego nie widać, a standardowe raporty SEO tego zwykle nie pokazują, bo narzędzia audytowe odwiedzają stronę jako przeglądarka albo Googlebot. Dlatego do testu używaj nagłówka User-Agent samego robota, a nie zwykłej przeglądarki.

Drugie miejsce: treść doładowywana skryptem

Część robotów pobiera sam kod HTML i nie uruchamia skryptów. Jeśli opis usługi, ceny albo opinie pojawiają się dopiero po załadowaniu skryptu, po kliknięciu zakładki albo rozwinięciu akordeonu, robot może dostać stronę z samym szkieletem. Prosty test: wyświetl źródło strony i poszukaj w nim zdania, które widzisz na ekranie.

Trzecie miejsce: treść za ścianą

To elementy, które dla człowieka są drobną niedogodnością. Okno zgód zasłaniające stronę, formularz, który trzeba wypełnić, żeby zobaczyć cennik, treść dostępna po zalogowaniu. Robot nie kliknie „akceptuję” i nie poda adresu e-mail.

Z podsumowaniami w wynikach Google jest nieco inaczej, bo opierają się na zwykłym indeksie wyszukiwarki. Tam liczy się dostęp dla Googlebota, a nie dla robotów innych firm, więc oba przypadki sprawdzaj osobno.

Co się dzieje, gdy robot dostaje błąd

Model, który nie dostał Twojej strony, nie rezygnuje z odpowiedzi. Składa ją z tego, co znalazł gdzie indziej: opisu z katalogu, cudzego artykułu, czasem opinii sprzed kilku lat. Tak powstają odpowiedzi, w których firma jest opisana błędnie albo wcale. Właściciel dowiaduje się o tym zwykle od klienta, który pyta, czy nadal świadczycie usługę, której już dawno nie ma w ofercie.

Objaw, który warto znać: marka pojawia się w odpowiedziach, ale własna domena nie występuje wśród źródeł. Jeśli widzisz taki układ w narzędziu mierzącym odpowiedzi modeli, pierwsze podejrzenie to właśnie dostęp.

Pytania do hostingu i działu IT

  • Czy zapora albo usługa CDN ma reguły odrzucające roboty spoza listy dozwolonych?
  • Czy ktoś w ostatnich miesiącach włączał ochronę przed botami w panelu hostingu albo we wtyczce bezpieczeństwa?
  • Czy da się zobaczyć w logach serwera, jakie kody odpowiedzi dostają roboty AI?

Kto powinien o tym zdecydować

To rzadko jest sprawa samego marketingu. Blokadę wprowadza zwykle dział IT albo firma hostingowa, a powody bywają uzasadnione: ochrona treści, obciążenie serwera, ataki. Dlatego pozycjonowanie stron w ai zaczyna się od rozmowy z tymi, którzy zakładali blokadę, a dopiero potem od treści. Czasem wystarczy zawęzić regułę, na przykład wpuścić roboty na strony ofertowe, a zostawić poza zasięgiem panel klienta i koszyk.

Sprawdzenie w godzinę

  1. Przejrzyj robots.txt i poszukaj nazw robotów AI.
  2. Odwiedź stronę z nagłówkiem User-Agent wybranego robota i zobacz, jaki kod odpowiedzi dostajesz.
  3. Porównaj źródło strony z tym, co widzisz w przeglądarce, na trzech najważniejszych podstronach.
  4. Sprawdź, czy cennik i oferta są dostępne bez kliknięcia, rejestracji i zgody.

 

—

Artykuł sponsorowany