Prezență și sintaxă robots.txt
Rezultatul include status, dovadă observată, impact și recomandarea de remediere.
Controlul crawlerelor
Află ce crawlere permiți și ce blochezi în robots.txt.
Parserul respectă grupurile User-agent, regulile Allow/Disallow și specificitatea căii, fără să amestece politica unui bot cu alta.
Ce verificăm
Semnale concrete, explicate pe înțelesul afacerii.
Reguli wildcard și specifice
Rezultatul include status, dovadă observată, impact și recomandarea de remediere.
OAI-SearchBot, GPTBot, Claude și Perplexity
Rezultatul include status, dovadă observată, impact și recomandarea de remediere.
Sitemap declarat și acces la rădăcină
Rezultatul include status, dovadă observată, impact și recomandarea de remediere.
Cum funcționează
De la URL la plan de acțiune.
- 1Introduci domeniulNormalizăm adresa și aplicăm verificările de siguranță.
- 2Rulăm modulele aplicabileUn modul indisponibil nu anulează restul raportului.
- 3Primești prioritățileVezi ce trebuie reparat întâi și dovezile pentru fiecare rezultat.
Limitări transparente
Ce nu pretinde acest instrument.
robots.txt controlează crawlul pentru agenții care îl respectă; nu este mecanism de autentificare și nu garantează indexarea.
Rezultatele descriu momentul și eșantionul analizat. Datele indisponibile sunt marcate „Neverificat”, nu transformate în estimări.
Întrebări frecvente
Ce trebuie să știi înainte de test.
Blochează robots.txt accesul oamenilor?
Nu. Este o directivă pentru crawlere, nu o barieră de securitate.
Toți boții respectă fișierul?
Nu poate fi garantat. Auditul evaluează politica publicată, nu comportamentul fiecărui client.
Testați WAF-ul?
Nu imităm identitatea furnizorilor; verificarea IP/WAF este marcată separat ca neverificată.
Vezi toate problemele, gratuit.
Raportul include scoruri /100, dovezi, priorități și pașii de remediere.
Începe analiza