Генератор и аудитор robots.txt
Соберите robots.txt по пресету вашей CMS, закройте AI-ботов (GPTBot, ClaudeBot, PerplexityBot) и добавьте Yandex Clean-param — или проверьте существующий файл на опасные блокировки (Disallow: /, CSS/JS).
# robots.txt появится здесь
Сгенерили для одной страницы — а на остальных правильно?
Проверьте весь сайт за один клик: технический аудит 140+ правил, Google и Яндекс, схемы, robots, hreflang, sitemap — всё разом.