Проверка robots.txt
Загрузите файл с вашего сайта или вставьте текст — инструмент найдёт ошибки и опечатки, покажет, какие группы правил увидит каждый робот, и проверит, открыт ли нужный URL для Googlebot, YandexBot, Bingbot и ИИ-краулеров. Правила применяются так же, как у поисковиков: побеждает самое длинное совпадение, при равенстве — Allow.
Файл robots.txt
Частые вопросы
Robots.txt управляет обходом: он просит робота не заходить на URL. Но закрытая страница всё равно может попасть в выдачу, если на неё ведут ссылки. Чтобы страницы точно не индексировались, используйте
<meta name="robots" content="noindex"> или заголовок X-Robots-Tag — и не закрывайте такую страницу в robots.txt, иначе робот не увидит запрет.Сначала выбирается группа с самым точным именем робота (
Googlebot-Image точнее Googlebot, а он — точнее *); группы с одним именем объединяются. Внутри группы побеждает правило с самым длинным шаблоном; при равной длине — Allow. Символ * заменяет любую последовательность, $ — конец адреса.Ответ 404 и другие 4xx означают «ограничений нет». Ответ 5xx — Google временно считает весь сайт закрытым и перестаёт его сканировать, поэтому ошибки сервера на этом адресе особенно опасны.
Это ваше решение: шаблон «Закрыть ИИ-ботов» перечисляет основных краулеров обучения моделей (GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, Amazonbot). Robots.txt — просьба, а не защита: добросовестные роботы её соблюдают, остальных нужно блокировать на сервере.