Генератор robots.txt

Что такое robots.txt и для чего он на самом деле нужен

robots.txt это обычный текстовый файл, который находится в корне домена по адресу https://primer.rs/robots.txt. Краулеры сначала читают его, и только потом начинают обход сайта. Правила простые: User-agent указывает, кому адресовано правило, Disallow запрещает доступ к пути, а Allow выводит его из-под более широкого запрета. Звёздочка * означает всех ботов.

Важно понимать, чем файл является, а чем нет. Это рекомендация, а не защита. Бот, который соблюдает правила, будет их придерживаться, но вредоносный скрапер этого делать не станет. Поэтому никогда не размещайте пароли, API-ключи, backup-файлы или админ-панели на сайте в надежде, что robots.txt их скроет. Если что-то не должно быть публичным, защитите это аутентификацией или правилами .htaccess.

Вторая важная роль это экономия краулингового бюджета. На сайте с десятками тысяч URL-ов фильтры, сортировки и календари могут тратить время краулера на страницы без ценности. Блокировка таких путей помогает Google сосредоточиться на контенте, который приносит трафик.

Как написать robots.txt для своего сайта

Порядок шагов важен, потому что правила читаются сверху вниз, а побеждает наиболее специфичное правило.

1. Определите группу для всех ботов: User-agent: *
2. Добавьте запреты для технических и дублирующихся путей, например Disallow: /wp-admin/, Disallow: /search, Disallow: /*?sort=
3. Разрешите то, что находится внутри запрещённого пути, но должно индексироваться: Allow: /wp-admin/admin-ajax.php
4. Укажите карту сайта: Sitemap: https://primer.rs/sitemap.xml
5. Сохраните файл в корне и проверьте его в инструменте Google Search Console для тестирования файла robots.txt.

Практический совет: пишите пути без домена и с косой чертой в начале. Disallow: /korpa правильно, Disallow: primer.rs/korpa нет. Если вы хотите заблокировать всё, кроме одного пути, это возможно, но легко ошибиться, поэтому дважды проверьте результат.

Блокировать ли AI-краулеры

AI-компании используют собственных ботов: GPTBot, ClaudeBot, Google-Extended, PerplexityBot и других. Блокировка предотвращает обучение моделей на вашем тексте, но одновременно снижает шанс, что AI-поисковики процитируют вас как источник. Для большинства компаний, которые живут за счёт видимости, лучшая стратегия это пустить их, но предложить им аккуратный контент и файл llms.txt с кратким описанием сайта и ключевых страниц.

Есть исключения. Сайты с оригинальными исследованиями, платным контентом или авторскими текстами могут обоснованно блокировать обучение, но разрешать цитирование. Некоторые боты поддерживают это через отдельные имена, поэтому проверьте документацию, прежде чем писать правило.

Самые частые ошибки при создании файла robots.txt

Самая частая проблема это блокировка целого раздела, который содержит и страницы, которые нужно индексировать. Пример: Disallow: /blog/ убирает и тексты, которые приносят посещения. Следующая ошибка это опора на Disallow для удаления страницы из индекса Google. Если страница уже проиндексирована, блокировка краулера не даёт Google увидеть мета-тег noindex, поэтому страница может остаться в результатах с устаревшим описанием. Для удаления используйте noindex, а Disallow только как временную меру.

Третья ошибка это неверный путь к файлу карты сайта или забытая строка Sitemap. Четвёртая это копирование чужого файла без адаптации к структуре сайта. Пятая это блокировка CSS и JS-файлов, из-за чего Google не может правильно отрендерить страницу и оценить её.

Если у вас несколько поддоменов, помните, что у каждого домена свой robots.txt. Когда на сайте тысячи URL-ов, несколько языковых версий и сложные правила по ботам, ручное обслуживание становится рискованным. В таких случаях EVI Solutions может помочь с технической SEO-настройкой и автоматизацией.