Краткий ответ
Google не индексирует страницы чаще всего из-за метки `noindex`, блокировки в `robots.txt`, ошибки в файле sitemap или отсутствия внутренних ссылок. Решение: проверьте эти элементы в Search Console, устраните препятствия и запросите индексирование через инструмент проверки URL. Индексирование может занять от нескольких дней до нескольких недель.
Как проявляется проблема
- Страницы не появляются в поиске Google даже спустя несколько недель
- Search Console показывает причины, такие как индексирование отключено или блокировка из-за файла `robots.txt`
- Новые записи или товары не видны в поиске
- Сайт появляется по запросу `site:`, но отдельные страницы отсутствуют
- Sitemap отправлен, но количество проиндексированных страниц значительно меньше ожидаемого
Частые причины
Метка Noindex на странице
Мета-тег `<meta name="robots" content="noindex">` или HTTP-заголовок `X-Robots-Tag: noindex` сообщает Google не индексировать страницу. Часто остается по ошибке после разработки сайта.
Блокировка в robots.txt
Если `robots.txt` содержит `Disallow` для части сайта, Google не сможет получить доступ к этим страницам, поэтому они чаще всего не будут проиндексированы. Проверьте, является ли блокировка намеренной или осталась с прошлого.
Sitemap неверен или не отправлен
Неверный XML sitemap, отсутствующие URL-адреса или ошибки в формате могут затруднить Google поиск страниц. Sitemap необходимо отправить в Search Console.
Недостаток внутренних ссылок
Страницы, до которых нельзя добраться по кликам через сайт, будет трудно обнаружить. Google рекомендует четкую навигацию и ссылки с релевантных страниц.
Дублированный контент или канонизация
Если несколько URL-адресов показывают одинаковый контент, Google может выбрать только один. Неправильный тег `canonical` может направить индексирование на неверную страницу.
Пошаговое решение
- 1
Проверьте, проиндексирована ли страница
В поиске Google введите
site:vash-domen.ruи просмотрите результаты. Для отдельной страницы используйтеsite:vash-domen.ru/put. Если ее нет, продолжайте проверки. - 2
Откройте Search Console и проверьте отчет об индексировании
В Google Search Console перейдите в
Индексирование > Страницы. Посмотрите список «Не проиндексировано» и причины, такие как блокировка из-за файлаrobots.txtили метка noindex. Это самые частые причины. - 3
Проверьте robots.txt
Откройте
https://vash-domen.ru/robots.txtв браузере. Убедитесь, что нетDisallow: /или блокировки для части, которую вы хотите индексировать. Если есть, удалите ее или скорректируйте правила. - 4
Удалите метку noindex
Просмотрите исходный код страницы (Ctrl+U) и поищите
noindex. Если она есть, удалите ее из шаблона, SEO-плагина или заголовков сервера. Для WordPress проверьтеНастройки > Чтениеи SEO-плагин. - 5
Проверьте canonical URL
В исходном коде поищите
<link rel="canonical">. Он должен указывать на одну желаемую абсолютную версию страницы, напримерhttps://vash-domen.ru/stranitsa, последовательно по всему сайту (одинаковый выбор дляwwwиhttps). Неправильный canonical может заставить Google индексировать другую страницу вместо желаемой. - 6
Обновите и отправьте sitemap
В Search Console перейдите в
Индексирование > Sitemapsи отправьтеhttps://vash-domen.ru/sitemap.xml, если еще не сделали этого. Проверьте, что sitemap содержит все важные URL-адреса и не имеет ошибок. - 7
Запросите индексирование через проверку URL
В Search Console вставьте URL страницы в строку поиска вверху и нажмите Enter. Нажмите «Запросить индексирование». Это ускоряет обработку, но не гарантирует мгновенное индексирование.
- 8
Добавьте внутренние ссылки
Свяжите новую страницу с релевантных существующих страниц (например, с главной или категории). Так Google легче обнаруживает контент. Избегайте ссылок, ведущих на
noindexили заблокированные страницы. - 9
Подождите и следите за результатами
После изменений индексирование может занять от нескольких дней до нескольких недель. Следите за отчетом
Индексирование > Страницыв Search Console. Не отправляйте один и тот же запрос несколько раз в день.
Если ничего не помогает: расширенные проверки
Если вы удалили noindex и блокировки, а страницы все еще не индексируются, проверьте, возвращает ли сервер правильный HTTP-статус (200). Инструменты, такие как curl -I https://vash-domen.ru/stranitsa, могут показать статус и заголовки. Обратите внимание на X-Robots-Tag в заголовке. Также проверьте, доступен ли сайт для Googlebot (не блокируйте его на сервере или CDN). В Search Console используйте проверку URL, чтобы увидеть, как Google видит страницу. Если сайт новый, будьте терпеливы; индексирование может занять время. Для сайтов с тысячами страниц рассмотрите SEO-инструмент для массового анализа.
Как избежать повторения
- Регулярно проверяйте отчет об индексировании в Search Console
- Отключайте `noindex` и блокировки перед публикацией сайта
- Поддерживайте актуальный XML sitemap и отправляйте его
- Следите за canonical URL-адресами и внутренними ссылками
Когда лучше обратиться к специалисту
Если вы проверили все указанные шаги, а страницы все еще не индексируются, или если у вас большой сайт с множеством URL-адресов, обратитесь в ИТ-поддержку или к SEO-специалисту для более глубокого анализа сервера и конфигурации.
Создание сайтов · Быстрые, SEO-оптимизированные многоязычные сайтыЧастые вопросы
Сколько времени Google нужно для индексирования страницы?
Обычно от нескольких дней до нескольких недель, в зависимости от авторитета сайта и частоты изменений. Запрос на индексирование в Search Console может ускорить процесс, но не гарантирует мгновенный результат.
Почему страница проиндексирована, но не появляется в поиске?
Индексирование не означает автоматически высокий рейтинг. Страница может быть проиндексирована, но не отображаться по определенным запросам из-за конкуренции или релевантности. Проверьте, соответствует ли страница поисковому намерению.
Достаточно ли просто отправить sitemap?
Нет. Sitemap помогает Google находить URL-адреса, но если страница имеет `noindex` или заблокирована в `robots.txt`, она не будет проиндексирована. Необходимо устранить все препятствия.