Если страницы WordPress не попадают в Google и Яндекс или уже выпали из индекса, почти всегда проблема лежит не в одной причине, а в цепочке: робот не может обойти сайт, видит запрет в robots.txt, получает noindex, упирается в редирект или ошибку сервера, либо сталкивается с дублями и тонкими страницами. Исправлять это лучше по порядку: сначала проверить, может ли поисковик вообще открыть нужный URL, затем — не закрыт ли он от индексации, и только потом разбираться с картой сайта и настройками CMS.
Для WordPress это особенно актуально: часть проблем создают плагины SEO, кэш, редиректы, дубли архивов, пагинация и технические страницы. Ниже — практический порядок проверки, который помогает найти причину без гадания.
С чего начать: понять, это проблема обхода или индексации
Сначала определите, на каком этапе ломается процесс. Если страница не открывается у робота, поисковик не сможет её просканировать. Если страница открывается, но помечена как запрещённая к индексации, она может быть в обходе, но не в выдаче.
Самый простой способ — открыть проблемный URL в браузере и посмотреть, что он возвращает: обычную страницу, редирект, 404, 403 или что-то другое. Затем проверьте, есть ли этот URL в Google Search Console и Яндекс Вебмастере. Если сервис показывает, что страница просканирована, но не проиндексирована, ищите причину в мета-тегах, качестве контента и дублях. Если страница вообще не сканируется, начинайте с robots.txt, sitemap и ответа сервера.
Проверьте robots.txt: он не должен закрывать важные разделы
Файл robots.txt — первое, что смотрят поисковые роботы. Ошибка здесь часто блокирует весь сайт или важные разделы. На WordPress типовая проблема — случайно закрытый каталог, лишний запрет на /wp-content/ или глобальный Disallow: /.
Откройте https://ваш-домен/robots.txt и проверьте, нет ли там запретов на нужные страницы. Для публичного сайта обычно не должно быть запрета на весь сайт. Допустимо закрывать служебные разделы, но не контентные URL.
Если вы используете SEO-плагин, он может генерировать robots.txt автоматически. В этом случае править файл на сервере вручную не всегда правильно: изменения могут быть перезаписаны плагином. Сначала проверьте настройки самого плагина.
Что должно насторожить:
Disallow: /без исключений;- запрет на каталог, где живут статьи или страницы;
- ошибки в путях после переноса сайта;
- закрытие файлов CSS и JS без необходимости, если это мешает рендерингу страниц.
Проверьте sitemap.xml и отправку карты сайта
Карта сайта не гарантирует индексацию, но помогает поисковикам быстрее находить новые и обновлённые страницы. Если sitemap сломан, пустой или содержит мусорные URL, индексация часто начинает проседать.
Откройте карту сайта, обычно это /sitemap.xml или индекс карт сайта, и проверьте три вещи:
- файл открывается без ошибки;
- в нём есть нужные URL;
- там нет страниц, которые закрыты от индексации, редиректов, 404 и служебных адресов.
Для WordPress карта сайта может генерироваться ядром или SEO-плагином. Если у вас несколько плагинов, которые умеют создавать sitemap, это уже риск конфликта: поисковик может получать разные версии карты или лишние URL. Оставьте один источник карты сайта и отключите дублирующую генерацию.
После проверки отправьте sitemap в Google Search Console и Яндекс Вебмастер. Если карта уже отправлена, но страницы не появляются, смотрите не только на сам sitemap, но и на статус конкретных URL в отчётах.
Мета-теги noindex и canonical: частая причина выпадения страниц
Если страница доступна в браузере, но не индексируется, проверьте её HTML. Важны два элемента: meta robots и canonical.
Тег noindex прямо говорит поисковику не добавлять страницу в индекс. На WordPress он часто появляется из-за настроек SEO-плагина, шаблона записи, архивов, тегов, пагинации или случайной настройки для целого типа записей. Проверьте исходный код страницы и найдите строку вида <meta name="robots" content="noindex,follow"> или похожую.
С canonical ситуация тоньше. Если canonical указывает не на текущую страницу, а на другую, поисковик может считать текущий URL дублем и не индексировать его отдельно. Это нормально для дублей, но опасно, если canonical подставлен неверно — например, на главную, на категорию или на старую версию адреса после смены структуры ссылок.
Проверьте:
- не стоит ли
noindexна нужных страницах; - совпадает ли canonical с реальным адресом страницы;
- не закрыты ли архивы, рубрики или теги, если они должны участвовать в поиске;
- не дублируют ли друг друга настройки темы и SEO-плагина.
Ответ сервера: 200, 301, 404 и 5xx влияют на индексацию сильнее, чем кажется
Поисковик должен получить от страницы корректный HTTP-ответ. Если вместо 200 OK он видит цепочку редиректов, ошибку сервера или несуществующий адрес, страница может не попасть в индекс или выпадать из него.
Проверьте проблемные URL через браузер, инструменты разработчика или любой HTTP-проверщик. Для нормальной индексации нужен ответ 200 на конечном URL. Если страница перенаправляется, редирект должен быть один и вести на актуальный адрес. Длинные цепочки редиректов замедляют обход и иногда ломают каноникализацию.
Особенно внимательно смотрите на такие случаи:
404 Not Found— страница удалена или адрес изменился;410 Gone— страница намеренно удалена, и это нормально только если вы действительно хотите убрать её из индекса;403 Forbidden— робот или пользователь не может получить доступ;5xx— проблема на стороне сервера, хостинга, PHP или кэша.
Если сайт на WordPress отдаёт 5xx только под нагрузкой или периодически, причина может быть в хостинге, конфликте плагинов, нехватке памяти PHP или ошибках в теме. В таком случае сначала стабилизируйте сайт, а уже потом ждите повторного обхода поисковиками.
Типовые ошибки WordPress, из-за которых страницы не индексируются
На WordPress часто встречаются не абстрактные SEO-проблемы, а вполне конкретные технические ошибки. Их удобно проверять по очереди.
Сайт случайно закрыт от поисковиков в настройках
В админке WordPress есть опция, которая запрещает поисковым системам индексировать сайт. Она полезна на этапе разработки, но иногда остаётся включённой после запуска. Проверьте раздел Настройки → Чтение и убедитесь, что не включён пункт, запрещающий индексирование.
Конфликт SEO-плагинов или дублирующих настроек
Если одновременно работают несколько плагинов, которые управляют мета-тегами, sitemap и canonical, они могут конфликтовать. В результате на странице появляются два canonical, лишний noindex или неправильная карта сайта. Обычно лучше оставить один SEO-плагин, а остальные функции отключить.
Дубли страниц из-за архивов, тегов и пагинации
WordPress легко создаёт множество похожих URL: рубрики, теги, архивы автора, даты, страницы пагинации, параметры сортировки. Если эти страницы не несут ценности, их часто закрывают от индексации. Но если закрыть слишком много, можно случайно убрать полезные посадочные страницы. Здесь важно не действовать вслепую: сначала понять, какие URL реально нужны в поиске.
Проблемы после смены домена или структуры ссылок
После переезда сайта часто остаются старые адреса в базе, в canonical, в sitemap и во внутренних ссылках. Тогда поисковик видит смесь старых и новых URL. Проверьте, что все внутренние ссылки ведут на актуальные адреса, а старые страницы отдают корректные 301-редиректы на новые.
Как проверить результат после исправлений
После правок не ждите мгновенного эффекта. Поисковикам нужно время на повторный обход. Но проверить, что вы всё сделали правильно, можно сразу.
Сначала снова откройте проблемный URL и убедитесь, что он:
- отдаёт
200 OK; - не закрыт в
robots.txt; - не содержит
noindex; - имеет правильный canonical;
- есть в sitemap, если страница должна индексироваться.
Затем отправьте URL на переобход в Google Search Console и проверьте отчёт по индексированию в Яндекс Вебмастере. Если страница всё ещё не индексируется, смотрите причину, которую показывает сам сервис: иногда проблема уже не техническая, а в том, что страница считается дублем, малоценной или недоступной для обхода из-за внутренних ссылок.
Полезно также проверить внутреннюю перелинковку. Если на страницу нет ссылок с других разделов сайта, поисковику сложнее её найти и переобойти. Для новых или важных страниц это особенно заметно.
Что делать, если страница технически доступна, но всё равно не индексируется
Если robots.txt, sitemap, мета-теги и ответ сервера в порядке, а страница всё равно не появляется в поиске, проблема может быть в качестве самой страницы или в её роли на сайте. Поисковики не обязаны индексировать всё подряд.
Чаще всего мешают:
- очень короткий или шаблонный текст;
- страница-дубль без уникальной ценности;
- мало внутренних ссылок;
- страница закрыта от индексации через canonical на другой URL;
- контент выглядит как служебный или автоматически сгенерированный.
В WordPress это нередко касается тегов, архивов, страниц поиска по сайту, фильтров и служебных шаблонов. Такие URL лучше либо улучшать и делать полезными, либо сознательно закрывать от индексации, чтобы не размывать качество сайта.
Если нужна дополнительная чистка дублей и технических страниц в WordPress, иногда помогает аккуратная настройка SEO-плагина или инструмента вроде Clearfy Pro, но только как средство управления техническими дублями, а не как замена нормальной диагностики.
Когда вы последовательно проверяете robots.txt, sitemap, meta robots, canonical, HTTP-ответы и настройки WordPress, причина проблем с индексацией обычно находится довольно быстро. Важно не лечить всё сразу: сначала найдите конкретный блокирующий фактор, исправьте его и только потом переходите к следующему.