Если сайт на WordPress уже открыт для поисковиков, robots.txt нужен не для «магической SEO-оптимизации», а для аккуратного управления обходом. Этот файл подсказывает роботам, какие разделы можно сканировать, а какие лучше не трогать. Ошибка здесь обычно не в том, что файл отсутствует, а в том, что в него добавляют лишнее: закрывают важные страницы, дублируют настройки из других мест или пытаются с помощью robots.txt решить задачи, для которых он не предназначен.
Для WordPress базовая настройка обычно простая: оставить доступ поисковым роботам к нужным страницам сайта и не мешать им обходить публичный контент. Если сайт небольшой, часто достаточно минимального файла. Если структура сложнее, robots.txt настраивают точечно, но без фанатизма.
Что должен делать robots.txt на WordPress-сайте
Файл robots.txt лежит в корне сайта и отвечает только за обход, а не за саму индексацию. Это важное различие: если страница закрыта в robots.txt, поисковик может не сканировать её содержимое, но это не гарантирует, что она исчезнет из индекса. Для удаления страниц из поиска нужны другие механизмы, а robots.txt решает более узкую задачу — ограничивает доступ роботов к отдельным путям.
Для WordPress обычно имеет смысл:
- не закрывать публичные записи, страницы и рубрики без причины;
- ограничить служебные разделы, которые не нужны в поиске и не несут пользы при обходе;
- не мешать поисковым роботам видеть CSS и JS, если они нужны для корректного рендеринга страницы;
- не пытаться скрыть конфиденциальные данные через robots.txt — это не защита, а лишь рекомендация для роботов.
Базовый robots.txt для WordPress
Если вам нужен рабочий стартовый вариант, обычно используют минимальный и безопасный файл. Его можно создать вручную в корне сайта или отредактировать через хостинг, FTP/SFTP или плагин, который умеет управлять robots.txt. Для большинства обычных сайтов этого достаточно:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpЗдесь всё по делу. Правило User-agent: * применяется ко всем роботам. Каталог /wp-admin/ закрыт, потому что это административная часть сайта. При этом admin-ajax.php оставлен доступным, так как его используют темы и плагины на фронтенде. Если его закрыть без понимания последствий, можно сломать часть функциональности сайта: формы, фильтры, динамические элементы.
Иногда в robots.txt добавляют ещё и карту сайта, если она у вас есть:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xmlУказывать sitemap не обязательно, но это удобно: поисковым роботам проще найти карту сайта сразу из robots.txt. Адрес должен быть реальным и соответствовать вашему домену.
Что обычно не стоит писать в robots.txt
Самая частая ошибка — превращать robots.txt в свалку из старых советов и шаблонов из интернета. Для WordPress это особенно вредно, потому что многие рекомендации устарели или подходят только для очень специфичных случаев.
Не закрывайте служебные файлы и папки без понимания последствий
Иногда советуют закрыть /wp-includes/, /wp-content/plugins/, /wp-content/themes/ и похожие каталоги. Делать это вслепую не нужно. Поисковым роботам не обязательно индексировать содержимое этих папок как отдельные страницы, но блокировать доступ к ресурсам темы и плагинов может быть вредно, если сайт использует стили, скрипты или изображения из этих путей. Если робот не может нормально загрузить страницу, он хуже понимает её структуру и отображение.
Не пытайтесь скрыть приватный контент через Disallow
Если страница содержит личные данные, внутренние документы или закрытую информацию, robots.txt не решает задачу безопасности. Робот может не обходить URL, но сам адрес всё равно может попасть в индекс через внешние ссылки, историю, кэш или другие источники. Для приватного контента нужны нормальные механизмы доступа: авторизация, ограничения на уровне сервера, защита паролем или удаление страницы из публичной зоны.
Не закрывайте всё подряд ради «чистоты индекса»
Иногда владельцы сайта пытаются закрыть теги, архивы, пагинацию, результаты поиска и другие разделы просто потому, что так «меньше мусора». Но универсального шаблона тут нет. Если раздел полезен пользователю и приносит трафик, его не стоит закрывать только из-за страха перед дублями. Если же раздел действительно не нужен в поиске, лучше сначала понять, можно ли решить задачу настройками темы, метатегами или структурой сайта, а уже потом трогать robots.txt.
Как создать или изменить robots.txt на WordPress
В WordPress файл robots.txt может существовать как физический файл в корне сайта, а может быть виртуальным, если его не создали вручную. Для практической настройки лучше работать с реальным файлом: так проще контролировать содержимое и не зависеть от особенностей плагинов или сервера.
Порядок действий обычно такой:
- Откройте корень сайта через FTP/SFTP, файловый менеджер хостинга или панель управления.
- Проверьте, есть ли уже файл
robots.txt. - Если файла нет, создайте его в корне сайта.
- Добавьте базовые директивы, которые действительно нужны вашему сайту.
- Сохраните файл и проверьте, что он открывается по адресу
https://ваш-домен.ru/robots.txt.
Если вы редактируете файл через плагин, убедитесь, что он не конфликтует с физическим файлом в корне. На практике лучше не держать несколько мест, где одновременно можно менять robots.txt: потом сложно понять, какая версия реально отдается поисковикам.
Как проверить, что файл работает правильно
После сохранения файла не ограничивайтесь визуальной проверкой в браузере. Нужно убедиться, что поисковый робот видит именно тот текст, который вы ожидаете. Самый простой способ — открыть /robots.txt в браузере и проверить содержимое. Если сервер отдает ошибку 404, значит файл не создан или лежит не в корне сайта. Если открывается не тот текст, значит на сайте есть другой источник robots.txt или кэш.
Дальше проверьте несколько вещей:
- файл доступен по HTTPS и на основном домене;
- в нем нет лишних директив, оставшихся от старых настроек;
- строка
Disallowне закрывает важные публичные разделы; - ссылка на sitemap, если она добавлена, ведет на существующий файл;
- страницы сайта по-прежнему открываются и корректно рендерятся для роботов.
Если у вас есть доступ к инструментам для проверки robots.txt в поисковых системах, используйте их. Они помогают увидеть файл глазами робота и быстро заметить ошибку в синтаксисе или пути.
Типовые ошибки в robots.txt для WordPress
У WordPress-сайтов повторяются одни и те же проблемы. Их лучше знать заранее, чем потом разбираться, почему из поиска пропали нужные страницы или почему робот перестал нормально обходить сайт.
- Закрыт весь сайт. Иногда в файле случайно остается
Disallow: /. Это полностью запрещает обход сайта всем роботам. - Закрыт
/wp-content/целиком. Это может мешать загрузке ресурсов темы и плагинов. - Используются старые шаблоны без проверки. Файлы из чужих статей часто не подходят под конкретную структуру сайта.
- В robots.txt пытаются решить задачу удаления из индекса. Это не тот инструмент.
- Файл редактируют в нескольких местах. В итоге непонятно, какая версия актуальна.
Если после правки сайт начал вести себя странно, первым делом верните минимальный рабочий вариант и проверьте, исчезла ли проблема. Для robots.txt это самый быстрый способ локализовать ошибку.
Практический минимум, с которого стоит начать
Если вам нужен не теоретический, а рабочий вариант для обычного WordPress-сайта, начните с минимальной конфигурации: закройте административный раздел, оставьте доступ к admin-ajax.php и, при необходимости, добавьте sitemap. Этого достаточно для большинства проектов. Дальше уже смотрите по структуре сайта: если есть отдельные служебные разделы, которые действительно не должны обходиться, добавляйте их точечно и только после проверки последствий.
Хороший robots.txt для WordPress — это не длинный список запретов, а короткий и понятный файл без лишних ограничений. Чем меньше в нем случайных правил, тем меньше шанс сломать обход сайта и тем проще поддерживать его в рабочем состоянии.