На тестовой копии сайта часто забывают не саму страницу, а XML sitemap. В итоге поисковик находит карту сайта, переходит по ней и начинает собирать URL со staging-домена, даже если сам сайт уже закрыт через noindex или базовую авторизацию. Это типичная техническая ошибка: карта сайта доступна, а значит, она может стать входной точкой для индексации служебной среды.
Ниже разберём, как правильно закрыть XML sitemap именно для тестового сайта в WordPress: когда достаточно настроек плагина, когда нужен код, и как проверить, что поисковики больше не видят эту карту.
Когда проблема действительно в sitemap
Не каждый случай с индексированием staging связан с картой сайта. Сначала стоит понять, что именно попало в поиск. Если в индексе есть URL вида staging.example.com/sitemap_index.xml или отдельные карты post-sitemap.xml, page-sitemap.xml, значит поисковик получил доступ к sitemap и использовал её как источник ссылок.
Признаки, что sitemap нужно закрывать отдельно
- в поиске виден сам
sitemap_index.xmlили его дочерние файлы; - в
robots.txtесть ссылка на sitemap, но staging не закрыт от обхода; - сайт защищён только мета-тегом
noindex, а sitemap остаётся доступной; - на тестовой копии используется тот же SEO-плагин, что и на боевом сайте, и карта генерируется автоматически.
Если sitemap открывается по прямой ссылке без авторизации, поисковый робот может её увидеть, даже если сам сайт вы не планировали индексировать. Поэтому задача не только в том, чтобы поставить noindex, а в том, чтобы убрать сам источник URL.
Что закрывать: sitemap, robots.txt или весь staging
Есть три уровня защиты, и они не взаимозаменяемы. Для тестовой среды лучше использовать все три, но в правильном порядке: сначала ограничить доступ, затем убрать sitemap, затем проверить, что поисковик не видит новые URL.
| Подход | Что делает | Плюс | Минус |
|---|---|---|---|
| robots.txt | Запрещает обход | Просто настроить | Не гарантирует удаление уже известных URL |
| noindex | Просит не индексировать страницу | Работает на уровне страницы | Если страница недоступна роботу, директива может не сработать как ожидается |
| HTTP-авторизация / IP-ограничение | Полностью закрывает доступ | Самый надёжный вариант для staging | Нужно настроить сервер или хостинг |
Если staging нужен только вам и команде, лучший вариант — закрыть его на уровне сервера или хостинга, а уже потом отключать sitemap. Если же копия доступна публично по техническим причинам, тогда нужно хотя бы убрать карту сайта из генерации и исключить её из robots.txt.
Пошаговое решение в WordPress
1. Отключите генерацию sitemap на тестовой копии
Если на сайте используется встроенная XML-карта WordPress, её можно отключить фильтром. Это полезно, когда staging не должен отдавать никаких sitemap вообще.
add_filter( 'wp_sitemaps_enabled', '__return_false' );Добавить код можно в functions.php дочерней темы или в небольшой mu-plugin, если нужно сохранить настройку независимо от темы. Для staging это удобнее, чем править SEO-плагин, потому что код работает предсказуемо и не зависит от интерфейса.
Если sitemap генерирует SEO-плагин, отключать нужно уже его карту — через настройки самого плагина. Важно не смешивать два источника sitemap: иногда встроенная карта WordPress выключена, но SEO-плагин продолжает отдавать собственный sitemap_index.xml.
2. Уберите ссылку на sitemap из robots.txt
На тестовой копии robots.txt часто копируют с боевого сайта без изменений. В результате там остаётся строка Sitemap: https://staging.example.com/sitemap_index.xml, и это прямо подсказывает роботу, где искать карту.
Для staging robots.txt должен быть минимальным и без ссылки на sitemap:
User-agent: *
Disallow: /Такой вариант не заменяет полноценную защиту, но он убирает лишний сигнал для поисковиков. Если staging уже закрыт авторизацией, robots.txt можно оставить даже более простым, но не стоит публиковать в нём URL карты сайта.
3. Закройте сам sitemap от доступа, если она уже есть в индексе
Если карта уже попала в поиск, одного отключения генерации может быть недостаточно. Поисковик ещё какое-то время будет помнить старый URL. В этом случае полезно отдать для sitemap статус 404 или 410, чтобы показать: страницы больше нет.
Простой вариант через template_redirect для staging-домена:
add_action( 'template_redirect', function () {
if ( ! defined( 'WP_ENVIRONMENT_TYPE' ) || WP_ENVIRONMENT_TYPE !== 'staging' ) {
return;
}
$request_uri = $_SERVER['REQUEST_URI'] ?? '';
if ( str_contains( $request_uri, 'sitemap' ) ) {
status_header( 410 );
nocache_headers();
exit;
}
} );Этот пример грубый, но рабочий для тестовой среды. Если у вас на staging есть служебные URL, которые тоже содержат sitemap в пути, условие нужно сузить. Для боевого сайта такой код применять не стоит без точной проверки маршрутов.
Если sitemap генерирует SEO-плагин
На практике чаще всего карта сайта идёт не из ядра WordPress, а из SEO-плагина. Тогда правильнее отключать её в настройках плагина, а не пытаться перехватывать вывод кодом. Это снижает риск сломать другие служебные URL.
Для тестовой копии проверьте:
- включена ли генерация XML sitemap вообще;
- не создаются ли отдельные карты для записей, страниц, рубрик и медиа;
- не прописан ли sitemap в robots.txt автоматически;
- не осталась ли старая ссылка в кеше поисковика или в панели вебмастера.
Если у вас на сайте используется Clearfy Pro, его удобно рассматривать как инструмент для технической чистки: он помогает убрать лишние элементы и дубли, но для staging всё равно важно не ограничиваться только настройками плагина. Сначала закрываем среду, потом уже наводим порядок в индексации. Подробности по продукту есть на странице Clearfy Pro.
Диагностика: как понять, что решение сработало
После изменений не надо гадать по ощущениям. Проверьте конкретные точки доступа, которые обычно используют роботы и люди.
Чек-лист проверки
- откройте
/sitemap_index.xmlв браузере в режиме инкогнито; - проверьте, что URL отдаёт
404или410, либо требует авторизацию; - посмотрите
robots.txtи убедитесь, что там нет ссылки на sitemap; - выполните запрос через
curl -Iи проверьте код ответа; - если sitemap была в индексе, отправьте запрос на переобход или удаление в панели вебмастера.
Пример проверки через консоль:
curl -I https://staging.example.com/sitemap_index.xml
curl -I https://staging.example.com/robots.txtВ ответе для sitemap вы должны увидеть не 200 OK, а отказ в доступе, 404 или 410. Для robots.txt допустим 200 OK, но без ссылки на sitemap.
Частые ошибки и как их исправить
Отключили sitemap в одном месте, но она осталась в другом
Так бывает, когда в WordPress одновременно работает встроенная карта и карта от SEO-плагина. Визуально кажется, что sitemap отключена, но по факту доступен другой источник. Решение: проверить оба механизма и оставить только один, либо отключить оба на staging.
Закрыли robots.txt, но не закрыли прямой URL
robots.txt не запрещает доступ к URL технически, он только просит робота не обходить его. Если sitemap уже известна поисковику, он может продолжать учитывать её адрес. Поэтому нужен либо 410, либо авторизация, либо отключение генерации.
Поставили noindex на страницу, но не на sitemap
Это частая путаница. noindex работает для HTML-страниц, а sitemap — это XML-документ. Его лучше не индексировать не директивой в мета-тегах, а убрать из публикации совсем.
Оставили staging открытым без защиты
Если копия сайта доступна всем, поисковик может собрать не только sitemap, но и внутренние ссылки, тестовые записи, медиафайлы и служебные страницы. В таком случае закрытие sitemap — только часть решения. Нужна защита на уровне сервера, хостинга или хотя бы HTTP-авторизация.
Практические советы по безопасности и производительности
Для тестовой среды лучше не плодить лишние правила в WordPress, если это можно решить на уровне инфраструктуры. Чем меньше логики в теме и плагинах, тем меньше шанс, что staging случайно начнёт вести себя как боевой сайт.
- не копируйте robots.txt с production без проверки ссылок на sitemap;
- не оставляйте публичный staging без авторизации дольше, чем нужно;
- если используете mu-plugin для отключения sitemap, храните его в репозитории вместе с инфраструктурным кодом;
- после переноса staging на новый домен проверьте, не остались ли старые абсолютные ссылки в sitemap и robots.txt;
- не полагайтесь только на мета-теги, если карта сайта доступна по прямому URL.
Если нужно быстро навести порядок не только с sitemap, но и с другими техническими дублями, удобнее держать под рукой инструмент, который умеет чистить лишнее поведение WordPress без ручного редактирования каждого шаблона. Но для staging всё равно сначала решайте вопрос доступа, а уже потом — косметику индексации.
Коротко о рабочем сценарии
Для тестового сайта безопасная схема выглядит так: закрыть доступ к staging на уровне сервера или авторизации, отключить генерацию XML sitemap, убрать ссылку на неё из robots.txt и проверить, что URL больше не отдаёт 200 OK. Если sitemap уже попала в индекс, отдайте 410 или закройте её полностью и дождитесь переобхода.
Такой порядок важен: сначала доступ, потом карта сайта, потом проверка. Если перепутать шаги, можно оставить поисковику прямой путь к тестовой среде даже при формально включённом noindex.