Robots.txt, Sitemap и canonical: настройка без противоречий

Определите, что должно попадать в поиск

Сначала составьте список типов страниц: услуги, статьи, товары, поиск по сайту, корзина, личный кабинет, страницы фильтров. Для каждого типа запишите желаемый результат: доступен в поиске, техническая копия другой страницы, закрытая пользовательская область или временный раздел.

Решения принимайте по назначению страниц. Например, цена и описание услуги нужны потенциальному клиенту, а корзина содержит состояние конкретного заказа. Не переносите настройки другого сайта целиком: одинаковый путь /search/ в одной системе означает внутренний поиск, а в другой может быть частью полезного каталога. Отдельно договоритесь с разработчиком, где живут настройки: в коде, CMS или конфигурации сервера.

Разделите обход и индексацию

robots.txt управляет доступом робота к адресам. Он не является универсальным способом убрать известный URL из поиска и не защищает конфиденциальные данные. Для закрытой информации нужны механизмы доступа. Для запрета индексации публичной HTML-страницы обычно используют метатег noindex или соответствующий HTTP-заголовок.

Если одновременно запретить обход страницы и поставить на ней noindex, робот может не получить возможность прочитать этот метатег. Поэтому сначала определите задачу. Удаление уже известной страницы и экономия обхода огромного набора технических URL требуют разной последовательности действий. Проверяйте конкретный адрес в инструментах поисковой системы, а не только глазами в файле.

Подготовьте небольшой и понятный robots.txt

Для небольшого сайта лучше несколько объяснимых правил, чем десятки шаблонов, смысл которых никто не помнит. Учебный пример ниже относится к условному магазину; перед переносом замените домен и проверьте реальные маршруты.

User-agent: *
Disallow: /cart/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml

Этот пример ограничивает обход двух путей, но не заменяет авторизацию и не гарантирует удаление их адресов из индекса. Для служебных зон проверьте доступ без входа. Поисковым роботам должны оставаться доступны ресурсы, необходимые для понимания важных страниц, включая используемые стили и скрипты.

Включите в Sitemap нужные основные адреса

Соберите в XML-карту страницы, которые вы хотите показывать в поиске: рабочие канонические адреса без лишних параметров. Проверьте, что они не возвращают ошибку, не перенаправляют на другую страницу и не закрыты от индексации. Наличие URL в карте помогает сообщить о странице, но не обещает её включение в поиск.

Укажите адрес карты в robots.txt и добавьте её в панели поисковых систем. Если сайт генерирует карту автоматически, протестируйте добавление и удаление одной страницы. Для lastmod, если вы его используете, передавайте дату содержательного изменения, а не текущее время при каждом открытии карты.

Согласуйте canonical со ссылками и содержанием

Canonical сообщает предпочтительный адрес среди одинаковых или близких копий. Это сигнал для поисковой системы, а не запрет индексации и не замена обычному перенаправлению. Для основной страницы уместен адрес самой страницы; для настоящей копии — адрес соответствующего оригинала.

<link rel="canonical" href="https://example.com/uslugi/remont/">

Сравните canonical, внутренние ссылки, XML-карту и редиректы. Если они указывают на разные версии, сначала устраните противоречие. Не отправляйте все непохожие страницы на главную через canonical: так нельзя объединить их содержание. Правила для пагинации и полезных фильтров проектируйте отдельно.

Примите изменения по контрольным URL

Проверьте по одному адресу каждого типа: услуга, статья, служебная страница, вариант с параметром и несуществующий URL. Посмотрите HTTP-ответ, правила обхода, метатеги и canonical. Затем проверьте, какой основной адрес выбрала поисковая система, когда данные обновятся.

Сохраните исходные версии файлов и перечень изменённых правил. После релиза наблюдайте за обходом и индексацией: мгновенная проверка доступности не заменяет последующее переобновление поискового индекса. Если решение не соответствует ожиданию, возвращайтесь к цели конкретного типа страниц, а не добавляйте новые запреты поверх старых.