robots.txt и sitemap.xml: что проверить, если страницы не попадают в поиск

robots.txt — это рекомендация роботу, куда не заходить. Он лежит строго в корне сайта и открывается по адресу ваш-сайт.ru/robots.txt. Ключевой момент, который путают почти все: Disallow запрещает обход, а не присутствие в выдаче. Если на закрытую страницу ведут ссылки, её адрес может отображаться в поиске — просто без содержимого. Убирает страницу из поиска мета-тег noindex, и робот должен иметь возможность его прочитать.

sitemap.xml — наоборот, приглашение: список адресов, которые вы считаете нужными для поиска. Он не гарантирует индексацию и не поднимает позиции. Его реальная польза в другом — он помогает роботу быстрее найти новые и изменённые страницы, особенно на сайтах, где не всё доступно по коротким ссылкам из меню.

Отсюда логика проверки: в robots.txt мы ищем случайные запреты, в sitemap.xml — мусор, из-за которого робот тратит визиты впустую. Это разные ошибки, и лечатся они по-разному.

На время разработки сайт обычно живёт на тестовом поддомене и закрывается от поиска целиком — двумя строками User-agent: * и Disallow: /. Это правильно. Проблема в том, что при выкатке на боевой домен файл переносится вместе со всем остальным содержимым, и запрет продолжает действовать уже на рабочем сайте.

Выглядит это особенно неприятно после редизайна: старый сайт был в поиске, новый выкатили, через месяц трафик обвалился, и все ищут причину в дизайне и текстах. А причина — три строки в файле, который никто не открыл после релиза. В Яндекс.Вебмастере это видно сразу: в «Диагностике сайта» появляется предупреждение, а страницы в списке исключённых получают статус «Запрет в robots.txt».

Проверка занимает десять секунд: откройте ваш-сайт.ru/robots.txt в браузере. Если видите Disallow: / без уточнений — сайт закрыт целиком. Если видите Disallow: /catalog/ или другой боевой раздел, проверьте, осознанно ли он закрыт: иногда так закрывают каталог «чтобы не было дублей», а фактически убирают из поиска весь ассортимент.

Наследие старых шаблонов robots.txt: строки, закрывающие системные папки целиком, а вместе с ними — стили и скрипты. Логика была «роботу это не нужно», и лет пятнадцать назад она работала. Сейчас поисковые системы рендерят страницу так же, как браузер: подгружают CSS, выполняют JavaScript и оценивают, что в итоге увидит человек.

Если стили и скрипты закрыты, робот получает голый HTML без вёрстки. На таком «скриншоте» страница выглядит как нечитаемая простыня без структуры, часть контента может вообще не подгрузиться, а мобильная адаптация не определяется. Оценка качества и удобства при этом идёт по тому, что увидел робот, а не по тому, что видите вы.

Отдельная категория риска — сайты, где контент подгружается скриптом: каталоги с динамической подгрузкой, табы с описаниями, отзывы. Если скрипт закрыт от обхода, поиск не увидит эту часть страницы вообще, и объективно наполненная карточка окажется для робота почти пустой.

Рабочий robots.txt коммерческого сайта короткий. User-agent задаёт, к какому роботу относятся правила. Disallow закрывает служебные разделы: корзину, оформление заказа, личный кабинет, страницы результатов внутреннего поиска, административную часть. Allow точечно открывает нужное внутри закрытой ветки. Sitemap указывает абсолютный адрес карты сайта — с протоколом и доменом, не относительный путь.

Отдельно для Яндекса имеет смысл Clean-param — она сообщает роботу, что определённые параметры в адресе не меняют содержимое страницы, и заставляет его свести такие адреса к одному. Это более аккуратный способ разобраться с utm-метками и параметрами сортировки, чем запрет обхода: страница остаётся доступной, а её копии не плодятся. Подробнее про то, как параметры порождают дубли и когда вместо Clean-param нужен canonical или 301, — в статье про дубли страниц.

Чего в файле быть не должно: директива Host — она давно не поддерживается и главное зеркало определяется редиректом, а не строкой. Директива noindex внутри robots.txt никогда официально не работала — запрет индексации ставится мета-тегом на странице. Crawl-delay сейчас тоже не нужен: скорость обхода регулируется в самом Вебмастере, а руками выставленное большое значение только замедляет попадание страниц в поиск.

Карта сайта — это список адресов, которые вы готовы показывать в поиске. Значит, каждый адрес в ней обязан отвечать кодом 200, быть каноническим и не иметь мета-тега noindex. Любое нарушение этого правила — сигнал роботу пойти туда, где ему делать нечего.

Самый частый мусор в картах — редиректные адреса. Сайт переехал с http на https или сменил структуру разделов, редиректы поставили, а генератор карты продолжает отдавать старые ссылки. Робот идёт по адресу, получает 301, идёт дальше — и так по каждому URL. Формально это не ошибка, фактически — впустую потраченные визиты и постоянные предупреждения в Вебмастере.

Вторая типичная проблема — адреса удалённых страниц. Товар сняли с продажи, статью убрали, а в карте они остались и отдают 404. И третья, самая противоречивая: в карту попадают страницы, которые вы же сами закрыли мета-тегом noindex или в robots.txt. Робот получает два взаимоисключающих указания от одного сайта.

Поле lastmod в карте сайта говорит роботу, когда страница менялась в последний раз. Он использует его, чтобы решить, какие адреса перепроверить в первую очередь. Работает это только при одном условии: даты честные.

Два способа испортить lastmod встречаются одинаково часто. Первый — дата не обновляется вообще: страницу переписали полгода назад, а в карте по-прежнему стоит день её создания. Робот считает, что смотреть там нечего, и приходит нескоро. Второй, более коварный — генератор ставит всем адресам текущую дату при каждой сборке сайта. Формально всё «свежее», фактически поле перестаёт нести информацию: если каждый день обновились все 900 страниц, приоритизировать нечего.

Правильное поведение — привязать lastmod к реальному изменению содержимого страницы, а не к дате файла или дате сборки. На сайтах, где контент лежит в общих источниках данных, это особенно важно: правка одной статьи не должна «обновлять» все страницы сайта разом. Такую логику мы закладываем при разработке, но и на готовом сайте её можно поправить — обычно это правка в генераторе карты, а не переделка проекта.

Формально ваш-сайт.ru, www.ваш-сайт.ru, http-версия и https-версия — это четыре разных сайта. Если все четыре отдают код 200 и содержимое, поиск вынужден сам выбирать главный вариант, а сигналы распределяются между копиями. Выбор между www и без www не влияет на позиции: важно, чтобы выбор был сделан и зафиксирован технически.

Правильная схема простая: три варианта отдают 301-редирект на четвёртый, выбранный основным. Дальше все внутренние ссылки, адрес в директиве Sitemap, сами адреса внутри карты, счётчик Яндекс.Метрики и подтверждённый сайт в Вебмастере должны указывать на тот же хост. Половина проблем с «карта сайта не читается» объясняется именно тем, что карта лежит на одном хосте, а сайт подтверждён на другом.

Проверить можно вручную за минуту: наберите в браузере поочерёдно все четыре варианта адреса и посмотрите, на какой из них вас в итоге перебрасывает. Если хотя бы один вариант открывается сам по себе и не перенаправляет — настройку редиректов нужно доделать, и это задача уровня хостинга, а не контента.