Дубли страниц: откуда берутся и как их убрать, не потеряв трафик

Формулировка «за дубли поисковик наказывает» — упрощение, которое мешает понять проблему. Никакой отдельной санкции за дубли нет. Есть три конкретных последствия, и каждое стоит денег.

Первое: поиск выбирает из копий одну и показывает только её. Выбор делает алгоритм, и он не обязан совпадать с вашим — в выдачу может уйти адрес с параметром сортировки вместо нормальной страницы категории. Второе: сигналы делятся. Ссылки, поведенческие данные и накопленный «вес» распределяются между копиями вместо того, чтобы усиливать одну страницу. Третье и самое ощутимое для каталогов: робот тратит ограниченное число визитов на обход одинаковых адресов, и новые товары попадают в индекс медленнее — иногда на недели.

Отдельная неприятность — статус «Дубль» в списке исключённых страниц Яндекс.Вебмастера. Владелец видит, что половина каталога исключена, и делает вывод, что сайт под фильтром. Обычно это не фильтр, а именно склейка копий, и решается она не переписыванием текстов, а наведением порядка в адресах.

Начинать разбор стоит с самого скучного слоя — вариантов написания одного и того же адреса. На коробочных движках без явной настройки одна страница обычно открывается сразу в нескольких формах: со слешем на конце и без него, с /index.php в пути и без него, в разном регистре букв. Для человека это один адрес, для поиска — разные документы с одинаковым содержимым.

Сюда же относится классическая четвёрка: сайт доступен с www и без www, по http и по https. Это тема главного зеркала, мы разбирали её в статье про robots.txt и карту сайта — там же про то, почему адрес в директиве Sitemap и подтверждённый сайт в Вебмастере должны быть на одном хосте.

Лечится этот слой одинаково: выбирается один канонический формат адреса, все остальные варианты отдают 301-редирект на него, и все внутренние ссылки на сайте переписываются на выбранный формат. Последнее забывают чаще всего — на сайте продолжают жить ссылки на редиректные адреса, и робот при каждом обходе идёт лишний шаг.

Это главный источник дублей на любом каталоге. Каждый фильтр добавляет к адресу параметр, каждая сортировка — ещё один, каждая рекламная кампания приносит свой набор utm-меток. Комбинаторика делает своё дело: из тридцати категорий получаются тысячи адресов, за которыми стоит один и тот же список товаров, просто в другом порядке.

Важно разделить два случая. Есть параметры, которые не меняют содержимое: utm-метки, идентификаторы сессий, сортировка списка. Есть параметры, которые содержимое реально меняют: фильтр по конкретному бренду или типу товара, за которым стоит отдельный спрос в поиске. Первые надо схлопывать, вторые — иногда наоборот, превращать в полноценные посадочные страницы с собственным адресом, заголовком и текстом.

Для параметров, которые ничего не меняют, у Яндекса есть аккуратный инструмент — директива Clean-param в robots.txt: робот понимает, что адреса отличаются только служебным хвостом, и сводит их к одному. Google эту директиву не понимает, поэтому в связке с ней на страницу ставят rel="canonical" на версию без параметров. Комбинация «Clean-param для Яндекса плюс canonical для всех» покрывает подавляющее большинство случаев с фильтрами и метками.

Пагинация — вторая, третья, десятая страницы списка — формально дублем не является: товары на них разные. Ошибка здесь другая и очень распространённая: на все страницы пагинации ставят canonical на первую. Робот получает указание считать десятую страницу копией первой и может перестать обходить всё, что на ней лежит, — то есть половину каталога. Правильнее оставить страницы пагинации самими собой, закрыв от индексации только явно бесполезные варианты, и обязательно давать роботу прямой путь к карточкам товаров, не спрятанный за десятью кликами.

Один товар в нескольких категориях — типовая ситуация для магазина: кресло лежит и в «Мебели для офиса», и в «Кабинетах руководителя». Если CMS формирует адрес с учётом категории, получаются два и более полностью одинаковых документа. Решение — один товар, один постоянный адрес, независимый от того, из какого раздела на него пришли. Хлебные крошки при этом могут меняться, адрес — нет.

Версии для печати, мобильные поддомены вида m.site.ru, служебные копии страниц с параметром вроде ?print=1 — отдельная категория. Такие страницы нужны людям, но в выдаче им делать нечего: на них нет ни меню, ни форм, ни возможности что-то заказать. Их закрывают мета-тегом noindex, а не редиректом — редирект сломал бы сам сценарий печати.

Здесь чаще всего и ломают сайты — берут один инструмент и применяют его ко всем случаям подряд. На самом деле выбор определяется одним вопросом: нужен ли дублирующий адрес живым людям.

301-редирект нужен, когда адрес больше не нужен никому. Старая страница после смены структуры, вариант с www, версия по http — их не должно быть, поэтому и человека, и робота перебрасываем на основной адрес. Это самый сильный инструмент: он не рекомендация, а команда, и он передаёт накопленные сигналы на целевую страницу.

rel="canonical" нужен, когда обе страницы должны оставаться доступными, но в поиске нужна одна. Классика — категория с примененным фильтром сортировки: человек этой страницей пользуется, а в выдаче должна быть базовая версия категории. Важно понимать: canonical — это подсказка, а не приказ. Если содержимое страниц заметно различается, поиск вправе её проигнорировать и оставить в индексе обе.

noindex нужен, когда страница полезна пользователю, но в выдаче бесполезна: версия для печати, страница благодарности после отправки формы, служебные разделы. Она остаётся открытой и работает, но из поиска уходит. Ключевое условие — робот должен иметь возможность её загрузить и прочитать запрет, поэтому такую страницу нельзя одновременно закрывать в robots.txt.

Начните с Яндекс.Вебмастера: «Индексирование → Страницы в поиске», вкладка исключённых, фильтр по статусу «Дубль». Это готовый список адресов, которые робот уже схлопнул, с указанием, в пользу какой страницы. Часто уже здесь видно закономерность — например, что все дубли имеют один и тот же параметр в адресе.

Дальше — сравнение чисел. Сколько адресов в вашей карте сайта, сколько робот обошёл всего и сколько держит в поиске. Если обойдено в разы больше, чем есть страниц, вы точно кормите робота копиями. Там же, в «Статистике обхода», видно, по каким адресам он ходит: список параметров и служебных URL обычно объясняет всё за пару минут.

Третий шаг — краулер вроде Screaming Frog (до 500 адресов бесплатно) или Netpeak Spider. Он обходит сайт как робот и позволяет отсортировать страницы по совпадающим title и description: одинаковые заголовки на разных адресах — самый быстрый способ найти дубли, которые ещё не попали в отчёты Вебмастера. Отдельно проверьте, куда указывает canonical на каждой странице: пустой или ссылающийся сам на себя тег — норма, тег, ведущий на неожиданный адрес, — повод разобраться.

Порядок действий важнее, чем сам инструмент. Первое — снять текущую картину: список адресов, которые получают переходы из поиска, и их позиции. Отчёт по посадочным страницам в Яндекс.Метрике даёт это за пару минут. Регулярно оказывается, что трафик идёт как раз на тот адрес, который выглядит «неправильным», и склеивать нужно в его пользу, а не наоборот.

Второе — не менять всё разом. Сначала разбираются варианты хоста и слеша, потом параметры, потом карточки и пагинация. Между блоками нужно дать роботу переобойти сайт и посмотреть, что изменилось в отчётах. Если выкатить пять изменений одновременно и трафик просядет, вы не поймёте, какое из них виновато.

Третье — выдержка по срокам. Склейка адресов не мгновенная: роботу нужно заново обойти страницы, увидеть редиректы и canonical и пересобрать индекс. На небольшом сайте первые изменения обычно видны в пределах нескольких недель, на крупном каталоге процесс идёт дольше. Просадка в первые дни после массовой склейки — нормальная часть процесса, а не сигнал срочно откатывать изменения.

И четвёртое — не создавать дубли заново. Если сайт собирается или пересобирается, структура адресов закладывается сразу: один материал — один постоянный адрес, параметры не участвуют в формировании страницы, фильтры под реальный спрос выносятся в отдельные посадочные осознанно. Это дешевле, чем потом разгребать одиннадцать тысяч адресов вместо четырёхсот.