Почему Яндекс не индексирует страницы сайта и как это исправить

Поиск работает в два такта. Сначала робот обходит адрес и решает, брать документ в индекс или нет. Только потом принятые документы соревнуются между собой за место в выдаче. Если страница не прошла первый такт, никакие заголовки, ключевые слова и ссылки на неё не имеют значения — её нет среди участников.

Отсюда практическое правило: прежде чем обсуждать позиции, нужно свести две цифры. Сколько на сайте страниц, которые вы считаете полезными для поиска, и сколько из них Яндекс держит в поиске. Первое число берётся из карты сайта или из выгрузки CMS, второе — в Вебмастере, раздел «Индексирование → Страницы в поиске». Разрыв между ними и есть объём проблемы.

Оператор site: в строке поиска для этого не годится: он даёт приблизительное число, которое скачет от запроса к запросу, и не объясняет причину. Он полезен как грубая прикидка «сайт вообще виден или нет», но диагноз ставится в Вебмастере, где по каждому исключённому URL написано, что именно произошло.

Вебмастер бесплатный, права на сайт подтверждаются файлом, мета-тегом или записью в DNS. Дальше нужны четыре экрана — в этом порядке, потому что каждый следующий уточняет предыдущий.

Смысл этих пятнадцати минут не в том, чтобы всё починить, а в том, чтобы получить формулировку причины. «Страницы каталога исключены со статусом Дубль», «раздел /uslugi/ закрыт в robots.txt», «карточки отдают 500 при обращении робота» — с такой фразой дальше можно работать. Формулировка «сайт плохо индексируется» ничего не даёт ни вам, ни подрядчику.

Самая частая и самая обидная причина. Запрет ставят осознанно — на время разработки, при переносе с тестового поддомена, при выкатке нового раздела — а снять забывают. Сайт год работает, в него льют рекламу, а поисковый робот на входе получает «сюда нельзя».

Запрет живёт в трёх разных местах, и проверять надо все три. В robots.txt — директива Disallow. В коде страницы — мета-тег robots со значением noindex. В ответе сервера — HTTP-заголовок X-Robots-Tag, который не видно в исходном коде страницы и про который забывают чаще всего: его проверяют в консоли разработчика браузера на вкладке Network или через «Проверку статуса URL» в Вебмастере.

Отдельный подводный камень: Disallow в robots.txt и noindex решают разные задачи. Disallow запрещает роботу заходить на страницу, но если на неё ведут ссылки, адрес всё равно может отображаться в выдаче — без содержимого. А чтобы страница гарантированно ушла из поиска, ей нужен noindex, и робот должен иметь возможность его прочитать — то есть Disallow на эту же страницу ставить нельзя. Комбинация «закрыли в robots.txt и повесили noindex» не работает: робот не зайдёт и не увидит запрет.

Робот попадает на страницу двумя путями: по ссылке с другой страницы сайта или из sitemap.xml. Если нет ни того ни другого, адрес существует только у вас в CMS. Такие страницы называют сиротами, и на коммерческих сайтах их обычно создают вручную: сделали посадочную под рекламу, дали ссылку в объявлении, а в меню и в карту сайта не добавили.

Второй вариант той же проблемы — слишком большая глубина. Если до карточки товара нужно сделать шесть кликов от главной, а в каталоге сотни позиций, робот доходит туда в последнюю очередь, а на большом сайте может не дойти вовсе. Практический ориентир для малого и среднего коммерческого сайта: любая важная страница должна открываться максимум за три клика от главной.

Лечится это не техникой, а структурой: живые ссылки из меню, из хабовых страниц разделов, из блоков «связанные услуги» и из статей. Карта сайта помогает роботу найти адрес, но она не заменяет внутренних ссылок — по ним же передаётся и вес страницы, и понимание, что этот раздел вообще важен.

В списке исключённых регулярно встречаются два статуса: «Дубль» и «Недостаточно качественная страница». Первый означает, что Яндекс нашёл другой адрес с практически тем же содержимым и оставил в поиске только его. Второй — что содержимого на странице настолько мало или оно настолько типовое, что робот не увидел смысла её хранить.

Дубли обычно порождает не человек, а сама CMS: адреса со слешем и без, версии с параметрами фильтров, один товар в трёх категориях, страницы печати. Это отдельная большая тема, мы разобрали её в статье про дубли страниц — там же про разницу между canonical, 301-редиректом и noindex и про то, как склеивать адреса, не потеряв уже накопленный трафик.

Со статусом «Недостаточно качественная» история другая. Он часто прилетает страницам, которые сделаны под ключевые слова, но по сути пустые: заголовок, три предложения и форма. Здесь нет технического рычага — помогает только доведение страницы до состояния, когда она отвечает на вопрос человека: состав работы, цена и что на неё влияет, сроки, ответы на реальные возражения. Если страница объективно не нужна ни человеку, ни поиску, честнее убрать её и не размывать сайт.

Робот заходит на сайт не тогда, когда вам удобно. Если в момент обхода сервер отдал 500-ю ошибку или отвалился по таймауту, страница из поиска выпадет — независимо от того, что у вас в браузере она открывается. Массовое выпадение раздела почти всегда объясняется именно этим, и видно это в разделе «Статистика обхода»: там коды ответа по датам.

Вторая сторона той же медали — скорость ответа. У робота есть лимит на обход конкретного сайта. Если сервер отдаёт документ за две-три секунды, за один визит робот успевает забрать в разы меньше страниц, чем мог бы. На сайте из тридцати страниц это незаметно, на каталоге из трёх тысяч — критично: часть адресов месяцами стоит в очереди.

Сюда же относится дешёвый шаред-хостинг, который режет частоту обращений, и защита от ботов, которая по ошибке блокирует поисковых роботов вместе с парсерами. Проверяется просто: если робот в Вебмастере стабильно получает коды 403, 429 или 5xx, вопрос не к SEO, а к хостингу и настройкам сервера.

Само по себе снятие запрета или починка сервера не возвращает страницы в поиск мгновенно — робот должен прийти заново. Ускорить это можно: в Вебмастере есть «Переобход страниц» с суточным лимитом на количество адресов, и есть протокол IndexNow, через который можно сообщать поиску об изменениях автоматически. Для небольшого сайта хватает ручной отправки приоритетных адресов, для каталога имеет смысл настроить автоматическую отправку при изменении контента.

Дальше нужна выдержка. После крупных правок первые изменения в разделе «Страницы в поиске» обычно видно в пределах пары недель, но полностью картина стабилизируется дольше — особенно если менялась структура адресов. Главная ошибка на этом этапе — не дождаться и начать откатывать или менять решения: в итоге робот получает третью версию сайта подряд и переиндексирует всё заново с нуля.

И параллельно стоит сделать так, чтобы проблема не вернулась. Перед каждым обновлением сайта — проверка robots.txt на боевом домене после выкатки, контроль кодов ответа, отслеживание количества страниц в поиске как обычной бизнес-метрики. Это ровно то, что входит в техническую часть работы над сайтом, и именно на этом уровне обычно теряется больше трафика, чем на текстах.