Как правильно закрыть пагинацию от поисковых систем

Как страницы с нумерацией влияют на SEO и сканирование сайта

Страницы с нумерацией появляются в каталогах, блогах, разделах с товарами, отзывами и новостями. Для поискового робота это отдельные URL: /category/page/2/, ?page=3, ?p=4. Если таких адресов сотни или тысячи, они начинают конкурировать за краулинговый бюджет с действительно важными страницами: карточками товаров, категориями, статьями, фильтрами с поисковым спросом.

Основные SEO-риски связаны не с самой нумерацией, а с тем, как она реализована:

• робот тратит обход на малоценные URL вместо приоритетных страниц;
• в индекс попадают страницы с похожими title, description и набором элементов;
• размывается внутренняя ссылочная масса между первой, второй и последующими страницами;
• поисковик может выбрать для показа не основную страницу раздела, а, например, третью страницу списка;
• при бесконечной генерации параметров возникают дубли: ?page=2, ?sort=price&page=2, ?view=list&page=2.

Для интернет-магазина проблема особенно заметна. Если в категории 5 000 товаров и выводится по 40 позиций, образуется 125 страниц. При наличии сортировок, фильтров и разных вариантов отображения количество URL легко вырастает в десятки раз. Без контроля сканирования поисковый робот будет регулярно обходить технические комбинации, а обновлённые карточки или коммерчески важные категории попадут в очередь позже.

При этом полностью убирать такие страницы из структуры нельзя: через них робот находит товары, старые публикации и архивные материалы. Задача — оставить доступ для переходов и сканирования нужных ссылок, но не создавать в индексе массив слабых страниц. Для этого настраивают корректные canonical, meta robots, внутреннюю перелинковку, карту сайта и параметры URL в зависимости от типа проекта.

Бесплатный экспресс аудит

Проведём SEO аудит без оплаты. Акция действует до конца августа.

Заказать аудит

Когда индексирование дополнительных страниц может навредить продвижению

Индексирование второй, третьей и последующих страниц пагинации вредно, когда они не дают поисковой системе самостоятельной ценности. Если на URL вида /catalog/page/2/ меняется только набор карточек, а title, description, H1 и текстовые блоки повторяют первую страницу, поисковик получает десятки почти одинаковых документов. В результате краулинговый бюджет уходит на обход дублей вместо важных категорий, товаров и посадочных страниц.

Типичные ситуации, когда такие URL лучше не пускать в индекс:

• на страницах пагинации нет уникального интента: пользователь ищет не «страницу 4 категории», а саму категорию или конкретный товар;
• метатеги и заголовки дублируются, отличаясь только номером страницы;
• часть товаров временно отсутствует, из-за чего поисковик индексирует слабые страницы с малым ассортиментом;
• пагинация создает сотни URL в крупных каталогах, фильтрах, блогах и разделах новостей;
• внутренний вес распыляется между техническими страницами, а основная категория получает меньше сигналов;
• в выдачу попадают не главные посадочные страницы, а случайные страницы с середины списка.

Особенно опасна индексация пагинации в интернет-магазинах с большим ассортиментом. Например, категория «кроссовки» может иметь 80 страниц. Если все они открыты для индексации, поисковая система тратит ресурсы на URL с низкой коммерческой ценностью, а важные страницы брендов, размеров и популярных моделей могут переобходиться реже.

Вопрос «Что такое пагинация и зачем закрывать её от индексации?» напрямую связан с управлением приоритетами: в индексе должны оставаться страницы, которые способны привлекать целевой трафик и отвечать на запрос, а не технические продолжения списка.

Основные способы ограничения доступа для поисковых роботов

Ограничивать обход и попадание технических URL в выдачу можно несколькими инструментами. Выбор зависит от задачи: не показывать страницу в поиске, сократить расход краулингового бюджета или полностью запретить доступ к разделу.

• Meta robots noindex, follow — оптимальный вариант для страниц, которые должны быть доступны роботу, но не должны попадать в индекс. Поисковик открывает URL, видит директиву и исключает страницу из выдачи, при этом может переходить по ссылкам на карточки, категории и другие важные разделы.
• X-Robots-Tag — HTTP-заголовок для файлов и страниц, где неудобно менять HTML-код. Его применяют для PDF, фильтров, служебных страниц, динамических URL. Пример: X-Robots-Tag: noindex, follow.
• robots.txt — запрет на сканирование. Директива Disallow не гарантирует удаление URL из индекса, если на него есть внешние или внутренние ссылки. Страница может остаться в выдаче без сниппета. Поэтому robots.txt используют для экономии краулингового бюджета, а не как основной способ удаления из индекса.
• Canonical — указание основной версии страницы. Для пагинации его применяют осторожно: массовый canonical со всех страниц на первую может привести к потере доступа робота к товарам или статьям, которые находятся глубже списка.
• Удаление ссылок из навигации — вспомогательный метод. Если закрыть бесконечные комбинации параметров, но оставить на них сотни внутренних ссылок, робот всё равно будет тратить ресурсы на их проверку.

На практике часто комбинируют методы: страницы с полезными ссылками оставляют доступными для обхода и закрывают через noindex, follow, а мусорные параметры сортировки, сессий и дублей дополнительно ограничивают в robots.txt. Перед внедрением проверяют ответ сервера, наличие самоссылочного canonical, метатеги и фактическое поведение URL в Google Search Console и Яндекс Вебмастере.

Настройка meta robots, robots.txt и canonical без ошибок

Для страниц пагинации нельзя одновременно применять взаимоисключающие сигналы. Типичная ошибка: закрыть URL через robots.txt, поставить на нем noindex и добавить canonical на первую страницу. Поисковый робот не сможет просканировать закрытый URL, не увидит meta robots и canonical, а сигналы будут проигнорированы.

Рабочая схема зависит от задачи:

• если страницы пагинации не должны попадать в индекс, но по ним нужно передавать обход к карточкам товаров или статьям, используйте <meta name="robots" content="noindex, follow">;
• если пагинация создает мусорные URL с параметрами сортировки, фильтрации или дублями, закрывайте именно параметры, а не всю директорию каталога;
• если в цепочке пагинации есть уникальные товары, статьи или листинги, не ставьте canonical со всех страниц на первую — это обрежет доступ к части ассортимента;
• если страница является точной копией другой, canonical должен указывать на индексируемый URL с кодом ответа 200, без редиректа и запрета в robots.txt.

В robots.txt стоит закрывать только технические сценарии: бесконечные комбинации параметров, сортировки вида ?sort=price, служебные страницы поиска, дубли с UTM-метками. Не закрывайте шаблоны вроде /page/, если через них робот находит товары, статьи или категории глубже первого экрана.

Для canonical используйте самоссылку на каждой полезной странице пагинации либо указывайте на релевантную версию без параметров. Нельзя канонизировать страницу 3 на страницу 1, если состав элементов отличается. Это не дубль, а продолжение списка.

После внедрения проверьте URL в Google Search Console и Яндекс Вебмастере: доступность для сканирования, выбранный canonical, наличие директивы noindex, код ответа сервера и попадание внутренних ссылок в обход.

Типичные проблемы при закрытии страниц и как их избежать

Ошибки при ограничении индексации чаще всего возникают не из-за самого запрета, а из-за неверной комбинации тегов, robots.txt, canonical и внутренних ссылок. Перед внедрением нужно проверить, какие URL уже в индексе, получают ли они показы и ведут ли на карточки товаров, статьи или категории.

• Закрытие через robots.txt вместо meta robots. Если страница запрещена к сканированию, поисковик может не увидеть тег noindex. В итоге URL останется в индексе как «страница без описания». Надёжнее оставить доступ для обхода и добавить <meta name="robots" content="noindex,follow">.
• Использование noindex,nofollow. Так поисковый робот перестаёт переходить по ссылкам на товары или материалы с последующих страниц. Лучше применять noindex,follow, чтобы сохранить передачу сигналов по внутренним ссылкам.
• Canonical со всех страниц на первую без проверки содержимого. Если на второй, третьей и следующих страницах размещены уникальные товары, такой canonical может ухудшить их обнаружение. Каноническую ссылку на первую страницу стоит использовать только там, где это логически оправдано.
• Удаление страниц вместо закрытия. Ответы 404 или 410 на URL с параметрами пагинации ломают переходы пользователей и внутреннюю перелинковку. Страницы должны открываться, но не попадать в индекс.
• Закрытие всех URL с параметрами без исключений. Под запрет могут попасть фильтры, сортировки или посадочные страницы, которые приносят трафик. Перед настройкой правил нужно выгрузить URL из Яндекс Вебмастера, Google Search Console и логов сервера.

После внедрения проверьте несколько адресов вручную: код ответа должен быть 200, в HTML должен присутствовать нужный meta robots, ссылки на товары должны быть доступны. Затем отправьте выборочные URL на переобход и отслеживайте статус индексации в панелях вебмастеров.

Скидка 5000 рублей на SEO продвижение

Дарим скидку 5000 рублей на SEO продвижение сайта. Акция действует до конца октября.

Заказать SEO

Как проверить результат и сохранить органический трафик

После настройки meta robots, canonical, robots.txt или других правил важно убедиться, что поисковые системы видят именно ту версию сайта, которую вы планировали. Проверку лучше проводить не сразу, а в несколько этапов: технический контроль — в день внедрения, анализ индекса — через 1–2 недели, оценка трафика — через 3–6 недель.

Сначала проверьте выборочные URL из цепочки страниц. Для каждой страницы зафиксируйте статус-код, наличие canonical, директиву robots и доступность для сканирования. Если страница закрыта через noindex, она должна открываться для робота и отдавать код 200, иначе поисковик может не увидеть запрет на индексацию.

• В Google Search Console используйте инструмент проверки URL и отчет «Страницы».
• В Яндекс Вебмастере проверьте разделы «Индексирование» и «Проверка URL».
• В Screaming Frog или Sitebulb просканируйте каталог и выгрузите страницы с параметрами, rel canonical и meta robots.
• В логах сервера проверьте, продолжает ли бот обходить нужные страницы категорий и карточек товаров.

Отдельно контролируйте органику. Сравнивайте не весь сайт целиком, а конкретные группы: категории, подкатегории, фильтры, карточки товаров, статьи. Смотрите клики, показы, среднюю позицию и количество проиндексированных URL. Резкое падение по основным категориям часто означает, что вместе с техническими дублями закрыли важные посадочные страницы.

Чтобы не потерять трафик, перед массовым внедрением протестируйте правило на одном разделе. Сохраните список URL, которые давали показы и переходы за последние 90 дней. Такие страницы нельзя закрывать автоматически: для них нужно оставить индексацию, настроить корректный canonical или создать отдельную SEO-страницу с чистым URL.