Проверка robots.txt в Яндекс Вебмастер

Robots.txt — это служебный текстовый документ, который содержит правила индексации страниц. Он находится в корневой папке сайта и открыт для редактирования. В файле можно прописывать команды и закрывать страницы от роботов, чтобы уменьшить нагрузку на сервер, оптимизировать индексацию и ускорить продвижение сайта.

Получите 3% с договора за рекомендацию

Предлагаем 3% вознаграждения за рекомендацию, если вы приведёте для нас клиента.

Есть клиент

Проверка файла robots.txt в Яндекс Вебмастер

Проверить файл robots.txt в Яндекс Вебмастер можно, даже если у пользователя нет прав на сайт. Нужная функция находится в разделе «Инструменты» в главном меню.

Чтобы увидеть текст файла, введите адрес сайта в пустом поле и нажмите кнопку «Проверить». Вводить адрес следует полностью, например, https://site.com. Если права на сайт подтверждены, достаточно выбрать домен из выпадающего списка.

Проверка robots.txt проводится по стандарту Robots Exclusion Protocol и правилам индексации страниц роботами Яндекса. Для успешной проверки нужно, чтобы размер файла не превышал 500 Кб, и сервер передавал HTTP-статус 200 ОК.

Результаты проверки файла robots.txt в Яндекс Вебмастер:

В результатах проверки robots.txt могут быть предупреждения и ошибки:

• Предупреждения появляются, когда алгоритмы Яндекса находят отклонения, которые они могут распознать и исправить. Это распространенные опечатки и неточности в правилах индексации страниц в robots.txt.
• Ошибки появляются, когда Яндекс Вебмастер не может прочитать строку, секцию или файл полностью. Получив это уведомление, нужно внимательно проверить синтаксис документа и исправить ошибки 

Скидка 5000 рублей на SEO продвижение

Дарим скидку 5000 рублей на SEO продвижение сайта. Акция действует до конца ноября.

Заказать SEO

Проверка индексации отдельных страниц

В нижней части страницы с результатами анализа есть блок «Разрешены ли URL?». Здесь можно ввести несколько адресов и проверить, открыты ли страницы для индексации. Инструмент Яндекс Вебмастера полезен при работе с большими сайтами, где в robots.txt указано много директив. Он помогает не тратить время на поиск информации.

В форме запроса можно указать прямые или относительные ссылки на страницы. Для Яндекс Вебмастера ссылки /catalog/ или https://site.com/catalog/ одинаковые.

Чтобы получить отчет о настройках индексации сайта в robots.txt, нажмите кнопку «Проверить». Если ссылка открыта для поисковых роботов, напротив нее появится зеленая галочка. Если URL закрыт для индексации, в списке он будет выделен красным цветом.

Управление версиями файла

Добавление robots.txt на сайт проводится вручную. Создать файл с командами можно в Блокноте или в другом текстовом редакторе. Для корректной работы важно, чтобы название и расширение документа были стандартные. Новый файл нужно загрузить в корневую директорию сайта. После загрузки можно вносить изменения в текст и менять опубликованную версию документа.

Вебмастер поддерживает добавление robots.txt в нескольких версиях. Сервис сохраняет историю изменений в файле за 6 месяцев, но не более 100 версий. В настройках можно включить отправку сообщений об изменениях в файле индексации robots.txt.

Инструмент Яндекс Вебмастера отмечен значком колокольчика в главном меню. Нажмите на него, чтобы перейти к разделу с настройками:

Отметьте варианты, как вы хотите отслеживать изменения в файле индексации robots.txt. Сервис может уведомлять в личном кабинете, отправлять письма или push-уведомления.

Управление индексированием страниц в robots.txt

Исключение страниц из индексации в robots.txt проводится с помощью команды Disallow. Можно указать ее в любом месте файла. С помощью директивы можно запретить индексацию отдельных страниц и разделов, а также всего сайта.

Синтаксис команды:

User-agent:

Disallow: 

Команды для управления индексацией сайта в robots.txt нужно писать без пробела между двумя строчками.

Расшифровка и примеры: 

User-agent: — обращение к поисковым роботам.

User-agent: Yandex — команда для роботов Яндекса.

User-agent: * — команда для любых поисковых роботов.

Disallow: / — запрет на индексацию всех материалов сайта.

Disallow: /catalog/ — исключение раздела catalog из поиска.

Disallow: /catalog/page/ — запрет индексации одной страницы.

Для управления индексированием в robots.txt также используется команда Allow. С ее помощью можно записывать правила с исключениями.

Пример выборочного исключения страниц из индексации в robots.txt :

User-agent: *

Allow: /

Allow: /catalog/new

Disallow: /catalog

В этом примере роботы могут индексировать весь сайт, кроме раздела catalog. Но подраздел new в каталоге открыт для индексации.