Robots.txt— это служебный текстовый документ, который содержит правила индексации страниц. Он находится в корневой папке сайта и открыт для редактирования. В файле можно прописывать команды и закрывать страницы от роботов, чтобы уменьшить нагрузку на сервер, оптимизировать индексацию и ускорить продвижение сайта.
Получите 3% с договора за рекомендацию
Предлагаем 3% вознаграждения за рекомендацию, если вы приведёте для нас клиента.
Проверить файл robots.txt в Яндекс Вебмастер можно, даже если у пользователя нет прав на сайт. Нужная функция находится в разделе «Инструменты» в главном меню.
Чтобы увидеть текст файла, введите адрес сайта в пустом поле и нажмите кнопку «Проверить». Вводить адрес следует полностью, например, https://site.com. Если права на сайт подтверждены, достаточно выбрать домен из выпадающего списка.
Проверка robots.txt проводится по стандарту Robots Exclusion Protocol и правилам индексации страниц роботами Яндекса. Для успешной проверки нужно, чтобы размер файла не превышал 500 Кб, и сервер передавал HTTP-статус 200 ОК.
Результаты проверки файла robots.txt в Яндекс Вебмастер:
В результатах проверки robots.txt могут быть предупреждения и ошибки:
Предупреждения появляются, когда алгоритмы Яндекса находят отклонения, которые они могут распознать и исправить. Это распространенные опечатки и неточности в правилах индексации страниц в robots.txt.
Ошибки появляются, когда Яндекс Вебмастер не может прочитать строку, секцию или файл полностью. Получив это уведомление, нужно внимательно проверить синтаксис документа и исправить ошибки
Скидка 5000 рублей на SEO продвижение
Дарим скидку 5000 рублей на SEO продвижение сайта. Акция действует до конца октября.
В нижней части страницы с результатами анализа есть блок «Разрешены ли URL?». Здесь можно ввести несколько адресов и проверить, открыты ли страницы для индексации. Инструмент Яндекс Вебмастера полезен при работе с большими сайтами, где в robots.txt указано много директив. Он помогает не тратить время на поиск информации.
В форме запроса можно указать прямые или относительные ссылки на страницы. Для Яндекс Вебмастера ссылки /catalog/ или https://site.com/catalog/ одинаковые.
Чтобы получить отчет о настройках индексации сайта в robots.txt, нажмите кнопку «Проверить». Если ссылка открыта для поисковых роботов, напротив нее появится зеленая галочка. Если URL закрыт для индексации, в списке он будет выделен красным цветом.
Управление версиями файла
Добавление robots.txt на сайт проводится вручную. Создать файл с командами можно в Блокноте или в другом текстовом редакторе. Для корректной работы важно, чтобы название и расширение документа были стандартные. Новый файл нужно загрузить в корневую директорию сайта. После загрузки можно вносить изменения в текст и менять опубликованную версию документа.
Вебмастер поддерживает добавление robots.txt в нескольких версиях. Сервис сохраняет историю изменений в файле за 6 месяцев, но не более 100 версий. В настройках можно включить отправку сообщений об изменениях в файле индексации robots.txt.
Инструмент Яндекс Вебмастера отмечен значком колокольчика в главном меню. Нажмите на него, чтобы перейти к разделу с настройками:
Отметьте варианты, как вы хотите отслеживать изменения в файле индексации robots.txt. Сервис может уведомлять в личном кабинете, отправлять письма или push-уведомления.
Управление индексированием страниц в robots.txt
Исключение страниц из индексации в robots.txt проводится с помощью команды Disallow. Можно указать ее в любом месте файла. С помощью директивы можно запретить индексацию отдельных страниц и разделов, а также всего сайта.
Синтаксис команды:
User-agent:
Disallow:
Команды для управления индексацией сайта в robots.txt нужно писать без пробела между двумя строчками.
Расшифровка и примеры:
User-agent: — обращение к поисковым роботам.
User-agent: Yandex — команда для роботов Яндекса.
User-agent: * — команда для любых поисковых роботов.
Disallow: / — запрет на индексацию всех материалов сайта.
Disallow: /catalog/ — исключение раздела catalog из поиска.
Disallow: /catalog/page/ — запрет индексации одной страницы.
Для управления индексированием в robots.txt также используется команда Allow. С ее помощью можно записывать правила с исключениями.
Пример выборочного исключения страниц из индексации в robots.txt :
User-agent: *
Allow: /
Allow: /catalog/new
Disallow: /catalog
В этом примере роботы могут индексировать весь сайт, кроме раздела catalog. Но подраздел new в каталоге открыт для индексации.
Особенности разработки сайта для производителя кирпича Сайт производителя кирпича должен продавать не «каталог товаров», а понятные параметры поставки: марку прочности, морозостойкость, формат, цвет, наличие на складе, объем партии, цену за штуку и за поддон. Покупатели — застройщики, снабженцы, прорабы, частные клиенты — сравнивают не дизайн, а условия закупки и риски срыва сроков. В структуре важно […]
Структура сайта для каталога межкомнатных и входных дверей Каталог должен строиться не от ассортимента поставщика, а от поискового спроса и сценариев выбора. Для дверной тематики базовые разделы лучше разделить на два независимых направления: межкомнатные и входные. Внутри каждого нужны посадочные страницы под тип, материал, покрытие, назначение, стиль, цвет, размер и ценовой сегмент. Оптимальная логика вложенности: […]
Анализ ниши и целевой аудитории перед запуском проекта С чего начать продвижение сайта рехаба — с точного понимания, кто принимает решение о заявке и в какой ситуации человек ищет помощь. В этой нише трафик неоднородный: часть запросов вводят сами зависимые, часть — родственники, чаще всего родители, супруги или взрослые дети. У каждой группы разные страхи, […]
Обратились в агентство, чтобы сделать новый сайт для нашей автомастерской и продвинуть его в поиске. Старый сайт практически не давал клиентов, поэтому решили полностью всё переделать. Результатом довольны. Сайт получился удобным и понятным, а главное — со временем пошли заявки и звонки из поиска. По основным запросам вышли в ТОП, чего и хотели добиться. Спасибо ребятам за хорошую работу и нормальную коммуникацию. Всё объясняли и были на связи, когда возникали вопросы. Можем рекомендовать.
Развернуть
Станислав Шерефитинов
Терра Керамика
19 авг 2026
Обращались в агентство, когда решили наконец обновить сайт нашего магазина плитки. Старый сайт был неудобный, каталог нормально не работал, да и с телефона им пользоваться было тяжело. Новый сайт сделали гораздо удобнее: нормально оформили каталог, добавили фильтры, карточки товаров и возможность оставить заявку. Потом ещё занимались продвижением, благодаря чему сайт начал приносить обращения из поиска. По работе всё понравилось. Не было ощущения, что просто сделали сайт и забыли — после запуска ребята продолжили заниматься им и вносили нужные изменения. Результатом очень довольны.
Развернуть
Елена Мешкова
ЛанчТайм
11 авг 2026
Обратились к ребятам, когда поняли, что наш старый сайт уже совсем не справляется с заказами. Мы занимаемся доставкой готовой еды в офисы, поэтому было важно, чтобы человек мог быстро выбрать блюда, оформить заказ и сразу оплатить. Сайт сделали с нуля, подключили оплату и нормальную систему заказов. В процессе несколько раз меняли детали, что-то добавляли — ребята спокойно всё дорабатывали и были на связи. После запуска стало намного удобнее и нам, и клиентам. Заказы с сайта действительно пошли, поэтому в целом работой довольны. Хорошая команда, с которой приятно работать.
Развернуть
Игорь Мельник
ОНИКС
1 марта 2026
Обратился в DDSI как владелец строительной компании «Оникс». Хотелось нормальный сайт, потому что старого по сути не было, и чтобы люди реально находили нас в Яндексе и Google. Ребята сделали сайт с нуля: помогли определиться, что и как лучше показать, собрали страницы по нашим услугам, всё оформили понятно и аккуратно. На телефоне тоже всё нормально открывается, ничего не «едет», кнопки работают — это важно, потому что многие заходят именно с мобильных. После запуска занялись продвижением. Плюс начали писать статьи на сайте — про стройку, материалы, частые вопросы клиентов. Это оказалось полезно: люди приходят уже подготовленные, многие сначала читают, потом звонят или оставляют заявку. В целом я доволен: работать комфортно, всё объясняют простыми словами, не пропадают, и результат видно. DDSI могу смело рекомендовать!
