Robots.txt — это служебный текстовый документ, который содержит правила индексации страниц. Он находится в корневой папке сайта и открыт для редактирования. В файле можно прописывать команды и закрывать страницы от роботов, чтобы уменьшить нагрузку на сервер, оптимизировать индексацию и ускорить продвижение сайта.
Проверить файл robots.txt в Яндекс Вебмастер можно, даже если у пользователя нет прав на сайт. Нужная функция находится в разделе «Инструменты» в главном меню.
Чтобы увидеть текст файла, введите адрес сайта в пустом поле и нажмите кнопку «Проверить». Вводить адрес следует полностью, например, https://site.com. Если права на сайт подтверждены, достаточно выбрать домен из выпадающего списка.
Проверка robots.txt проводится по стандарту Robots Exclusion Protocol и правилам индексации страниц роботами Яндекса. Для успешной проверки нужно, чтобы размер файла не превышал 500 Кб, и сервер передавал HTTP-статус 200 ОК.
Результаты проверки файла robots.txt в Яндекс Вебмастер:
В результатах проверки robots.txt могут быть предупреждения и ошибки:
В нижней части страницы с результатами анализа есть блок «Разрешены ли URL?». Здесь можно ввести несколько адресов и проверить, открыты ли страницы для индексации. Инструмент Яндекс Вебмастера полезен при работе с большими сайтами, где в robots.txt указано много директив. Он помогает не тратить время на поиск информации.
В форме запроса можно указать прямые или относительные ссылки на страницы. Для Яндекс Вебмастера ссылки /catalog/ или https://site.com/catalog/ одинаковые.
Чтобы получить отчет о настройках индексации сайта в robots.txt, нажмите кнопку «Проверить». Если ссылка открыта для поисковых роботов, напротив нее появится зеленая галочка. Если URL закрыт для индексации, в списке он будет выделен красным цветом.
Добавление robots.txt на сайт проводится вручную. Создать файл с командами можно в Блокноте или в другом текстовом редакторе. Для корректной работы важно, чтобы название и расширение документа были стандартные. Новый файл нужно загрузить в корневую директорию сайта. После загрузки можно вносить изменения в текст и менять опубликованную версию документа.
Вебмастер поддерживает добавление robots.txt в нескольких версиях. Сервис сохраняет историю изменений в файле за 6 месяцев, но не более 100 версий. В настройках можно включить отправку сообщений об изменениях в файле индексации robots.txt.
Инструмент Яндекс Вебмастера отмечен значком колокольчика в главном меню. Нажмите на него, чтобы перейти к разделу с настройками:
Отметьте варианты, как вы хотите отслеживать изменения в файле индексации robots.txt. Сервис может уведомлять в личном кабинете, отправлять письма или push-уведомления.
Исключение страниц из индексации в robots.txt проводится с помощью команды Disallow. Можно указать ее в любом месте файла. С помощью директивы можно запретить индексацию отдельных страниц и разделов, а также всего сайта.
Синтаксис команды:
User-agent:
Disallow:
Команды для управления индексацией сайта в robots.txt нужно писать без пробела между двумя строчками.
Расшифровка и примеры:
User-agent: — обращение к поисковым роботам.
User-agent: Yandex — команда для роботов Яндекса.
User-agent: * — команда для любых поисковых роботов.
Disallow: / — запрет на индексацию всех материалов сайта.
Disallow: /catalog/ — исключение раздела catalog из поиска.
Disallow: /catalog/page/ — запрет индексации одной страницы.
Для управления индексированием в robots.txt также используется команда Allow. С ее помощью можно записывать правила с исключениями.
Пример выборочного исключения страниц из индексации в robots.txt :
User-agent: *
Allow: /
Allow: /catalog/new
Disallow: /catalog
В этом примере роботы могут индексировать весь сайт, кроме раздела catalog. Но подраздел new в каталоге открыт для индексации.
SEO продвижение
Как сделать чтобы ваш бренд был в ответах ...
Пользователь всё чаще задаёт нейросети не информационный, а покупательский запрос: «какой сервис выбрать», «кому доверить проект», «какие компании работают с B2B». В этот момент ChatGPT становится не поисковой строкой, а фильтром вариантов: он сокращает список поставщиков до нескольких названий. Если компания попадает в такой ответ, она получает контакт с аудиторией до перехода на сайт, рекламы […]
19.08.2026 0 1598
SEO продвижение
Редизайн вашего сайта
Перед изменением интерфейса нужно зафиксировать, что именно мешает сайту зарабатывать: потеря трафика, низкая конверсия, слабая вовлеченность, отказы на ключевых страницах или технические ошибки. Редизайн сайта должен опираться не на вкус команды, а на данные из Яндекс Метрики, Google Analytics, CRM, коллтрекинга и систем сквозной аналитики. Сначала оценивают страницы, которые влияют на заявки и продажи: главную, […]
19.08.2026 0 1599
SEO продвижение
Как сделать карточку товара которая будет ...
Покупатель принимает решение за несколько секунд, поэтому первый экран должен сразу отвечать на три вопроса: что это за товар, чем он отличается и почему его стоит купить здесь. Дизайн карточки товара начинается не с декоративных элементов, а с правильной иерархии: изображение, цена, выгода, наличие, условия покупки. В верхней части страницы важно разместить элементы, которые влияют […]
19.08.2026 0 1598
ОНИКС
Обратился в DDSI как владелец строительной компании «Оникс». Хотелось нормальный сайт, потому что старого по сути не было, и чтобы люди реально находили нас в Яндексе и Google. Ребята сделали сайт с нуля: помогли определиться, что и как лучше показать, собрали страницы по нашим услугам, всё оформили понятно и аккуратно. На телефоне тоже всё нормально открывается, ничего не «едет», кнопки работают — это важно, потому что многие заходят именно с мобильных. После запуска занялись продвижением. Плюс начали писать статьи на сайте — про стройку, материалы, частые вопросы клиентов. Это оказалось полезно: люди приходят уже подготовленные, многие сначала читают, потом звонят или оставляют заявку. В целом я доволен: работать комфортно, всё объясняют простыми словами, не пропадают, и результат видно. DDSI могу смело рекомендовать!
ACE TENNIS
Я владелеца небольшой школы большого тенниса «Ace Tennis». Обратилась в DDSI, потому что нужен был простой сайт-визитка: чтобы красиво выглядел, нормально открывался с телефона и чтобы люди могли быстро понять, где мы находимся и как записаться на тренировку. Ребята всё сделали очень быстро и аккуратно. Помогли с текстами, подсказали, какие блоки лучше добавить (расписание, цены, фото, карта, кнопка записи), настроили формы — заявки начали приходить сразу. Отдельный плюс — всегда были на связи и объясняли без сложных терминов, что и зачем делается. Сайт получился понятный и удобный: человек заходит и сразу видит, куда нажать, как записаться и что входит в тренировку. Мне это было важнее всего.
Спасибо DDSI, могу рекомендовать, если нужен нормальный сайт без головной боли.
MARKETING LAB
Хочу оставить честный отзыв о работе с агентством DDSI. В какой-то момент мы упёрлись в потолок: сайт есть, кейсы есть, клиенты довольны, а вот органического трафика и заявок с поиска почти нет. Сама я в SEO разбираюсь на базовом уровне, но было понятно, что своими силами вытащить сайт в топ мы уже не сможем. По рекомендации знакомых коллег вышла на DDSI.
С самого начала понравилось, что мне не обещали «топ за месяц» и чудес. Ребята спокойно разобрали наш сайт по косточкам: показали, где мы теряем трафик, какие запросы не закрываем, что не так с технической частью и структурой. Составили понятный план работ, без воды — с конкретными этапами и сроками. Результат за первые месяцы я увидела очень чётко: — многие ключевые запросы по нашим услугам вышли в топ‑10, некоторые — в топ‑3; — органический трафик вырос более чем в два раза; — самое главное — стало ощутимо больше заявок именно «с поиска», без увеличения рекламного бюджета. Отдельно хочу отметить работу с контентом. DDSI помогли нормально выстроить структуру сайта, добавили нужные разделы, подсказали, какие статьи и посадочные страницы нужно сделать. После этого люди стали приходить не только по брендовым, но и по «холодным» запросам, и реально заказывать. По общению всё тоже на высоте: всегда на связи, отчёты приходят вовремя, без попыток «замылить» картину. Все изменения на сайте объясняют человеческим языком — зачем это делается и какой эффект ожидается. Не было ни одного чувства, что я «бросила сайт подрядчику и не знаю, что там происходит». Сейчас мы продолжаем работать с DDSI уже на этапе развития и поддержки. Для меня это не просто подрядчик, а нормальный партнёр, который думает не только про позиции, но и про бизнес в целом. Если вам нужен адекватный исполнитель по SEO и комплексному продвижению, я однозначно могу рекомендовать DDSI.
ТЕХНО ЛИФТ
Когда мы запустили свою компанию по монтажу лифтов, у нас вообще не было сайта. Работали по старинке — через сарафанное радио, рекомендации и личные связи. Но в какой-то момент стало ясно, что без онлайн-присутствия мы теряем огромное количество клиентов. Тогда мы обратились в DDSI, и это было, пожалуй, одно из лучших решений для нашего бизнеса.
Ребята сделали для нас сайт с нуля: продумали структуру, создали удобный и понятный дизайн, написали тексты, которые действительно «цепляют» клиентов. Но самое главное — они взялись за продвижение. Уже через несколько месяцев наш сайт оказался в ТОПе поисковой выдачи по ключевым запросам, а поток заявок вырос в разы. Если раньше мы искали клиентов сами, то теперь они находят нас.
С уверенностью могу сказать, что без DDSI мы бы не добились такого роста. Если вам нужен сайт, который действительно работает, и продвижение, которое приносит результат — обращайтесь к ним без раздумий!
С уважением,
Игорь Громов
Директор ТЕХНО ЛИФТ
ROCKETDEV
МЕЛЬНИЦА
FLOWER PARADISE
СКУПКА СТОРУБЛЁВКА
Продвижение продукта Альфа-банка
Комплексное SEO продвижение
Автошкола КУРСАНТ
Дизайн и продвижение для автошколы Курсант
Агрегатор экскурсий FINDGID
Разработка под ключ, продвижение, контекстная реклама, SMM агрегатора экскурсий FINDGID
Производитель аэролодок ALLIGATOR
Редизайн и продвижение для производителя аэролодок ALLIGATOR
Оставьте оценку и комментарий