Некоторые страницы плохо влияют на SEO-показатели и репутацию сайта. Когда ссылка из поиска ведет на неактуальный контент или материалы с нарушениями, это повышает процент отказов, и индекс качества сайта снижается. Чтобы этого не допустить, можно закрыть некоторые материалы для краулеров (поисковых роботов). Удалить страницу из поиска можно с помощью инструментов Яндекс Вебмастера и Google Search Console.
Когда нужно удалять страницы из поиска
Дениндексацияпозволяет удалить URL из базы данных поисковых систем. После деиндексации содержание страницы не учитывается при подборе ответов на запросы. Контент может остаться доступен, но он будет невидимым для пользователей Яндекс и Google. Увидеть его можно будет, если ввести прямую ссылку в командной строке браузера.
Деиндексация необходима, когда по ссылке содержится:
неуникальный контент или нарушения авторского права;
техническая или служебная страница;
устаревшая и неактуальная информация;
закрытые персональные данные;
конфиденциальная информация;
контент, запрещенный к распространению;
ограниченный доступ для группы пользователей;
URL c ошибкой сервера 403, 404 или 410.
Деиндексация улучшает SEO-показатели, помогает избежать проблем и экономит краулинговый бюджет. Внимание краулера не тратится на обход неактуальных и удаленных адресов, и важные изменения быстрее индексируются. В результате SEO-продвижение проходит более эффективно.
Получите 3% с договора за рекомендацию
Предлагаем 3% вознаграждения за рекомендацию, если вы приведёте для нас клиента.
Чтобы контент нельзя было найти в Яндексе, следует запретить индексацию URL и убрать его из базы данных. Удалить страницу из поиска можно в Яндекс Вебмастер. Порядок действий зависит от причины, почему вы хотите скрыть контент: ссылка не существует или материалы должны быть доступны для ограниченного круга лиц.
Деиндексация удаленного URL
Чтобы удалить страницу из индекса, сначала нужно прописать директиву Disallow в техническом файле robots.txt. Роботы в первую очередь сканируют этот файл, прежде чем начать работать с сайтом. При помощи Disallow можно закрывать от индексации конкретные адреса и даже разделы каталога.
Запрет индексации URL:
User-agent: *
Disallow: /archive/page.html
Запрет индексации раздела:
User-agent: *
Disallow: /archive/
Расшифровка кода из примеров:
User-agent: * — обращение к роботам любой поисковой системы;
Disallow: — команда запрета, в данном случае запрета на индексацию;
/archive/page.html — относительная ссылка без префикса и доменов;
/archive/ — адрес раздела, который нужно закрыть от индексации.
Убедитесь, что при запросе информации с сервера он передает в ответ статус ошибки 403, 404 или 410. Без выполнения этого условия не получится убрать ссылку из индекса.
Деиндексация существующего URL
Когда нужно закрыть от поисковых роботов актуальный контент, порядок действий будет другим. В код страницы нужно добавить директиву noindex. Прописать команду нужно в заголовке: между блоками <head> и </head>.
Шаблон:
<meta name=”robots” content=”noindex”>
Расшифровка кода:
meta name — указание на метатег;
robots — управляющая команда для краулеров;
content — указание на действие с контентом;
noindex — запрет на индексацию.
Не прописывайте команду Disallow, чтобы поисковый робот мог проиндексировать HTML-код и выполнить указания. Не забудьте настроить статус 404, 403 или 410 на сервере. Вы можете перенести контент в закрытый раздел или настроить доступ по паролю.
Проверка результатов деиндексации
После настройки запретов контент пропадет из выдачи примерно через неделю после следующего переобхода сайта. Когда запрет прописан только внутри robots.txt, информация может вернуться в общий доступ, если на нее ведет внешняя ссылка.
Как посмотреть материалы, исключенные из индекса:
Открыть раздел «Индексирование» в главном меню.
Перейти в подраздел «Страницы в поиске».
Выбрать название домена в выпадающем меню.
Открыть вкладку «Исключенные страницы».
В таблице будут указаны относительные URL-адреса, причины исключения из поисковой выдачи и даты последнего обхода краулером.
Как ускорить процесс удаления
В Яндекс Вебмастер можно быстро удалить страницу из поиска, не дожидаясь переобхода сайта. Возможность открывается, если вы настроили деиндексацию. Убрать недоступный URL можно, если вы не подтвердили владение доменом или даже не добавили его в личный кабинет. Функция доступна всем пользователям, потому что она повышает качество ответов на запросы.
Как сообщить Яндексу о недоступной ссылке:
Открыть раздел «Инструменты».
Выбрать подраздел «Удаление страницы из поиска».
Ввести прямой URL-адрес.
Нажать «Удалить».
Если вы не подтвердили статус администратора, вы не сможете удалять группы адресов одной кнопкой, придется вводить их по отдельности. Яндекс проверяет ссылки и удаляет их по запросам сторонних лиц, только материалы они стали недоступными
2 месяца SEO продвижения в подарок
Закажите у нас разработку сайта и сэкономьте 2 месяца SEO продвижения, потому как мы сразу проводим базовую SEO оптимизацию.
Когда статус администратора подтвержден, контактная форма «Удаление страницы из поиска» выглядит иначе. Появляется возможность указать в поле несколько URL-адресов или префиксов. Администратор может удалить все ссылки с GET-параметрами или выбранными префиксами за одно нажатие кнопки. В форме можно ввести адрес домена и полностью закрыть сайт от Яндекса.
В Яндекс Вебмастер можно удалять из поискадо 500 адресов и до 20 префиксов за сутки.
http://site.com/page? — не индексировать динамические адреса с GET-параметрами.
http://site.com/ — провести деиндексацию всех опубликованных материалов.
Информация будет удалена из индекса, только если это задано командой Disallow. В ином случае роботы будут индексировать ее, но метатег noindex покажет, что информацию нельзя показывать при генерации ответов на запросы.
Проверка статуса запроса
На вкладке «Удаление страницы» можно проверить статус обработки команды. Что означают 4 возможных уведомления:
«В очереди на удаление» — поисковый робот проверяет, есть ли запрет на индексацию, и каким статусом отвечает сервер. Долго ждать не придется, проверка занимает не больше часа, обычно несколько минут.
«В процессе» — все требования выполнены, и ссылка станет недоступна для краулеров в течение 24 часов.
«Удалена» — команда успешно обработана Яндексом.
«Отклонено» — сервер возвращает ответ, отличный от статуса ошибки.
Как удалить URL из Google
Удалить страницу из поиска может только владелец сайта в Google Search Console. Но сделать это по одному нажатию кнопки можно на срок не более 6 месяцев. Если вам нужно закрыть адрес для краулеров навсегда, это получится сделать, если сервер отвечает на запросы кодом ошибки.
Временный запрет на индексацию
В Google Search Console можно быстро удалить страницу из индекса. Сервис позволяет убрать из индексации одну ссылку, группу адресов с общим префиксом или все ссылки на домене.
Как удалить информацию из Google:
Открыть раздел «Индексирование» в главном меню.
Выбрать подраздел «Удаления».
Переключиться на вкладку «Временные удаления».
Нажать на кнопку «Создать запрос».
Ввести URL-адрес, ссылку на раздел меню или домен.
Указать, что вы хотите закрыть: одну ссылку или группу адресов.
Перейти к следующему окну и подтвердите отправку запроса.
Время обработки заявки не превышает 24 часа. Google Search Console считает копиями зеркала с http и https, с www и без. Но копии на поддоменах, например, m или amp, не считаются дублями. Каждый субдомен нужно закрывать для краулеров вручную.
Инструмент не запрещает индексировать контент. Он запрещает показывать закрытые материалы в результатах выдачи Google. Не исключено, что закрытая ссылка появится в поиске прежде, чем пройдет 6 месяцев. Временную блокировку можно повторять неограниченное число раз.
Скидка 5000 рублей на SEO продвижение
Дарим скидку 5000 рублей на SEO продвижение сайта. Акция действует до конца марта.
Навсегда удалить страницу из поискаGoogle можно, если сервер возвращает код ошибки (404, 410, 502, 503) в ответ на запрос. Чтобы получить нужный ответ сервера, удалите ссылку или установите на нее пароль. Недоступные ссылки удаляются из индекса спустя несколько дней после переобхода.
Метатег noindex
С помощью noindex можно гарантированно удалить URL из Яндекс, но не из Google. Поисковые роботы Google могут на него не реагировать. В справке для пользователей Google Search Console он назван ненадежным инструментом блокировки, но многие SEO-специалисты и администраторы проектов его используют.
Шаблон запрета индексации:
<meta name=»googlebot» content=»noindex»>
Расшифровка:
meta name — объявление метатега;
robots — обращение к краулерам Google;
content — совершить действие с контентом;
noindex — не индексировать.
Напоминаем, что метатег noindex нужно прописать в коде страницы в блоке <head>. Нельзя совмещать его с Disallow, иначе поисковый робот не сможет его просканировать. Служебный файл robots.txt не используется для того, чтобы удалять URL-адреса из Google.
Как вернуть информацию в индекс
Яндекс возвращает контент в выдачу, если убрать запрет на индексацию (Disallow или noindex). Сервер должен передавать корректный статус ответа: 200 ОК. Повторная индексация URL будет выполнена, когда краулер повторно обойдет сайт и зафиксирует изменения. Процедура занимает до 3 недель после отмены запрета.Google автоматически возвращает контент в поиск, когда временная блокировка заканчивается. При постоянной блокировке URL возвращается в выдачу, когда сервер перестает отвечать кодом ошибки. Google посчитает такой адрес новым и сгенерирует для него краткое описание.
Продвижение сайта статьями — это направление контент-маркетинга. Суть метода заключается в том, чтобы публиковать большое число статей, написанных по ключевым словам. Рассказываем, как работает SEO-продвижение статьями и как создавать качественный контент для продвижения сайта текстами. Как работает статейный маркетинг Поисковые системы индексируют опубликованные статьи и поднимают качественные материалы в топ. Благодаря SEO-оптимизированным статьям можно получить […]
Продвижение сайта в поисковых системах включает внутреннюю и внешнюю SEO-оптимизацию. Внутренняя оптимизация предполагает улучшение технической части сайта, интерфейса и контента. Внешняя оптимизация сайта основана на ссылочном продвижении. Рассказываем, как работает продвижение ссылками, и как безопасно наращивать ссылочную массу. Что такое внешняя оптимизация Внешняя SEO-оптимизация сайта нацелена на улучшение социальных факторов ранжирования. Чем больше людей переходят […]
SEO-оптимизация повышает видимость сайта в поисковых системах. Самый объемный и сложный этап продвижения в Яндексе и Google — внутренняя оптимизация сайта. Эта процедура включает технические работы, улучшение структуры меню и качества контента. Мы подготовили пошаговую инструкцию, которая поможет вам провести работы и ничего не забыть. Суть процесса Внутренняя оптимизация сайта включает действия, которые повышают доверие […]
Когда мы запустили свою компанию по монтажу лифтов, у нас вообще не было сайта. Работали по старинке — через сарафанное радио, рекомендации и личные связи. Но в какой-то момент стало ясно, что без онлайн-присутствия мы теряем огромное количество клиентов. Тогда мы обратились в DDSI, и это было, пожалуй, одно из лучших решений для нашего бизнеса.
Ребята сделали для нас сайт с нуля: продумали структуру, создали удобный и понятный дизайн, написали тексты, которые действительно «цепляют» клиентов. Но самое главное — они взялись за продвижение. Уже через несколько месяцев наш сайт оказался в ТОПе поисковой выдачи по ключевым запросам, а поток заявок вырос в разы. Если раньше мы искали клиентов сами, то теперь они находят нас.
С уверенностью могу сказать, что без DDSI мы бы не добились такого роста. Если вам нужен сайт, который действительно работает, и продвижение, которое приносит результат — обращайтесь к ним без раздумий!
С уважением,
Игорь Громов
Директор ТЕХНО ЛИФТ
Развернуть
Виктория Королёва
КУЛИНАРНЫЙ ОАЗИС
2 февр 2025
Компания DDSI оказала всестороннюю поддержку в продвижении нашего интернет-магазина Кулинарный Оазис. Их команда продемонстрировала высокий уровень профессионализма и глубокое понимание SEO-продвижения и маркетинга. Благодаря их усилиям, наш сайт значительно улучшил свои позиции в поисковой выдаче, что напрямую отразилось на увеличении числа заказов. Отдельного упоминания заслуживает их подход к веб-дизайну. DDSI разработали для нас современный и удобный интерфейс, который не только привлекает клиентов, но и улучшает их опыт взаимодействия с нашим магазином. Мы также оценили их готовность вносить изменения и адаптироваться к нашим специфическим требованиям.
В итоге, наше сотрудничество стало важным шагом в развитии нашего бизнеса, и мы с уверенностью рекомендуем их услуги всем, кто ищет надежного партнера в области маркетинга и веб-дизайна.
Развернуть
Лидия Земляная
ЭЛЕГАНС
2 янв 2025
Здравствуйте! Меня зовут Лидия Земляная, и я руководитель модельной школы «Элеганс» в Москве. Хочу поделиться своим опытом сотрудничества с компанией DDSI, которая занималась продвижением моего бизнеса в интернете. Когда я обратилась в компанию, моя основная цель была увеличить количество осведомленных о школе клиентов и привлечь больше студентов на наши курсы. Команда DDSI сразу произвела на меня впечатление своей профессиональностью и вниманием к деталям. Мы тщательно обсудили мои ожидания и разработали стратегию, направленную на достижение наилучших результатов. Первое, что меня приятно удивило, — это насколько оперативно ребята взялись за работу. Они полностью обновили наш сайт, сделали его не только стильным и современным, но и удобным для пользователей. Вся информация о курсах и преподавателях стала доступна в несколько кликов, а посещаемость сайта значительно возросла.
Но это был только первый шаг. Наиболее впечатляющие результаты я увидела благодаря активному продвижению в социальных сетях и использованию современных инструментов таргетированной рекламы. Увеличение нашей присутствия в интернете привело к значительному росту числа записей на курсы и повышению узнаваемости нашего бренда. Отдельно хочу поблагодарить команду за их постоянную поддержку и готовность адаптировать стратегию в зависимости от меняющихся условий рынка. Их гибкость и профессионализм сделали процесс продвижения не только успешным, но и очень комфортным для меня. Я искренне благодарна DDSI за такой замечательный результат! Благодаря их работе, моя школа «Элеганс» не только укрепила свои позиции на рынке, но и обрела новых вдохновленных студентов. Рекомендую DDSI всем, кто хочет вывести свой бизнес на новый уровень в цифровом пространстве!
Развернуть
Татьяна Щербакова
SANLUX
4 окт 2024
Благодарю компанию DDSI за выдающуюся работу по разработке и продвижению нашего интернет-магазина сантехники SANLUX. С первых дней работы с DDSI мы ощутили высокий уровень профессионализма их команды. Они провели всесторонний анализ нашего сайта и разработали стратегию, специально адаптированную под наши нужды. Новый дизайн и улучшенная навигация сделали наш сайт более привлекательным и удобным для пользователей. Особенно хотим выделить успешное продвижение нашего магазина в поисковых системах. Благодаря эффективному SEO наши позиции в поисковой выдаче существенно улучшились, что напрямую отразилось на увеличении трафика и продаж.
Оставьте оценку и комментарий