Как удалить страницу из поиска в Яндекс и Google

Некоторые страницы плохо влияют на SEO-показатели и репутацию сайта. Когда ссылка из поиска ведет на неактуальный контент или материалы с нарушениями, это повышает процент отказов, и индекс качества сайта снижается. Чтобы этого не допустить, можно закрыть некоторые материалы для краулеров (поисковых роботов). Удалить страницу из поиска можно с помощью инструментов Яндекс Вебмастера и Google Search Console.

Когда нужно удалять страницы из поиска

Дениндексация позволяет удалить URL из базы данных поисковых систем. После деиндексации содержание страницы не учитывается при подборе ответов на запросы. Контент может остаться доступен, но он будет невидимым для пользователей Яндекс и Google. Увидеть его можно будет, если ввести прямую ссылку в командной строке браузера.

Деиндексация необходима, когда по ссылке содержится:

• неуникальный контент или нарушения авторского права;
• техническая или служебная страница;
• устаревшая и неактуальная информация;
• закрытые персональные данные;
• конфиденциальная информация;
• контент, запрещенный к распространению;
• ограниченный доступ для группы пользователей;
• URL c ошибкой сервера 403, 404 или 410.

Деиндексация улучшает SEO-показатели, помогает избежать проблем и экономит краулинговый бюджет. Внимание краулера не тратится на обход неактуальных и удаленных адресов, и важные изменения быстрее индексируются. В результате SEO-продвижение проходит более эффективно.

Получите 3% с договора за рекомендацию

Предлагаем 3% вознаграждения за рекомендацию, если вы приведёте для нас клиента.

Есть клиент

Как удалить URL из Яндекса

Чтобы контент нельзя было найти в Яндексе, следует запретить индексацию URL и убрать его из базы данных. Удалить страницу из поиска можно в Яндекс Вебмастер. Порядок действий зависит от причины, почему вы хотите скрыть контент: ссылка не существует или материалы должны быть доступны для ограниченного круга лиц.

Деиндексация удаленного URL

Чтобы удалить страницу из индекса, сначала нужно прописать директиву Disallow в техническом файле robots.txt. Роботы в первую очередь сканируют этот файл, прежде чем начать работать с сайтом. При помощи Disallow можно закрывать от индексации конкретные адреса и даже разделы каталога.

Запрет индексации URL:

User-agent: * 

Disallow: /archive/page.html

Запрет индексации раздела:

User-agent: *

Disallow: /archive/

Расшифровка кода из примеров:

• User-agent: * — обращение к роботам любой поисковой системы;
• Disallow: — команда запрета, в данном случае запрета на индексацию;
• /archive/page.html — относительная ссылка без префикса и доменов;
• /archive/ — адрес раздела, который нужно закрыть от индексации.

Убедитесь, что при запросе информации с сервера он передает в ответ статус ошибки 403, 404 или 410. Без выполнения этого условия не получится убрать ссылку из индекса.

Деиндексация существующего URL

Когда нужно закрыть от поисковых роботов актуальный контент, порядок действий будет другим. В код страницы нужно добавить директиву noindex. Прописать команду нужно в заголовке: между блоками <head> и </head>.

Шаблон:

<meta name=”robots” content=”noindex”>

Расшифровка кода:

• meta name — указание на метатег;
• robots — управляющая команда для краулеров;
• content — указание на действие с контентом;
• noindex — запрет на индексацию.

Не прописывайте команду Disallow, чтобы поисковый робот мог проиндексировать HTML-код и выполнить указания. Не забудьте настроить статус 404, 403 или 410 на сервере. Вы можете перенести контент в закрытый раздел или настроить доступ по паролю. 

Проверка результатов деиндексации

После настройки запретов контент пропадет из выдачи примерно через неделю после следующего переобхода сайта. Когда запрет прописан только внутри robots.txt, информация может вернуться в общий доступ, если на нее ведет внешняя ссылка. 

Как посмотреть материалы, исключенные из индекса:

1. Открыть раздел «Индексирование» в главном меню.
2. Перейти в подраздел «Страницы в поиске».
3. Выбрать название домена в выпадающем меню.
4. Открыть вкладку «Исключенные страницы».

В таблице будут указаны относительные URL-адреса, причины исключения из поисковой выдачи и даты последнего обхода краулером.

Как ускорить процесс удаления

В Яндекс Вебмастер можно быстро удалить страницу из поиска, не дожидаясь переобхода сайта. Возможность открывается, если вы настроили деиндексацию. Убрать недоступный URL можно, если вы не подтвердили владение доменом или даже не добавили его в личный кабинет. Функция доступна всем пользователям, потому что она повышает качество ответов на запросы.

Как сообщить Яндексу о недоступной ссылке:

1. Открыть раздел «Инструменты».
2. Выбрать подраздел «Удаление страницы из поиска».
3. Ввести прямой URL-адрес.
4. Нажать «Удалить».

Если вы не подтвердили статус администратора, вы не сможете удалять группы адресов одной кнопкой, придется вводить их по отдельности. Яндекс проверяет ссылки и удаляет их по запросам сторонних лиц, только материалы они стали недоступными 

2 месяца SEO продвижения в подарок

Закажите у нас разработку сайта и сэкономьте 2 месяца SEO продвижения, потому как мы сразу проводим базовую SEO оптимизацию.

Заказать

Групповое удаление ссылок

Когда статус администратора подтвержден, контактная форма «Удаление страницы из поиска» выглядит иначе. Появляется возможность указать в поле несколько URL-адресов или префиксов. Администратор может удалить все ссылки с GET-параметрами или выбранными префиксами за одно нажатие кнопки. В форме можно ввести адрес домена и полностью закрыть сайт от Яндекса.

В Яндекс Вебмастер можно удалять из поиска до 500 адресов и до 20 префиксов за сутки.

Примеры записи команд:

• http://site.com/delete/ — запрелить индексацию раздела с названием delete.
• http://site.com/page? — не индексировать динамические адреса с GET-параметрами.
• http://site.com/ — провести деиндексацию всех опубликованных материалов.

Информация будет удалена из индекса, только если это задано командой Disallow. В ином случае роботы будут индексировать ее, но метатег noindex покажет, что информацию нельзя показывать при генерации ответов на запросы.

Проверка статуса запроса

На вкладке «Удаление страницы» можно проверить статус обработки команды. Что означают 4 возможных уведомления:

• «В очереди на удаление» — поисковый робот проверяет, есть ли запрет на индексацию, и каким статусом отвечает сервер. Долго ждать не придется, проверка занимает не больше часа, обычно несколько минут.
• «В процессе» — все требования выполнены, и ссылка станет недоступна для краулеров в течение 24 часов.
• «Удалена» — команда успешно обработана Яндексом.
• «Отклонено» — сервер возвращает ответ, отличный от статуса ошибки.

Как удалить URL из Google

Удалить страницу из поиска может только владелец сайта в Google Search Console. Но сделать это по одному нажатию кнопки можно на срок не более 6 месяцев. Если вам нужно закрыть адрес для краулеров навсегда, это получится сделать, если сервер отвечает на запросы кодом ошибки.

Временный запрет на индексацию

В Google Search Console можно быстро удалить страницу из индекса. Сервис позволяет убрать из индексации одну ссылку, группу адресов с общим префиксом или все ссылки на домене.

Как удалить информацию из Google:

1. Открыть раздел «Индексирование» в главном меню.
2. Выбрать подраздел «Удаления». 
3. Переключиться на вкладку «Временные удаления».
4. Нажать на кнопку «Создать запрос».
5. Ввести URL-адрес, ссылку на раздел меню или домен.
6. Указать, что вы хотите закрыть: одну ссылку или группу адресов.
7. Перейти к следующему окну и подтвердите отправку запроса.

Время обработки заявки не превышает 24 часа. Google Search Console считает копиями зеркала с http и https, с www и без. Но копии на поддоменах, например, m или amp, не считаются дублями. Каждый субдомен нужно закрывать для краулеров вручную.

Инструмент не запрещает индексировать контент. Он запрещает показывать закрытые материалы в результатах выдачи Google. Не исключено, что закрытая ссылка появится в поиске прежде, чем пройдет 6 месяцев. Временную блокировку можно повторять неограниченное число раз.

Скидка 5000 рублей на SEO продвижение

Дарим скидку 5000 рублей на SEO продвижение сайта. Акция действует до конца октября.

Заказать SEO

Постоянная блокировка

Навсегда удалить страницу из поиска Google можно, если сервер возвращает код ошибки (404, 410, 502, 503) в ответ на запрос. Чтобы получить нужный ответ сервера, удалите ссылку или установите на нее пароль. Недоступные ссылки удаляются из индекса спустя несколько дней после переобхода.

Метатег noindex

С помощью noindex можно гарантированно удалить URL из Яндекс, но не из Google. Поисковые роботы Google могут на него не реагировать. В справке для пользователей Google Search Console он назван ненадежным инструментом блокировки, но многие SEO-специалисты и администраторы проектов его используют.

Шаблон запрета индексации:

<meta name=»googlebot» content=»noindex»>

Расшифровка:

• meta name — объявление метатега;
• robots — обращение к краулерам Google;
• content — совершить действие с контентом;
• noindex — не индексировать.

Напоминаем, что метатег noindex нужно прописать в коде страницы в блоке <head>. Нельзя совмещать его с Disallow, иначе поисковый робот не сможет его просканировать. Служебный файл robots.txt не используется для того, чтобы удалять URL-адреса из Google.

Как вернуть информацию в индекс

Яндекс возвращает контент в выдачу, если убрать запрет на индексацию (Disallow или noindex). Сервер должен передавать корректный статус ответа: 200 ОК. Повторная индексация URL будет выполнена, когда краулер повторно обойдет сайт и зафиксирует изменения. Процедура занимает до 3 недель после отмены запрета.Google автоматически возвращает контент в поиск, когда временная блокировка заканчивается. При постоянной блокировке URL возвращается в выдачу, когда сервер перестает отвечать кодом ошибки. Google посчитает такой адрес новым и сгенерирует для него краткое описание.