Некоторые страницы плохо влияют на SEO-показатели и репутацию сайта. Когда ссылка из поиска ведет на неактуальный контент или материалы с нарушениями, это повышает процент отказов, и индекс качества сайта снижается. Чтобы этого не допустить, можно закрыть некоторые материалы для краулеров (поисковых роботов). Удалить страницу из поиска можно с помощью инструментов Яндекс Вебмастера и Google Search Console.
Когда нужно удалять страницы из поиска
Дениндексацияпозволяет удалить URL из базы данных поисковых систем. После деиндексации содержание страницы не учитывается при подборе ответов на запросы. Контент может остаться доступен, но он будет невидимым для пользователей Яндекс и Google. Увидеть его можно будет, если ввести прямую ссылку в командной строке браузера.
Деиндексация необходима, когда по ссылке содержится:
неуникальный контент или нарушения авторского права;
техническая или служебная страница;
устаревшая и неактуальная информация;
закрытые персональные данные;
конфиденциальная информация;
контент, запрещенный к распространению;
ограниченный доступ для группы пользователей;
URL c ошибкой сервера 403, 404 или 410.
Деиндексация улучшает SEO-показатели, помогает избежать проблем и экономит краулинговый бюджет. Внимание краулера не тратится на обход неактуальных и удаленных адресов, и важные изменения быстрее индексируются. В результате SEO-продвижение проходит более эффективно.
Получите 3% с договора за рекомендацию
Предлагаем 3% вознаграждения за рекомендацию, если вы приведёте для нас клиента.
Чтобы контент нельзя было найти в Яндексе, следует запретить индексацию URL и убрать его из базы данных. Удалить страницу из поиска можно в Яндекс Вебмастер. Порядок действий зависит от причины, почему вы хотите скрыть контент: ссылка не существует или материалы должны быть доступны для ограниченного круга лиц.
Деиндексация удаленного URL
Чтобы удалить страницу из индекса, сначала нужно прописать директиву Disallow в техническом файле robots.txt. Роботы в первую очередь сканируют этот файл, прежде чем начать работать с сайтом. При помощи Disallow можно закрывать от индексации конкретные адреса и даже разделы каталога.
Запрет индексации URL:
User-agent: *
Disallow: /archive/page.html
Запрет индексации раздела:
User-agent: *
Disallow: /archive/
Расшифровка кода из примеров:
User-agent: * — обращение к роботам любой поисковой системы;
Disallow: — команда запрета, в данном случае запрета на индексацию;
/archive/page.html — относительная ссылка без префикса и доменов;
/archive/ — адрес раздела, который нужно закрыть от индексации.
Убедитесь, что при запросе информации с сервера он передает в ответ статус ошибки 403, 404 или 410. Без выполнения этого условия не получится убрать ссылку из индекса.
Деиндексация существующего URL
Когда нужно закрыть от поисковых роботов актуальный контент, порядок действий будет другим. В код страницы нужно добавить директиву noindex. Прописать команду нужно в заголовке: между блоками <head> и </head>.
Шаблон:
<meta name=”robots” content=”noindex”>
Расшифровка кода:
meta name — указание на метатег;
robots — управляющая команда для краулеров;
content — указание на действие с контентом;
noindex — запрет на индексацию.
Не прописывайте команду Disallow, чтобы поисковый робот мог проиндексировать HTML-код и выполнить указания. Не забудьте настроить статус 404, 403 или 410 на сервере. Вы можете перенести контент в закрытый раздел или настроить доступ по паролю.
Проверка результатов деиндексации
После настройки запретов контент пропадет из выдачи примерно через неделю после следующего переобхода сайта. Когда запрет прописан только внутри robots.txt, информация может вернуться в общий доступ, если на нее ведет внешняя ссылка.
Как посмотреть материалы, исключенные из индекса:
Открыть раздел «Индексирование» в главном меню.
Перейти в подраздел «Страницы в поиске».
Выбрать название домена в выпадающем меню.
Открыть вкладку «Исключенные страницы».
В таблице будут указаны относительные URL-адреса, причины исключения из поисковой выдачи и даты последнего обхода краулером.
Как ускорить процесс удаления
В Яндекс Вебмастер можно быстро удалить страницу из поиска, не дожидаясь переобхода сайта. Возможность открывается, если вы настроили деиндексацию. Убрать недоступный URL можно, если вы не подтвердили владение доменом или даже не добавили его в личный кабинет. Функция доступна всем пользователям, потому что она повышает качество ответов на запросы.
Как сообщить Яндексу о недоступной ссылке:
Открыть раздел «Инструменты».
Выбрать подраздел «Удаление страницы из поиска».
Ввести прямой URL-адрес.
Нажать «Удалить».
Если вы не подтвердили статус администратора, вы не сможете удалять группы адресов одной кнопкой, придется вводить их по отдельности. Яндекс проверяет ссылки и удаляет их по запросам сторонних лиц, только материалы они стали недоступными
2 месяца SEO продвижения в подарок
Закажите у нас разработку сайта и сэкономьте 2 месяца SEO продвижения, потому как мы сразу проводим базовую SEO оптимизацию.
Когда статус администратора подтвержден, контактная форма «Удаление страницы из поиска» выглядит иначе. Появляется возможность указать в поле несколько URL-адресов или префиксов. Администратор может удалить все ссылки с GET-параметрами или выбранными префиксами за одно нажатие кнопки. В форме можно ввести адрес домена и полностью закрыть сайт от Яндекса.
В Яндекс Вебмастер можно удалять из поискадо 500 адресов и до 20 префиксов за сутки.
http://site.com/page? — не индексировать динамические адреса с GET-параметрами.
http://site.com/ — провести деиндексацию всех опубликованных материалов.
Информация будет удалена из индекса, только если это задано командой Disallow. В ином случае роботы будут индексировать ее, но метатег noindex покажет, что информацию нельзя показывать при генерации ответов на запросы.
Проверка статуса запроса
На вкладке «Удаление страницы» можно проверить статус обработки команды. Что означают 4 возможных уведомления:
«В очереди на удаление» — поисковый робот проверяет, есть ли запрет на индексацию, и каким статусом отвечает сервер. Долго ждать не придется, проверка занимает не больше часа, обычно несколько минут.
«В процессе» — все требования выполнены, и ссылка станет недоступна для краулеров в течение 24 часов.
«Удалена» — команда успешно обработана Яндексом.
«Отклонено» — сервер возвращает ответ, отличный от статуса ошибки.
Как удалить URL из Google
Удалить страницу из поиска может только владелец сайта в Google Search Console. Но сделать это по одному нажатию кнопки можно на срок не более 6 месяцев. Если вам нужно закрыть адрес для краулеров навсегда, это получится сделать, если сервер отвечает на запросы кодом ошибки.
Временный запрет на индексацию
В Google Search Console можно быстро удалить страницу из индекса. Сервис позволяет убрать из индексации одну ссылку, группу адресов с общим префиксом или все ссылки на домене.
Как удалить информацию из Google:
Открыть раздел «Индексирование» в главном меню.
Выбрать подраздел «Удаления».
Переключиться на вкладку «Временные удаления».
Нажать на кнопку «Создать запрос».
Ввести URL-адрес, ссылку на раздел меню или домен.
Указать, что вы хотите закрыть: одну ссылку или группу адресов.
Перейти к следующему окну и подтвердите отправку запроса.
Время обработки заявки не превышает 24 часа. Google Search Console считает копиями зеркала с http и https, с www и без. Но копии на поддоменах, например, m или amp, не считаются дублями. Каждый субдомен нужно закрывать для краулеров вручную.
Инструмент не запрещает индексировать контент. Он запрещает показывать закрытые материалы в результатах выдачи Google. Не исключено, что закрытая ссылка появится в поиске прежде, чем пройдет 6 месяцев. Временную блокировку можно повторять неограниченное число раз.
Скидка 5000 рублей на SEO продвижение
Дарим скидку 5000 рублей на SEO продвижение сайта. Акция действует до конца ноября.
Навсегда удалить страницу из поискаGoogle можно, если сервер возвращает код ошибки (404, 410, 502, 503) в ответ на запрос. Чтобы получить нужный ответ сервера, удалите ссылку или установите на нее пароль. Недоступные ссылки удаляются из индекса спустя несколько дней после переобхода.
Метатег noindex
С помощью noindex можно гарантированно удалить URL из Яндекс, но не из Google. Поисковые роботы Google могут на него не реагировать. В справке для пользователей Google Search Console он назван ненадежным инструментом блокировки, но многие SEO-специалисты и администраторы проектов его используют.
Шаблон запрета индексации:
<meta name=»googlebot» content=»noindex»>
Расшифровка:
meta name — объявление метатега;
robots — обращение к краулерам Google;
content — совершить действие с контентом;
noindex — не индексировать.
Напоминаем, что метатег noindex нужно прописать в коде страницы в блоке <head>. Нельзя совмещать его с Disallow, иначе поисковый робот не сможет его просканировать. Служебный файл robots.txt не используется для того, чтобы удалять URL-адреса из Google.
Как вернуть информацию в индекс
Яндекс возвращает контент в выдачу, если убрать запрет на индексацию (Disallow или noindex). Сервер должен передавать корректный статус ответа: 200 ОК. Повторная индексация URL будет выполнена, когда краулер повторно обойдет сайт и зафиксирует изменения. Процедура занимает до 3 недель после отмены запрета.Google автоматически возвращает контент в поиск, когда временная блокировка заканчивается. При постоянной блокировке URL возвращается в выдачу, когда сервер перестает отвечать кодом ошибки. Google посчитает такой адрес новым и сгенерирует для него краткое описание.
Дубли — это страницы с повторяющимся контентом. Поисковый робот часто принимает за дубли страницы с GET-параметрами. Яндекс может назначить главную версию страницы, и исключить из индекса копии. В другом сценарии в поиске остаются все версии, но сайт попадает под фильтр. Это можно исправить, если вывести переменные в URL из индексации. Сообщение об ошибке в Яндекс […]
Неработающие ссылки ведут на страницы, которых нет на сайте. Когда пользователь переходит по битой ссылке, он видит ошибку 404. HTTP-статус 404 означает, что сервер отвечает на запрос, но в базе данных нет нужной страницы. SEO-оптимизация включает поиск несуществующих ссылок и исправление ошибок. Почему неработающие ссылки опасны для сайта Битые ссылки появляются по 3 причинам: Неработающие […]
Яндекс Вебмастер рассылает сообщения о фатальных и критических ошибках, обнаруженных при индексации сайта. Получив отчет о проблемах, нужно быстро провести исправление ошибок. Если не сделать это, из выдачи будут исключены отдельные страницы или сайт целиком. Рассказываем про инструменты для вебмастера, которые помогают исправить проблемы. Фатальные ошибки в Яндекс Вебмастер Фатальные ошибки требуют внимания в первую […]
Благодарю компанию DDSI за выдающуюся работу по разработке и продвижению нашего интернет-магазина сантехники SANLUX. С первых дней работы с DDSI мы ощутили высокий уровень профессионализма их команды. Они провели всесторонний анализ нашего сайта и разработали стратегию, специально адаптированную под наши нужды. Новый дизайн и улучшенная навигация сделали наш сайт более привлекательным и удобным для пользователей. Особенно хотим выделить успешное продвижение нашего магазина в поисковых системах. Благодаря эффективному SEO наши позиции в поисковой выдаче существенно улучшились, что напрямую отразилось на увеличении трафика и продаж.
Развернуть
Кристина Анпилогова
MONA ROOM
13 сент 2024
Мы обратились в компанию DDSI по рекомендации коллег и, честно говоря, даже не ожидали такого профессионализма и внимательного отношения к клиенту. Наша компания MONA ROOM, занимающаяся дизайном интерьеров, нуждалась в современном и функциональном сайте, а также в продвижении его в поисковых системах. Мы получили полный спектр услуг от разработки сайта до SEO-продвижения.
Отдельно хотелось бы отметить дружелюбный подход специалистов DDSI. С самого начала сотрудничества менеджеры уделили большое внимание нашим пожеланиям и потребностям, задавали правильные вопросы, чтобы лучше понять специфику нашего бизнеса. Профессионалы своего дела создали для нас не просто красивый, но и удобный в использовании сайт, который стал настоящей витриной наших услуг. Мы гордимся нашим обновленным сайтом и рады, что нашли надежного партнера в лице DDSI.
Развернуть
Максим Гритчин
ROYALSPIN
24 авг 2024
Наша компания RoyalSpin, специализирующаяся на онлайн-казино, имела удовольствие сотрудничать со студией DDSI для разработки нашего нового веб-сайта. С самого начала команда показала высокий профессионализм и внимательность к нашим требованиям. Разработка веб-сайта оказалась не только технически безупречной, но и креативной, что немаловажно в нашей индустрии. DDSI создали для нас стильный, интуитивно понятный интерфейс, который идеально вписался в концепцию нашего бренда.
Особенно хочется отметить работу по интеграции сложных игровых модулей и системы безопасности, которые были важны для нас. Команда оперативно реагировала на все наши запросы и предложила оптимальные решения для реализации задуманного. Благодаря их опыту и навыкам, наш сайт стал более функциональным и привлекательным для пользователей, что положительно сказалось на нашей прибыли и репутации.
Мы с уверенностью можем рекомендовать студию DDSI всем, кто ищет надежного партнера для разработки веб-сайта любой сложности. Результат превзошел наши ожидания, и мы планируем продолжить сотрудничество с этой студией в будущем.
Развернуть
Илья Новиков
CRIPTOSURGE
31 июля 2024
Как владелец компании Cryptosurge, занимающейся криптовалютой, я искал надежного партнера для разработки нашего веб-сайта, который бы отражал наш инновационный дух и профессионализм. Студия DDSI превзошла все наши ожидания. С самого начала сотрудничества команда DDSI проявила высочайший уровень профессионализма. Они внимательно выслушали наши требования и предложили решения, которые идеально соответствовали нашему видению. Процесс разработки сайта был чётко организован, и каждая стадия проекта проходила гладко и без задержек. Особо хотелось бы отметить их подход к дизайну. Команда создала уникальный интерфейс, который не только выглядит привлекательно, но и оптимизирован для удобства пользователей. Они также уделили внимание безопасности, что для нас, как компании в сфере криптовалют, является ключевым моментом.
Я благодарен студии DDSI за их вклад в успех нашего проекта и рекомендую их всем, кто ищет надежного партнера для разработки веб-сайтов. Спасибо за отличную работу!
Оставьте оценку и комментарий