Некоторые страницы плохо влияют на SEO-показатели и репутацию сайта. Когда ссылка из поиска ведет на неактуальный контент или материалы с нарушениями, это повышает процент отказов, и индекс качества сайта снижается. Чтобы этого не допустить, можно закрыть некоторые материалы для краулеров (поисковых роботов). Удалить страницу из поиска можно с помощью инструментов Яндекс Вебмастера и Google Search Console.
Дениндексация позволяет удалить URL из базы данных поисковых систем. После деиндексации содержание страницы не учитывается при подборе ответов на запросы. Контент может остаться доступен, но он будет невидимым для пользователей Яндекс и Google. Увидеть его можно будет, если ввести прямую ссылку в командной строке браузера.
Деиндексация необходима, когда по ссылке содержится:
Деиндексация улучшает SEO-показатели, помогает избежать проблем и экономит краулинговый бюджет. Внимание краулера не тратится на обход неактуальных и удаленных адресов, и важные изменения быстрее индексируются. В результате SEO-продвижение проходит более эффективно.
Чтобы контент нельзя было найти в Яндексе, следует запретить индексацию URL и убрать его из базы данных. Удалить страницу из поиска можно в Яндекс Вебмастер. Порядок действий зависит от причины, почему вы хотите скрыть контент: ссылка не существует или материалы должны быть доступны для ограниченного круга лиц.
Чтобы удалить страницу из индекса, сначала нужно прописать директиву Disallow в техническом файле robots.txt. Роботы в первую очередь сканируют этот файл, прежде чем начать работать с сайтом. При помощи Disallow можно закрывать от индексации конкретные адреса и даже разделы каталога.
Запрет индексации URL:
User-agent: *
Disallow: /archive/page.html
Запрет индексации раздела:
User-agent: *
Disallow: /archive/
Расшифровка кода из примеров:
Убедитесь, что при запросе информации с сервера он передает в ответ статус ошибки 403, 404 или 410. Без выполнения этого условия не получится убрать ссылку из индекса.
Когда нужно закрыть от поисковых роботов актуальный контент, порядок действий будет другим. В код страницы нужно добавить директиву noindex. Прописать команду нужно в заголовке: между блоками <head> и </head>.
Шаблон:
<meta name=”robots” content=”noindex”>
Расшифровка кода:
Не прописывайте команду Disallow, чтобы поисковый робот мог проиндексировать HTML-код и выполнить указания. Не забудьте настроить статус 404, 403 или 410 на сервере. Вы можете перенести контент в закрытый раздел или настроить доступ по паролю.
После настройки запретов контент пропадет из выдачи примерно через неделю после следующего переобхода сайта. Когда запрет прописан только внутри robots.txt, информация может вернуться в общий доступ, если на нее ведет внешняя ссылка.
Как посмотреть материалы, исключенные из индекса:
В таблице будут указаны относительные URL-адреса, причины исключения из поисковой выдачи и даты последнего обхода краулером.
В Яндекс Вебмастер можно быстро удалить страницу из поиска, не дожидаясь переобхода сайта. Возможность открывается, если вы настроили деиндексацию. Убрать недоступный URL можно, если вы не подтвердили владение доменом или даже не добавили его в личный кабинет. Функция доступна всем пользователям, потому что она повышает качество ответов на запросы.
Как сообщить Яндексу о недоступной ссылке:
Если вы не подтвердили статус администратора, вы не сможете удалять группы адресов одной кнопкой, придется вводить их по отдельности. Яндекс проверяет ссылки и удаляет их по запросам сторонних лиц, только материалы они стали недоступными
Когда статус администратора подтвержден, контактная форма «Удаление страницы из поиска» выглядит иначе. Появляется возможность указать в поле несколько URL-адресов или префиксов. Администратор может удалить все ссылки с GET-параметрами или выбранными префиксами за одно нажатие кнопки. В форме можно ввести адрес домена и полностью закрыть сайт от Яндекса.
В Яндекс Вебмастер можно удалять из поиска до 500 адресов и до 20 префиксов за сутки.
Примеры записи команд:
Информация будет удалена из индекса, только если это задано командой Disallow. В ином случае роботы будут индексировать ее, но метатег noindex покажет, что информацию нельзя показывать при генерации ответов на запросы.
На вкладке «Удаление страницы» можно проверить статус обработки команды. Что означают 4 возможных уведомления:
Удалить страницу из поиска может только владелец сайта в Google Search Console. Но сделать это по одному нажатию кнопки можно на срок не более 6 месяцев. Если вам нужно закрыть адрес для краулеров навсегда, это получится сделать, если сервер отвечает на запросы кодом ошибки.
В Google Search Console можно быстро удалить страницу из индекса. Сервис позволяет убрать из индексации одну ссылку, группу адресов с общим префиксом или все ссылки на домене.
Как удалить информацию из Google:
Время обработки заявки не превышает 24 часа. Google Search Console считает копиями зеркала с http и https, с www и без. Но копии на поддоменах, например, m или amp, не считаются дублями. Каждый субдомен нужно закрывать для краулеров вручную.
Инструмент не запрещает индексировать контент. Он запрещает показывать закрытые материалы в результатах выдачи Google. Не исключено, что закрытая ссылка появится в поиске прежде, чем пройдет 6 месяцев. Временную блокировку можно повторять неограниченное число раз.
Навсегда удалить страницу из поиска Google можно, если сервер возвращает код ошибки (404, 410, 502, 503) в ответ на запрос. Чтобы получить нужный ответ сервера, удалите ссылку или установите на нее пароль. Недоступные ссылки удаляются из индекса спустя несколько дней после переобхода.
С помощью noindex можно гарантированно удалить URL из Яндекс, но не из Google. Поисковые роботы Google могут на него не реагировать. В справке для пользователей Google Search Console он назван ненадежным инструментом блокировки, но многие SEO-специалисты и администраторы проектов его используют.
Шаблон запрета индексации:
<meta name=»googlebot» content=»noindex»>
Расшифровка:
Напоминаем, что метатег noindex нужно прописать в коде страницы в блоке <head>. Нельзя совмещать его с Disallow, иначе поисковый робот не сможет его просканировать. Служебный файл robots.txt не используется для того, чтобы удалять URL-адреса из Google.
Яндекс возвращает контент в выдачу, если убрать запрет на индексацию (Disallow или noindex). Сервер должен передавать корректный статус ответа: 200 ОК. Повторная индексация URL будет выполнена, когда краулер повторно обойдет сайт и зафиксирует изменения. Процедура занимает до 3 недель после отмены запрета.Google автоматически возвращает контент в поиск, когда временная блокировка заканчивается. При постоянной блокировке URL возвращается в выдачу, когда сервер перестает отвечать кодом ошибки. Google посчитает такой адрес новым и сгенерирует для него краткое описание.
Дубли — это страницы с повторяющимся контентом. Поисковый робот часто принимает за дубли страницы с GET-параметрами. Яндекс может назначить главную версию страницы, и исключить из индекса копии. В другом сценарии в поиске остаются все версии, но сайт попадает под фильтр. Это можно исправить, если вывести переменные в URL из индексации. Сообщение об ошибке в Яндекс […]
5 ноября 2024 0 3637Неработающие ссылки ведут на страницы, которых нет на сайте. Когда пользователь переходит по битой ссылке, он видит ошибку 404. HTTP-статус 404 означает, что сервер отвечает на запрос, но в базе данных нет нужной страницы. SEO-оптимизация включает поиск несуществующих ссылок и исправление ошибок. Почему неработающие ссылки опасны для сайта Битые ссылки появляются по 3 причинам: Неработающие […]
24 октября 2024 0 3991Яндекс Вебмастер рассылает сообщения о фатальных и критических ошибках, обнаруженных при индексации сайта. Получив отчет о проблемах, нужно быстро провести исправление ошибок. Если не сделать это, из выдачи будут исключены отдельные страницы или сайт целиком. Рассказываем про инструменты для вебмастера, которые помогают исправить проблемы. Фатальные ошибки в Яндекс Вебмастер Фатальные ошибки требуют внимания в первую […]
22 октября 2024 0 4011SANLUX
Благодарю компанию DDSI за выдающуюся работу по разработке и продвижению нашего интернет-магазина сантехники SANLUX. С первых дней работы с DDSI мы ощутили высокий уровень профессионализма их команды. Они провели всесторонний анализ нашего сайта и разработали стратегию, специально адаптированную под наши нужды. Новый дизайн и улучшенная навигация сделали наш сайт более привлекательным и удобным для пользователей. Особенно хотим выделить успешное продвижение нашего магазина в поисковых системах. Благодаря эффективному SEO наши позиции в поисковой выдаче существенно улучшились, что напрямую отразилось на увеличении трафика и продаж.
MONA ROOM
Мы обратились в компанию DDSI по рекомендации коллег и, честно говоря, даже не ожидали такого профессионализма и внимательного отношения к клиенту. Наша компания MONA ROOM, занимающаяся дизайном интерьеров, нуждалась в современном и функциональном сайте, а также в продвижении его в поисковых системах. Мы получили полный спектр услуг от разработки сайта до SEO-продвижения.
Отдельно хотелось бы отметить дружелюбный подход специалистов DDSI. С самого начала сотрудничества менеджеры уделили большое внимание нашим пожеланиям и потребностям, задавали правильные вопросы, чтобы лучше понять специфику нашего бизнеса. Профессионалы своего дела создали для нас не просто красивый, но и удобный в использовании сайт, который стал настоящей витриной наших услуг. Мы гордимся нашим обновленным сайтом и рады, что нашли надежного партнера в лице DDSI.
ROYALSPIN
Наша компания RoyalSpin, специализирующаяся на онлайн-казино, имела удовольствие сотрудничать со студией DDSI для разработки нашего нового веб-сайта. С самого начала команда показала высокий профессионализм и внимательность к нашим требованиям. Разработка веб-сайта оказалась не только технически безупречной, но и креативной, что немаловажно в нашей индустрии. DDSI создали для нас стильный, интуитивно понятный интерфейс, который идеально вписался в концепцию нашего бренда.
Особенно хочется отметить работу по интеграции сложных игровых модулей и системы безопасности, которые были важны для нас. Команда оперативно реагировала на все наши запросы и предложила оптимальные решения для реализации задуманного. Благодаря их опыту и навыкам, наш сайт стал более функциональным и привлекательным для пользователей, что положительно сказалось на нашей прибыли и репутации.
Мы с уверенностью можем рекомендовать студию DDSI всем, кто ищет надежного партнера для разработки веб-сайта любой сложности. Результат превзошел наши ожидания, и мы планируем продолжить сотрудничество с этой студией в будущем.
CRIPTOSURGE
Как владелец компании Cryptosurge, занимающейся криптовалютой, я искал надежного партнера для разработки нашего веб-сайта, который бы отражал наш инновационный дух и профессионализм. Студия DDSI превзошла все наши ожидания. С самого начала сотрудничества команда DDSI проявила высочайший уровень профессионализма. Они внимательно выслушали наши требования и предложили решения, которые идеально соответствовали нашему видению. Процесс разработки сайта был чётко организован, и каждая стадия проекта проходила гладко и без задержек. Особо хотелось бы отметить их подход к дизайну. Команда создала уникальный интерфейс, который не только выглядит привлекательно, но и оптимизирован для удобства пользователей. Они также уделили внимание безопасности, что для нас, как компании в сфере криптовалют, является ключевым моментом.
Я благодарен студии DDSI за их вклад в успех нашего проекта и рекомендую их всем, кто ищет надежного партнера для разработки веб-сайтов. Спасибо за отличную работу!
ROCKETDEV
МЕЛЬНИЦА
FLOWER PARADISE
СКУПКА СТОРУБЛЁВКА
Редизайн, продвижение, контекстная реклама для сети автосервисов КАТАВТО
Редизайн, продвижение, контекстная реклама для сети автосервисов КАТАВТО
Разработка под ключ, продвижение, контекстная реклама, SMM агрегатора экскурсий FINDGID
Редизайн, продвижение, контекстная реклама крупного интернет-магазина мебели
Оставьте оценку и комментарий