Как удалить устаревший контент из поисковых систем Яндекс и Google

В статье:

  1. Зачем удалять устаревший контент

  2. Как это сделать

Владельцы сайтов обычно тратят много времени на создание и размещение нового контента на сайт или на улучшение уже выложенного, чтобы поднять его позиции. Очень жалко удалять из поискового индекса страницы, в которые вложено много сил и времени, но иногда это стоит сделать.

Зачем удалять устаревший контент

Рассмотрим несколько ситуаций, когда вам может понадобиться удалить устаревший контент:

Обновления в ассортименте интернет-магазина

В интернет-магазине с огромным ассортиментом товаров внушительная часть позиций может быть недоступна. Какие-то будут временно отсутствовать на складе, часть снимут с производства или заменят другими. Образуются десятки или сотни неактуальных товарных страниц

В зависимости от потребностей бизнеса и особенностей технологий может потребоваться удалить их из индекса — временно или навсегда. К примеру, чтобы на них не тратился краулинговый бюджет сайта. Тогда роботы не будут тратить ресурсы на сканирование неактуальных страниц, а сразу пойдут на важные.

Устаревшие новости и статьи

Новости по своей природе быстро устаревают. Многие новостные сайты выпускают заметки часто и регулярно, в некоторых СМИ это несколько в час. Из-за этого сайт сильно разрастается. Многие устаревшие новости никогда больше не понадобятся и не принесут трафик — такие можно и удалить.

Статьи также устаревают. Если советы из материала больше не работают, их можно актуализировать. Если в этом нет смысла, можно поставить редирект на другой материал по той же теме. Но иногда тема уходит в прошлое в принципе, как продвижение в Google+, так что нет смысла дорабатывать статью и не на что ее редиректить. Тогда материал можно удалить.

Читать по теме:
Продвижение новостных сайтов в 2021

Строгое регулирование отрасли

Есть отрасли, которые строго регулируются законами, к примеру, медицина или финансы. Когда появляются новые законные требования к этим сайтам, приходится добавлять какие-то документы и соглашения, обновлять сайт и менять контент. Иногда нужно срочно что-то удалять, чтобы не попасть на штрафы или даже блокировку.

К примеру, особые требования к медицинским статьям для широкого круга читателей существовали не всегда, и когда они появились, пришлось добавлять плашки с напоминанием обратиться к врачу, переписывать рекламные материалы, а что-то наверняка и удалять.

Акции с ограничением по времени

Многие интернет-магазины делают отдельные страницы к специальным распродажам. К регулярным распродажам типа Черной пятницы страница может понадобиться и через год, но в целом с окончанием акции такие страницы перестают быть нужны.

Есть мнение, что если клиенты видят закончившуюся распродажу с выгодными скидками, им становится менее интересно покупать товар, поскольку они расстраиваются из-за упущенной выгоды и думают, что теперь переплатят.

Как удалить устаревший контент

Удаление контента — это не всегда история о безвозвратном удалении страницы. Есть несколько уровней: можно удалить ее только из индекса, оставив на сайте, тогда пользователи не найдут ее в выдаче, но смогут перейти на нее по ссылкам с других страниц или из закладок. А можно удалить и с сайта — навсегда или временно отправив ее в архив. 

Некоторые из наиболее распространенных методов удаления устаревшего контента:

Тег noindex

Можно не удалять страницу с сайта, а дать роботам сигнал не индексировать ее с помощью тега noindex. Если она уже есть в индексе, при следующем обходе боты должны увидеть тег и убрать ее из индекса. 

<meta name=»robots» content=»noindex»/>

Почитать по теме:
Как составить robots.txt самостоятельно

Тег noindex можно настроить с помощью SEO-плагинов для CMS, эта функция часто в них встречается.

Пользователи по-прежнему смогут зайти на страницу, если на нее ведут внутренние ссылки на сайте или если они посещали ее раньше и сохранили в закладках адрес.

Удаление страницы из индекса с помощью noindex не будет необратимым действием. Если вы захотите вернуть страницу, удалите тег и при следующем сканировании поисковый бот это увидит.

Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что если вы уберете noindex, она вернется на ту же строчку выдачи.

Инструмент удаления URL-адресов в Яндекс.Вебмастере

Можно ускорить процесс удаления из Яндекса. Сначала нужно запретить их индексирование: прописать disallow в файле robots.txt и указать на странице метатег robots с директивой noindex. Это обязательно. При следующем обходе робот увидит эти сигналы.

Для ускорения процесса в Вебмастере есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите «По URL» и введите адрес. В сутки можно удалять до 500 адресов одного сайта.

Удаление URL в ВебмастереУдаление страницы в Яндекс.Вебмастере

На этой же странице будут отображаться статусы URL — «В очереди на удаление», «В процессе», «Удалена» или «Отклонено», если не указан запрет на индексирование или если бот получает какой-то другой ответ сервера, кроме 404 Not Found, 403 Forbidden или 410 Gone.

Чтобы удалить целую группу страниц, нужно выбрать «По префиксу», тогда будут удалены страницы, содержащие в URL указанный шаблон. К примеру, https://site.com/catalogue/ для всех страниц каталога, https://site.com/page? для URL с параметрами.

В сутки можно ввести до 20 префиксов для одного сайта.

Есть момент: страницу, запрещенную с помощью disallow, все равно могут проиндексировать, если на нее будут ссылаться другие страницы сайта. Бот может решить, что раз есть ссылки, то страница важна.

Инструмент удаления URL-адресов Google Search Console

У Google тоже есть такой инструмент — это «Инструмент удаления URL» в консоли Google.

Удаление URL в консоли GoogleИнструмент в Google Search Console

Он позволяет временно удалить URL-адрес или адреса по вашему выбору.

Можно удалить все URL с определенным префиксом. Например, удаление site.com/products/ приведет к удалению всех других URL-адресов с /products/ в пути URL:

  • site.com/products/alarm-clocks/
  • site.com/products/house-plants/
  • site.com/products/flasks/

Также можно удалить только кэшированную версию URL или ее фрагмент — тег заголовка и описания, которые отображаются в результатах поиска. Это может быть полезно, если в этих фрагментах цены, телефоны или предложения, которые поменялись, и вам нужно быстро изменить отображение страницы.

Удаление кэшированных фрагментовРабота с инструментом

301 или 302 редирект

Еще вариант — настроить со страницы перенаправление на другую. К примеру, если производство одного вашего продукта остановлено на неопределенный срок, можно настроить редирект на страницу с аналогами. Это позволит не терять пользователей, а предложить им другое решение, к тому же страница не выпадет из поиска. Когда товар снова появится в наличии, редирект нужно просто удалить.

Также и с информационными страницами: если статья нетрафиковая или потеряла актуальность, можно перенаправлять пользователя на другую по той же теме.

Почитать по теме:
Как настроить 301 редирект самостоятельно

Удаление страницы с сайта

Другое быстрое решение — просто удалить страницу с сайта, если она не нужна. Если робот получит 404, 403 или 410 HTTP-код ответа сервера при обращении, он исключит ее из индекса.

Если удаляете страницу, на других страницах сайта удалите или замените и ссылки на нее, чтобы пользователи на натыкались на недоступную страницу по ссылкам с другого контента или из закладок.

Если страница сейчас получает трафик, имеет потенциал для получения трафика в будущем или приносит хорошие обратные ссылки, лучше все-таки не удалять ее, а настроить редирект на другую.

Почитать по теме:
Настройка отслеживания 404 ошибок с помощью Google Tag Manager
Чем вредят сайту битые ссылки? Поиск и способы исправить

Не удаляйте вообще

В некоторых случаях можно не удалять неактуальную страницу, если она будет нужна через какое-то время. Когда дело доходит до регулярных распродаж, таких как Черная пятница, разумным решением может быть просто оставить страницу активной на неопределенный срок, разместив на ней сообщение о том, что распродажа начнется через «xxx месяцев или дней». Тогда не придется каждый раз развивать новую страницу, а старая будет прокачиваться со временем.

Пример — страница Черной пятницы на сайте Argos. В январе 2021 года она работает и занимает место на первой странице Google по запросу «распродажа в черную пятницу», хотя акция начнется в ноябре.

Пример неактуальной страницыПример страницы для ежегодной распродажи

Ненадежные способы

Для удаления страниц из индекса поисковых систем иногда используют канонические теги, но их лучше использовать для отметки похожего контента, а не устаревшего. Нет гарантии, что поисковые боты будут обращать внимания на канонический тег, часто они принимают свои решения о показе страницы.

Кто-то использует указания об индексировании в файле robots.txt, но этот файл боты Google воспринимают как рекомендации, а не как правила. Если использовать robots.txt для удаления страниц из индекса, то в совокупности с другими способами.

Метод, который вы выбрали для удаления контента из индекса поисковых систем, должен зависеть от ценности контента и от того, на какой срок вы хотите его удалить — навсегда или временно. Выбирайте с умом!

На основе статьи «How To Remove Outdated Content From Search Engines» Joe Johnson

Источник