Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.

В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.

Почему закрытые и удаленные страницы есть в поиске

Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.

Несуществующие страницы находятся в поиске по следующим причинам:

  • Самое банальное — страница удалена и больше не существует.
  • Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
  • Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
  • Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или с кодом 3хх.

Лишние страницы появляются в индексе при следующих условиях:

  • Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для .
  • Они были проиндексированы до того как были закрыты доступными способа.
  • На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.

Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.

Как удалить страницу из поисковой системы Яндекс

Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.

Главное условие успешного запроса на удаление:

  • страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
  • при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.

При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.

Как удалить страницу из поисковой системы Google

Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.

Перед нами специальная форма с помощью которой создаем новый запрос на удаление:

Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…

Из представленных вариантов нам доступно:

  • удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
  • удаление только страницы из кэша;
  • удаление каталога со всеми входящими в него адресами.

Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.

Как временно удалить свои страницы из результатов поиска Google

Этот инструмент позволяет временно блокировать страницы вашего сайта в результатах поиска Google. О том, как удалить из Google Поиска страницы, которые вам не принадлежат, читайте .

Важные примечания

Как временно исключить страницу из результатов поиска Google

  1. URL должен относиться к принадлежащему вам ресурсу в Search Console. Если это не так, вам нужно следовать другим инструкциям .
  2. Перейдите к инструменту удаления URL .
  3. Нажмите Временно скрыть .
  4. Укажите относительный путь к нужному изображению, странице или каталогу. При этом учитывайте следующие требования:
    • Регистр символов в URL имеет значение. URL example.com/Stranitsa и example.com/stranitsa не одинаковы.
    • Путь должен относиться к корневому каталогу вашего ресурса в Search Console.
    • Варианты с префиксами http и https, а также с субдоменом www и без него означают одно и то же. Следовательно, если говорить об example.com/stranitsa , то:
      • https://example.com/stranitsa не отличается;
      • http://example.com/stranitsa не отличается;
      • https://www.example.com/stranitsa не отличается;
      • http://www.example.com/stranitsa не отличается;
      • http://m.example.com/stranitsa отличается . Субдомены m. и amp. (а также все прочие) делают URL неравнозначными.
    • Чтобы скрыть целый сайт , не указывайте путь и на следующем шаге выберите вариант Очистить кеш и временно скрыть все URL, которые начинаются с… .
  5. Нажмите Продолжить .
  6. Выберите нужное действие из перечисленных ниже.
  7. Нажмите Отправить запрос . На его обработку может потребоваться до суток. Мы не гарантируем, что запрос будет выполнен. Проверяйте статус запроса. Если он был отклонен, нажмите Подробнее , чтобы посмотреть дополнительные сведения.
  8. Отправьте дополнительные запросы, указав все URL, по которым может открываться та же страница, а также варианты URL с измененным регистром, если ваш сервер их поддерживает. В частности, на одну и ту же страницу могут указывать следующие URL:
    • example.com/mypage
    • example.com/MyPage
    • example.com/page?1234
  9. Если вы хотите удалить URL из результатов поиска окончательно , ознакомьтесь со следующим разделом.

Удаление навсегда

Инструмент удаления URL позволяет удалять страницы только на время . Если вы хотите удалить контент из результатов поиска Google навсегда, примите дополнительные меры:

  • Удалите или измените контент сайта (изображения, страницы, каталоги) и убедитесь, что сервер возвращает код ошибки 404 (не найдено) или 410 (удалено) . Файлы, формат которых отличен от HTML (например, PDF), должны быть полностью удалены с сервера. Подробнее о кодах статуса HTTP ...
  • Заблокируйте доступ к контенту , например установите пароль.
  • Запретите сканирование страницы с помощью метатега noindex . Этот метод менее надежен, чем остальные.

Отмена удаления URL

Если нужно восстановить страницу в результатах поиска раньше окончания временной блокировки, откройте страницу статуса в инструменте и нажмите Включить повторно рядом с выполненным запросом на удаление URL. Обработка запроса может занять несколько дней.

Использование инструмента не по назначению

Инструмент удаления URL предназначен для срочного блокирования контента, например в тех случаях, если случайно оказались раскрыты конфиденциальные данные. Использование этого инструмента не по назначению приведет к негативным последствиям для вашего сайта.

  • Не используйте инструмент для удаления ненужных элементов , например старых страниц с сообщением об ошибке 404. Если вы изменили структуру своего сайта и некоторые URL в индексе Google устарели, поисковые роботы обнаружат это и повторно просканируют их, а старые страницы постепенно будут исключены из результатов поиска. Нет необходимости запрашивать срочное обновление.
  • Не используйте инструмент для удаления ошибок сканирования из аккаунта Search Console. Эта функция препятствует показу адресов в результатах поиска Google, а не в аккаунте этого сервиса. Вам не нужно вручную удалять URL. Со временем они будут исключены автоматически.
  • Не используйте инструмент удаления URL при полной переделке сайта "с нуля". Если в отношении сайта действуют меры, принятые вручную, или он приобретен у прежнего владельца, рекомендуем подать запрос на повторную проверку . Сообщите при этом, какие изменения вы внесли и с какими проблемами столкнулись.
  • Не используйте инструмент для "отключения" сайта после взлома. Если ваш сайт был взломан и вы хотите удалить из индекса страницы с вредоносным кодом, используйте инструмент блокировки URL для блокировки новых URL, созданных злоумышленником, например http://www.example.com/buy-cheap-cialis-skq3w598.html. Однако мы не рекомендуем блокировать все страницы сайта или те URL, которые нужно будет проиндексировать в будущем. Вместо этого удалите вредоносный код, чтобы роботы Google могли повторно просканировать ваш сайт.
  • Не используйте инструмент удаления URL для индексации правильной "версии" своего сайта. На многих ресурсах один и тот же контент и файлы можно найти по разным URL. Если вы не хотите, чтобы ваш контент дублировался в результатах поиска, прочитайте . Не используйте инструмент удаления URL, чтобы заблокировать нежелательные версии URL. Это не поможет сохранить предпочитаемую версию страницы, а приведет к удалению всех версий URL (с префиксами http или https, а также с субдоменом www и без него).

Была ли эта статья полезна?

Как можно улучшить эту статью?

Переходим сразу от слов к делу. Для того, чтобы удалить URL адреса из поисковой выдачи в Google необходимо обратиться к сервису вебмастер и выяснить в каких случаях нужно пользоваться сервисом - удалить URL адреса, а в каких не следует:

Прежде всего хочу предупредить о том, что если у Вас присутствуют древовидные комментарии, . Прежде, чем удалять параметры URL и полностью запрещать поисковому роботу обращаться к внутренним ссылкам страниц содержащих: /?replytocom=, следует обязательно удалить из поисковой выдачи - эти страницы содержащие /?replytocom= .

Для удаления URL адреса из поисковой выдачи Google необходимо перейти по адресу https://www.google.com/webmasters/tools/, выбрать значение - оптимизация -> удалить URL адреса:

Если же Вы сначала удалите Параметры URL, то при обращении в сервис удалить URL адреса из поисковой выдачи Google , будет появляться следующее окно, тем самым говоря, что Вы уже внесли replytocom в Параметры URL. Нажимаем — отправить запрос и удаляем необходимый URL страницы:

После удаления URL адреса, можно посмотреть список удаленных страниц:

Там, где стрелка указывает на кнопку «ожидание», при нажатии на нее — появится список вариантов, в котором есть «удаленные» — проверить удалился ли адрес, можете вставив данный URL в строчку браузера.

Когда НЕ следует использовать инструмент удаления URL

Инструмент удаления URL предназначен для срочного удаления страниц, например в тех случаях, если на них случайно оказались конфиденциальные данные. Использование этого инструмента не по назначению может привести к негативным последствиям для вашего сайта.

Не используйте инструмент удаления URL в следующих случаях:

    • Для удаления «мусора» , например старых страниц, отображающих ошибку 404. Если вы изменили структуру своего сайта и некоторые URL в индексе Google устарели, поисковые роботы обнаружат это и повторно просканируют их, а старые страницы постепенно будут исключены из результатов поиска. Вам не нужно запрашивать срочное удаление.
    • Для удаления ошибок сканирования из аккаунта Инструментов для веб-мастеров. Инструмент удаления URL исключает URL из результатов поиска Google, а не из вашего аккаунта Инструментов для веб-мастеров. Вам не нужно вручную удалять URL из этого отчета. Со временем они будут исключены автоматически.
    • Для создания сайта «с чистого листа». Если вы обеспокоены тем, что к вашему сайту могут быть применены штрафные санкции, или хотите начать все сначала после покупки домена у прежнего владельца, рекомендуем подать запрос на повторную проверку, в котором нужно описать, какие изменения вы внесли и в чем состоит причина вашего беспокойства.
    • Для перевода сайта в автономный режим после взлома. Если ваш сайт был взломан и вы хотите удалить из индекса страницы с вредоносным кодом, используйте инструмент удаления URL для удаления новых URL, созданных злоумышленником, например http://www.example.com/buy-cheap-cialis-skq3w598.html. Однако мы не рекомендуем удалять все страницы сайта или те URL, которые нужно будет проиндексировать в будущем. Вместо этого удалите вредоносный код, чтобы роботы Google могли повторно просканировать ваш сайт. Подробнее о работе со взломанными сайтами...
  • Для индексации правильной версии своего сайта. На многих сайтах одно и то же содержание можно найти по разным URL. Если вы не хотите, чтобы дублирующееся содержание отображалось в результатах поиска, ознакомьтесь с рекомендуемыми методами назначения канонических версий страниц. Не используйте инструмент удаления URL для удаления нежелательных версий URL. Это вам не поможет сохранить предпочтительную версию страницы. Ведь при удалении одной из версий URL (http/https, с префиксом www или без него) будут удалены и все остальные.

Для удаления URL адреса из Яндекса , набираем в поисковой строке http://webmaster.yandex.ua/delurl.xml , вводим адрес и действуем по интуитивно понятным инструкциям.

Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:

  • Ошибка при загрузке или обработке страницы роботом - если ответ сервера содержал HTTP-статус 3XX, 4XX или 5XX. Выявить ошибку поможет инструмент Проверка ответа сервера .
  • Индексирование страницы запрещено в файле robots.txt или с помощью метатега с директивой noindex .
  • Страница перенаправляет робота на другие страницы.
  • Страница дублирует содержание другой страницы .
  • Страница не является канонической .

Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.

Если вы устранили причину удаления страницы, отправьте страницу на переобход . Так вы сообщите роботу об изменениях.

Вопросы и ответы про исключенные из поиска страницы

На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?

Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.

Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.

Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?

Это может происходить по нескольким причинам:

  • Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
  • Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. Проверьте ответ сервера по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.

В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?

В разделе Страницы в поиске , в списке Исключенные страницы , отображаются страницы, к которым робот обращался, но не проиндексировал (это могут быть уже несуществующие страницы, если ранее они были известны роботу).

Страница удаляется из списка исключенных, если:

  • она недоступна для робота в течение некоторого времени;
  • на нее не ссылаются другие страницы сайта и внешние источники.

Наличие и количество исключенных страниц в сервисе не должно влиять на положение сайта в результатах поиска.