Инструкция

Проверьте, проиндексирован ли сайт поисковой системой Google при помощи анализа страниц поисковой выдачи. Откройте в URL вида: www.google.com/search?&q=allinurl:<адрес_сайта>/+site:<адрес_сайта>, где вместо заполнителя <адрес_сайта> необходимо подставить доменное имя, указывающее на ваш сайт. Например, если доменное codeguru.ru, то URL будет иметь вид: www.google.com/search?&q=allinurl:codeguru.ru/+site:codeguru.ru . Поисковая выдача в данном случае будет содержать все страницы указанного , присутствующие в индексе Google. Общее число страниц будет указано вверху страницы поисковой выдачи. Сравнивая известное количество с количеством страниц в выдаче, можно вывод о степени сайта.

Проверьте индексацию сайта в Google при помощи инструментов для web-мастеров. Зарегистрируйтесь в Google Webmaster Tools по адресу www.google.com/webmasters/tools/ . Войдите в панель управления сервиса. Добавьте сайт в систему и подтвердите права на . Зайдите по адресу https://www.google.com/webmasters/tools/dashboard .

Определите, проиндексирован ли сайт Yandex при помощи анализа поисковой выдачи. Откройте в браузере страницу с адресом вида http://yandex.ru/yandsearch?surl=<адрес_сайта>. Вместо маркера <адрес_сайта> в строку необходимо подставить доменное имя анализируемого сайта. Вверху страницы поисковой выдачи будет указано общее количество страниц сайта, известных поисковику. Сравните его с количеством страниц сайта.

Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.

При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.

Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс.
Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Отправить

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:».

Например, сайт cubing.com.ua находится под фильтром АГС.

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт . Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap) . Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте . Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с robots.txt . Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Выводы

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора «site:».
  3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
  4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

P.S. Бонус для тех, кто дочитал :)

Держите таблицу , с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

  1. Сделать копию.
  2. Выбрать доменную зону.
  3. Загрузить в столбец А список URL-адресов.
  4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

  1. Выбрать доменную зону.
  2. Выбрать регион.
  3. Ввести запрос (адрес сайта).
  4. Поставить «1», если хотите получить адрес и заголовок.
  5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

Из этого отчета вы можете узнать, какие страницы вашего сайта были проиндексированы и как устранить неполадки на страницах, которые не удалось проиндексировать. Общее число URL с тем или иным статусом по классификации Google ("Страница без ошибок", "Ошибка" и т. д.) представлено в отдельных столбцах диаграммы.

О проверке сайтов

Устранив проблему на всех страницах, где она выявлена, запросите повторную проверку сайта. Если она действительно решена во всех перечисленных случаях, Search Console пометит ее в таблице статусов как исправленную и переместит в конец списка. Наш сервис отслеживает статус как проблемы в целом, так и всех случаев ее возникновения по отдельности. Проблема будет считаться решенной только после того, как вы устраните ее во всех выявленных случаях. В разделах и рассказывается, как отслеживать ситуацию с устранением нарушения.

Срок актуальности проблемы

Проблема считается актуальной с момента, когда она была впервые выявлена на вашем сайте, и вплоть до 90 дней после того, как последняя страница с нарушением была помечена как исправленная. Если в течение этого срока Search Console не обнаружит проблему снова, она будет удалена из истории отчетов.

Датой выявления проблемы считается момент, когда она первый раз была зарегистрирована в течение срока актуальности. Эта дата неизменна. Далее Search Console действует по следующему алгоритму:

  • Если проблема была исправлена на всех страницах, однако через 15 дней после этого она появилась вновь, мы будем по-прежнему считать ее актуальной, а дата выявления останется неизменной.
  • Если же это произойдет через 91 день, проблема уже будет удалена из истории. Мы зарегистрируем нарушение как новое и с другой датой выявления.

Основной процесс проверки

Ниже описано, как проходит процедура проверки после того, как вы нажмете Проверить исправление . Она может занять несколько дней , и вы будете получать по электронной почте уведомления о том, как она проходит.

  1. После того как вы нажмете Проверить исправление , Search Console сразу же обработает несколько страниц.
    • Если хотя бы на одной из них будет обнаружено нарушение, о котором идет речь, проверка закончится, а ее статус останется неизменным.
    • Если на выбранных страницах нарушение обнаружено не будет, процедура проверки продолжится, а ее статус изменится на Начато . При этом Search Console может выявить другие проблемы, не связанные с текущей, однако зарегистрирует их отдельно, а проверка будет выполняться и далее.
  2. Search Console будет проверять список страниц, на которых была обнаружена проблема, а не весь сайт. Список обработанных URL хранится в истории проверок Search Console. Ее можно найти на странице со сведениями о проблеме.
  3. После проверки URL происходит следующее:
    1. Если проблема не найдена, статус проверки страниц приобретает значение Нет нарушений . Если это первый URL в очереди на обработку, статус проверки сайта меняется на Ошибки исправлены .
    2. Если URL недоступен, статус проверки страниц на наличие ошибки приобретает значение Другое (это не статус ошибки).
    3. Если проблема по-прежнему присутствует, сайту назначается статус Есть ошибки и проверка заканчивается. Если такое нарушение выявлено на новой странице, обнаруженной при обычном сканировании сайта, это расценивается как ещё один случай прежней проблемы.
  4. Если все URL с ошибками и предупреждениями проверены, а проблема в соответствующих разделах сайта не найдена, статус проверки приобретает значение Нет ошибок . Внимание! В этом случае по-прежнему будет указан исходный уровень нарушения (Ошибка или Предупреждение ).

Даже если вы не нажмете "Начать проверку" , Google все равно сможет обнаружить все элементы с нарушениями на вашем сайте. Если при обычном сканировании окажется, что определенная проблема исправлена на всех страницах, где она раньше имела место, статус ее проверки в отчете будет изменен на "Отсутствует".

При каких условиях проблема считается устраненной для определенного URL или раздела на сайте?

Для URL или раздела на сайте проблема расценивается как решенная при выполнении любого из следующих условий:

  • Размещенная по этому URL страница просканирована, а выявленная ранее проблема на ней не обнаружена. Если нарушение было связано с тегом AMP, причины могут быть две: или вы успешно внесли исправления, или тег удален (если его не требуется использовать). При проверке будет демонстрироваться статус "Нет ошибок".
  • Страница по какой-либо причине недоступна роботам Google (удалена, содержит тег noindex, требует авторизации и т. д.). Для такого URL проблема тоже будет считаться решенной. При проверке статус изменится на "Другое".

Повторная проверка

Если нажать Провести повторную проверку после неудачной прежней попытки, Search Console начнет снова проверять все страницы, на которых проблема была выявлена ранее, а также новые страницы, где она была найдена при обычном сканировании.

Прежде чем запросить новую проверку, дождитесь окончания предыдущей, даже если во время нее вы устранили нарушение на каких-либо страницах.

Страницы с ошибками, которые прошли проверку (помеченные как Нет ошибок ) или стали недоступными (помеченные как Другое ), повторно не проверяются. Они будут удалены из истории проверок после того, как вы нажмете "Провести повторную проверку".

История проверок

Чтобы просмотреть статус запроса на проверку, откройте страницу со сведениями о проблеме и нажмите на ссылку, по которой доступна подробная информация о проверке.

Записи, упомянутые в истории проверок, в отчетах об AMP-страницах и статусе индексирования систематизированы по URL. В отчете о расширенных результатах и об удобстве для мобильных записи группируются по URL и элементам структурированных данных (согласно значению элемента name). Статус решения проблемы касается той проблемы, которая стала предметом проверки. На одной и той же странице одна проблема может иметь статус "Нет ошибок", а другая "Ошибка", "Не проверено" или "Другое".

Статус проверки сайта на наличие проблемы

Выявленной проблеме может быть назначен один из перечисленных ниже статусов.

  • Не начато. На сайте есть страницы, где представлена данная проблема, и они не проходили проверку. Что следует предпринять:
    1. Нажмите на описание проблемы и просмотрите подробные сведения о ней. Перейдите на страницы, где она обнаружена, и проанализируйте их с помощью инструмента проверки AMP-страниц. Если он не видит нарушений на странице, это означает, что вы уже устранили их после того, как роботы Google обнаружили их и создали отчет.
    2. Нажмите "Подробнее" на странице со сведениями о проблеме, чтобы узнать, какое правило было нарушено.
    3. Выберите пример строки URL в таблице, чтобы получить подробную информацию о проблеме на соответствующей странице.
    4. Устраните нарушение на всех страницах и нажмите Проверить исправление , чтобы мы просканировали их заново. Google будет уведомлять вас о ходе проверки. Эта процедура может занять от нескольких дней до двух недель.
  • Начато. Вы начали проверку, и проблема не обнаружена на новых страницах. Что следует предпринять. Следите за уведомлениями от Google, в которых могут быть представлены необходимые инструкции.
  • Ошибки исправлены. Вы начали проверку, и проблема исправлена на страницах, где она ранее была обнаружена. Что следует предпринять. Следите за уведомлениями Google о ходе дальнейшей проверки.
  • Нет ошибок. Проблема устранена на всех страницах, где она ранее была обнаружена (или более недоступны соответствующие URL). Этот статус может появиться только в том случае, если вы ранее нажимали "Проверить исправление". Если сервис Search Console не обнаружил страницы с проблемами по иной причине, появится статус "Отсутствует". Что следует предпринять. От вас не требуется никаких действий.
  • Отсутствует. Мы обнаружили, что все страницы, где ранее наблюдалась проблема, исправлены, хотя вы ни разу не запрашивали проверку. Что следует предпринять. От вас не требуется никаких действий.
  • Есть ошибки. Проблема до сих пор наблюдается на некоторых страницах. Этот статус может появиться в том случае, если ранее вы нажимали "Проверить". Что следует предпринять. Устраните нарушение и запросите повторную проверку.

Статус проверки страниц на наличие проблемы

После того как вы запросите проверку, Search Console присвоит перечисленные ниже статусы выявленной проблемы всем страницам, на которых она есть (статусы Нет ошибок и Другое в отчете о статусе индексирования не используются).

  • Не проверено. Проблема находится в очереди на проверку. В ходе последней проверки выяснилось, что она не устранена.
  • Нет ошибок. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение больше не наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить .
  • Есть ошибки. Мы проверили страницу на предмет наличия проблемы и выяснили, что нарушение по-прежнему наблюдается. Такой статус может появиться, только если вы запрашивали обработку именно этой страницы, нажав кнопку Проверить .
  • Другое. У Google более нет доступа к странице или элементу (для структурированных данных), где выявлена проблема. Этот вариант аналогичен статусу Нет ошибок .

Обратите внимание, что у одного и того же URL может быть разный статус применительно к разным нарушениям. К примеру, если на одной и той же странице встречается проблема А и проблема Б, первой может быть назначен статус Нет ошибок , а второй – Не проверено .

Выявленные неполадки

  • Поскольку данные индексации не обновляются ежедневно, иногда сведения предоставляются с задержкой, а в некоторых случаях применяется интерполяция.
  • На диаграммах должны быть представлены данные за последние 90 дней, однако в настоящее время этот срок может быть короче.
  • Фильтр файлов Sitemap в раскрывающемся меню включает только файлы Sitemap, добавленные с помощью сервиса Search Console или директив robots.txt.
  • Названия статусов в списке могут быть изменены. В частности, обратите внимание на следующее:
    • Элементам, которые представляются вместе с другими типами ответов (4xx/5xx), присваивается статус "Ошибка".
    • Элементы со статусом "Отсутствует в индексе по неизвестной причине" и "Другое" можно не учитывать.
  • При нажатии на строку с причиной пользователь перенаправляется в старый интерфейс Search Console.
  • На мобильных устройствах новый интерфейс пока работает нестабильно.
  • В настоящий момент не поддерживаются наборы ресурсов, а также ресурсы мобильных приложений.

Была ли эта статья полезна?

Как можно улучшить эту статью?