Проверить индексацию в яндексе. С помощью специальных сервисов

Чтобы продвигаемые страницы могли выводиться в поиске, они должны находиться в индексе поисковых систем. Давайте разберемся, как проверить, какие страницы сайта находятся в индексе Яндекса или Google, узнать количество документов в базе поисковой системы. Какие инструменты существуют для отслеживания индексации страниц. Но вначале немного ликбеза.

Что такое индекс поисковой системы?

Индекс поисковой системы – это база данных, в которой находится информация обо всех документах (страницах с сайтов, файлов), которые могут участвовать в поиске.

Не все страницы включаются в индекс. Например, если страница вашего сайта признается роботом поисковой системы как низкокачественная, она может не включаться в индекс и не принимать участие в поиске. Аналогичная судьба часто ожидает страницы-дубли или документы, содержащие скопированные с других сайтов тексты.

В Google имеется основной индекс и дополнительный (supplemental index).

В дополнительный индекс попадают документы, которые имеют более низкое качество, чем документы из основного индекса. Они не участвуют в основном поиске, их редко посещает робот Google, они практически не приносят трафик на сайт.

В дополнительный индекс Google обычно попадают:

страницы с неуникальным контентом,
страницы, на которых практически отсутствует контент и страницы с текстом менее 500 символов,
дубли,
иногда в дополнительный индекс могут попадать страницы с низким весом.

Почему важно проверять количество страниц в индексе?

Очень важно отслеживать индексацию страниц, потому что от этого зависит трафик из поисковых систем. Если страница не проиндексирована, она не сможет появиться в выдаче по какому-либо запросу.

Как узнать, сколько страниц в индексе Яндекса или Google?

Есть несколько способов проверить количество страниц в индексе поисковых систем:

1. Введите в поисковую строку запрос: site:site.com (где site.com – это URL или адрес главной страницы сайта), как на скриншоте ниже:

Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы. В примере выше указано число страниц в индексе Google. Этот способ позволяет узнать число страниц в базе поисковой системы у любого сайта, в том числе конкурента.

2. Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров . Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.

Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.

3. При помощи онлайн-сервисов, например, многие бесплатные сервисы для проведения аудитов сайтов выводят информацию о количестве страниц в индексе.

Как проверить страницу в индексе Яндекса или Google?

Часто вебмастеру требуется узнать, находится в индексе конкретная страница сайта или нет. Самый простой способ узнать это – ввести поисковый запрос, состоящий из адреса страницы. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:

В Яндекс.Вебмастер есть функция, которая позволяет не только проверять, в индексе страница или нет, но и следить, чтобы важные страницы не выпадали из поиска. Чтобы добавить страницу в список отслеживаемых, зайдите в раздел «Индексирование» -> «Важные страниц» и в открывшейся форме добавьте нужные страницы:

Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор . Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по числу документов. Помимо проверки индексации сайта, сервис позволяет снимать позиции по запросам, группировать запросы и многое другое.

Как вернуть или добавить страницу в индекс?

В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить страницу на переиндексацию или добавить новую страницу с сайта в поисковую систему:

Второй способ отправить страницу на переиндексацию – это добавить ссылки на страницу в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем.

Если вы отправили страницу на индексацию, но она не появилась в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать страницу, чтобы она попала в индекс.

Как ускорить индексацию сайта?

Индексацию сайта можно ускорить на разных этапах продвижения сайта:

Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового сайта в индекс.
Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и новые страницы будут быстрее добавляться в индекс.
Следите за качеством контента. На сайты с низким качеством контента роботы могут заходить реже или совсем перестать индексировать такие проекты.
Периодически проводите технический аудит сайта , чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые документы от индексации.
Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить страницу в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в индекс, несмотря на все ваши действия. Иногда решить проблему помогает только обращение в службу поддержки поисковой системы.
Если страницы стали вылетать из индекса, проверьте сайт на наличие фильтров , уникальность текстов и техническую сторону работы сайта.
Если сайт слишком большой, вы можете достигнуть лимита по числу документов в индексе поисковой системы (такой лимит есть для каждого сайта). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные присутствовали в поиске.

В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google, узнать количество страниц в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.

Индекс поисковых систем - специальная база данных, в которую заносится информация, собираемая поисковыми роботами со страниц сайтов. При этом учитывается текстовое наполнение, внутренние и внешние ссылки, графические и некоторые другие объекты. Когда пользователь задает запрос поисковой системе, происходит обращение к базе данных. После этого выполняется ранжирование по релевантности - формирование списка сайтов по мере убывания их значимости.

Что такое индексация

Процесс добавления роботами собранной информации в базу называется индексацией. Затем данные определенным образом обрабатываются и создается индекс - выжимка из документов. Процесс заполнения индекса осуществляется одним из двух способов: вручную или автоматически. В первом случае владелец ресурса должен самостоятельно добавить URL веб-ресурса в специальную форму, которая есть у «Яндекса», Google и других поисковых систем. Во втором робот сам находит сайт, планомерно переходя по внешним ссылкам с других площадок или сканируя файл-карту sitemap.xml.

Первые попытки индексировать веб-ресурсы были сделаны еще в середине 90-х годов прошлого столетия. Тогда база данных была похожа на обычный предметный указатель, в котором содержались ключевые слова, найденные роботами на посещенных ими сайтах. Почти за 30 лет этот алгоритм был значительно усовершенствован и усложнен. Например, сегодня информация перед попаданием в индекс обрабатывается по сложнейшим вычислительным алгоритмам с привлечением искусственного интеллекта.

Зачем индекс поисковым системам

Индексация страниц сайта - неотъемлемая часть работы поисковых систем (не только Google и «Яндекса», но и всех остальных). База, полученная в процессе сканирования веб-ресурсов, используется для формирования релевантной выдачи. Основные роботы поисковых систем:

основной - сканирует весь контент на сайте и его отдельных страницах;
быстрый - индексирует только новую информацию, которая была добавлена после очередного обновления.

Также существуют роботы для индексации rss-ленты, картинок и др.

При первом посещении в базу попадают все новые сайты, если они подходят под требования поисковой системы. Во время повторного визита информация лишь дополняется деталями.

Скорость индексации страниц

Чем быстрее происходит добавление страницы в индекс, тем лучше для веб-ресурса. Однако поисковые роботы не могут выполнять такой большой объем работы так же часто, как обновляется наполнение сайтов. Индексация в «Яндекс» в среднем занимает одну-две недели, а в Google - несколько дней. С целью ускорения индексации ресурсов, для которых очень важно быстрое попадание информации в базу (новостные порталы и т. д.), применяется специальный робот, посещающий такие сайты от одного до нескольких раз в день.

Как проверить индексацию в «Яндексе» и Google

Воспользоваться информацией из панели веб-мастеров . В списке сервисов Google откройте Search Console, а затем перейдите в раздел «Индекс Google». Нужная информация будет находиться в блоке «Статус индексирования». В «Яндекс.Вебмастер» необходимо перейти по следующей цепочке: «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске».

Задать поиск по сайту с использованием специальных операторов . Для этого используйте запрос с конструкцией «site:», указав далее адрес вашего ресурса в полном формате. Так вы узнаете количество проиндексированных страниц. Серьезные расхождения в значениях (до 80 %), полученных в разных поисковых системах, говорят о наличии проблем (например, веб-ресурс может находиться под фильтром).

Установить специальные плагины и букмарклеты . Это небольшие дополнения для браузера, которые позволяют выполнить проверку индексации страниц сайта. Одним из самых популярных среди них является RDS Bar.

Как ускорить индексацию

На скорость индексации сайта прямо влияют несколько факторов:

отсутствие ошибок, замедляющих процесс сбора информации поисковым роботом;
авторитетность ресурса;
частота обновления контента на сайте;
частота добавления нового контента на сайт;
уровень вложенности страниц;
корректно заполненный файл sitemap.xml;
ограничения в robots.txt.

Чтобы ускорить индексацию сайта, выполните ряд правил:

выберите быстрый и надежный хостинг;
настройте robots.txt, установив правила индексации и сняв ненужные запреты;
избавьтесь от дублей и ошибок в коде страниц;
создайте карту сайта sitemap.xml и сохраните файл в корневой папке;
по возможности организуйте навигацию таким образом, чтобы все страницы были в 3 кликах от главной;
добавьте ресурс в панели веб-мастеров «Яндекса» и Google;
сделайте внутреннюю перелинковку страниц;
зарегистрируйте сайт в авторитетных рейтингах;
регулярно обновляйте контент.

Дополнительно рекомендуем оценить объем flash-элементов с точки зрения их влияния на продвижение. Наличие визуальных объектов этого типа значительно снижает долю поискового трафика, так как не дает роботам выполнить индексацию в полной мере. Также не желательно размещения ключевой информации в PDF-файлах, сохраненных определенным образом (сканироваться может только текстовое содержимое документа).

То очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).

Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).

Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе . Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

Несколько способов.

Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы

Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)

Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике .

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: https://сайт/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom =324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:

Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)

Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:

После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

Добрый день, уважаемый читатель . Продолжим изучать мою книгу о поисковом трафике для блоггера и поговорим сегодня об индексировании ресурса. В этой статье Вы узнаете, как можно быстро и легко проверить индексацию страниц Вашего сайта в Яндексе и в Google с помощью обычных операторов поиска и различных сервисов. Поймете важность этого процесса, увидите на разных примерах несколько вариантов определения документов Вашего блога. Конечно, этот пост имеет практическое значение, но он является первым мануалом для изучения, чтобы в дальнейшем заниматься поисковым продвижением своего веб-ресурса.

Проверяем наличие сайта в индексе поисковых систем

Перед тем, как мы поговорим о различных службах и сервисах проверки проиндексированных страниц в Яндексе и Гугле, предлагаю вспомнить важность самой базы данных. Дело в том, что любая поисковая система работает только с теми документами, которые просмотрены ее роботом и занесены в базу данных. Эта база называется индексом, а сам процесс сбора всех данных со страниц любого сайта в сети — индексацией. Этот процесс достаточно сложный, но увлекательный и познавательный. И правильное понимание работы этого процесса — это одно из главных условий успешного и в Яндексе и Гугле. Поэтому, перед дальнейшим изучением материала этой статьи, рекомендую всем вспомнить .

Проверка индексирования страниц сайта в Яндексе и Гугле

Яндекс . Для того, чтобы узнать наличие страниц в русском поисковике, существует несколько операторов. Оператор site находит все страницы Вашего сайта в базе данных Яндекса, а host дает информацию по индексированным документам с доменов и поддоменов сайта. Вот результаты работы оператора site:

А вот итоговый результат после использования оператора host:

Теперь давайте посмотрим, сколько покажет нам количество проиндексированных страниц оператор host для моего блога не по главному зеркалу (без www). Результат конечно будет предсказуемым:

Если же проделать ту же схему но для оператора site, то число страниц в индексе не по главному зеркалу моего сайта не измениться — останется 206. Это потому, что как я и говорил, site находит все документы сайта, а host — домена. Поэтому дам Вам такой совет — если хотите быстро оценить число страниц любого веб-ресурса в базе данных Яндекса, используйте оператор site (в строку запроса можно вводить адрес сайт с или без www — результат будет одним и тем же). Если же Вм нужно знать точное число страниц в индексе любого домена, используйте следующее сочетание операторов (вместо адреса моего блога в примере ставите нужный адрес домена):

Google . Самая популярная поисковая система обладает одним оператором для определения проиндексированных страниц. Его название site и он выполняет такую же функцию, как и его коллега в Яндексе — дает полный перечень документов, находящихся в базе данных Гугла. Вот как он выглядит:

К сожалению, этот оператор показывает все страницы, которые находятся в индексе Гугла. Но как Вы знаете, этот поисковик разделяет свою базу данных на основной индекс и дополнительный. В основном содержатся все документы Вашего блога, которые Гугл использует для своих результатов выдачи. Остальные же документы, которые обычно содержат дублирующие страницы, технические разделы из CMS или не подходящие по ранжированию урлы находятся в дополнительном индексе, который называется Supplemental Results (по сеошному — «сопли»). Поэтому, для точного определения рабочих проиндексированных страниц своего блога, которые участвуют при ранжировании, используется специальная команда &:

Как видите, результаты сильно отличаются в моем случае — число проиндексированных страниц в основном индексе намного меньше, чем общее число. Это говорит о том, что в свое время при первых пробежках поисковым роботом по моему блогу, Гугл успел занести в свою базу кучу мусора и дублей. И перед тем, как я успел это обнаружить, их масса намного превышает реальные страницы моего сайта. Что конечно сказалось на поисковом трафике из Google. Поэтому так важно, перед самым первым запуском своего нового веб-ресурса полностью закрыть в файле robots.txt все ненужные разделы Вашего сайта. Но об этом мы поговорим в другой раз.

Проверка индексации страниц с помощью сервисов

RDS bar . Самый быстрый вариант проверки — использовать (пост о том, как его настроить и как им пользоваться). Этот плагин, который можно прикрутить к любому популярному браузеру, с ходу может дать всю информацию о наличии страниц в базе данных Яндекса и Гугла (в общем индексе), а также информацию о дате индексации текущей страницы. Благодаря этому расширению, не теряя времени на переходы в различные сервисы или в поиск, можно оценить индексирование любого сайта. В общем, рекомендую, это очень удобно:

Сервис XSEO . Набор инструментов для веб-мастеров и блоггеров, XSEO.in тоже дает четкую информацию об индексации страниц сайта в Яндексе и Google. Но в отличие от предыдущего сервиса, он позволяет достаточно быстро, в пару кликов увидеть число страниц в Гугле в разных индекса — в основном и дополнительном. Такая информация есть далеко не в каждом плагине, программе или сервисе. XSEO дает точные данные о числе документов, как например, для моего блога:

Для получения таких данных для любого, анализируемого Вами веб-ресурса, достаточно в сервисе выбрать раздел «Проверка индексации сайта».

Сервис PR-CY . Известный аналитический сервис Pr-Cy.ru , имеющий в своем активе достаточно неплохой набор различных отчетов и seo-инструментов. Как и предыдущие источники, он тоже дает данные об индексации любого сайта. Но у него есть замечательное отличие — он обладает интересной графикой, в которой показывает историю индексации страниц в поисковых системах. Такую штуку я редко где замечал, но именно этот сервис имеет самый дружелюбный интерфейс, позволяющий быстро увидеть изменение числа проиндексированных страниц. Вот, к примеру, такова история попадания документов моего блога в базу данных Яндекса:

Как видно из этого графика, сервис четко показывает число проиндексированных страниц в русском поисковике в течение года. Таким образом можно оценить индексацию любого сайта, особенно, если Вы выбираете хорошего донора для закупки внешних ссылок. Например, в , Кстати, на графике хорошо виден скачок числа проиндексированных документов в мае а потом возвращение на предыдущее количество. Это все потому, что в апреле я поменял дизайн своего сайта и у меня поменялась полностью структура страниц. Яндекс достаточно быстро прореагировал, но в свое время поставленный редирект все вернул на место.

С Гуглом история немного другая у меня получилась. Вот график индексации страниц моего блога, начало которого было положено ровно год назад:

Как видите, рост шел потихоньку, но потом я стал больше писать статей и начал экспериментировать с метками. В итоге пока я их поудалял, Google честно отсканировал все дубли и отправил в свою базу данных. В итоге позиции моего блога упали и до начала июня этого года видимость моего сайта в этом поисковике не достигала и 2-х%. То есть, гугловского трафика на моем блоге просто не существовало. Но как видите, уже на текущий момент число страниц в дополнительном индексе конкретно уменьшилось. И эта тенденция продолжается на текущий момент — все дело в одном моем эксперименте по удалению дублирующих страниц с базы. На данный момент видимость моего блога в Google поднялась до 21%, а материал по эксперименту увеличивается — на будущее заготовил свой пост о работе с дублями и исключению их из индекса Гугла.

Проверка индексации сайта в Яндекс вебмастере и Google Tools

На десерт оставил самые интересные сервисы, которые могут дать полную информацию об индексировании Вашего веб-ресурса. Конечно, я имею в виду панели инструментов для веб-мастеров от Яндекса и Гугла. Только они обладают всеми точными данными о наличии страниц Вашего сайта в их базах данных. Так скажем, обратимся к первоисточнику!

Сервис от Яндекса . Как я уже сказал, это лучший пакет инструментов, который покажет Вам всю информацию об индексировании страниц Вашего сайта (и не только). Им я пользуюсь с самого начала, как только отправил свой блог на съедение русскому поисковику — . За все время эксплуатации не раз пользовался классными отчетами, которые предоставляет этот сервис.

В этой статье я не буду пояснять все детали отчетов по индексации — они детально расписаны в . Смотрите раздел «Индексация сайта». Если что-то будет не понятно, в сервисе есть замечательный хелп. На крайний случай, если не разберетесь сами с аналитическими данными отчетов, пишите свои вопросы в комментарии этой статьи.

Сервис от Google . Как и у Яндекса, . И все данные в нем дают самую достоверную информацию, так скажем из первых рук. Поэтому, для получения самых точных данных об индексации страниц сайта в этом поисковике, рекомендую использовать подраздел «Статус индексирования» в этом сервисе.

При первом заходе в этот отчет Вы увидите единственный график, где его элементами (отдельные точки на нем) являются общие числа проиндексированных всего страниц сайта в индексе Google. Это количество всех документов, которые находятся в двух индексах — основном и дополнительном.

Но конечно это не вся информация об индексации — для этого нужно нажать кнопку «Расширенные данные» и включить все пустые чек-боксы (поставить галочки). В итоге к первому графику добавляется еще три (картинка кликабельна):

Итак, что же показывают эти графики и какую пользу мы можем получить от их показателей:

проиндексировано за все время — это число всех страниц, которые когда-то нашел поисковый робот Гугла. Обычно значения узловых точек этого графика намного больше, чем числа проиндексированных всего документов. Это говорит о том, что кроме периодически появляющихся новых страниц, Google слопал за время скана все бесполезные страницы на Вашем блоге, а также возможно и дубли. Как в моем случае.

заблокировано в файле robots.txt — число запрещенных страниц для индексации, для которых прописаны запрещающие директивы в файле robots.txt. По идее здесь указывается число, которое Гугл не занес в свой индекс из-за запрета. Но на самом деле оно не точное, потому что этот поисковик отлично видит все страницы любого сайта, не отдающие ошибку 404. И даже если по ним прописана директива на запрет сканирования.

удалено — число страниц, удаленных по запросу из результатов поиска.

Как видно из рисунка, каждая точка на любом графике дает всю информацию по четырем показателям за определенный промежуток времени (день — воскресенье, когда обновляются недельные данные в отчетах вебмастера Гугла). Такая информация показана в отдельной табличке с цифрами по каждому графику.

Что можно увидеть в отчете «Статус индексирования»

Во-первых, глядя на полученные данные по графику «заблокировано в файле robots.txt», Вы можете оценить правильно ли работают Ваши запретные директивы. Если желтый график все время стремиться в верх, это говорит о явной проблеме в файле robots.txt. В таком случае стоит внимательно проверить каждую директиву. Возможно найдутся ошибки или придется прописать новые правила для поискового робота.

Во-вторых, при правильно настроенной индексации, число проиндексированных страниц должно все время увеличиваться. Если этого не наблюдается, значит Гугл не правильно собирает с Вашего сайта информацию. Возможно есть ошибки в том же файле robots.txt, появился дублирующийся контент, Гугл стал собирать ненужный мусор из-за несовершенства CMS и т.д. Но вот в моем случае синий график сначала шел рывками, а потом набрав максимум стал в конце июля этого года стремительно снижаться. Это говорит о том, что из индекса стали исчезать дубли (об этом я писал выше).

В-третьих, если в графике проиндексированных страниц есть скачки, которые показывают сильное уменьшение документов в индексе, то значит у Вас проблемы с доступом к веб-ресурсу. Возможно есть перегрузки в работе из-за увеличения , или появилось больше страниц с ошибкой 404 (например, при резком изменении структуры) и т.д. В таком случае нужно срочно принимать меры, иначе можно получить массовое падение проиндексированных страниц в Гугле. А это влечет обвалом поискового трафика.

В-четвертых, большое количество дублирующих страниц (огромная разница данных красного и синего графика, если все остальные варианты ошибок исключены) говорит о том, что на Вашем сайте неправильно настроены канонические версии страниц или есть дублирующий контент. Если не принять вовремя необходимые меры, Гугл насобирает огромное число дублей в свой индекс, которые потом очень сложно вытащить назад. Плюс к тому же дублирующие страницы никак не способствуют поднятию видимости сайта, а скорее наоборот — позиции по многим запросам могут просесть.

На этом мой ликбез о том, как самому быстро оценить индексацию страниц своего сайта, считаю завершенным. Как я и говорил, если у Вас есть небольшие вопросы, задавайте их в комментарии. Если для ответа нужен график «Статус индексирования», оставляйте ссылку на скриншот с ним. Если же Ваш вопрос требует пристальное внимание seo-специалиста, то всегда на помощь придут мои консультации.

С уважением, Ваш Максим Довженко

Доброго времени суток, дорогие друзья. Многие начинающие веб-мастера, самостоятельно занимающиеся продвижением своих сайтов, не уделяют должного внимания индексации своего ресурса. Это приводит к потере времени и денег, затраченных на создание неэффективной интернет-площадки, которую не любят поисковики, а соответственно, и пользователи с рекламодателями.

Поэтому сегодня, продолжая цикл статей о сайтостроительстве, мы поговорим о том, как проверить проиндексирован ли сайт в целом и его отдельные страницы в частности, а также обсудим, как и для чего нужно ускорять процесс индексации.

Мы уже не раз говорили о том, что можно только при условии достижения высокого уровня посещаемости, интересного потенциальным рекламодателям.

Большинство пользователей попадает на определенный ресурс из поисковых систем, вводя в них интересующие их запросы. Поисковые роботы сверяют эти запросы со своей базой данных и выводят оптимальные результаты поиска. Для того чтобы сайт попал в эту базу, он должен быть проиндексирован поисковой системой. В противном случае посетители просто не смогут найти его.

При этом очень важно, чтобы не просто ресурс, но каждая его новая страничка была максимально быстро учтена поисковиком. Оптимально, если она содержит внутреннюю перелинковку, позволяющую не только заносить в базу новый материал, но и по указанным ссылкам обновлять старый.

Почему индексация должна быть быстрой?

Кроме увеличения трафика посетителей скорость индексирования влияет и на многие другие показатели ресурса.

Ежедневно в сети появляются новые сайты, тематика которых конкурирует с вашей веб-площадкой. Все они наполняются схожим контентом, который по мере роста численности конкурентов, теряет свою уникальность. Это происходит оттого, что большинство сайтов занимается публикацией многочисленных рерайтов. Простым языком, если вы написали уникальную статью и сразу не позаботились о ее учете поисковиком, не факт, что в момент такового материал останется уникальным.

Кроме того, не проиндексированный контент становится лакомой мишенью для мошенников. Недобросовестному веб-мастеру ничего не мешает попросту скопировать материал на свой ресурс, провести быстрое индексирование и получить от поисковых роботов право на его авторство. А вашу статью поисковики в дальнейшем сочтут не уникальной, что может привести к бану интернет-площадки. Поэтому контролировать и ускорять процесс индексации особенно важно для молодых ресурсов, пробивающих себе дорогу.

Еще одним моментом, зависящим от быстрого индексирования каждой страницы, является возможность получать деньги за платные ссылки. Ведь до тех пор, пока статья с ссылкой не будет проиндексирована поисковиками, свое вознаграждение вы не получите.

Как проверить проиндексирован ли сайт в целом?

Для начала стоит убедиться, что ваш сайт попадает в базу поисковиков. Для этого нужно узнать общее число его страниц. При наличии современной системы управления веб-ресурсом, посмотреть данную цифру можно в административной части. При этом учитывается итоговое число страничек и записей.

Если по какой-либо причине данная информация недоступна, можно воспользоваться сервисом Xml-sitemaps.com. Учтите, что он бесплатен только при работе с сайтами, имеющими в своем арсенале до полутысячи страниц.

Узнав требуемое число, можно приступать к проверке индексирования площадки в главных поисковых системах – Яндекс и Google. Для этого существует несколько способов:

Использование специальных инструментов для веб-мастеров: webmaster.yandex.ru и google.com/webmasters . Зарегистрировавшись в них и добавив свой ресурс в систему, вам станут доступны не только данные о количестве проиндексированных страничек, но и статистика других «пузомерок».
Ручная проверка через ввод специальных команд в строку поиска. При этом в Яндексе нужно ввести конструкцию host:имя сайта+домен либо host:www+ имя сайта+домен, например, host:abc.ru. На это система выдаст все проиндексированные страницы. Для проверки в Google потребуется ввести запрос: site:имя сайта+домен, т.е. site:abc.ru.
Использование автоматических сервисов, проверяющих индексацию сразу в обеих поисковых системах. К числу таких относятся, например, Site-auditor.ru , Pr-cy.ru или Seolib.ru . Также можно добавить в свой браузер плагин RDS Bar, который будет показывать сведения о ресурсе, включая индексацию страничек, на котором вы находитесь.

С помощью любого из данных методов можно узнать, проиндексирован ли сайт в целом, и определить число занесенных в базу поисковиков страниц ресурса.

Что делать с полученной информацией?

В идеале, количество страничек сайта должно совпадать с числом проиндексированных страниц. К сожалению, так бывает далеко не всегда. Гораздо чаще встречаются два варианта развития событий:

Проиндексированное число элементов – меньше. Соответственно, вы сильно теряете в трафике, ведь по многим запросам пользователей ваш сайт остается недоступным для них.
Количество проиндексированных страниц превышает реальное число таковых. Если у вас подобный вариант, радоваться не стоит. Вероятнее всего имеет место дублирование страничек, что размывает их вес, увеличивает число повторяющегося материала и мешает продвижению ресурса.

Обе проблемы необходимо максимально быстро решить. Иначе вы рискуете получить неэффективную веб-площадку, заработать на которой можно только в мечтах. А для этого придется проверить индексацию всех страниц по отдельности, чтобы узнать, какие из них «стратили».

Как проверить индексацию отдельной или всех страниц

Проверка отдельной странички нужна, когда необходимо убедиться, что новый опубликованный контент успешно «замечен» поисковыми системами. Или когда вы приобрели на чужом ресурсе платную ссылку и теперь с нетерпением ждете ее индексации. Это можно сделать через:

Ввод URL страницы в строку поиска Яндекс или Google. В случае если проблем с восприятием страницы поисковиками нет, она первой отобразится в результатах поиска.
Уже упомянутый плагин RDS Bar.

Для проверки индексации всех страничек сайта понадобится список их адресов (URL). Для этого можно воспользоваться каким-либо генератором карт веб-ресурсов, к примеру, Sitemap Generator. Чтобы собрать только URL страниц, не забудьте внести маску ненужных адресов, например, на комментарии, в окне «Exclude Patterns». По окончании процесса следует перейти во вкладку Yahoo Map/Text, откуда скопировать сгенерированный перечень всех адресов.

Имея его на руках, индексацию всех страничек не составит труда проверить с помощью программы YCCY.ru . Просто добавьте данные в список исходных URL и выберите одну из предложенных поисковых систем: Google, Яндекс или Rambler. Нажмите кнопку «Начать Проверку» и получайте утешительные или не очень результаты.

Как улучшить и ускорить процесс индексации?

Узнав перечень непроиндексированных страниц, необходимо разобраться в причинах этого. Прежде всего, стоит проверить качество работы хостинга и самой веб-площадки и убедиться в уникальности размещенных материалов. Далее промониторьте ресурс на наличие контента слишком короткого (до 2 000 символов без пробелов), содержащего более 2-3 ссылок на сторонние ресурсы, либо много Java и Flash ссылок. Все эти факторы в первую очередь могут влиять на то, что ваш материал остается «невидимым» для поисковиков.

Ускорить процесс индексирования сайта можно с помощью:

частого обновления уникального материала, что очень ценят поисковики;
грамотной внутренней перелиновки страниц, позволяющей поисковым системам видеть новый и обновлять уже содержащийся в базе контент;
публикации ссылок на статьи во всех социальных сетях и тематических форумах;
закупки ссылок с прокачанного аккаунта.

Надеюсь, вы поняли, что быстрая индексация страниц ресурса – основа его продвижения в поисковиках, от которой напрямую зависит ваш потенциальный доход.