Сколько страниц в индексе

Как массово узнать количество страниц в индексе поисковых систем с помощью Netpeak Checker

Индексация — важное и базовое условие оптимизации и продвижении сайта. Ваш сайт должен быть виден поисковым системам, иначе они не смогут его индексировать, он не будет появляться в выдачеи и получать органический трафик.

Есть много способов проверить индексацию сайта, я расскажу о том, как массово проверить сайт / страницы с помощью Netpeak Checker, какие могут быть причины неиндексируемости сайта, а также как ускорить индексацию.

1. Как проверить индексацию страниц в Netpeak Checker

Для проверки выполните в программе следующие действия:

1. Добавьте URL, которые хотите проанализировать. Это можно сделать несколькими способами: ввести вручную, вставить из буфера обмена, загрузить из файла и загрузить из XML Sitemap.
2. Отметьте пункт «Индексация» в параметрах, которые соответствуют названиям поисковых систем: «Google SERP», «Яндекс SERP», «Bing SERP» и «Yahoo SERP»
3. Запустите анализ → кнопка «Старт» на верхней панели.
4. По окончании сканирование в столбцах «Индексация» таблицы вы увидите значения TRUE и FALSE — проиндексировано и не проиндексировано соответственно.
5. В столбце «Проиндексированные URL» показывается количество страниц, которые попали в индекс.

2. Причины, по которым сайт не индексируется

Рассмотрим самые распространённые ошибки, из-за которых страницы сайта не попадают в индекс поисковых систем.

2.1. Сайт закрыт от индексации в файле robots.txt

Из-за неправильных инструкций файла robots.txt сайт может быть не виден поисковым роботам. Ошибки могут быть из-за незнания синтаксиса или из-за того, что SEO-специалисты просто забывают «открыть» сайт и убрать лишний disallow.

Проверить, не заблокированы страницы в robots.txt, поможет Netpeak Spider:

Поставьте сайт на сканирование и ознакомьтесь с отчётом по ошибкам:

Читайте также: «Как просканировать сайт и найти на нём ошибки с помощью Netpeak Spider»

2.2. Ошибки в директивах Meta Robots или X-Robots-Tag

Инструкции Meta Robots или X-Robots-Tag задаются для определённых URL и потому могут закрывать от поисковых систем лишь отдельные страницы. Случайно выставленные noindex или nofollow на важных для продвижения страницах могут существенно навредить продвижению.

Проверьте сайт в Netpeak Spider: если краулер обнаружит инструкцию noindex в метаданных страницы или HTTP-заголовке, то страница будет отмечена ошибкой «Заблокировано в Meta Robots» или «Заблокировано в X-Robots-Tag»

2.3. Низкая скорость загрузки

Низкую скорость загрузки сайта не любят пользователи и поисковики, отчего последние могут даже не индексировать страницы. Узнайте, какие страницы загружаются особенно долго, с помощью Netpeak Spider: после сканирования сайта изучите содержимое столбца «Время ответа сервера», а также отчёт на наличие ошибки «Большое время ответа сервера».

2.4. Отсутствие входящих ссылок на страницы

Внутренняя перелинковка помогает сделать заметными страницы для поисковиков. Если на страницу не ведёт ни одна внутренняя ссылка, во время сканирования сайта роботы могут её просто не заметить или посчитать как незначимую.

2.5. Сайт использует аутентификацию

Если на сайт можно попасть только с помощью авторизации, такой сайт не будет виден поисковым системам.

2.6. Неправильный код ответа сервера

Роботы заносят в свой индекс работающие страницы с 200 кодом ответа сервера. Если странице присвоен код 404 или 503, хотя с ней всё в порядке, поисковые системы не проиндексируют её всё равно.

3. Советы по ускорению индексации сайта

Первый и очевидный способ ускорить индексацию — исправить ошибки, описанные выше. Что ещё можно сделать для улучшения:

1. Создать и поддерживать XML Sitemap. XML Sitemap — это служебный файл, который предоставляет роботам список страниц для индексации. Подробнее об этом читайте в посте: «Что такое XML Sitemap, как его создать и проверить».
2. Добавить HTML карту сайта — HTML файл, содержащий ссылки на все самые приоритетные страницы сайта. Детали в посте «Что такое HTML-карта, и как её создать».
3. Организуйте навигацию на сайте. Навигация позволяет легче ориентироваться посетителям, а также ускоряет сканирование и индексацию.
4. Как можно чаще публикуйте новый контент. Поисковики наведываются чаще на те сайты, у которых появляется свежий контент. Старайтесь обновлять минимум раз в неделю.
5. Получайте обратные ссылки. Помимо того, что обратные ссылки положительно влияют на рейтинг и репутацию сайта, они также помогают улучшить индексацию. Читайте наш пост «15 способов получить обратные ссылки бесплатно», чтобы узнать, как получить бэклинки.

Подводим итоги

Чтобы сайт отображался в поисковой выдаче, откройте его для поисковых систем → так они смогут сканировать и индексировать его. Массово проверить страницы сайта поможет Netpeak Checker.

• сайт открыт к индексации,
• в директивах Meta Robots или X-Robots-Tag нет ошибок,
• у сайта высокая скорость загрузки,
• реализована правильная внутренняя перелинковка,
• у всех страниц проставлен правильный код ответа сервера.

А у вас были проблемы с индексацией? Как справлялись? Пишите в комментариях ��

Как определить количество проиндексированных страниц в Яндексе и Google

SEO

Определяем количество проиндексированных страниц сайта с помощью специального запроса (документный оператор)

Для Яндекса: site:o-es.ru

Аналогично и для Google: site:o-es.ru

Видно, что в Google проиндексировано больше страниц. Это связано с тем, что поисковая система Google индексирует сайты и добавляет страницы в основной индекс быстрее Яндекса.

При помощи Яндекс.Вебмастер (Google Вебмастер)

Данные по сайту o-es.ru в панели Яндекс.Вебмастер.

Страниц в поиске – 126. Данное значение отличается от значений полученных оператором (site).

Официальный ответ поддержки Яндекса:

Я бы рекомендовал Вам ориентироваться на результаты поиска.
Данная ситуация может быть связана с тем, что в зависимости от типа устройства, типа браузера и операционной системы, у нас применяются разные настройки поиска. Из-за этого значение найденных ответов может отличаться от того, каким оно окажется на последней странице. Также на отображение числа ответов могут влиять проводимые на нашей стороне эксперименты.

Соответственно ориентируемся на значения, полученные запросом site:o-es.ru.

Почему Загруженных страниц в Яндекс.Вебмастере больше чем Страниц в поиске ?

В разделе Загруженные страницы (Яндекс.Вебмастер) отображается информация обо всех страницах, которые известны нашему роботу, а в разделе Страницы в поиске (Яндекс.Вебмастер) показываются только те из них, которые реально участвуют в поиске.

Причин, по которым загруженные страницы могут не участвовать в поиске, много:

1. Они могут быть дубликатами уже показанных страниц.
2. Содержать поисковый спам.
3. Содержать ненужный пользователям контент.
4. Либо при их загрузке произошла ошибка. Те страницы, при загрузке которых произошли ошибки, можно посмотреть в разделе Исключенные страницы.

Необходимо добиться, чтобы количество проиндексированных страниц в Яндексе и Google были одинаковыми, допускается погрешность в 10-15%. Разница может означать дублирование проиндексированных страниц или наоборот, что какие-то из них еще не проиндексированы поисковой системой. Поэтому количество страниц в индексе должно быть одинаковым и сопоставляться с реальным на сайте.

Как проверить индексацию конкретной страницы сайта в Яндексе и Google?

Используем оператор Url
Синтаксис: url:полный URL

Используем оператор Site
Синтаксис: site:полный URL

5 простых приемов для ускорения индексации новых страниц (сайта) в Яндексе:

1. Используем сервис Переобходчик страниц (Яндекс.Вебмастер).
2. Используем сервис Сообщить о новом сайте https://webmaster.yandex.ru/addurl.xml.
3. В рамках структуры сайта, должны быть ссылки на все страницы.
4. Внешние ссылки на новые страницы.
5. Устраняем технические ошибки (SEO-аудит сайта: дубли, битые ссылки, ошибка 404 и др.).

Необходимо дождаться индексации изменений и обновление поисковой базы (апдейт). За апдейтами можно следить тут — http://tools.promosite.ru/

Если, скажем, через месяц после исправления всех ошибок и недочетов ситуация не изменилась, можно попробовать написать в техподдержку Яндекса о проблемах индексации сайта, чтобы выявить причины. Делать это нужно обязательно, так как напрямую влияет на продвижение сайта по трафику.

Как написать в тех. поддержку Яндекса?

1. Добавляем сайт в Яндекс.Вебмастер (подтверждаем права на сайт).
2. Переходим в панель управления вашим сайтом.
3. В нижней части страницы (footer), находим ссылку Обратная связь.
4. Открывается страница службы поддержки, выбираем Индексирование сайта.
5. Выбираем Мой сайт плохо индексируется.
6. Выбираем Новые страницы сайта долго не попадают в поиск.
7. Ставим чекбокс Рекомендации не помогли.
8. Заполняем поля и отправляем форму.

Какие поля заполнять:

• Из списка сайтов, выбираете соответствующий сайт.
• Указываете 2-3 примера страниц, которые не проиндексированы поисковой системой.
• В поле Сообщение укажите проблему и действия, которые были сделаны для устранения проблемы. Как долго не решается вопрос.
• Указываете ваше имя и email.

Переобход страниц – новый инструмент Яндекс.Вебмастер
Контролируйте процесс индексации вашего сайта, добивайтесь успеха в продвижении!

Магомед Чербижев
Поделиться:

Никита Пасечник

Эксперт в области продвижения и интернет-маркетинга. Специалист по бизнес-решениям. Опыт работы более 10 лет. Более 5 000 часов активных тренингов и практик.

Проверка индексации страниц

Инструмент бесплатно проверяет индексацию страниц в Яндексе и Google

Индексация страниц — это процесс, при котором поисковые системы, такие как Google, Bing, Яндекс и другие сканируют содержимое страниц и добавляют его в свои индексы.

Индекс — это база данных, в которой поисковые системы хранят информацию о содержании страниц, чтобы отображать в результатах поиска релевантный контент.

Если страница не проиндексирована, её нет в результатах поиска, а значит она бесполезна для сайта. Пользователи смогут её увидеть только по ссылкам с других страниц.

Даже ранее проиндексированные страницы могут выпасть из базы поисковых систем, поэтому регулярно проверяйте наличие важных страниц в индексе.

Как проверить индексацию страниц

1. Введите список URL в поле.
2. Выберите поисковую систему.
3. Запустите проверку.
4. Посмотрите результаты: инструмент оценит состояние страниц и отметит галочкой проиндексированные.

Ручная проверка индексации:

Яндекс

Введите «site:вашсайт.ru» в поисковой строке Яндекса. Это покажет все страницы вашего сайта, которые проиндексированы Яндексом. Если вы хотите проверить конкретную страницу, введите «url:адрес_страницы» в поисковой строке Яндекса.

Google

Введите «site:вашсайт.com» в поисковой строке Google. Для проверки конкретной страницы используйте «info:адрес_страницы».

Что делать, если страницы не индексируются?

1. Проверьте файл robots.txt: Убедитесь, что ваш файл robots.txt не блокирует индексацию вашего сайта или конкретных страниц.
2. Проверьте мета-теги: Убедитесь, что на ваших страницах нет мета-тега noindex, который запрещает индексацию страницы, это можно сделать через инструмент анализа страницы.
3. Создайте и отправьте карту сайта: Убедитесь, что у вас есть актуальная карта сайта (sitemap.xml), и загрузите ее в Яндекс.Вебмастер и Google Search Console.
4. Проверьте качество контента: Поисковые системы стремятся индексировать качественный и уникальный контент. Убедитесь, что ваш контент полезен, уникален и хорошо структурирован.
5. Проверьте наличие внутренних и внешних ссылок: Убедитесь, что у ваших страниц есть внутренние ссылки и внешние входящие ссылки.
6. Проверьте время загрузки страницы: Если сайт медленно загружается, это может повлиять на индексацию. Убедитесь, что время загрузки вашего сайта оптимально.
7. Проверьте наличие ошибок на странице: Ошибки на странице, такие как 404, могут помешать индексации.
8. Проверьте наличие дубликатов: Дублированный контент может быть причиной того, что страницы не индексируются.
9. Проверьте статус индексации в панелях вебмастера: Используйте Яндекс.Вебмастер и Google Search Console, чтобы проверить, есть ли какие-то проблемы с индексацией вашего сайта.
10. Подождите: Иногда может потребоваться время, чтобы поисковые системы проиндексировали ваш сайт, особенно если он новый.
11. Запросите индексацию: Вы можете запросить индексацию конкретных страниц через Яндекс.Вебмастер и Google Search Console.

Как проверить индексацию в сервисах поисковых систем

Яндекс.Вебмастер

Перейдите в раздел «Индексирование» > «Страницы в поиске». Здесь вы найдете информацию о том, сколько страниц вашего сайта проиндексировано, а также о том, какие страницы были добавлены или удалены из индекса.

Чтобы отправить страницу на переиндексацию, в разделе «Индексирование» выберите пункт «Переобход страниц» и загрузите туда список URL.

Google Search Console

Перейдите в раздел «Индексирование» > «Страницы». Этот отчет покажет общее количество страниц в индексе и проблемы, из-за которых некоторые страницы не индексируются.

Чтобы переиндексировать страницу, зайдите в раздел «Проверка URL», выберите нужную страницу и кликните «Запросить индексирование».

Как проверить индексацию сайта в Яндексе и Google — 6 способов

Рассмотрим вопрос: как определить количество проиндексированных страниц в поисковых системах. Сделать это можно разными путями. Что такое индекс можете прочитать в статье индекс поисковой машины.

Информация о количестве страниц в индексе является открытой и доступной для всех. Любой вебмастер может проверить индексацию каждого проекта бесплатно.

1. Сколько страниц проиндексировано Яндексом

1.1. Через запросы в Яндексе

Заходим на главную страницу Яндекса (yandex.ru или ya.ru) и вбиваем в поиске запрос:

site: www.site.ru | url:site.ru или host: www.site.ru | url:site.ru

В ответе Яндекс выдаст количество проиндексированных страниц:

1.2. Через панель Яндекс Вебмастер

В панели webmaster.yandex.ru есть специальная вкладка проиндексированные страницы:

Здесь же можно посмотреть количество страниц известных роботу, количество исключенных страниц и дату последнего посещения роботом сайта. Однако стоит отметить, что воспользоваться Яндекс Вебмастером могут только владельцы ресурсов, поскольку это «частная» информация.

2. Сколько страниц проиндексировано Google

2.1. Через запросы в Гугле

Как и в Яндексе, в Google есть специальный запрос, который выводит все известные страницы сайта. Заходим на главную страницу google.ru и вводим:

site:site.ru

Такой запрос отобразит все известные страницы. Чтобы узнать какие страницы попали в так называемый «основной индекс» в конце запроса нужно дописать амперсант:

site:site.ru/& 

2.2. Через панель Google Webmaster

В панели google.com/webmaster есть специальная вкладка «Индекс Google» -> «Статус индексирования»:

Помимо рассмотренных способов так же есть универсальные методы.

3. Универсальные методы

3.1. Узнать индексацию через специальные сервисы

Специальными сервисами я называю множество различных систем аналитики. Например, самими популярными являются:

Здесь можно получить информацию об количестве проиндексированных страниц сразу в несколько поисковых системах.

Также подобную информацию выводят и программы для анализа сайтов.

3.2. Проверить индексацию через плагины для браузеров

Существует множество SEO плагинов для браузеров. Одним из самых популярных и лучших является RDS Bar (официальный сайт www.recipdonor.com).

4. Как проверить индексацию страницы

Для проверки отдельной страницы на её индекс нужно скопировать ее адрес (URL) и вбить в строке поиска:

site.ru/category/stranica.html

Если поисковик нашел её, значит она в индексе.