Как закрыть страницы от индексации wordpress

Как закрыть страницу от индексации в WordPress

Правильная настройка индексации сайта очень важное обстоятельство! Однако, на начальном пути ведения блога / интернет-магазина к решению задачи подходят не верно.

Да, да. мы про robots.txt. Это не совсем корректный подход, ибо robots несёт рекомендательный характер, и на нашем веку (опыта достаточно) мы видели, что закрытый от индексации сайт попадал в выдачу. Но это не страшно, эту задачу правильнее решать с помощью мета тега:

Прочитав данную статью, вы сможете сами с легкостью стать «программистом» и «сделать» свой первый код. Также, статья будет полезна тем, кому необходимо закрыть страницу от индексации другими методами.

Закрываем отдельную страницу от индексации с помощью PHP на WordPress

Вот так закрывают странички в файле robots.txt.

Что тут можно сказать? А тут как повезет, с большой вероятностью они не попадут в индекс, но если поисковая система сочтет нужным проиндексировать страницу, то…ваши танцы с бубном вокруг robots ни к чему не приведут.

Чуть ниже будут показаны два варианта кода, которые замечательным образом закрываются выбранные вами страницы от глаз роботов: как Google так и Yandex — этому приказу подчиняется каждый поисковик 100%.

Итогом Вашей работы будет этот самый код:

Способ 1

Код для интеграции в ваш header:

Обратите внимание только на это:

А всё остальное неважно. Комментарии в таких // или таких **/ скобках можете спокойно удалить. Кстати, на основе этого кода можно закрывать раздражающие категории или архивы в wordpress.

if (is_archive() or is_category() or is_feed() or is_author())

Эти «друзья» раздражают почти всех вебмастеров и wordpress-разработчиков. Они постоянно образуют дубли страниц. А мы знаем: дубли – это seo грех.

Как узнать ID страницы

Это очень просто, достаточно находится “внутри” записи или страницы и посмотреть на URL адрес.

узнаем id страницы

Post=1683 это и есть ID Вашей страницы. Т.е 1683 это и есть ID.

Способ 2

Вот код номер два, более простой в использовании (из-за того, что многие не умеют или ленятся посмотреть id страницы). Это аналог показанного выше и очень даже замечательным образом может пригодиться в будущем. Так что, кладите в свою копилку знаний.

Обратите внимание на ‘ссылка в формате /razdel_name’. Если мы захотим закрыть от индексации vverh.studio/contacts, то сюда пишем ‘/contacts’.

Спасибо за внимание, надеюсь данный код был полезен для Вас и пригодился в нужную минуту. Если что-то не работает, то пишите и оставляйте комментарии. Мы обязательно постараемся помочь.

Как закрыть wordpress от индексации

как закрыть сайт от индексации в wordpress

WordPress

Автор workruseo На чтение 1 мин Просмотров 84 Опубликовано 09.09.2023

В статье разберем самый простой способ, как закрыть ваш сайт на wordpress от индексации поисковых систем.

Настройки

Зайдите в админку вашего сайта, в меню выберете вкладку «Настройки» далее раздел «Чтение» найдите пункт «Видимость для поисковых систем» и поставьте галочку — попросить поисковые системы не индексировать сайт.
Не забудьте нажать на кнопку сохранить изменения! Подробнее смотрите картинки ниже.

Как закрыть сайт от индексации и что это означает

Если вы заглядывали в серверную часть WordPress, то заметили настройку: «Попросить поисковые системы не индексировать сайт», и задались вопросом, что это означает. А может быть ищете способ скрыть свой сайт от нежелательных посетителей и задаетесь вопросом, достаточно ли этого маленького флажка, чтобы контент оставался конфиденциальным. Что означает эта опция и что именно она делает с сайтом? И почему не следует полагаться на нее, если вы пытаетесь скрыть свой контент? Ответы на эти вопросы и несколько способов закрыть сайт от индексации и блокировки доступа к определенным страницам будут рассмотрены ниже. Читайте далее

Метки записи: # robots # Robots API # seo # WordPress # Плагины WordPress

Добавить комментарий

�� Горячие вакансии

В компанию Витмакс требуется WordPress разработчик 9 ноября, 2023
Zigmund.online ищет опытного WordPress разработчика 3 ноября, 2023
В корпорацию ЭЛАР требуется Web-разработчик (WordPress) 30 октября, 2023
Tproger ищет Vue.js разработчика 11 октября, 2023
Агентство по веб-разработке Decent ищет разработчика 3 октября, 2023

❤️ Выбор редакции

Плагин Clearfy Pro 19 февраля, 2021
Плагин Expert Review 12 февраля, 2021
Cwicly 25 октября, 2023
Кросс-платформенный сервис Airtable 26 декабря, 2020
My Popup — плагин всплывающих окон 30 августа, 2022

�� Последние мероприятия

WP Moscow #22. Живой осенний митап на крыше 23 октября, 2023
Тематический митап по плагину Advanced Custom Fields 26 сентября, 2023
WordPress Meetup №18 19 сентября, 2023
Яндекс Практикум: Как работает YandexGPT? 27 июня, 2023
Искусственный интеллект в WordPress 26 июня, 2023

Уязвимости ядра WordPress

База данных предоставлена сервисом WP SysAdmin:

Когда и как нужно закрывать сайт от индексации

Индексация сайта поисковыми роботами — процесс сканирования и обработки данных этого сайта и добавления его в специальную базу для последующего ранжирования в выдаче. Именно благодаря индексации сайты попадают в поле видимости потенциальных клиентов. Однако иногда сайты или их отдельные страницы нужно закрывать от индексации. В этой статье рассмотрим, в каких случаях требуется это сделать, разберем способы скрытия ресурсов от поисковых краулеров и покажем, как узнать, закрыт ли сайт от индексации или нет.

Директ Лайн
Крупнейшее региональное интернет-агентство России. ТОП-10 в рейтинге Рунета.
1200+ проектов
90 специалистов
15 лет на рынке

Что нужно закрывать от индексации

Важно, чтобы в поисковой выдаче были исключительно целевые страницы, соответствующие запросам пользователей. Поэтому от индексации в обязательном порядке нужно закрывать:

1. Бесполезные для посетителей страницы или контент, который не нужно индексировать. В зависимости от CMS, это могут быть:

страницы административной части сайта;
страницы с личной информацией пользователей, например, аккаунты в блогах и на форумах;
дубли страниц;
формы регистрации, заказа, страница корзины;
страницы с неактуальной информацией;
версии страниц для печати;
RSS-лента;
медиа-контент;
страницы поиска и т.д.

2. Страницы с нерелевантным контентом на сайте, который находится в процессе разработки.

Читать:

Почему toyota mark 2 легенда

3. Страницы с информацией, предназначенной для определенного круга лиц, например, корпоративные ресурсы для взаимодействий между сотрудниками одной компании.

4. Сайты-аффилиаты.

Если вы закроете эти страницы, процесс индексации других, наиболее важных для продвижения страниц сайта ускорится.

Нет времени разбираться?
SEO-продвижение под ключ

Проанализируем конкурентов, подберем запросы с низкой конкуренцией, проведем поисковую оптимизацию сайта, организуем внешнюю ссылочную массу, проработаем карточки компании на онлайн картах, проведем базовую UX-аналитику сайта. Над каждым проектом работает от 6 до 10 специалистов. Собственные разработчики для доработки сайта при необходимости. От вас — сайт, от нас — позиции в Яндекс/Google и трафик.

Способы закрытия сайта от индексации

Закрыть сайт или страницы сайта от поисковых краулеров можно следующими способами:

С помощью файла robots.txt и специальных директив.
Добавив метатеги в HTML-код отдельной страницы.
С помощью специального кода, который нужно добавить в файл .htaccess.
Воспользовавшись специальными плагинами (если сайт сделан на популярной CMS).

Далее рассмотрим каждый из этих способов.

С помощью robots.txt

Robots.txt — текстовый файл, который поисковые краулеры посещают в первую очередь. Здесь для них прописываются указания — так называемые директивы.

Этот файл должен соответствовать следующим требованиям:

название файла прописано в нижнем регистре;
он имеет формат .txt;
его размер не превышает 500 КБ;
находится в корне сайте;
файл доступен по адресу URL сайта/robots.txt, а при его запросе сервер отправляет в ответ код 200 ОК.

В robots.txt прописываются такие директивы:

User-agent. Показывает, для каких именно роботов предназначены директивы.
Disallow. Указывает роботу на то, что некоторое действие (например, индексация) запрещено.
Allow. Напротив, разрешает совершать действие.
Sitemap. Указывает на прямой URL-адрес карты сайта.
Clean-param. Помогает роботу Яндекса правильно определять страницу для индексации.

Полный запрет сайта на индексацию в robots.txt

Вы можете запретить индексировать сайт как всем роботам поисковой системы, так и отдельно взятым. Например, чтобы закрыть весь сайт от робота Яндекса, который сканирует изображения, нужно прописать в файле следующее:

Привлекли 35.000.000 людей на 185 сайтов
Мы точно знаем, как увеличить онлайн–продажи

Применяем лучшие практики digital–продвижения как из вашей тематики, так и из смежных областей бизнеса. Именно это сделает вас на голову выше конкурентов и принесёт лиды и продажи.

User-agent: YandexImages Disallow: /

Чтобы закрыть для всех роботов:

User-agent: * Disallow: /

Чтобы закрыть для всех, кроме указанного:

User-agent: * Disallow: / User-agent: Yandex Allow: /

В данном случае, как видите, индексация доступна для роботов Яндекса.

Запрет на индексацию отдельных страниц и разделов сайта

Для запрета на индексацию одной страницы достаточно прописать ее URL-адрес (домен не указывается) в директиве файла:

User-agent: * Disallow: /registration.html

Чтобы закрыть раздел или категорию:

User-agent: * Disallow: /category/

Чтобы закрыть все, кроме указанной категории:

User-agent: * Disallow: / Allow: /category

Чтобы закрыть все категории, кроме указанной подкатегории:

User-agent: * Disallow: /uslugi Allow: /uslugi/main

В качестве подкатегории здесь выступает «main».

Запрет на индексацию прочих данных

Чтобы скрыть директории, в файле нужно указать:

User-agent: * Disallow: /portfolio/

Чтобы скрыть всю директорию, за исключением указанного файла:

User-agent: * Disallow: /portfolio/ Allow: avatar.png

Чтобы скрыть UTM-метки:

User-agent: * Disallow: *utm=

Чтобы скрыть скриптовые файлы, нужно указать следующее:

User-agent: * Disallow: /scripts/*.ajax

По такому же принципу скрываются файлы определенного формата:

User-agent: * Disallow: /*.png

Вместо .png подставьте любой другой формат.

Через HTML-код

Запретить индексировать страницу можно также с помощью метатегов в блоке в HTML-коде.

Атрибут «content» здесь может содержать следующие значения:

index. Разрешено индексировать все содержимое страницы;
noindex. Весь контент страницы закрыт от индексации;
follow. Разрешено индексировать ссылки;
nofollow. Разрешено сканировать контент, но ссылки при этом закрыты от индексации;
all. Все содержимое страницы подлежит индексации.

Открывать и закрывать страницу и ее контент можно для краулеров определенной ПС. Для этого в атрибуте «name» нужно указать название робота:

yandex — обозначает роботов Яндекса:
googlebot — аналогично для Google.

Помимо прочего, существует метатег Meta Refresh. Как правило, Google не индексирует страницы, в коде которых он прописан. Однако использовать его именно с этой целью не рекомендуется.

Так выглядит фрагмент кода, запрещающий индексировать страницу:

Чтобы запретить индексировать страницу краулерам Google, нужно ввести:

Чтобы сделать то же самое в Яндексе:

На уровне сервера

В некоторых случаях поисковики игнорируют запреты и продолжают индексировать все данные. Чтобы этого не происходило, рекомендуем попробовать ограничить возможность посещения страницы для отдельных краулеров на уровне сервера. Для этого в файл .htaccess в корневой папке сайта нужно добавить специальный код. Для краулеров Google он будет таким:

SetEnvIfNoCase User-Agent "^Googlebot" search_bot

Для краулеров Яндекса таким:

SetEnvIfNoCase User-Agent "^Yandex" search_bot

На WordPress

В процессе создания сайта на готовой CMS нужно закрывать его от индексации. Здесь мы разберем, как сделать это в популярной CMS WordPress.

Закрываем весь сайт

Закрыть весь сайт от краулеров можно в панели администратора: «Настройки» => «Чтение». Выберите пункт «Попросить поисковые системы не индексировать сайт». Далее система сама отредактирует файл robots.txt нужным образом.

Закрытие сайта от индексации через панель администратора в WordPress

Закрываем отдельные страницы с помощью плагина Yoast SEO

Чтобы закрыть от индексации как весь сайт, так и его отдельные страницы или файлы, установите плагин Yoast SEO.

Для запрета на индексацию вам нужно:

Открыть страницу для редактирования и пролистать ее вниз до окна плагина.
Настроить режим индексации на вкладке «Дополнительно».

Закрытие от индексации с помощью плагина Yoast SEO

Настройка режима индексации

Запретить индексацию сайта на WordPress можно также через файл robots.txt. Отметим, что в этом случае требуется особый подход к редактированию данного файла, так как необходимо закрыть различные служебные элементы: страницы рассылок, панели администратора, шаблоны и т.д. Если этого не сделать, в поисковой выдаче могут появиться нежелательные материалы, что негативно скажется на ранжировании всего сайта.

Как узнать, закрыт ли сайт от индексации

Есть несколько способов, которыми вы можете воспользоваться, чтобы проверить, закрыт ли ваш сайт или его отдельная страница от индексации или нет. Ниже рассмотрим самые простые и удобные из них.

В Яндекс.Вебмастере

Для проверки вам нужно пройти верификацию в Яндексе, зайти в Вебмастер, в правом верхнем углу найти кнопку «Инструменты», нажать и выбрать «Проверка ответа сервера».

Проверка возможности индексации страницы в Яндекс.Вебмастере

В специальное поле на открывшейся странице вставляем URL интересующей страницы. Если страница закрыта от индексации, то появится соответствующее уведомление.

Так выглядит уведомление о запрете на индексацию страницы

Таким образом можно проверить корректность работы файла robots.txt или плагина для CMS.

В Google Search Console

Зайдите в Google Search Console, выберите «Проверка URL» и вставьте адрес вашего сайта или отдельной страницы.

Проверка возможности индексации в Google Search Console

С помощью поискового оператора

Введите в поисковую строку следующее: site:https:// + URL интересующего сайта/страницы. В результатах вы увидите количество проиндексированных страниц и так поймете, индексируется ли сайт поисковой системой или нет.

Проверка индексации сайта в Яндексе с помощью специального оператора

Проверка индексации отдельной страницы

С помощью такого же оператора проверить индексацию можно и в Google.

С помощью плагинов для браузера

Мы рекомендуем использовать RDS Bar. Он позволяет увидеть множество SEO-показателей сайта, в том числе статус индексации страницы в основных поисковых системах.

Плагин RDS Bar

Итак, теперь вы знаете, когда сайт или его отдельные страницы/элементы нужно закрывать от индексации, как именно это можно сделать и как проводить проверку, и можете смело применять новые знания на практике.