Как закрыть сайт на Битрикс от индексации поисковиками. ТОП 4 способа
Бывает требуется закрыть сайт от индексации, чтобы в поиске гугл или яндекс ссылок на ваш сайт не было. Рассмотрим несколько способов.
Способ от сеошников, через robots.txt
Самый распространённый и простой способ. В корне сайт надо найти файл robots.txt и добавить туда строки
User-agent: * Disallow: /
Редактировать файл можно через FTP или через админку Битрикс. Если работаете по второму способу, открывайте файл как PHP, потому что только в этом случае не будет лишнего форматирования файла.
Файл robots.txt в панели Битрикс
Но этот способ не надежный. Google всё равно может выводить сайт в поиске, только будет указано «Информация об этой странице недоступна.» Пояснение гугл по этому поводу
Так же, если вы закрываете от индексации тестовый сайт и используете систему контроля версий, например гит, то файл может перенестись на продакшн сайт.
Чтобы проверить, откройте файл в браузере по адресу http://ваш_сайт/robots.txt. Там должны быть строки, которые мы добавили выше.
Способ от программистов. Через тег meta robots
Если вы закрываете от индексации тестовый сайт, то определить его можно через настройку главного модуля «Установка для разработки«. Этот параметр должен быть установлен на всех сайтах для разработки, по правилам Битрикс.
В файл /local/php_interface/init.php, либо в /bitrix/php_interface/init.php, в зависимости от того, какой файл у вас есть, добавляем строки
if (\Bitrix\Main\Config\Option::get('main', 'update_devsrv') === 'Y') < $APPLICATION->SetPageProperty('robots', 'noindex'); >
Если вы хотите закрыть продакш сайт, то уберите условие, чтобы свойство устанавливалось всегда.
На всём сайте должна появиться такая строчка в исходном коде
Вот что нам говорит гугл по поводу тега.
Что важно понять — если вы заблокируете индексацию через robots.txt, дополнительно через тег meta, а на сайт есть ссылки из вне — сайт попадет в поиск. Уберите запрет из robots.txt.
От сисадмина. Запрет по Useragent через .htaccess
В корне сайт в файл .htaccess требуется добавить стоки
SetEnvIfNoCase User-Agent Googlebot search_bot SetEnvIfNoCase User-Agent YandexBot search_bot SetEnvIfNoCase User-Agent yandex.com/bots search_bot SetEnvIfNoCase User-Agent Slurp search_bot SetEnvIfNoCase User-Agent dotbot search_bot SetEnvIfNoCase User-Agent BLEXbot search_bot SetEnvIfNoCase User-Agent MJ12bot search_bot SetEnvIfNoCase User-Agent Ahrefsbot search_bot SetEnvIfNoCase User-Agent Semrush search_bot Order Allow,Deny Allow from all Deny from env=search_bot
Так мы запрещает доступ к серверу пользователям, чье имя браузера содержит Googlebot, YandexBot. Так помечают себя поисковики.
Строка «yandex.com/bots» добавлена, так как имя браузера бота яндекса не всегда содержит YandexBot. Может быть «Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)«. Список всех вариантов роботов от Яндекс.
Так поисковики не смогут попасть на сайт, соответственно не смогут его и проиндексировать. Но работать с . htaccess следует аккуратно, так как можно «положить» весь сайт.
Чтобы проверить способ, в браузер потребуется установить расширение для смены useragent. В маркетплейсе расширений ищите «User agent switcher«, устанавливайте любое, в котором можно ставить свое значение, а не только выбирать из списка.. В расширении ставите useragent из списка роботов яндекс, ссылка выше.
Определить ваш текущий браузер можно по ссылке. Когда вы установите useragent яндекс бота, в определении браузера должен появиться текст, что вы яндекс бот.
Проверка сайта прикинувшись поисковиком
От сисадмина 2. Добавление HTTP авторизации на сайт
В файл .htaccess следует добавить строки
AuthType Basic AuthName "Authorization" AuthUserFile /путь_до_директории/.htpasswd Require valid-user
Чтобы получить файл .htpasswd, загуглите «.htpasswd генератор онлайн«.
После при первом заходе на сайт, браузер запросит у вас логин и пароль. Поисковики ничего вводить не будут и на сайт не попадут.
Частные случаи закрытия от индексации
Закрыть от индексации страницы пагинации в Битрикс
Чтобы закрыть от индексации страницы пагинации, добавьте следующую запись в robots.txt. Внимание: добавлять строки надо после строки User-Agent: *
Disallow: ?PAGEN_* Disallow: &PAGEN_*
Должно получиться так:
Закрыть страницу от индексации
Тут есть 2 пути:
- Через файл роботс. Добавьте в файл robots.txt в корне вашего сайта строку, после строки User-Agent: *, где /your_page/ — адрес вашей страницы, без указания домена:
Disallow: /your_page/
Либо через свойства страницы в Битрикс:
Нажмите в панели над сайтом Изменить страницу — Заголовок и свойства страницы — Редактировать в панели управления — Вкладка Свойства — нажмите Еще — там спишите свойство robots, значение noindex. Сохраните
Новости
Битрикс24 дает новые возможности. Теперь если вы хотите скрыть сайт от клиентов, то его можно удалить или временно снять с публикации.
Удаление сайтов
Если появилась необходимость полностью удалить сайт вместе со всеми страницами, то вам достаточно просто кликнуть на кнопку меню «Удалить сайт».
Удаленные сайты сразу не пропадают, а сначала перемещаются в Корзину, где они хранятся в течение 30 дней. За это время вы можете восстановить сайт или просто забыть о нем, тогда через 30 дней сайт будет удален окончательно.
Снятие сайта с публикации
Если вы хотите оставить сайт на вашем Битрикс24, но при это запретить пользователям доступ к нему, то можно просто снять с публикации как весь сайт, так и каждую отдельную страницу в нем.
В дальнейшем, этот сайт можно будет опубликовать заново с тем же адресом, без каких-либо сложностей и дополнительных затрат.
Закрыть сайт на Битрикс от посетителей
Если проект ещё не начал свою работу, то стоит закрыть сайт от посетителей. Это легко сделать, если сайт работает на Битриксе. Для этого перейдите в панель управления сайтом. Кликните на пункт «Настройки» в боковом меню. Кликните на пункт «Настройки продукта», затем кликните на подпункт «Настройки модулей» и выберите пункт «Главный модуль»: 
Прокрутите открывшуюся страницу в самый низ. Найдите блок «Служебные процедуры». И на закладке «Публичная часть» кликните на кнопку «Закрыть доступ для посетителей»: 
Страница перезагрузится и форма закрытия публичной части сменится формой открытия: 
Если при закрытом сайте попытаться увидеть его публичную часть, то вместо сайта появится табличка: 
Обратите внимание, что для администратора сайт будет отображаться как прежде. Но у всех остальных пользователей сайт будет заблокирован.
Предупреждение о блокировке можно изменить. Для этого нужно создать папку /bitrix/php_interface/include/ и внутри неё PHP файл site_closed.php с таким содержанием:
Рекомендуем ознакомиться со статьёй «Загрузка файлов на сайт с помощью FileZilla», в которой описан процесс работы с программой, которая может загрузить файл с вашего компьютера на сервер с сайтом. А так же с одной из статей. описывающих редактор файлов на сервере: «Средство разработки: Notepad++» или «Средство разработки: Atom»
Можем предложить вариант оформления страницы. Запишите этот код в файл site_closed.php :
.error .error-fon .error-text-top .error-test-separate .error-text-bottom 503 Service Unavailable Сайт временно не работает Вы можете написать нам по адресу:
мэйл@адрес.ru Как закрыть Битрикс
При разработке сайта можно ограничить доступ для обычных пользователей и роботов поисковых систем. На сайте появится стандартное уведомление 1С-Битрикс underconstruction и при этом администраторы сайта смогут работать как в административной, так и в публичной части.
Для того, что закрыть доступ к сайту в Битрикс, необходимо зайти в административную панель, в которой открыть раздел « Настройки » в левом боковом меню. В открывшемся списке выбираем Настройки продукта/Настройки модулей/Главный модуль . На открывшейся странице внизу будет раздел « Служебные процедуры », в котором есть кнопка « Закрыть доступ для посетителей » — нажав на неё, вы закроете сайт от гостей.
Это очень действенный способ не показывать пользователям не готовый к работе сайт, однако мы не рекомендуем его использовать во время разработки, так как поведение Битрикс для залогиненых администраторов сайта отличается от поведения для обычных пользователей.
Этот метод может пригодится, в том случае, когда вдруг Вы увидите что Ваш сайт не с того ни с сего стал работать очень медленно — время на открытие страниц уходит около минуты и больше и даже админка еле еле шевелится. Смело закрывайте доступ к сайту и если проблемы тут же прекращаются, то это значит что на сайт обрушилась «детская» DDOS атака или одновременно несколько злых ботов одновременно сканируют Ваш сайт.
Звоните нам, мы знаем что делать!
10.02.2015 13:06 10.02.2015 13:06:00
SEO-Robotic
16 Февраля 2017
54-ФЗ. О новом порядке применения ККТ
С 1 июля 2017 года предприниматели и организации обязаны обновить контрольно-кассовую технику и начать использовать онлайн-кассы, которые отправляют чек в момент совершения оплаты сразу в налоговую инспекцию и покупателю одновременно. С первого июля выписывать кассовые чеки необходимо не только за офлайн продажи, но и за онлайн реализацию.
Кирилл Васильев
14 Июня 2016
Контроль пространства
Владельцы сайта часто сталкиваются с проблемой нехватки свободного места на диске. К примеру, есть сайт размером 1Gb, по тарифу хостинг-провайдер предоставляет 6Gb, и периодически сайт перестаёт работать, потому что на сервере нет свободного места. Что может являться причиной утечки свободного места?
SEO-Robotic
30 Марта 2016
Композитный сайт Битрикс
Технология «Композитный сайт» нацелена на ускорение доставки контента от сервера к пользователю, снижая при этом нагрузку на сервер.
• сокращает время получение страницы пользователем
• снижает нагрузку на сервер
• добавляет динамические области на закешированной странице.
Технология «Композитный сайт» Bitrix расширяет функционал автокеширования страницы. Благодаря этой технологии, в кеше страницы появились динамические области, в которых могут отображаться результаты поведения пользователя на сайте: например, товары, добавленные в корзину пользователем или блок просмотренных пользователем товаров.
В динамические области страницы посредством асинхронных ajax-запросов выводятся результаты действия пользователя на странице.
Технология «Композитный сайт» — совокупность работы html-кеширования и ajax-подгрузки информации.
В итоге, очевидные плюсы ускорения работы сайта:
• пользователи удовлетворены работой сайта, «отказы» по этой причине исчезают
• лучшее ранжирование в поисковой выдаче
• уменьшение точечной нагрузки на сервер, сайт сможет работать без ошибок с большим количеством посетителей.
Кирилл Васильев
15 Декабря 2015
Резервная копия сайта Битрикс
В работе сайтов и серверов, на которых они расположены, возможны сбои, которые могут привести как к кратковременной недоступности сайта, так и к частичной или даже полной потере данных. Регулярные резервные копии спасут от потери данных, а хранение бэкапов в облаке обеспечит доступность к резервным копиям и их сохранность.
SEO-Robotic
8 Сентября 2015
Агенты Битрикс на cron
Агенты в CMS Bitrix по умолчанию настроены запускаться по «Событиям», то есть при любой пользовательской активности 1С-Битрикс анализирует список агентов и запускает те из них, время запуска которых наступило.
Для того, чтобы скрипты начали работать по расписанию, агенты необходимо перевести на Cron.
Рассмотрим метод перевода сразу всех агентов на cron .
1. Сначала полностью отключим выполнение агентов на «Событиях». Для этого запустим следующую команду в php консоли:
COption::SetOptionString("main", "agents_use_crontab", "N"); echo COption::GetOptionString("main", "agents_use_crontab", "N"); COption::SetOptionString("main", "check_agents", "N"); echo COption::GetOptionString("main", "check_agents", "Y");
2. Из /bitrix/php_interface/dbconn.php убрать любые упоминания констант:
BX_CRONTABD BX_CRONTAB_SUPPORT NO_AGENT_CHECK DisableEventsCheck
3.Добавить запись в файл /bitrix/php_interface/dbconn.php
if(!(defined("CHK_EVENT") && CHK_EVENT===true)) define("BX_CRONTAB_SUPPORT", true);
4. Создадим файл cron_events.php с содержимым ниже и разместим его в /bitrix/php_interface/
//require($_SERVER['DOCUMENT_ROOT']."/bitrix/modules/main/tools/backup.php");
5. Последним шагом будет добавление самого скрипта в cron для пользователя bitrix.
Для того, чтобы это сделать, необходимо зайти по ssh в косоль CentOS и выполнить команду crontab -u bitrix -e
*/3 * * * * /usr/bin/php -f /home/bitrix/www/bitrix/php_interface/cron_events.php
*/3 Периодичность работы крона — каждые 3 минуты.
После всех выполненных действий отправка системных событий и все агенты будут обрабатывается из под cron, раз в 3 минуты.
Описанные выше действия сможет выполнить даже неподготовленный пользователь, но правильнее будет поручить такую работу сертифицированным разработчикам, которые занимаются поддержкой сайтов на Bitrix.
SEO-Robotic
8 Сентября 2014
Битрикс тормозит
Уменьшение скорости работы сайта, расположенного на CMS 1С-Битрикс, или же его низкое быстродействие ещё с момента сдачи проекта, могут быть вызваны множеством причин. Ими могут быть географически далеко расположенные хостинги, чрезмерно объёмный контент, а также ошибки и недоработки разработчика.
Для начала следует узнать, на каком этапе получения страницы пользователем возникает проблема с быстродействием. С этим может помочь стандартный модуль Bitrix « Скорость сайта » ( Панель Администрирования/ Настройки/ Производительность/ Скорость сайта).
Скорость сайта — комплексный показатель комфортности работы с сайтом для посетителей.
Он учитывает качество разработки сайта, качество хостинга и доступность сайта по сети. Рассчитывается для 1000 последних посетителей сайта. Из статистики не учитывается 200 самых медленных показателей, на них списываются заходы на сайт с помощью медленного мобильного интернета или тех, у кого есть проблемы с быстродействием браузера.
Модуль поэтапно покажет, сколько времени занимает получение страницы пользователем. Именно по этим показателям считается Скорость сайта :
• DNS — время выполнения запроса DNS для страницы
• подключение к серверу — сколько времени компьютер пользователя устанавливает соединение с сервером
• ответ сервера — время обработки сервером запроса пользователя (включая время реакции сети для местоположения пользователя).
• загрузка HTML — время загрузки HTML страницы без ресурсов (картинки, CSS, Javascript)
• обработка HTML — время, в течение которого браузер обрабатывал содержимое страницы (синтаксический анализ HTML, CSS, обработка элементов JavaScript и отображение страницы) после загрузки её с сервера и до начала отрисовки
• отрисовка страницы — время от начала перехода на страницу до появления её на экране.
По полученным данным в диаграмме, можно сделать вывод, на каком этапе возникла задержка. К примеру, если она на последних двух пунктах, есть вероятность, что проблема лежит в контенте, расположенном на странице.
В противном случае, проблема состоит в быстродействии самого сайта. Подобные проблемы могут возникнуть по целому ряду причин. Выяснить, в чём именно причина медленной работы сайта, поможет статья Медленная работа Битрикс.
Отсутсвие компетенции разработчиков это наиболее распространенная проблема. Разработка была поручена программисту который ранее не работал с CMS Битрикс и процесс велся с отключенным кэшированием, а после того как работа была завершена включил кэширование и оказалось, что где то поехала верстка, а в некоторых местах вообще отсутствуют фрагменты сайта. Так и сдал сайт с отключенным автокешированием.
и привязал всю логику в шаблоны стандартных компонентов. И чтобы выполненные им работы начали выполнять свои функции — отключил автокеширование. После его включения половина сайта может перестать работать. переработка сайта.