Технические разделы сайта – это страницы, которые не учитываются поисковым роботом и являются функционалом движка. Например: страницы поиска, корзины, авторизации и другие. Когда такие страницы не закрыты в файле Robots.txt, краулинговый бюджет сайта тратится попусту и его индексация замедляется.
Содержание:
- Какие технические разделы сайта нужно закрывать от индексации?
- Как закрыть технические разделы от индексации?
Какие технические разделы нужно закрывать от индексации?
- Административный раздел (админ-панель сайта)
- Корзина (для интернет-магазинов)
- Страницы авторизации и регистрации пользователя
- Личные данные пользователей (логин, пароль, дата рождения и т.д.)
- Поиск и его результаты на сайте
- Документы и версии для печати
- Лог-файлы – документы, содержащие список всех действий, которые происходили на сервере.
- Установленные плагины – дополнения для движка, которые расширяют функционал сайта.
Внимание! Это неполный список и для каждой CMS он может отличаться. Подробнее ознакомиться с техническими разделами вашего движка Вы можете в мануале по нему или посоветовавшись с программистом.
Как закрыть технические разделы от индексации?
Чтобы закрыть страницы от индексации, необходимо отредактировать файл Robots.txt, который содержит инструкции и директивы для поисковых роботов. Для этого необходимо выполнить следующие действия:
1. Зайти на хостинг сайта напрямую или через FTP-клиент:
2. Открыть папку «public_html» и найти там файл «Robots.txt». Если же он отсутствует, то запустите поиск файла по имени:
3. Скачайте файл и пропишите в нём необходимые правила с помощью директивы Disallow, которая отвечает за запрет индексирования:
Важно! Каждый сайт имеет индивидуальный robots, который зависит от названия и расположения страниц и файлов. Но для стандартных CMS (WordPress, Joomla, Bitrix) существуют уже готовые Robots.txt с правилами, которые закрывают технические разделы. Просто найдите шаблон для своей CMS и добавьте правила из него в свой файл.
4. Проверьте файл на наличие ошибок с помощью инструмента «Анализ robots.txt» в Яндекс Вебмастере:
При наличии ошибок, отредактируйте файл и проверьте его заново. Только после того, как ошибки будут устранены, переходите к пункту 5.
5. Загрузите обновленный файл обратно на хостинг и проверьте его по ссылке «ваш домен/robots.txt»:
Поздравляем! Вы закрыли технические разделы сайта и теперь Ваш сайт будет индексироваться правильно.
Спасибо, что дочитали до конца. Переходите к следующей инструкции.
