SEOчеклист состоит из 151 инструкции
Новый пункт: Арендные ссылки при продвижении сайта

Как закрыть технические разделы сайта от индексации

Приоритет: Высокий

Технические разделы сайта – это страницы, которые не учитываются поисковым роботом и являются функционалом движка. Например: страницы поиска, корзины, авторизации и другие. Когда такие страницы не закрыты в файле Robots.txt, краулинговый бюджет сайта тратится попусту и его индексация замедляется.

Содержание:

мем про технические разделы

Какие технические разделы нужно закрывать от индексации?

  • Административный раздел (админ-панель сайта)
  • Корзина (для интернет-магазинов)
  • Страницы авторизации и регистрации пользователя
  • Личные данные пользователей (логин, пароль, дата рождения и т.д.)
  • Поиск и его результаты на сайте
  • Документы и версии для печати 
  • Лог-файлы – документы, содержащие список всех действий, которые происходили на сервере. 
  • Установленные плагины – дополнения для движка, которые расширяют функционал сайта.

Внимание! Это неполный список и для каждой CMS он может отличаться. Подробнее ознакомиться с техническими разделами вашего движка Вы можете в мануале по нему или посоветовавшись с программистом.

Как закрыть технические разделы от индексации?

Чтобы закрыть страницы от индексации, необходимо отредактировать файл Robots.txt, который содержит инструкции и директивы для поисковых роботов. Для этого необходимо выполнить следующие действия:

1. Зайти на хостинг сайта напрямую или через FTP-клиент:

ftp сервер сайта

2. Открыть папку «public_html» и найти там файл «Robots.txt». Если же он отсутствует, то запустите поиск файла по имени:

поиск файла на фтп

3. Скачайте файл и пропишите в нём необходимые правила с помощью директивы Disallow, которая отвечает за запрет индексирования:

запрет технических страниц в роботс

Важно! Каждый сайт имеет индивидуальный robots, который зависит от названия и расположения страниц и файлов. Но для стандартных CMS (WordPress, Joomla, Bitrix) существуют уже готовые Robots.txt с правилами, которые закрывают технические разделы. Просто найдите шаблон для своей CMS и добавьте правила из него в свой файл.

4. Проверьте файл на наличие ошибок с помощью инструмента «Анализ robots.txt» в Яндекс Вебмастере:

проверка robots в яндекс вебмастере

При наличии ошибок, отредактируйте файл и проверьте его заново. Только после того, как ошибки будут устранены, переходите к пункту 5.

5. Загрузите обновленный файл обратно на хостинг и проверьте его по ссылке «ваш домен/robots.txt»:

проверка роботс на сайте

Поздравляем! Вы закрыли технические разделы сайта и теперь Ваш сайт будет индексироваться правильно.

Спасибо, что дочитали до конца. Переходите к следующей инструкции. 

Спонсоры

Добавление проекта

Сообщение успешно отправлено!

Спасибо, мы свяжемся с вами в ближайшее время.

Стать спонсором

Оставьте ваши контактные данные и опишите ваше предложение в двух словах. Мы ответим в кратчайшие сроки.

Заказать SEO

Оставьте ваши контактные данные и ссылку на ваш сайт.

Заказать SERM

Оставьте ваши контактные данные и мы свяжемся с вами в ближайшее время.