SEOчеклист состоит из 153 инструкций

Проверка robots.txt

Приоритет: Высокий

Содержание:

Robots.txt – это текстовый файл, содержащий правила, которые указывают поисковому роботу какие страницы запрещены для индексации

Зачем нужен robots.txt?

мем robots

Файл robots.txt необходим для правильной индексации сайта поисковыми роботами. С помощью него Вы можете указать страницы, которые можно не индексировать, чтобы краулинговый бюджет сайта не тратился зря и индексация сайта проходила быстрее.

Из чего состоит robots.txt?

Robots.txt состоит из нескольких параметров:

User-agent – параметр, который указывает для какого именно поискового робота прописана инструкция. Самые популярные роботы - Googlebot и Yandex. Чаще всего, параметру User-agent присваивают значение «/» - оно означает, что инструкция для всех роботов.

Disallow – запрещает индексирование файла/папки/страницы.

Allow – разрешает индексирование и используется в комбинации с Disallow.

Host – указывает поисковому роботу главное зеркало сайта.

Sitemap – содержит ссылку на карту сайта. Прочитать подробнее о нём можно в этой инструкции.

Как проверить robots.txt на сайте?

Введите в адресную строку браузера «site.ru/robots.txt», где «site.ru» – доменное имя Вашего сайта и нажмите «Enter»:

проверить robots txt

Если же оказалось, что на Вашем сайте robots.txt отсутствует, то его необходимо создать.

Как создать robots.txt?

1. Откройте «Блокнот» и заполните параметры, указанные выше:

как создать robots

Подробнее о составлении файла robots.txt можно почитать в официальной инструкции от Яндекс.

2. Далее необходимо проверить составленный файл на ошибки. Для этого можно воспользоваться инструментом «Анализ robots.txt» в сервисе Яндекс Вебмастер:

проверка robots через яндекс вебмастерЕсли ошибки не найдены можно переходить к следующему пункту.

3. Сохраните файл в формате «.txt» и назовите «robots»:

сохранить robots

4. Загрузите robots на хостинг сайта или FTP-сервер:

5. Проверить добавление файла можно по ссылке «site.ru/robots.txt»:

как проверить robots на сайте

Готово! Вы добавили robots.txt и теперь Ваш сайт будет правильно индексироваться!

Спасибо, что дочитали до конца. Переходите к следующей инструкции. 

Спонсоры и партнеры

Добавление проекта

Сообщение успешно отправлено!

Спасибо, мы свяжемся с вами в ближайшее время.

Стать спонсором

Оставьте ваши контактные данные и опишите ваше предложение в двух словах. Мы ответим в кратчайшие сроки.

Заказать SEO

Оставьте ваши контактные данные и ссылку на ваш сайт.

Заказать SERM

Оставьте ваши контактные данные и мы свяжемся с вами в ближайшее время.