Содержание:
- Зачем нужен robots.txt?
- Из чего состоит robots.txt?
- Как проверить robots.txt на сайте?
- Как создать robots.txt?
Robots.txt – это текстовый файл, содержащий правила, которые указывают поисковому роботу какие страницы запрещены для индексации.
Зачем нужен robots.txt?
Файл robots.txt необходим для правильной индексации сайта поисковыми роботами. С помощью него Вы можете указать страницы, которые можно не индексировать, чтобы краулинговый бюджет сайта не тратился зря и индексация сайта проходила быстрее.
Из чего состоит robots.txt?
Robots.txt состоит из нескольких параметров:
User-agent – параметр, который указывает для какого именно поискового робота прописана инструкция. Самые популярные роботы - Googlebot и Yandex. Чаще всего, параметру User-agent присваивают значение «/» - оно означает, что инструкция для всех роботов.
Disallow – запрещает индексирование файла/папки/страницы.
Allow – разрешает индексирование и используется в комбинации с Disallow.
Host – указывает поисковому роботу главное зеркало сайта.
Sitemap – содержит ссылку на карту сайта. Прочитать подробнее о нём можно в этой инструкции.
Как проверить robots.txt на сайте?
Введите в адресную строку браузера «site.ru/robots.txt», где «site.ru» – доменное имя Вашего сайта и нажмите «Enter»:
Если же оказалось, что на Вашем сайте robots.txt отсутствует, то его необходимо создать.
Как создать robots.txt?
1. Откройте «Блокнот» и заполните параметры, указанные выше:
Подробнее о составлении файла robots.txt можно почитать в официальной инструкции от Яндекс.
2. Далее необходимо проверить составленный файл на ошибки. Для этого можно воспользоваться инструментом «Анализ robots.txt» в сервисе Яндекс Вебмастер:
Если ошибки не найдены можно переходить к следующему пункту.
3. Сохраните файл в формате «.txt» и назовите «robots»:
4. Загрузите robots на хостинг сайта или FTP-сервер:
5. Проверить добавление файла можно по ссылке «site.ru/robots.txt»:
Готово! Вы добавили robots.txt и теперь Ваш сайт будет правильно индексироваться!
Спасибо, что дочитали до конца. Переходите к следующей инструкции.
