В данной статье мы рассмотрим требуемые настройки robots.txt для правильной индексации сайта поисковиками. Основные вопросы :
Прежде всего давайте разберем,
Файл robots.txt передает информацию роботам для правильного обхода сайта и индексации страниц.
В данном файле вы можете:
· Скрыть от посещения роботами определенных разделов, как например страницу регистрации или страницу оплаты товара, страницу личного кабинета или страницу профиля пользователя. (Disallow)
· Разрешить для обхода роботами нужные страницы сайта (Allow)
· Указать основной host сайта (главное зеркало)
· Указать размещение карты сайта Sitemap.xml
Таблица параметров настройки Robots.txt в Яндексе
Ссылка на детальное описание требований к файлу Robots.txt в Яндексе
Иными словами, c помощью файла robots.txt вы можете убрать все ненужные страницы вашего сайта из выдачи и оставить только самое важное. Файл robots.txt используется в первую очередь для управления трафиком поисковых роботов на вашем сайте.
Ссылка на детальное описание требований к файлу Robots.txt в Google
Расположение файла Robots.txt зависит от используемой платформы сайта.
В Битриксе настройка производиться в разделе Маркетинг – Поисковые системы – Настройка Robots.txt
В Wordpress зависит от плагина, который вы используете. Настройка Robots.txt может осуществляться как посредством плагинов, так и напрямую на сервере в папке сайта.
Не забывайте также о бот атаках и ботах, которые посещая ваш сайт, могут нанести вред вашему сайту, если сайт не обладает достаточной защитой.
При выявлении подозрительной активности на вашем сайте, в случае если к вашему сайту были многочисленные обращения неизвестными вам роботами, в некоторых случаях может доходить до блокировки сайта хостером в связи с выявлением подозрительной активности на сайте. Отследить данные обращения можно на хостинге, анализируя статистику потребления ресурсов и в файле log размещенном на сервере. В случае выявления подозрительного бота, стоит внести запрет на посещение данным ботом вашего сайта в файл robots.txt. Для ознакомления, список плохих ботов и как закрыть сайт от посещения такими ботами, вы можете найти на сайте botreports
CEO & SEO
Yulia Ryabova
Смотрите статьи по теме:
· Настройка файла .htaccess
· Правильная переадресация сайта с http на https
· Проблемы со скоростью загрузки страниц сайта
