Добро пожаловать на ИТ форум!

После быстрой регистрации у вас будет возможность участвовать в дискуссиях, создавать новые посты, и еще много чего.

Регистрация

Ошибка в роботсе

Статус
Закрыто для дальнейших ответов.

Evgeniy_k

Member
Регистрация
13.06.2016
Сообщения
42
Привет всем заглянувшим.
Ребята, вопрос такой:сайт уже достаточно взрослый, страниц много и поэтому поисковые боты его очень долго обходят. Если одновременно несколько ботов на сайте юзает, то вообще перегрузка получается и сайт тупить начинает.

Где-то вычитал что можно в роботсе прописать следующую директиву:
User-agent: *
Crawl-delay: 10 #
Вроде бы как это создает для ботов ограничения по запросам не более 10 в секунду.

Попробовал и тут-же получил от Яши сообщение "Ошибка в файле robots.txt".
Может быть что-то не так прописал или фигня все это?
 

BaNru

Пацифизжу
Регистрация
13.11.2010
Сообщения
3 900
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html#crawl-delay

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавить в группу, которая начинается с записи User-agent (непосредственно после директив Disallow и Allow).
Примечание. В директиве для Яндекса максимально допустимым значением является 2.0.
Стоит обратить также внимание на то, что ставят с точкой число.


Для Яндекса так же есть там ссылка на другой способ изменения
https://yandex.ru/support/webmaster/service/crawl-rate.html#crawl-rate__settings
 
Статус
Закрыто для дальнейших ответов.
Верх Низ