Перейти к содержимому

Фотография
- - - - -

Ошибка в роботсе


  • Вы не можете создать новую тему
  • Закрытая тема Тема закрыта
Сообщений в теме: 2

#1 Evgeniy_k

Evgeniy_k

    Прохожий

    Топикстартер
  • Участник
  • 1
    30 сообщ.

Отправлено 29 Июль 2018 в 12:38

Привет всем заглянувшим.
Ребята, вопрос такой:сайт уже достаточно взрослый, страниц много и поэтому поисковые боты его очень долго обходят. Если одновременно несколько ботов на сайте юзает, то вообще перегрузка получается и сайт тупить начинает.

 

Где-то вычитал что можно в роботсе прописать следующую директиву:
User-agent: * 

Crawl-delay: 10 #
Вроде бы как это создает для ботов ограничения по запросам не более 10 в секунду.

Попробовал и тут-же получил от Яши сообщение "Ошибка в файле robots.txt".
Может быть что-то не так прописал или фигня все это?

  • 0

Спонсор

#2 BaNru

BaNru

    Пацифизжу

  • суперМодератор
  • 1015
    3 690 сообщ.

Отправлено 29 Июль 2018 в 12:53

https://yandex.ru/su...tml#crawl-delay

 

В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву Crawl-delay необходимо добавить в группу, которая начинается с записи User-agent (непосредственно после директив Disallow и Allow).
Примечание. В директиве для Яндекса максимально допустимым значением является 2.0.

 

Стоит обратить также внимание на то, что ставят с точкой число.

 

 

Для Яндекса так же есть там ссылка на другой способ изменения

https://yandex.ru/su...-rate__settings


  • 1

#3 Evgeniy_k

Evgeniy_k

    Прохожий

    Топикстартер
  • Участник
  • 1
    30 сообщ.

Отправлено 29 Июль 2018 в 14:05

Понял, благодарю


  • 0



Похожие темы Свернуть

  Название темы Форум Автор Статистика Последнее сообщение
Статистика

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 скрытых пользователей