Привет всем заглянувшим.
Ребята, вопрос такой:сайт уже достаточно взрослый, страниц много и поэтому поисковые боты его очень долго обходят. Если одновременно несколько ботов на сайте юзает, то вообще перегрузка получается и сайт тупить начинает.
Где-то вычитал что можно в роботсе прописать следующую директиву:
User-agent: *
Crawl-delay: 10 #
Вроде бы как это создает для ботов ограничения по запросам не более 10 в секунду.
Попробовал и тут-же получил от Яши сообщение "Ошибка в файле robots.txt".
Может быть что-то не так прописал или фигня все это?
Ребята, вопрос такой:сайт уже достаточно взрослый, страниц много и поэтому поисковые боты его очень долго обходят. Если одновременно несколько ботов на сайте юзает, то вообще перегрузка получается и сайт тупить начинает.
Где-то вычитал что можно в роботсе прописать следующую директиву:
User-agent: *
Crawl-delay: 10 #
Вроде бы как это создает для ботов ограничения по запросам не более 10 в секунду.
Попробовал и тут-же получил от Яши сообщение "Ошибка в файле robots.txt".
Может быть что-то не так прописал или фигня все это?