Создаём правильный Robots.txt

[Felix]

Вот я ещё таким вопросом задался файл Robot он обязателен и должен выглядеть так ?

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Host: site.ru

Я всё верно написал ничего не забыл?

 

[blackcot]

Это смотря что Вы хотите сообщить поисковому роботу.

Все, что касается robots.txt я брал отсюда http://help.yandex.ru/webmaster/?id=996567
И, кстати, у Яндекс и Google есть мощные анализаторы сайтов, в том числе и файла robots.txt - зарегистрируйтесь, не пожалеете.

 

[Felix]

Это смотря что Вы хотите сообщить поисковому роботу.

Все, что касается robots.txt я брал отсюда http://help.yandex.ru/webmaster/?id=996567
И, кстати, у Яндекс и Google есть мощные анализаторы сайтов, в том числе и файла robots.txt - зарегистрируйтесь, не пожалеете.

Зарегестрирован на гугле пол дня читал сегодня

 

[Creator]

Согласен, стоит зарегистрироваться в Я.Вебмастер и Гугл.Вебмастер.
Мне очень нравится, как реализован Анализ robots.txt в Я.Вебмастер. Можно указать линку и проверить, будет ли она индексироваться с данными правилами robots.txt или нет. Никаких гаданий, все просто и наглядно

Да и достовеной информации по сайту глазами ПС там столько, где нигде больше не найти.

По поводу твоего роботс.тхт - нужно продублировать все правила для Яшки:

User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://site.ru/sitemap.xml

 

[Felix]

Отлично залил на хостинг!

 

[mrM]

Проблем не вижу, все чотка.

P.S. Анализируй индекс, а там выявишь левые страницы, которые были не отрублены роботс.тхт. Потом допишешь если что

 

[nikolaevich]

Скажите а вообще он обязателен, или можно обойтись без Robots.txt?
спасибо.

 

[Felix]

обойтись без него можно!

 

[Felix]

Как запретить роботу индексировать страницы оканичающиеся на /rss.xml

Disallow: /rss.xml

Так можно сделать?

 

[Creator]

Disallow: /rss.xml

Именно так) Вот только зачем? Если ты запретишь их, то они не попадут в агрегатор Яшки и Гугла, а это потеря пусть и не большого, но трафика.
Почему хочешь закрыть?

 

[Felix]

RSS у меня отключен. А яша постоянно на него жалуется. Вот и подумал вырубить его.

 

[donate]

Скажите а вообще он обязателен, или можно обойтись без Robots.txt?
спасибо.

обойтись без него можно!

На усмотрение каждого вебмастера. Если желаешь чтобы по твоим страничкам чаще паучки бегали, то желательно указывать им путь с помощью robots.txt
Также он необходим для склейки доменов. Допустим решил поменять домен и хочешь передать авторитетность от старого к новому, то для этого как раз и понадобится robots.txt. Делаешь редирект 302 с помощью .htaccess и в robots.txt старый домен свой указываешь синонимом для нового.

Запрет к индексации в robots.txt помогает убрать мусор, т.е. отсеивать и давать поисковикам только хороший урожай. Как правило закрывают от индексации служебные страницы, которые не несут полезной информации. Также помогает сайтам с дублированными страницами (контентом).

Подробнее о robots.txt можете почитать здесь http://robotstxt.org.ru/