Как правильно составить robots.txt

[ILHAR]

Поскажите как праильно составить файл robots.txt! Не могу разобраться!

 

[Toxic]

Все зависит от того чего ты хочешь. Есть сервисы, литература...Погугли.

 

[Alexio_kor]

А ты уверен, что он тебе нужен? В принципе он сделан для того чтобы поисковики не индексировали какие-либо разделы сайта, типа корзина пользователя в online магазинах; пароли участников сайта. А если тебе особо нечего закрывать от поисковиков то можешь создать пустой текстовый файл robots.txt, то есть разрешение на индексацию всеми поисковыми роботами всего сайта.

 

[vykser]

Тут есть статья про то, как составить robots.txt для движка wordpress.
А на этом сайте все об этом файле.
Думаю разберешься, здесь ничего сложного нет.

 

[Creator]

Ряд статей на нашем сайте:
Командный файл поисковиков - Robots.txt
Подробно о Robots.txt
Правильный файл robot.txt