Помогите настроить robot.txt

Статус
Закрыто для дальнейших ответов.

Виталя2012

Новичок
Регистрация
24.10.2015
Сообщения
2
Мне нужно закрыть весь сайт от индексации, и открыть страницы те что я посчитаю нужными.

User-agent: *
Disallow: / запрет на индексацию всего сайта.
/ссылки которые я открою для индексации
/ссылки которые я открою для индексации
/ссылки которые я открою для индексации
/ссылки которые я открою для индексации
/ссылки которые я открою для индексации
/ссылки которые я открою для индексации
Сайт на джумла+виртуемарт там очень много хлама.
 

BaNru

Пацифизжу
Команда форума
Регистрация
13.11.2010
Сообщения
4 138
Лучше закрывать конкретно директории и файлы, можно по маске.

У Яндекса есть руководство подробное
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

Allow: /
Disallow: /catalog
Allow: /catalog/auto
Но лучше именно запрещать определённые каталоги и файлы, а не наоборот.
Потому что не известно как отреагируют другие поисковые системы.
 
Статус
Закрыто для дальнейших ответов.
Верх Низ