проблема с robots.txt и индексацией

lena220678

Новичок
Регистрация
12.07.2019
Сообщения
2
Помогите, пожалуйста, решить проблему с индексацией сайта.

Моему сайту 4 года и раньше страницы индексировались нормально. Мой файл robots.txt имеет вид:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: elenachistyakova.ru

Sitemap: Для просмотра ссылки необходимо: Войти или Регистрация
Sitemap: Для просмотра ссылки необходимо: Войти или Регистрация

Чуть больше месяца назад по необходимости поменяла тему сайта. С тех пор из индексации стали постепенно выпадать страницы (может со сменой темы это и не связано). Из примерно 50 осталось 20.
Провожу анализ robots.txt сервисом Яндекс Вебмастер и получаю такое сообщение:

1: User-agent: * Обнаружена неизвестная директива
2: Disallow: Перед правилом нет директивы User-agent

Как с этим бороться? Пожалуйста, подскажите.
 

Miria

Member
Регистрация
11.04.2019
Сообщения
12
Возможно проблема может быть кодировке (utf-8). Попробуйте сохранить в ANSI и все должно стать норм.
 

BaNru

Пацифизжу
Команда форума
Регистрация
13.11.2010
Сообщения
3 941
У меня показывает сейчас как раз кодировку "windows-1251".
Хотя разницы никакой тут не должно быть.

Спамер с утра был, он посоветовал попробовать пересохранить файл в UTF-8 без BOM.
Но думаю это не поможет.
Сюда же можно посоветовать создать новый файл и ПЕРВЫЙ СИМВОЛ набрать вручную, остальное скопировать без первого символа. Бывает такая ошибка нулевого байта.
Но это тоже думаю не поможет.

Я бы попробовал для начала удалить блоки правил по очереди и посмотреть. будет ли ругаться на другой блок.

PS У меня показывает всё нормально с файлом. Где вы смогли найти ошибку?
 

Volly

Well-Known Member
Регистрация
21.03.2012
Сообщения
703
Может не потеме, но сайт по протоколу https, а ссылки на карты дали http
 

lena220678

Новичок
Регистрация
12.07.2019
Сообщения
2
Volly сказал(а):
Может не потеме, но сайт по протоколу https, а ссылки на карты дали http
[member=Volly], в точку. Исправила и яндекс перестал ругаться. Спасибо огромное!
 
Верх Низ