Кто такие роботы

[Rozalia]

Доброго времени суток всем!

Опять пара наивных вопросов (простите за дремучесть :unsure: ).
Недавно копаясь в недрах Яндекса, узнала про так называемых роботов. Я так понимаю, что это программы, проверяющие валидность сайта (извиняюсь, если неверно выражаюсь). Яндекс предлагает вставлять строки с указанием типа роботов в код страницы, дабы эти "боты" могли вести свою работу.
Вопрос: а так ли эти роботы нужны? Какова их конечная польза?

И ещё вопросик (чтобы не плодить темы): в образцах html-кодов встречаются вот такие строки-пометки:

/*** Just for Looks ***/

или

<!-- текст -->

Эти строчки веб-мастер прописывает только для себя или для браузера тоже? Т.е. подобные примечания необходимы для правильного "прочтения" браузером кода или нет?

 

[Felix]

Доброго времени суток всем!
Опять пара наивных вопросов (простите за дремучесть :unsure: ).
Недавно копаясь в недрах Яндекса, узнала про так называемых роботов. Я так понимаю, что это программы, проверяющие валидность сайта (извиняюсь, если неверно выражаюсь). Яндекс предлагает вставлять строки с указанием типа роботов в код страницы, дабы эти "боты" могли вести свою работу.
Вопрос: а так ли эти роботы нужны? Какова их конечная польза?

Если я вас правильно понял то, роботы это поисковая машина которая заходит на сайт и просматривает его, сохраняя для себя информацию и потом выдаёт её в поиске в зависимости от запроса.

И ещё вопросик (чтобы не плодить темы): в образцах html-кодов встречаются вот такие строки-пометки:
/*** Just for Looks ***/
или
<!-- текст -->
Эти строчки веб-мастер прописывает только для себя или для браузера тоже? Т.е. подобные примечания необходимы для правильного "прочтения" браузером кода или нет?

Текст в таких рамках видят все и пользователь и поисковый робот, только если код обрамлён таким кодом <!-- текст --> этот текст робот просто читает и не использует никаким образом. Это так пометки для администратора чтобы он знал что у него и где.

 

[tigra60]

По первому вопросу -
сферический робот в вакууме:

если в двух словах, поисковый робот ходит по сайту, подобно пользователю, проходя по ссылкам и отмечая их в своей памяти так же, как и заголовки и выделенные слова. Потом из этого всего выстраивает индексы для поиска информации. И валидацию он ни в коей мере не проверяет. Просто в меру сил своих создателей пытается боротся с нечестными путями повышения различных рейтингов сайтов в поисковике.
Подобно тому, как в спорте тренер на грани дозволенного пичкает стимуляторами своего подопечного, чтобы тот выигрывал медали, так и специалисты SEO изобретают различные нечестные приемы с тем, чтобы нужный сайт был первым в списке результатов поиска.

По второму вопросу - такие строчки называются комментарии.
В принципе, для каждого языка программирования они свои, однако
/* ... */
нашли наиболее широкое применение. Их можно использовать в качестве комментариев (и они никак не влияют на выполнение кода!) и в РНР, и в javascript, и в CSS, но не в HTML.
Для HTML (может быть потому, что это язык разметки, а не программирования) комментариями являются
<!-- ... -->.
Причем, если вот так:
/*****************/
писать можно, то так:
<!-------------------->
нельзя!
Комментарии в HTML могут использоваться для инструкций браузерам Интернет Эксплорер (и только им!). Схема такова:

<!--[if IE 6]>
Эта строка будет видна только в ИЕ 6 
<![endif]-->

 

[Rozalia]

Felix, Tigra60!
Спасибо за ответы!
Кстати, про роботов я (уже после создания темы) сама нашла информацию - выяснила, что роботы (поисковые краулеры) - зверьки полезные, но прописывать строки и создавать текстовый файл robots.txt (как рекомендует старина Яндекс) необязательно (так же как и sitemap).
То есть я могу этим не заморачиваться.

И теперь ясно про комментарии, буду применять по мере надобности.

 

[Felix]

создавать текстовый файл robots.txt (как рекомендует старина Яндекс) необязательно (так же как и sitemap).

Если написано что это не обязательно, это не значит что этим можно пренебрегать! Если это есть это большой плюс!
Я бы даже сказал что это обязательно! Без карты сайт и файла для роботов сайт жить будет не совсем нормальной жизнью!

Приведу жизненный пример
Ваш сайт это суп! Карта сайта и robots.txt это хлеб!

Вам нравится кушать суп без хлеба? Да это суп он такой же вкусный, но не такой сытный как с хлебом :biggrin:
Поиск работает по такой же схеме

 

[Rozalia]

Что ж, я подумаю над приложением хлеба к супу
Во всяком случае, я займусь этим вплотную, когда сложность моего сайта подвырастет.

 

[Sanecheg]

Хех . Посмотрим.

 

[devastation]

Felix, Tigra60!
Спасибо за ответы!
Кстати, про роботов я (уже после создания темы) сама нашла информацию - выяснила, что роботы (поисковые краулеры) - зверьки полезные, но прописывать строки и создавать текстовый файл robots.txt (как рекомендует старина Яндекс) необязательно (так же как и sitemap).
То есть я могу этим не заморачиваться.

И теперь ясно про комментарии, буду применять по мере надобности.

В файле robots.txt вы прописываете как роботу смотреть на ваш сайт. Какие части не стоит читать, как правильно обращаться к вашему сайту с www или без и т.д.

В файле sitemap вы создаете карту своего сайта. Если ваши страницы плохо перелинкованы то этот файл позволит роботу узнать о всех страницах на вашем сайте.

Они не обязательны, но полезны.

Это как противотуманные фары для машины. Не обязательны, но в определенных моментах очень полезны!