W3search

[deMone]

Сделал новый проект. Бесплатный для всех. Встречайте: W3Search [ официальный сайт ]

Суть проекта проста: W3Search — это компактная система поиска по сайту. В отличие от множества похожих на неё систем, она индексирует не скрипты на сервере, а собственно генерируемые скриптами страницы и прекрасно подходит для динамических сайтов, написанных на PHP, ASP, Perl, Parser и других языках веб-программирования.

Скорость индексации очень высока. Качество поиска – вполне достаточное. Система написана на PHP + MySQL.

Основные особенности:

• Возможность лёгкого встраивания поиска в сайт
• Поддержка индексирования определённой страницы по запросу (из своего скрипта)
• Понимание тега <noindex>
• Перекодировка на лету страниц к кодировке windows-1251 (в ней работает поисковик)
• Возможность указывать расширения, которые поисковик не обрабатывает
• Возможность указывать MIME-типы, которые поисковик должен обрабатывать
• Возможность имитировать пользовательский браузер
• Поддержка чёрного списка URL-ов, которые индексировать нельзя
• Понимание заголовков ответа сервера (таких, как Location, Content-Encoding) и кодов ответов (вся группа 4•• и 5••)
• Так как поиск при работе использует всего 1 таблицу базы данных, нет необходимости заводить дополнительную БД.
• Скрипт прекрасно работает следующих настройках:
  • register_globals = off
  • display_errors = on
  • error_reporting = E_ALL
• Бесплатность и многое другое…

Хотя, всё это Вы можете прочесть на сайте проекта.

У поиска много настроек, так что всем хватит.

Если у Вас есть вопросы, Вы нашли баг или хотите предложить нововведение, прошу Вас писать в багтрекер проекта. Там нужна регистрация, но зарегистрироваться очень легко.

 

[Worm]

замечательная фишка....счас разберуся и обязательно поюзаю...потом с меня впечатления.....

 

[RUSH]

Крута. Токо не пойму какая от него польза...

 

[deMone]

В смысле? Искать по сайту позволяет. Вот, в принципе, и польза.

 

[RUSH]

Дык тогда бы ты лучше написал скрипт для поиска, который внядряется в сайт ))

 

[deMone]

RUSH, ты его хотя ба прикола ради скачивал? Он как раз-таки внедряется в сайт!

 

[faust]

Чувак скачал я твой скрипт, установил.

Но есть одна проблема, индексатор не индексирует страницы. Совсем. Как собственно он их, страницы, ищет? Переходит по линкам с главной? В общем результата нету, страницы не индексируються. А так всё работает.

Что бы не было лишних вопросов, тестил на денвере, скрипт индексатора конечно же, запускал.

 

[deMone]

А базу данных сделали верно? Параметры в search.conf указали правильно? SQL-запрос из справки импортировали?

 

[faust]

Разумееться.

Ты лучше вместо задавать не совсем умные вопросы(всё-таки я не ламер) сразу скажи как твой скрипт индексирует страницы, тогда мне будет легче понять почему он не работает.

 

[deMone]

Как скрипт индексирует страницы Вы можете посмотреть в скриптах, раз

всё-таки я не ламер

Но вместо этого я советую Вам:
1. Посмотреть таблицу в базе данных. В частности, сколько в ней записей. Если записей нет, то добавьте запись таким запросом:

INSERT INTO `ИМЯ_ТАБЛИЦЫ` VALUES ('/', '', '', '', '', 0);

2. Если в базе есть записи значит всё работает нормально.
3. Запустите отдельно файл /search_includes/cron_indexer.php из браузера и приведите здесь его ответ
4. Очистите файл /search_includes/blacklist.conf, возможно, главная страница была добавлена в «чёрный список», если например, был возвращён неправильный заголовок или индексатор не дождался ответа сервера. Кстати, в этом случае Вам тоже скорее всего придётся выполнить приведённый выше SQL-запрос.

А ещё у проекта есть багтрекер, куда нужно писать все сообщения об ошибках. Здесь это делать совершенно незачем.

 

[faust]

И еще, нафига эта система с перекодировками и кодировками UTF-8 / koi-8r, cp-866 ?

Только лишний гемморой. Не в 1996-ом году живем, можно было бы и одним виндоузом обойтись.

 

[faust]

[/] проиндексирован успешно
Время индексации: 15,221161 сек.

В таблице появляеться всего одна запись соотвественно, причем текст такого вот вида при любых настройках кодировки:

аkнu z5хli r 5эщ у 7њwз 1оґ 0уuunнпч фњvзj fs9h xкu еъг вwfиы c
8х пб њf0ѓiдй hеj aедцхјiш aос eюёмзtс

А в багтрекер нужно писать при условии известности самого бага, здесь же совершенно не ясно в чем причина.

 

[deMone]

Всё ясно. Ваш сайт использует сжатие GZip, которое пока что не поддерживается индексатором. В данный момент я как раз пишу функцию GZip-распаковки (в PHP нет такой стандартной). Как напишу — выпущу обновление.

А насчёт перекодировки Вы не правы. Очень многие сайты используют UTF-8, да и сайты, написанные в KOI8-R ещё не перевелись. Пусть уж лучше будет.

 

[faust]

Хорошо. Ждём патча.

 

[deMone]

Вот есть один метод, мне его Creator подсказал — отправить в заголовках, что GZip не поддерживается. Тогда скрипт сайта, если конечно он настроен правильно, отправит несжатые данные.

Сделайте так: откройте файл search_includes/search_functions.php, найдите строку Accept-Encoding: gzip, deflate (сама строка там больше — там целый запрос, но нам нужна только эта часть строки) и удалите оттуда gzip,.

Потом очистите таблицу (не удаляйте, а именно очищайте) поиска в БД и выполните SQL-запрос:

INSERT INTO `ИМЯ_ТАБЛИЦЫ` VALUES ('/', '', '', '', '', 0);

 

[faust]

[/] не проиндексирован
[] не проиндексирован
Время индексации: 15,315995 сек.

А таблица самоудалилась...

 

[deMone]

Самоудалиться таблица не могла — нет в скрипте таких конструкций. Вот очиститься может.

А что у Вас за сайт? Может ссылочку дадите? На каком движке сделан?

 

[faust]

http://wiki.inses.ru/InTerra/ - двигатель

 

[deMone]

Вообще говоря, если Вы, конечно, не изменяли свойство UA поисковика, то интерра должна определить его как бот и отменить сжатие...

 

[faust]

Хотелось бы узнать у творца и создателя как идёт работа над патчем для gzip...