КУРСКИЙ ГОСУДАРСТВЕННЫЙ ПЕДАГОГИЧЕСКИЙ УНИВЕРСИТЕТ

КАФЕДРА ИНФОРМАТИКИ И ТСО

КУРСОВАЯ РАБОТА

“ ПОИСК ИНФОРМАЦИИ В WWW ”

выполнил: ст-нт ФМФ-56

Разиньков А.Н.

Руководитель: Ежова Т.В.

КУРСК-2002

Содержание:

1. Поиск информации в www…………………………………………………………1

1.1.Основы поисковых служб…………………………………………………………………1

Поисковые каталоги. Поисковые указатели (индексы). Сбор информации поисковыми роботами. Индексация ресурсов. Исполнение запроса клиента. Сравнение поисковых каталогов и указателей. От чего зависит качество поиска. Гибридные системы. Метапоисковые системы. Порталы.
Рейтинговые службы.

1.2.Основные поисковые системы…………………………………………………8

AltaVista. Ask Jeeves. Direct Hit. Excite. FAST Search.
GO/Infoseek. GoTo.

Google. HotBot. Inktomi. LookSmart. Lycos. MSN Search.
Netscape Search.

Northern Light. Open Directory. RealNames. WebCrawler.
Yahoo.

1.3. Отечественные поисковые системы……………………………………………11

Aport. Атрус(@Rus). Rambler. Яndex.

4. Приемы простого поиска информации в www………………………………...13

Ловушка для начинающих. Сложение наоборот. Арифметика вычитания.

Применим джокера. Контекстный поиск. Роль прописных букв.

Поиск по заголовкам. Поиск Web-узлов. Поиск URL-адресов. Поиск ссылок

5. Средства расширенного поиска…………………………………………………18

Команда OR. Команда AND. Команда NEAR. Вложение команд.

6. Выбор поисковой службы……………………. ………………………………………20

Как проверить незнакомую поисковую службу. Реферативный поиск.

Углубленный поиск. Специальный поиск. Выводы и рекомендации.

1. Технология и результат поиска……………………..…………………………22

Цели поиска: модель обучаемого. модель обучения. нейромодель обучаемого. нейромодель обучения. нейросетевая модель обучаемого. нейросетевая модель обучения.

Поиск информации в WWW

формацию или услугу в WWW, их надо, прежде всего, разыскать, а поиск информации — непростая задача. По состоянию на начало 2000 г. ресурсы Web оцениваются более чем в 850 миллионов Web-страниц.
Разумеется, рост Web-пространства в геометрической прогрессии не будет продолжаться вечно. Когда-то наступит момент насыщения. Можно предположить, что темпы развития WWW замедлятся на рубеже 3-4 млрд. Web- страниц. Одной из причин замедления, в частности, станет ограниченность поля IP адресов. Впрочем, к тому времени, наверное, уже заработает Интер- нет-2, и все будет по-другому.
Для поиска информации в Сети используются специальные поисковые службы.
Обычно поисковая служба — это компания, имеющая свой сервер, на котором работает некая поисковая система. Услуги абсолютного большинства поисковых служб бесплатны, но, тем не менее, по темпам роста сегодня это самый эффективный бизнес в мире. Всего за несколько лет такие службы как Yahoo!,
Alta Vista, Inktomi и некоторые другие развились от лабораторных проектов с бюджетом в десяток-другой тысяч долларов до компаний, стоимость которых составляет 10-15 миллиардов долларов. Такого темпа приращения капитала мир еще не знал, особенно для бесплатных (для конечного пользователя) услуг.
При этом интересно отметить, что ниша бизнеса далеко не освоена, и ниже мы увидим, как буквально в считанные месяцы из хорошей идеи «с нуля» рождаются новые гиганты.

Основы поисковых служб

Сегодня пользователь World Wide Web оказывается в той же ситуации, что ii читатель крупной библиотеки. Чем больше фонды библиотеки, тем труднее найти именно ту книгу, которая сейчас нужна. Для упрощения поиска в библиотеке существуют каталоги: систематический, алфавитный, предметный и другие.
Существуют и специализированные каталоги, например каталоги новых поступлений.
В Сети поиск обеспечивают специальные поисковые службы. Умение пользоваться ими, собственно говоря, и составляет умение пользоваться Интернетом. Все поисковые системы WWW основаны на гиперссылках. Обращаясь к поисковой службе, мы формулируем запрос, в котором формально описываем то, что хотим найти. Проведя нужные операции, служба формирует Web-документ, состоящий из гиперссылок, ведущих к ресурсам WWW, соответствующим нашему запросу. Какой из этих гиперссылок м ы воспользуемся — дело наше.
Несмотря на то, что результат всегда един (клиент получает список рекомендованных гиперссылок), принцип действия у разных поисковых служб может быть различным. Ниже мы рассмотрим, как классифицируются поисковые службы по типам предоставляемых услуг, а также по способам формирования своих ресурсов. Последнее очень важно для эффективной работы не только пользователей, но и Web-мастеров. Пользователи должны учитывать способ формирования баз данных, чтобы знать, на что они могут рассчитывать при поиске информации, а Web-мастера должны это знать, чтобы добиться наилучшего представления своих ресурсов в основных поисковых службах мира.

Поисковые каталоги
Поисковые каталоги похожи на предметные каталоги общественных библиотек. На начальной странице поискового каталога мы выбираем тему, которая нас интересует, затем в рамках темы выбираем категорию, потом подкатегорию, и так далее, пока не получим конкретный список Web-ресурсов, рекомендованных для просмотра. Крупнейшим поисковым каталогом мира сегодня считается поисковая система Yahoo! (www.yahoo.com) Она предоставляет примерно 1 млн. ссылок к ресурсам WWW, то есть охватывает чуть более тысячной доли всего
Web-пространства.
Основным недостатком и, в то же время, достоинством поисковых каталогов является «человеческий фактор». Данные, которые заносятся в каталог, проходят «ручную обработку». Сегодня на Yahoo! работают до 150 редакторов, ежедневно просматривающих Web-пространство в поисках наиболее ценных ресурсов по темам, вызывающим общественный интерес. Кроме собственных редакторов служба использует и информацию, поставляемую Web-мастерами. Так, например, теоретически любой владелец Web-страницы может самостоятельно заполнить положенную анкету и направить ее в адрес службы. Правда, гарантии, что страница будет включена в каталог Yahoo!, это не дает, поскольку служба не замусоривает свои каталоги ссылками на страницы- однодневки. Клиентов службы всегда раздражают ссылки, указывающие на давно несуществующие ресурсы. Чтобы не иметь особой головной боли по проверке актуальности хранящихся ссылок, служба Yahoo! предпочитает скрупулезно подходить к формированию своих каталогов. Тщательность в подборе информации обеспечивает высокую репутацию Yahoo!, несмотря на то, что совокупный объем ее ресурсов крайне мал.
Другой подход к формированию каталога демонстрирует поисковая служба Open
Directory (dmoz.org). В качестве источника для своих ресурсов она привлекает пользователей WWW, которые на добровольной основе могут обозревать понравившиеся им Web-страницы, каталогизировать их и размещать ссылки на них на центральном сервере службы. Поскольку число добровольных помощников может быть очень большим, у этой службы есть все шансы перекрыть успех Yahoo!. Но принцип добровольности не гарантирует качественности работы, поэтому каталоги, равные Yahoo по качеству, по-видимому, появятся еще не скоро. Однако есть и другие подходы, основанные, например, на 5МАНГ- технологии, и мы их тоже рассмотрим.

Поисковые указатели (индексы)
11ринцип действия поискового указателя похож на принцип действия предметного каталога библиотеки. Пользователь формирует запрос с помощью ключевых слов, выражающих объект его поиска, а поисковая система выдает ему список ссылок на Web-страницы, содержащие данные ключевые слова. Ксли мы хотим найти информацию, посвященную взаимоотношениям А. Вольта с Н.
Бонапартом, можно задать поиск документов, в которых одновременно встречаются слова Вольта и Бонапарт, например так:

+Вольта +Бонапарт или так:

Вольта AND Бонапарт
Основное отличие поисковых указателей от поисковых каталогов состоит is полной автоматизации всех этапов работы. Здесь отсутствует «человеческий фактор», и потому количество Web-страниц, к которым ведет поисковый указатель, намного больше. Летом 1999 г. крупнейшие поисковые указатели преодолели 200-миллионный рубеж и, как сообщают, следующий рубеж (300- миллионный) будет взят в 2000 г.

Сбор информации поисковыми роботами
Поисковые указатели работают в три этапа. Создание поисковой системы начинается с разработки специальной агентской программы, которая способна путешествовать по Web-узлам Интернета, просматривать Web-страницы и копировать их содержание на центральный сервер поисковой системы. Такие агентские программы называют «червяками», «пауками», «поисковыми роботами»
(сокращенно «ботами»), «поисковыми машинами», «краулерами» и т. п.
Многообразие названий связано с тем, что каждая поисковая система создает свою собственную, неповторимую программу и дает ей свое имя, которое впоследствии становится нарицательным. Большинство современных поисковых систем начинались с того, что в 1993-94 годах в университетских лабораториях были разработаны экспериментальные программы для мониторинга
Сети.
Если при чтении Web-страницы поисковый робот находит на ней ссылки на другие страницы того же Web-узла, он переходит по этим ссылкам, читает их содержание и так далее. Как червяк, он проникает в самые отдаленные закоулки WWW.

Индексация ресурсов
Второй этап работы поисковой системы — индексация. Собрать на центральном сервере образы сотен миллионов Web-страниц — это одно дело, а суметь выбрать те из них, которые нужны клиенту, сформировавшему запрос, — совсем другое. Отвечать надо очень быстро, а для этого данные надо хранить не как попало, а в виде специальных структур. Процесс преобразования данных из той формы, в которой они хранятся на Web-страницах, в другие формы, удобные для быстрого просмотра, называется индексацией. В результате индексации и образуется база данных, которую называют поисковым указателем (индексом).
У каждой поисковой системы свои приемы и методы индексации. В частности, перед индексацией большинство систем очищают документ от зарезервированных слов (stop-words), к которым относятся артикли, предлоги, союзы, местоимения и другие слова, имеющие менее 4 символов. Однако не только короткие слова могут быть зарезервированными. Очень распространенные слова, такие как Computer и Internet тоже резервируются. Искать что-то по ним бесполезно, так как они встречаются повсеместно.
Специализированные поисковые службы могут использовать и другие слова в качестве зарезервированных. Например, если служба занимается поиском книг
(books), то слово book для нее может считаться зарезервированным.
На этапе подготовки к индексации может происходить нормализация слов
(stemming) за счет отбрасывания суффиксов и окончаний. После такой
«зачистки» фраза типа «Мы с братом любим ловить рыбу» превращается в ' нечто похожее на «брат люб лов рыб». Исходный документ может быть найден при поиске по ключевым словам «брат», «любовь», «ловить», «рыба», но никогда по словам «мы» или «с».
Некоторые системы производят нормализацию всегда. Ряд систем, базирующихся на службе Inktomi (см. ниже) могут действовать как тем образом, так и другим. Служба Alta Vista не производит нормализацию никогда, и это ее уникальная особенность, которая, как будет показано ниже, активно используется для контекстного поиска.
На основе «зачищенного» документа готовится индекс. Индекс — это особая база данных, созданная специальным образом, чтобы ускорить поиск.
Существует множество методов индексации. Разумеется, они не разглашаются.
Как и поисковый робот, алгоритм индексации составляет коммерческую тайну поисковой службы, поэтому в качестве примера мы приведем лишь простейший тип индекса — так называемый обратный файл.
Суть обратного файла состоит в том, что составляется словарь из всех слов, встреченных во всех документах, собранных поисковым роботом, а затем для каждого слова записывается группа чисел, указывающих на то, в каких документах оно встречается, насколько часто, а также кое-какая служебная информация.

Исполнение запроса клиента
Третий этап — ответ на запрос клиента. Лучшие поисковые системы в ответ на запрос просматривают свои индексы за десятые доли секунды и немедленно возвращают списки ссылок, ведущих к затребованным ресурсам. Работа происходит следующим образом.
Система анализирует ключевые слова, которые клиент использовал в запросе. С ними производятся те же операции освобождения от зарезервированных слов и нормализации, после чего выполняется поиск совпадений с содержимым поисковых индексов. Эти операции в большинстве поисковых систем происходят примерно одинаково, но самая последняя операция, когда по найденным совпадениям формируется итоговый список ссылок, всегда различается. У каждой поисковой системы своя политика формирования результирующего списка.
Если найдено очень много ссылок на ресурсы, удовлетворяющие запросу, то встает проблема их упорядочения. Здесь важно, какие ссылки дать в начале списка, а какие — в конце, то есть, надо вводить какой-то рейтинг. Разные поисковые системы имеют разные рейтинговые системы. При исчислении рейтинга учитывается множество параметров. За некоторые начисляются положительные баллы, а за некоторые — наоборот штрафные. Положительный рейтинг начисляется, в частности, при следующих обстоятельствах:
• если разыскиваемые слова встречаются на Web-странице неоднократно (но не слишком часто, и не подряд);
• если они расположены близко к началу страницы;
• если эти слова присутствуют в заголовке страницы;
• если Web-страница имеет иллюстрацию, альтернативный текст которой тоже содержит слова, введенные пользователем.
Лучшие поисковые системы недавно ввели новый подход к рейтингованию. Они учитывают количество ссылок в проиндексированном пространстве Web, ведущих к данному ресурсу. Это естественно, ведь чем больше публикаций ссылаются на данную страницу, тем она популярнее и тем выше вероятность того, что она будет полезной автору запроса. В традиционном библиотечном деле такой подход известен. Например, в США давно издается многотомный ежегодный
«Индекс цитирования» (Citational Index), в котором каталогизируются ссылки разных авторов на первоисточники. Это непростой технически, но очень полезный для клиентов метод индексации ресурсов.
К современным относятся и коммерческие хитрости. Относительно недавно некоторые поисковые системы (в том числе и такая известная, как Alta Vista) начали повышать рейтинг тем, кто готов за это платить. Такой подход выглядит не очень красиво, но с точки зрения владельцев поисковых систем оправдан извечным тезисом «заботы о потребителе». Они заявляют, что для потребителя ценность информации на странице солидной фирмы, готовой нести расход на свою рекламу в Сети, все-таки выше, чем ценность доморощенной страницы никому не известного студента. Возможно, что они и правы. Во всяком случае тот, кто заплатил деньги за рейтингование своей страницы, наверное будет больше уделять внимания ее качеству, чем тот, кто сделал ее впопыхах и пристроил на первом попавшемся бесплатном сервере.

Сравнение поисковых каталогов и указателей
У каждого из двух основных типов поисковых служб есть достоинства и недостатки. Поисковые каталоги формируются вручную с помощью живых людей.
Поэтому, как правило, если мы находим в них нужный нам ресурс, то этот ресурс — один из лучших в Сети. Он не обязательно самый лучший и, может быть, лишь входит в первую двадцатку, но он явно не случаен и может рассматриваться как рекомендованный. Ответственные редакторы поискового каталога, имеющие солидное образование в большинстве областей науки, техники и культуры, не будут включать в свой каталог очевидную ерунду.
Поисковые каталоги удобнее и тем, что там не бывает десятков ссылок на один и тот же ресурс, размещенный в разных местах или проиндексированный в разное время. В общем, если надо быстро найти лучший источник по какой-то теме, надо начинать поиск с поискового каталога.
Недостатком поисковых каталогов является их слабое знание о подлинных ресурсах WWW, которое с каждым днем падает в относительном измерении. Как мы уже говорили, крупнейший поисковый каталог Yahoo! за шесть лет своей работы довел количество обработанных ресурсов до миллиона, в то время как каждый год появляются сотни миллионов новых Web-страниц.
Поисковые указатели черпают свою исходную информацию от поисковых роботов, день и ночь ползающих по просторам WWW. Процесс сбора информации полностью автоматизирован, поэтому объем проиндексированного пространства намного больше, чем у поисковых каталогов. Сегодня этот показатель превышает 25% общего пространства Сети. С другой стороны, отсутствие человеческого фактора сказывается на качестве того, что можно найти через поисковые указатели. Для робота совершенно все равно, написана ли статья по физике академиком или школьником. При рейтингова-пии робот может даже поставить страницу школьника выше.
Поэтому поисковые каталоги лучше использовать для ознакомительного поиска, когда тема известна, а предпочтений нет, например при подготовке школьного реферата на тему «Теория относительности». Каталог быстро выведет вас на
Web-узел, на котором вы либо найдете то, что хотели, либо получите ссылки на другие полезные ресурсы. А поисковые указатели стоит использовать для более глубоких или экзотических розысков. Например, человеку, которому о теории относительности и так уже все известно, вряд ли поможет поисковый каталог, имеющий ссылки на общеизвестные Web-ресурсы. А поисковый указатель, проиндексировавший 300 миллионов Web-страниц, может ему предложить какой-то уникальный отчет о семинаре, проведенном в университете штата Айдахо или в Новосибирске.

От чего зависит качество поиска
Как нетрудно догадаться, достоинства поисковых каталогов являются недостатками поисковых указателей и наоборот. Основных параметров, с помощью которых оценивают качество поисковых систем, всего два: коэффициент попадания и коэффициент охвати.
Коэффициент попадания показывает, какой процент ссылок, выданных поисковой системой, действительно относится к той теме, которая интересует клиента.
Для поисковых каталогов этот коэффициент очень высок. Поскольку их составляют люди, появление «мусорной» ссылки — редкость. Обычно она возникает только когда за время, прошедшее после регистрации, Web-страница перестает существовать. Для каталогов этот коэффициент составляет порядка
70-80%, и уж во всяком случае не должен быть менее 50 %.
Для поисковых указателей этот коэффициент печально низок. Если не предпринимать специальных мер, он составляет единицы процентов. Причина лежит, во-первых, в том, что автоматические средства не могут точно выявлять тематическую принадлежность Web-страниц на основе формальных признаков, а во-вторых, в том, что большинство клиентов не умеют пользоваться всеми возможностями поисковых систем и формируют задание на поиск далеко не оптимально.
Коэффициент охвата показывает, насколько база данных поисковой системы отражает истинное количество информации, имеющейся по данной теме в мире.
Здесь впереди поисковые указатели. Самые совершенные из hiix имеют коэффициент охвата порядка 25%. Поисковые каталоги, наоборот, не охватывают и одного процента всех наличных ресурсов.
С точки зрения пользователя качество поиска означает стремление получить как можно больше ссылок по интересующей его теме, но так, чтобы в результирующем списке было как можно меньше ссылок, не имеющих прямого отношения к объекту поиска. Пользователь желает, чтобы каждый из коэффициентов был близок к 100%. Его субъективная оценка качества поисковой системы напоминает произведение коэффициента попадания на коэффициент охвата. Сегодня же и для поисковых каталогов, и для поисковых указателей это произведение составляет десятые доли процента.

Гибридные системы

В стремлении повысить качество работы поисковых служб есть попытки совместить оба подхода. При этом возможны два варианта: поисковые каталоги привлекают возможности поисковых указателей, переадресуя им запрос.
Например, до последнего времени поисковый каталог Yahoo переадресовывал особо сложные запросы поисковому указателю Alta Vista.:
Сегодня Yahoo! привлекает средства другого партнера — Inktomi. '
С другой стороны, поисковые указатели научились выполнять автоматическую каталогизацию своих ресурсов и предоставлять к ним доступ так как это принято в поисковых каталогах. Пример такого подхода являет самый мощный сегодня поисковый указатель Fast Search

Метапоисковые системы
К метапиисковым системам относится множество поисковых служб второго эшелона. Они принимают от пользователя запрос и размещают его сразу на нескольких поисковых серверах. Потом они собирают поступившую от них информацию, обобщают ее, структурируют, рафинируют (очищают) и передают клиенту. Увеличенное время исполнения запроса компенсируется улучшенным качеством результатов поиска.
Первое время крупные поисковые системы спокойно смотрели на суще- , ствование «под собой» метапоисковых систем. Однако в последнее время в связи с бурным развитием идеи порталов все чаще и чаще встречаются запреть! на метапоиск. А если говорить точнее, крупные поисковые системы начали заниматься им сами, привлекая ресурсы коллег на взаимовыгодной основе.

Порталы

Входя в World Wide Web с помощью броузера, мы попадаем на какую-то страницу, которая задана в настройках броузера в качестве начальной.
Пользователь может легко перенастроить свой броузер на работу с другой начальной страницы. Какую именно страницу он будет использовать — его личное дело. Опыт показывает, что очень удобно иметь в качестве начальной страницы такую, на которой уже представлено несколько ссылок на основные поисковые системы. Удобно здесь же иметь доступ к электронной почте.
Неплохо, если на этой странице всегда отображаются последние новости из мира политики, искусства, спорта, бизнеса и т. п. Такие « готовые» начальные страницы называются порталами. В мире существует множество порталов — настройте свой броузер на тот, который наилучшим образом соответствует вашим личным интересам. Хорошие порталы предоставляют пользователю возможность персональной настройки «под себя». Надо только включить флажки против тех поставщиков информации, которые вам интересны, и выключить у тех, которые для вас неактуальны.
Борясь за клиентов, многие поисковые системы превращаются в порталы. Это означает, что они не только готовы поставлять результаты поиска, но II способны выполнять другие услуги. Часто название порталов начинается со слова My (Мой/Моя/Мое). Например, если на поисковых системах Yahoo!, Alta
Vista или DejaNews вам предлагают подписаться на службу MyYahoo,
MyAltaVista или MyDejaNews, то, значит, речь идет о том, чтобы стать постоянным клиентом удобного портала.
Другой причиной того, что поисковые системы постепенно превращаются в порталы, стал тот факт, что им стало трудно одновременно и «копировать» пространство WWW, и индексировать гигантские базы данных, и "Услуживать запросы клиентов. Поисковые системы начинают распределять обязанности.
Задачи по контролю за Web-пространством постепенно передаются на партнерских основаниях «третьим» фирмам, а сами поисковые системы сосредоточиваются на обслуживании клиентов и привлечении рекламодателей, то есть превращаются в порталы.

Рейтинговые службы
В последние три года появился новый тип служб, позволяющих быстро разыскивать информацию в Сети, — это так называемые реитинговые службы. Они занимают промежуточное положение между поисковыми службами и порталами и могут использоваться как в том, так и в другом качестве.
Суть рейтинговой службы состоит в том, что на ее сервере создаются тематические СП1-1СКИ ссылок на наиболее популярные Web-ресурсы. Хоть эти списки и небольшие, представительность их велика, поскольку именно эти ссылки предпочитают большинство клиентов Сети.
Когда мы выбираем одну из ссылок, представленных на сервере службы, срабатывает счетчик, и рейтинг этого ресурса увеличивается. Каждый следующий посетитель видит, сколько «нащелкали» его предшественники, и понимает, какой ресурс ему стоит посмотреть. Поиск с помощью рейтинговых служб можно рассматривать как поиск «по рекомендациям». Разумеется, он не может претендовать на объективность, но когда речь идет о темах, имеющих общественный интерес, таких как новости, политика, спорт, кино, музыка, компьютерные игры и т. п., этим «рекомендациям» можно доверять. Самая популярная отечественная рейтинговая служба — Rambler (www.rambler.ru).
Наиболее популярная зарубежная рейтинговая служба — Webside Story
(www.hitbox.com)

Основные поисковые системы

AltaVista (http://www.altavista.com/)
По количеству индексированных Web-страниц Alta-Vista — одна из крупнейших
(но не самая крупная, как это иногда считается) поисковых систем мира.
Огромный объем охвата Web-пространства и мощный набор поисковых команд делают эту систему излюбленным средством поиска для большинства пользователей. Система была запущена в эксплуатацию в декабре 1995 г. и долгое время считалась молодой, но бурно развивающейся. Для начинающих система имеет упрощенную службу, которая называется Ask Alta Vista. В своей работе эта служба привлекает другую поисковую службу — Ask Jeeves (см. ниже). Несмотря на то, что сегодня Alta Vista уже не является самым удобным средством поиска и владеет не самым большим индексом, ее популярность по- прежнему выше, чем у служб, которые превзошли ее по многим показателям, что связано с устоявшимися привычками миллионов пользователей.

Ask Jeeves (http://www.askjeeves.com/)
Эта система представляет образец человеческого (неавтоматизированного) подхода к индексации и хранению информации о Web-документах. Ее цель не в том, чтобы выдать в ответ на запрос как можно больше возможных ссылок, в том, чтобы они были наиболее точны. В идеале система должна вас направить именно к той Web-странице, которая вам как раз и нужна. Система была введена в эксплуатацию в июне 1997 г. Результаты поиска в этой системе используются и при размещении запроса в Alta Vista.

Direct Hit (http://www.directhit.com/)
Систему Direct Hit можно назвать системой «рафинирования» результатов поиска, выдаваемых другими поисковыми системами. Она контролирует, какими результатами поисков клиенты пользуются наиболее часто и, тем самым, создает некий рейтинг популярности Web-страниц. Этот рейтинг она предоставляет другим поисковым системам, и они учитывают его при выдаче результатов. Технология Direct Hit напрямую используется поисковой системой
HotBot. Она также учитывается системами Lycos, LookSmart и MSN Search.

Excite (http://www.exc1te.com/)
Excite — одна из самых популярных поисковых систем World Wide Web. Она имеет указатель среднего размера и кроме поиска Web-страниц предоставляет услуги по поиску других материалов, например сведений о компаниях или результатов спортивных соревнований. Система была создана в конце 1995 г., прошла этап бурного развития и в 1996 г. поглотила двух ближайших конкурентов: систему Magellan и WebCrawler, хотя те по-прежнему сохраняют свои торговые марки и предоставляют поисковые услуги как самостоятельные службы.

FAST Search (http://www.alltheweb.com/)
Эта система, принадлежащая норвежской компании, ранее называлась All
TheWeb. Несмотря на то, что она была запущена совсем недавно (в мае 1999 г.), перед ней ставится задача обогнать конкурентов в полноте коллекций ссылой; на Web-страницы. Кажется, ей это удается. Летом 1999 г. FAST Search первое перешагнула 200-миллионный рубеж проиндексированных Web-докумеатов. Кроме системы FAST Search та же компания контролирует подразделение системы
Lycos, занимающееся поиском музыкальных файлов в формате МРЗ. л!

Go/Infoseek (http://www.go.com/)
Go/lhfoseek — это сочетание известной в прошлом поисковой системы Infoseek
(была основана в 1995 г.) и современного портала Go (создан в 1999 г. и принадлежит небезызвестной Walt Disney Co). Кроме поисковых возможностей
Infoseek портал пре-| доставляет зарегистрированным пользователям возможность персональной настройки среды, бесплатную электронную почту и другие полезные cepвисы. Пользователи этой системы отмечают высокое качество ссылок, возвращаемых системой, что объясняется специальным
«фирменным» алгоритмом! поиска. Кроме автоматизированного указателя система имеет также обширный каталог Web-узлов, составляемый вручную.

GoTo (http://www.goto.com/)
Поисковая служба GoTo не имеет отношения к порталу Go , и известна тем, что формирует результаты поиска на коммерческой основе. Компании, владеющие Web- узлами, за определенную плату могут договориться, чтобы ссылки на них появлялись на более высоких местах в списках итоговых результатов.
Насколько известно, более никто, кроме Alta Vista, не занимается такими махинациями. Впрочем, служба GoTo не считает это махинацией, а полагает, что платежеспособность Web-издателя напрямую связана с качеством поставляемой им информации, и потому для пользователя такой подход полезен.
При формировании списка служба берет оплаченные ссылки из собственной базы данных, а неоплаченные черпает от поисковой системы Inktomi (см. ниже).
Служба была запущена в 1997 г. В ее основу был положен Web-краулер World
Wide Web Worm, приобретенный у разработчика — университета штата Колорадо.
С его помощью собиралась первичная база указателя. В 1998 г. служба перешла на нынешнюю «коммерческую» модель обслуживания и начала использовать систему Inktomi в качестве генератора «некоммерческих» ссылок.

Google (http://www.google.com/)
Служба Google известна тем, что при генерации списка ссылок в первую очередь выдает ссылки на те Web-страницы, к которым из других документов ведет наибольшее количество ссылок. Это дает очень интересный эффект. На большинстве поисковых систем совершенно бесполезно искать информацию по таким тривиальным словам как Cars (Автомобили), Internet, WWW, Games
(Игры). Поиск по этим словам вернет столько ссылок, что среди них невозможно найти самые полезные. Служба Google при проведении поиска по тривиальным словам дает отличные результаты, поскольку руководствуется мнением других пользователей, ранее осуществлявших подобный поиск.

HotBot (http://hotbot.lycos.com/)
По популярности среди сетевой общественности HotBot приближается к Alta
Vista. Как и Alta Vista, эта служба имеет огромный поисковый указатель и много полезных функций. При генерации первой "^^S^^^^^ страницы ссылок
HotBot использует результаты, поступающие от системы Direct Hit (см. выше).
При генерации последующих страниц используется система Inktomi (см. ниже), услугами которой пользуются и другие поисковые службы. Кроме поиска по ключевым словам служба предоставляет также возможность поиска по тематическому каталогу. Данные для каталога черпаются из проекта Open
Directory (см. ниже).
Служба HotBot была создана в мае 1996 г. компанией Wired Digitals, которую в 1998 г. перекупила поисковая служба Lycos. Несмотря на это, HotBot продолжает функционировать как самостоятельная поисковая служба, параллельно с Lycos.

Inktomi (http://www.inktorm.com/)
Ядро поисковой системы Inktomi было разработано вуниверситете Калифорнии в
Беркли. Несколько позже создатели системы учредили одноименную компанию и сформировали указатель ссылок Inktomi, который был использован в качестве основы службой HotBot. Сегодня этот указатель используют и некоторые другие поисковые службы. Несмотря на то, что при ответе на запрос пользователя все подключенные службы обращаются к одной и той же базе данных, результаты выдаются разные. Это связано с тем, что хотя Inktomi и обеспечивает партнерам доступ к общей базе указателей, система всетаки различает партнеров и применяет системы рейтингования и фильтрации результатов в соответствии с их идеологией.

LookSmart (http://www.looksmart.com/)
Служба LookSmart — ближайший последователь концепции Yahoo! в том, что касается «человеческого фактора» при составлении каталогов Web-ресурсов.
Она предоставляет доступ к своему каталогу службе Alta Vista и другим партнерам. В тех случаях, когда поиск по архивам LookSmart не дает результата, ей помогает своими указателями Alta Vista.

Служба LookSmart была создана в 1996 г. при финансовой поддержке концерна
Reader's Digest, но примерно через год ее учредители откупили ' службу, и сегодня она независима.

Lycos (http://www.lycos.com/)
Первоначально служба Lycos была запущена как поисковая система, основанная на программе-роботе, собирающей информацию из WWW. Запущенная в эксплуатацию еще в мае 1994 г., сегодня она считается одной из старейших поисковых служб. Однако совсем недавно, в 1999 г. служба перешла на другую модель, похожую на Yahoo! и основанную на каталогизации Web-узлов. Свои основные каталоги служба получает от проекта Open Directory, а дополнительные возможности поиска опираются на мониторинг WWW с помощью программ-роботов. В качестве альтернативной услуги Lycos ведет еще один каталог — каталог Web-узлов Lycos Community Guides.
Название компании образовано из латинского словосочетания, которое можно перевести примерно как волкопаук. В 1998 г. служба Lycos выкупила акции своего ближайшего конкурента HotBot, который продолжает автономную работу под общим управлением Lycos.
MSN Search (http://search.msn.com/)
Служба MSN Search, принадлежащая компании Microsoft была создана в 1998 г. и является порталом, на котором представлены и другие поисковые службы. В основу результатов поиска, выдаваемых службой, положен указатель, поставляемый системой Inktomi.

Netscape Search (http://search.netscape.com/)
Поисковая служба Netscape Search получает первичные результаты поиска от проекта Open Directory и собственной базы Smart Browsing. Вторичные результаты Search поставляются службой Google. На портале Netscape
NetCenter кроме этой собственной службы присутствуют ссылки и на другие поисковые службы.

Yahoo! (http://www.yahoo.com/)
Yahoo'—одна из старейших и наиболее популярных поисковых служб. Ее каталог был запущен в эксплуатацию еще в 1994 г. Секрет успеха Yahoo' в < человеческом факкоре». На службу работают около 150 редакторов, неустанно улучшающих и пополняющих множество тематических разделов огромною каталога.
В каталоге содержатся данные по одному миллиону Web-узлов. Если поиск по собственному каталогу не дает результата, привлекаются ресурсы поискового указателя Inktomi.

Отечественные поисковые службы
С большим удовлетворением мы должны отметить, что российский сектор
Интернета развивается очень бурно. Сегодня ситуация такова, что даже если западный сектор по каким-либо причинам «прикажет долго жить», российский сектор достаточно автономен, чтобы развиваться самостоятельно и достойно обслуживать отечественных клиентов.
Важную роль в становлении и развитии отечественного сектора Интернета сыграли отечественные поисковые службы (за что им огромное спасибо). Не знаем, смогли ли они к сегодняшнему дню подойти к самоокупаемости, но в первые годы без сомнения работали на энтузиазме, доброй воле своих сотрудников и вере в будущее. В России есть как универсальные, так и специализированные поисковые службы. Как и везде в мире, в первую очередь развиваются поисковые указатели и рейтинговые системы, но имеется и полноценный каталог — @Rus, в прошлом «Ау'».

Aport (http://www.aport.ru/)
«Апорт» — один из первых поисковых указателей российского Интернета — детище компании « Агама » (http://www.agama.ru/). В прошлом служба предоставляла традиционные общепринятые средства поиска, но в конце 1999 года внедрила новую систему («Апорт 2000») и сделала большой шаг вперед, особенно в том, что касается представления результатов поиска. Выше мы уже отмечали, что сегодня владение самым большим проиндексированным пространством Web уже не является самоцелью. Главное — наилучшим образом обеспечить потребности пользователя, afl простейший путь к этому лежит не в безмерном увеличении индекса, а вs применении новых технологий при обработке результатов. Прежде всего следует отметить, что системе «Апорт
2000» удается мастерски сочетать «машинный» и «человеческий» факторы. Это достигнуто за счет тесной интеграции с партнерским каталогом @Rus. Так, например, когда по результатам поиска выводится адрес Web-страницы, он может сопровождаться кратким описанием Web-узла, взятым из каталога @Rus.
Хотя пользователь и не видит глубинных процессов, но система «Апорт 2000» уделяет особое внимание рейтингованию результатов поиска. В частности, она использует наиболее эффективную сегодня систему рейтингования по количеству ссылок, ведущих к данному ресурсу (по индексу цитирования). По способу представления результатов поиска служба «Апорт 2000" в настоящее время является одной из самых передовых не только в России, но и в мире.
Страница результатов поиска доставляет настоящее эстетическое удовольствие, хотя и тре