Первое знакомство с информационно поисковыми системами. История создания и развитие современных ПС

Санкт-Петербургский государственный университет

Филологический факультет

Кафедра математической лингвистики

В.П. Захаров

ИнформационнО-ПОИСКОВЫЕ
системы

Учебно-методическое пособие

Санкт-Петербург

Рецензенты:

докт. техн. наук В.Ш. Рубашкин (С.-Петерб. гос. ун-т)

канд. пед. наук О.А. Арбатская (С.-Петерб. гос. ун-т культ. и иск-в)

Печатается по постановлению
Редакционно-издательского совета
С.-Петербургского государственного университета

Захаров В.П.

З-38Информационно-поисковые системы: Учебно-метод. пособие. - СПб., 2005. - 48 с.

Предлагаемое пособие содержит описание основ документального информационного поиска, программу учебной дисциплины «Теория информационного поиска», которая изучается студентами 3-го курса отделения структурной и прикладной лингвистики Санкт-Петербургского государственного университета, и набор лабораторных (практических) работ по этой дисциплине. Отдельные лабораторные работы используются для обучения студентов других курсов и по другим дисциплинам. Пособие базируется на исследовательской и преподавательской деятельности автора.

Для студентов и аспирантов, специализирующихся в области прикладной лингвистики, информационных систем и автоматизированных систем обработки текста.

ã В.П. Захаров, 2005

ã Санкт-Петербургский
государственный
университет, 2005

1. Введение в теорию и практику
информационного поиска

1.1. Основные понятия информационного поиска

Информационно-поисковая система (ИПС) - это упорядоченная совокупность документов (массивов документов) и информационных технологий, предназначенных для хранения и поиска информации - текстов (документов) или данных (фактов). Информационно-поиско-выми системами являются любые определенным образом организованные хранилища информации. Причем информационно-поисковые системы могут быть и неавтоматизированными. Главное - это целевая функция: хранение и поиск информации.

В зависимости от объекта хранения и типа запроса различают два вида информационного поиска: документальный и фактографический - и, соответственно, два типа ИПС - документальные и фактографические. Последние также называют информационно-справочными ИПС.

Документальными называются ИПС, в которых реализуется поиск по тематическим запросам в массиве документов или текстов с последующим предоставлением пользователю подмножества этих документов или их копий. Понятие документа может меняться от системы к системе. В общем случае это некий информационный объект, зафиксированный (обычно посредством некоторой знаковой системы) на каком-то материальном носителе (бумага, фото- и кинопленка, магнитная память и т.п.) и предназначенный для передачи в пространстве и времени в системе социальных коммуникаций.

Фактографические ИПС реализуют хранение, поиск и выдачу непосредственно фактических данных (научных, технических, экономических характеристик и свойств объектов, процессов, явлений, адресов, наименований, количественных данных и т.п.).

Главное, сущностное, различие между документальным и фактографическим поиском заключается в подходе к семантике документов. В документальных системах описывается смысл документов в целом с точки зрения их тематического, предметного содержания. В этом случае важно выявить и назвать (перечислить) основные темы и объекты, которым посвящен документ. В фактографических системах описываются объекты, фиксируются их признаки и значения этих признаков. Отсюда различия в языках описания и способах хранения описаний в системе. Соответственно, для каждого вида поиска существуют свои поисковые средства.

Фактографические системы предполагают накопление и поиск в массиве документов со строго регламентированной структурой. Такая структура является или результатом предварительной интеллектуальной обработки документов при вводе информации в систему, или наличием таких документов в готовом виде в конкретных сферах человеческой деятельности, например, учетные формы, бланки, справочники, расписания и т.п. Существуют фактографические ИПС, которые обеспечивают накопление информации и поиск только по одному типу объектов и только по одному типу запросов. Существуют и более развитые фактографические системы, обеспечивающие хранение и поиск данных, разнообразных по содержанию и структуре, но это разнообразие всегда конечно.

В то же время между документальными и фактографическими системами нет непреодолимой разницы. Нередко реальные ИПС представляют собой пример смешанных систем, в которых фактографическая информация используется как дополнительное средство документального поиска, и наоборот. В документальных системах тексты (документы) также могут быть структурированы, разбиты на фрагменты или поля, и обработка и выдача документальной информации может вестись на уровне отдельных полей.

Выделяют еще и третий тип систем, которые называют информационно-логическими. Это системы, отвечающие на запросы, на которые в информационной базе в явном виде ответа нет. Получить ответ помогает экстралингвистическая база знаний и информация, порождаемая алгоритмически из уже имеющейся (документальной или фактографической). Эта новая информация или выдается как ответ на запрос, или дополнительно используется для поиска.

Информационно-поисковая система документального типа представляет собой упорядоченную совокупность документов, а также совокупность средств и методов, предназначенных для хранения, поиска и выдачи по запросам документальной информации. Документальная ИПС выдает документы, соответствующие запросу по теме, по предмету. Документ, центральный предмет или тема которого в целом соответ-ствует смысловому содержанию информационного запроса, называется релевантным , а свойство смысловой близости между двумя и более текстами (в данном случае - между документом и информационным запросом) - релевантностью . Релевантность - это фундаментальное понятие теории информационного поиска. Говорят о двух видах релевантности: смысловой и формальной. Соответствие документа содержа-нию информационного запроса называют смысловой релевантностью, а соответствие поискового образа этого документа формализованному поисковому предписанию, выражающему данный информационный запрос, - формальной релевантностью. Также формальную релевантность называют релевантностью документа, а смысловую релевантность - релевантностью информации (имеется в виду «информации, содержащейся в документе»).

Составные части ИПС называют подсистемами. Разделение на подсистемы необходимо и полезно как в целях разработки, так и для описания технологии функционирования систем. Оно может иметь разную основу. Обычно рассматривают два типа разбиения ИПС на подсистемы: по функциональному принципу (функциональные подсистемы) и по типу средств (обеспечивающие подсистемы).

Различные средства, реализующие функции ИПС, получили название обеспечивающих подсистем , или «обеспечений». Выделяют следующие подсистемы: лингвистическое обеспечение, информационное обеспечение, техническое обеспечение, программное обеспечение, технологическое обеспечение, кадровое обеспечение и др.

Информационное обеспечение - это информационные массивы (документы, запросы, метаданные), а также средства и способы их описания, построения и классификации.

Лингвистическое обеспечение - это логико-семантический аппарат, состоящий из информационно-поискового языка, правил применения (методик индексирования), критерия выдачи и других языковых средств.

Программное обеспечение - это алгоритмы и программные средства, реализующие все функции ИПС, выполняемые с помощью компьютера.

Техническое обеспечение - это технические средства (компьютеры, средства телекоммуникаций), обеспечивающие хранение, поиск и передачу информации.

Технологическое обеспечение - это набор и порядок выполнения автоматизированных и неавтоматизированных процессов и процедур обработки информации в ИПС, включая их описание, информационно-технологические схемы и инструктивно-методические материалы.

Кадровое (или штатное) обеспечение - это люди, взаимодействующие с системой и обеспечивающие ее эксплуатацию (обслуживающий персонал).

ИПС также делят на составные части (подсистемы) по функциональному признаку, когда каждая подсистема выполняет определенную функцию в технологическом процессе: ввод документов, индексирование документов, ввод и корректировка запросов, индексирование запросов, поиск, ведение словарей, ведение статистики, обработка результатов поиска, выдача документов и др. Такие части получили название функциональных подсистем .

Важные понятия в информационном поиске - документ и запрос. Документ определяется как средство закрепления любым способом на специальном материале любой информации о фактах, событиях, явлениях объективной действительности и мыслительной деятельности человека. Документы имеют различную форму представления. В автоматизированных документальных ИПС это прежде всего текстовая информация на естественных языках в машиночитаемой форме.

Запрос представляет собой информационную потребность, сформулированную на естественном языке. Результат «перевода» информационного запроса на информационно-поисковый язык называют поисковым образом запроса (ПОЗ) или поисковым предписанием (ПП). Под этим понимают выражение на языке запросов , который включает в себя как собственно ИПЯ, так и средства управления поиском. Синтаксис и семантика языков запросов определяется структурой и наполнением документов и общими задачами системы.

Третья часть информационного обеспечения - так называемая «выдача», результаты поиска. Выдача существует в двух видах: краткие описания документов и собственно документы.

Важнейшей компонентой информационно-поисковых систем является информационно-поисковый язык. Человек, чтобы отобрать из массива документов нужные, должен прочитать или просмотреть их содержимое. Для ускорения и упрощения этой процедуры появились различные формы сокращенной записи содержания документов - аннотации, рефераты, каталоги. Но во всех этих случаях при отборе документов по их сокращенным описаниям используется естественный язык. Хорошо известны такие «недостатки» языковых знаков, как омонимия, синонимия, многозначность. Точное значение многих слов можно понять только в контексте. Это препятствует использованию естественного языка для фиксации и отождествления понятийной информации. Поэтому формальные системы, предназначенные для хранения документальной информации с целью последующего поиска, потребовали создания специальных информационных языков. Информационно-поисковые языки представляют собой знаковые системы со своим алфавитом, лексикой, грамматикой и правилами пользования. Заметим лишь, что все искусственные языки так или иначе создавались и создаются на основе естественных языков.

При сопоставлении документов и запросов требуется определить релевантность документа по отношению к запросу и принять решение о выдаче или невыдаче документа на данный запрос. Правила, на основе которых формально определяется степень релевантности документа и запроса, т.е. соответствие ПОД и ПОЗ, называются критерием смыслового соответствия (КСС), или критерием выдачи .

Математические модели и формулы вычисления коэффициента релевантности могут быть самые разные. На практике повсеместное распространение получили ИПС с логическим критерием выдачи , когда ПП строятся с использованием логических (булевых) операторов конъюнкции (&), дизъюнкции (\/), отрицания (~). В этом случае логическое выражение запроса представляет собой набор поисковых элементов (обычно ключевых слов), объединенных логическими операторами и скобками, необходимыми для указания порядка выполнения операторов. Ключевые слова ПП играют роль булевых переменных, принимающих значение 1 («истина»), если данное слово содержится в документе, и 0 («ложь»), когда оно там отсутствует. Документ признается релевантным запросу, если логическая формула запроса в целом получает для данного документа значение «истина», и нерелевантным, если результат вычисления логической формулы дает «ложь».

Принятые в логике для обозначения конъюнкции, дизъюнкции и отрицания значки (&, \/, ~) в информационном поиске обычно заменяют на операторы AND, OR и NOT соответственно. В России чаще используются обозначения И, ИЛИ, НЕ. Однако в общем случае в каждой конкретной ИПС обозначения для булевых операторов выбираются свои, причем иногда для удобства пользователя вводится несколько значков для одного и того же оператора (например, в ИПС «Апорт» оператор конъюнкции может быть задан следующими знаками: &, пробел, AND, И, +).

Использование булевых операторов обеспечивает логику сравнения документов и запросов, понятную пользователю. Поиск (вычисление истинности для элементов ПП), как правило, проводится по специальным индексным (инвертированным) файлам, построенным на основе словника документального массива, и характеризуется высокой скоростью. Эти простота и понятность логического КСС и явились причиной его широкой распространенности.

Проблема оценки эффективности поиска является комплексной проблемой, включающей как теоретическую, так и практическую сторону. Главные из функциональных (технических) показателей ИПС, базирующихся на релевантности, - это полнота и точность, которые основываются на разделении документов на релевантные и нерелевантные, а также на выданные и невыданные.

Полнотой поиска (П) (англ. Recall - R) называется мера, вычисляемая как отношение количества выданных релевантных документов к общему числу релевантных документов, содержащихся в информационном массиве.

Точность поиска (Т) (англ. Precision - P) - это отношение количества выданных релевантных документов к общему числу документов в выдаче .

1.2. Информационный поиск в сети Интернет

Переход к информационному обществу XXI века породил беспрецедентный рост объемов и концентрации информации в глобальных компьютерных сетях. Это резко обострило проблему создания информационно-поисковых систем (ИПС) и их эффективного использования.

История автоматизированных информационно-поисковых систем исчисляется полувеком. Типичная ИПС первых лет - это человеко-машинная система, где анализ и описание содержания документов (индексирование) выполняется вручную, а поиски проводятся машиной. Первоначально основу ИПС составляли информационно-поисковые языки (ИПЯ), основным элементом которых являются дескрипторные словари и тезаурусы. Сегодня, однако, большинство работающих ИПС относится к классу вербальных систем бестезаурусного типа, когда индексационные термины выбираются непосредственно из текстов документов. Лавинообразный рост объемов электронной документальной информации, ее видовое, тематическое и языковое разнообразие являются как причиной кризиса современного информационного поиска, так и стимулом его совершенствования.

Проблема поиска ресурсов в сети Интернет была осознана достаточно скоро, и в ответ появились различные системы и програм-мные инструменты для поиска, среди которых следует назвать системы Gopher, Archie, Veronica, WAIS, WHOIS и др. В последнее время на смену этим инструментам пришли «клиенты» и «серверы» всемирной паутины WWW.

Если попытаться дать классификацию ИПС сети Интернет, то можно выделить следующие основные типы:

1. ИПС вербального типа (поисковые системы – search engines)

2. Классификационные ИПС (каталоги – directories)

3. Электронные справочники («желтые» страницы и т.п.)

4. Специализированные ИПС по отдельным видам ресурсов

5. Интеллектуальные агенты.

Глобальный учет всех ресурсов Интернета обеспечивается вербальными и отчасти классификационными системами.

Классификационные ИПС реализуют навигацию в веб-пространстве на основе специальных указателей, представляющих собой тематические «деревья», строящиеся на основе классификаций. Схемы классификации ресурсов в Интернете - это, как правило, древесные структуры, узлы которых названы словами естественного языка. Различные классификационные схемы отличаются друг от друга по объему и методологии их составления. Одним из недостатков универсальных иерархических классификаций является то, что они консервативны и отстают от развития науки, техники и жизни вообще. Главная проблема классификационных поисковых служб - это автоматизация классификации. До сих пор задача автоматической классификации удовлетворительного решения не нашла. Регистрация веб-сайтов и веб-страниц в каталогах, как правило, осуществляется людьми - индексаторами и модераторами данной системы. И поэтому объем базы данных систем классификационного типа сравнительно невелик по сравнению с информационной емкостью всего Интернета.

Для решения проблемы максимального охвата ресурсов Интернета создаются системы, называемые метапоисковыми (metasearch engines). Они не имеют собственных поисковых баз данных, не содержат никаких индексов и при поиске используют ресурсы других поисковых систем. За счет этого вероятность нахождения нужной информации возрастает. Для передачи запроса к поисковой системе используется специальный метапоисковый агент, который отвечает за процесс ретрансляции запроса в другие системы. После обработки полученного запроса каждая система возвращает метапоисковому агенту множество описаний и ссылок на документы, которые считает релевантными данному запросу. При всей привлекательности метапоисковых систем следует помнить и об их минусах и недостатках. Прежде всего, отсутствие единого стандарта языка запросов не позволяет метасистемам добиваться от поисковых систем, выполняющих запросы метапоисковых систем, такого же результата, какого может добиться опытный пользователь при работе с каждой машиной в отдельности.

Основным средством поиска информации в сети сегодня следует считать глобальные ИПС вербального типа (search engines), индексирующие (по крайней мере, претендующие на это) все Интернет-пространство. К числу главных поисковых систем этого типа (в первую очередь, по объему базы данных) можно отнести Google, Fast (AlltheWeb), AltaVista, HotBot, Inktomi, Teoma, WiseNut, MSN Search. Среди российских систем главными являются три: Яндекс (Yandex), Рамблер (Rambler) и Апорт! (Aport). Полнота поисковой базы и оперативность индексирования веб-сайтов является главной проблемой всех ИПС в Интернете. Как правило, системы с бóльшим объемом базы дают в результате поиска и большее количество документов. Большая, как лингвистическая, так и программная проблема - многоязычие информационного пространства Интернета и многообразие форматов представления данных. Тем не менее, основные глобальные системы с этими проблемами справляются.

Именно вербальным ИПС и уделено основное внимание в практической части пособия. Прежде всего, моделируется уровень пользователя, выражающийся в языках запросов и в запросно-ответных интерфейсах. Производится сравнительный анализ языков запросов различных ИПС сети Интернет.

Особенность современных систем - полнотекстовый поиск. Многие вербальные ИПС сети Интернет вычисляют релевантность документов запросам путем сопоставления элементов запроса с полными текстами документов, размещенных в сети. Что касается информационно-поискового языка, то, как правило, в качестве поисковых элементов выступают обычные слова естественных языков. Запросы формулируются через специальный интерфейс, реализуемый в виде экранных форм в программах-броузерах.

Полезно представлять, как эти системы устроены. В составе любой поисковой системы можно выделить три основные части.

Робот - подсистема, обеспечивающая просмотр (сканирование) Интернета и поддержание инвертированного файла (индексной базы данных) в актуальном состоянии. Этот программный комплекс является основным средством сбора информации о наличии и состоянии информационных ресурсов сети.

Поисковая база данных - так называемый индекс - специальным образом организованная база (англ. index database), включающая, прежде всего, инвертированный файл, который состоит из лексических единиц, взятых из проиндексированных веб-документов, и содержит разнообразную информацию о них (в частности, их позиции в документах), а также о самих документах и сайтах в целом.

Поисковая система - подсистема поиска, обеспечивающая обработку запроса (поискового предписания) пользователя, поиск в базе данных и выдачу результатов поиска пользователю. Поисковая система общается с пользователем через пользовательские интерфейсы - экранные формы программ-броузеров: интерфейс формирования запросов и интерфейс просмотра результатов поиска.

Индексный файл (или просто индекс) представляет собой набор связанных между собой файлов, ориентированных на быстрый поиск данных по запросу. В основе индекса всегда лежит инвертированный файл. Инвертированная (инверсная) схема организации поискового массива основана на принципе обеспечения доступа к документам через их идентификаторы содержания (поисковые признаки: дескрипторы, ключевые слова, термины, другие признаки). Такую схему получают путем обработки последовательного массива документов с целью создания специальных вспомогательных инвертированных файлов - точек доступа.

Каждая запись такого вспомогательного массива идентифицирована соответствующим идентификатором содержания (дескриптор, ключевое слово, просто термин, имя автора, название организации и т.п.) и содержит имена (адреса хранения) всех документов, в поисковых образах которых он содержится. Для каждого идентификатора содержания (поискового элемента данных) в инвертированном массиве вместе с адресом (номером, именем) документа может храниться (и обычно хранится) дополнительная информация, как-то: имя поля, номер предложения, в составе которых данный элемент встретился в данном документе, номер слова в предложении и т.д. Фиксация положения слова в тексте с точностью до номера предложения и номера этого слова в предложении позволяет построить гибкий язык запросов, позволяющий задавать расстояние между словами и предложениями в документе. Позиционные характеристики также используются при вычислении коэффициента релевантности и ранжировании документов в выдаче.

Нахождение необходимых документов через инвертированный файл осуществляется не сплошным просмотром всего массива, а просмотром лишь тех идентификаторов содержания в инвертированном файле, которые заданы в поисковом предписании, т.е. число операций сравнения слов при поиске пропорционально числу терминов поискового предписания. Такой способ работы систем снижает время на поиск и позволяет обслуживать потребителей информации в реальном масштабе времени.

Поиск в индексе - это операции над списками идентификаторов поисковых элементов в соответствии с моделью поиска и критерием соответствия. Результирующий список релевантных документов (в современной терминологии «отклик»), который преобразуется в ранжированный список кратких описаний документов, снабженных гипертекстовыми ссылками и другими характеристиками, возвращается пользователю в его клиентскую программу-броузер. Щелчок мышью по названию документа в его кратком описании (по гиперссылке) запрашивает этот документ либо непосредственно с того сервера, на котором он находится, либо через базу данных поисковой системы.

Важным компонентом современных ИПС являются так называемые интерфейсные веб-страницы, т.е. экранные формы, через которые пользователь общается с поисковой системой. Различают два основных типа интерфейсных страниц: страницы запросов и страницы результатов поиска.

индексирование полных текстов возможно большего числа сайтов;

«грамотная» работа со словоформами - способность ИПС отождествлять разные словоформы одной и той же лексемы, по-другому, порождать каноническую форму - лемму, и возможность выделять среди множества словоформ конкретную форму;

поиск слов с заданным или произвольным усечением, как правым, так и левым;

работа со словосочетаниями - учет расстояния между словами в словосочетаниях и порядка их следования;

эффективные алгоритмы вычисления коэффициента смысловой релевантности и ранжирования результатов поиска.

Также важно, какую информацию и в каком виде можно извлечь из выходных интерфейсов ИПС. Интерфейс выдачи (форма представления результатов) у разных систем включает такие параметры: статистика слов из запроса, количество найденных документов, количество сайтов, средства управления сортировкой документов в выдаче, краткое описание документов и др. Описание каждого документа, в свою очередь, может содержать в своем составе: заглавие документа, URL (адрес в сети), объем документа, дату создания, название кодировки, аннотацию, шрифтовое выделение в аннотации слов из запроса, указание на другие релевантные веб-страницы того же сайта, ссылка на рубрику каталога, к которой относится найденный документ или сайт, коэффициент релевантности, другие возможности поиска (поиск похожих документов, поиск в найденном). Большой интерес представляют также частотные характеристики - сведения о количестве найденных документов и отождествленных языковых единиц. Некоторые системы ведут журнал запросов с возможностью повторных поисков и выдачей статистики по запросам. Полезной и интересной возможностью является также отнесение документов к тематическим классам.

Покажем особенности разных систем, наиболее популярных и обладающих наиболее развитым лингвистическим обеспечением (см. Табл., с. 14). В первую очередь, это российские ИПС Яндекс, Рамблер и Апорт. Возможно, наиболее мощный лингвистический аппарат имеет ИПС «Артефакт» (фирма «Интегрум-ТЕХНО», г. Москва), однако эта система является коммерческой и ее база данных по составу заметно отличается от других. Из западных систем, в большинстве своем не обладающих развитыми лингвистическими средствами анализа текстового материала, возьмем хорошо известные ИПС Google и AltaVista. Кратко охарактеризуем особенности этих систем (наличие или отсутствие соответствующих возможностей помечено знаками «+» и «-»).

«Поиск по лексемам» означает, что результат сравнения слов документов и запросов признается положительным при наличии в документе любой формы слова из запроса, что обеспечивается механизмом автоматической лемматизации.

«Поиск по словоформам» означает, что результат сравнения документов и запросов признается положительным при наличии в документе словоформы, точно совпадающей со словом из запроса, что происходит при отсутствии автоматической лемматизации или обеспечивается особым механизмом учета словоформ.

«Частота подокументная» означает, что в результате поиска выдается сообщение о количестве релевантных документов, т. е. документов, содержащих данное слово (словоформу) или словосочетание.

«Частота пословная» означает, что в результате поиска дополнительно выдаются сведения об общем количестве словоупотреблений данной лексемы или конкретной словоформы в поисковой базе данных (индексе).

Характеристика поисковых систем

1.3. Языки запросов ИПС Интернет

Обратившись в какую-либо службу, пользователь, не выходя из броузера, работает с «клиентом» этой службы, предоставляющим нам тот или иной язык запросов. Как правило, это языки без контроля лексики. Фактически, мы имеем дело с нормальным ИПЯ, реализованным в архитектуре «клиент-сервер», но видим только «надводную» часть этого ИПЯ - язык запросов. Язык запросов большинства систем включает в себя как традиционные булевы операторы, так и специальные контекстные операторы, учитывающие структурирование документа, порядок слов в тексте и расстояние между словами.

На языке запросов описывается сам запрос и иногда форма представления результатов. В языках запросов сетевых ИПС можно выделить следующие основные компоненты.

1) Собственно поисковые элементы (объекты поиска).

Это или ключевые слова, или другие идентификаторы содержания.

2) Поисковые операторы.

Почти во всех языках запросов используются булевские логические операторы И, ИЛИ, НЕ. Форма, в которой эти операторы задаются в запросе, самая разная, и разнится она как в отдельных службах, так и в разных типах запросов (простой, сложный).

3) Нормализация элементов запроса.

Одни и те же лексические единицы в документах и запросах могут быть представлены в разной форме. В поисковых службах имеются способы нормализации таких лексических единиц. Эта нормализация может задаваться самим пользователем (способ, известный под названием «усечения» (truncation) или «маскирования» (wildcards)) или выполняться автоматически (последнее предпочтительнее).

4) Линейная грамматика: порядок следования поисковых элементов и расстояние между ними.

Во-первых, это «фразы» (жесткие словосочетания).

Во-вторых, имеются специальные контекстные операторы (контекстное И), когда условие совместного вхождения элементов запроса в документ должно выполняться в контексте определенной длины.

5) Дополнительные условия поиска.

Для уменьшения объема выдачи и повышения точности используются различные дополнительные условия поиска, как-то:

– поиск в определенных полях (частях) документа;

– ограничение области поиска различными критериями (дата, тип данных, формат, и т.п.).

6) Требования к форме представления результатов поиска.

– требования на сортировку (ранжирование) выдаваемых результатов поиска;

– вид выдаваемых результатов;

– количество выдаваемых документов.

Для получения (просмотра) самих документов (веб-страниц) и их просмотра необходимо отправиться по http-адресу. Как правило, системы предоставляют возможность посмотреть контекст - фрагменты документов с выделенными ключевыми словами запроса.

В процессе поиска пользователю, как правило, дается возможность вернуться к старому запросу и либо просто уточнить, сузить его, либо перейти в другой режим поиска, предоставляющий более сложные поисковые средства. Довольно широко также распространен еще один способ поиска - поиск по образцу (search similar pages). При этом стратегия поиска выбирается самой системой.

2. Программа учебной дисциплины
«Теория информационного поиска»

2.1. Организационно-методический раздел

Программа дисциплины составлена в соответствии с государ-ственным образовательным стандартом высшего профессионального образования по направлению 021800 - Лингвистика.

Цель курса состоит в том, чтобы дать студентам теоретические основы информационного поиска, в первую очередь, документального, и навыки использования различных документальных ИПС, в том числе в сети Интернет.

Задачи курса:

ознакомить студентов с основными понятиями и пробле-мами автоматизированного информационного поиска;

ознакомить студентов с основными принципами организа-ции и функционирования информационно-поисковых систем (ИПС);

изучить различные ИПС, в том числе ИПС сети Интернет;

сформировать навыки исследовательской работы по анали-зу и сопоставлению различных систем.

Место курса в профессиональной подготовке выпускника: курс носит пропедевтический характер. Он рассчитан на широкий круг студентов-гуманитариев и призван дать им основополагающее пред-ставление о способах хранения и поиска информации.

Требования к уровню освоения содержания курса

В результате обучения студент:

должен знать:

основные понятия, относящиеся к информационным сис-темам;

основные типы систем;

понятие информационно-поискового языка;

понятия релевантности и критерия смыслового соответ-ствия;

основные поисковые системы сети Интернет;

языки запросов и интерфейсы этих систем;

должен уметь:

осуществлять поиск в сети Интернет;

сравнивать и анализировать различные системы.

Разделы курса:

Основы информационного поиска

Документальные ИПС

Фактографические ИПС

Информационный поиск в сети Интернет

Раздел 1. Основы информационного поиска

Предмет, цели и задачи курса. Связь курса с другими дисциплинами.

Информация, информационные процессы, информационные системы, информационные потоки, информационные технологии. Типы информационных систем (АИПС, АСНТИ, АСУ, АСНИ, АОС, САПР, ЭС, БЗ и др.).

Основные понятия информационного поиска: информация, информационная система, информационная потребность, релевантность.

Данные и документы. Виды информационных документов. Текстовые документы. Описание документов.

Запросы. Типы запросов. Предметный поиск. Основные проблемы автоматизации семантических процессов обработки информации.

Информационно-поисковые системы (ИПС). Типы ИПС. Краткий обзор основных типов: документальные, фактографические, интеллектуальные.

Библиографический поиск. Библиографические базы данных и электронные каталоги. Библиотечные системы.

Нетекстовые информационные системы (географические, картографические и др.). Поиск объектов по их описаниям (графические файлы, музыкальные файлы и т.п.). Поиск изображений и видеоинформации.

Раздел 2. Документальные ИПС

История развития автоматизированных документальных ИПС, этапы развития. Интегрированные системы. АСНТИ. Особенности современного этапа.

Составные части ИПС. ИПЯ. . Модели поиска. Абстрактная и конкретная ИПС.

Структура документальных и фактографических ИПС. Функциональные подсистемы. Структурная схема документальной ИПС.

Двухконтурные системы. Полнотекстовые ИПС. Гипертекстовые информационные системы.

Обеспечивающие подсистемы. Техническое обеспечение. Програм-мное обеспечение. Компьютерные сети. Особенности построения сетевых ИПС.

Математическая модель документальной ИПС.

Организация поисковых массивов в ИПС.

Классификация документальных ИПС по различным основаниям.

Раздел 3. Фактографические ИПС

Фактографическая информация. Хорошо структурированная и плохо структурированная фактографическая информация.

Объектно-характеристические таблицы.

Язык семантической эксп-ликации.

Эффективность фактографических ИПС.

Библиографический поиск как вид фактографического.

Раздел 4. Лингвистическое обеспечение информационного поиска

Лингвистические средства информационного поиска. Состав лингвистического обеспечения ИПС.

Понятие информационно-поискового языка (ИПЯ). ИПЯ как основной элемент логико-семантического аппарата ИПС.

Информационно-поисковые языки: классификация, типология. Объектно-признаковые языки. Классификации. Алфавитно-предметные и фасетные классификации.

Дескрипторные языки. Вербальные языки.

Семантические и синтагматические языки.

Способы описания языков. Составные части дескрипторных информационно-поисковых языков (алфавит, словарь, грамматика).

Нормирование лексики в ИПС. Дескрипторные словари. Тезаурусы. Создание словарей и тезаурусов. Авторитетный контроль как элемент лингвистического обеспечения автоматизированных библиотечных систем.

Грамматические средства ИПЯ. Парадигматические и синтагматические отношения.

Индексирование документов и запросов. Поисковые образы доку-ментов и запросов.

Языки запросов: понятие и состав. Средства и методы выражения информационной потребности. Поисковые предписания.

Модели поиска. Поисковые операторы.

Средства морфологической нормализации.

Языковые средства представления и структурирования электрон-ных документов (форматы, языки SGML, HTML, XML). Языки мета-данных (Dublin Core, GILS и др.).

Лингвистическое обеспечение фактографических ИПС. Основные единицы ИПЯ фактографических ИПС.

Раздел 5. Функционирование и эксплуатация ИПС

Информационное, технологическое и кадровое обеспечение.

Технология предмашинной обработки информации. Индексирование документов и запросов. Особенности поиска в зависимости от видов документов.

Режимы функционирования ИПС (ИРИ, ретроспективный поиск). Пакетный и диалоговый режимы.

Основные технические характеристики документальных ИПС (пол-нота, точность). Факторы, влияющие на эффективность поиска. Оценки эффективности ИПС.

Средства и методы решения лексико-семантических проблем в ИПС. Проблемы составления поисковых предписаний. Обратная связь по релевантности.

Обеспечение результатов поиска первичными документами. Электронная доставка документов.

Раздел 6. Информационный поиск в сети Интернет

Значение компьютерных сетей для организации информационного обслуживания. Способы и средства доступа к удаленным докумен-тальным массивам. Протокол Z39.50 (Search/Retrieval).

Сеть Интернет, ее краткая характеристика. Интернет как элек-тронная транспортная система. Интернет как глобальное информаци-онное пространство.

Информационные ресурсы сети Интернет. FTP-серверы. GOPHER. WAIS.

Понятие о гипертексте. Гипертекстовые системы до появления Интернета. WWW-серверы. Навигация в сети. Проблемы поиска инфор-мации.

Документальные источники информации. Электронные документы. Форматы представления текстовой информации в сети (html, pdf, ps, doc и др.). Электронные издания.

Нетекстовые информационные объекты. Понятие электронной библиотеки.

Типология поисковых систем в сети Интернет. Различные основания для классификации (по ширине охвата, по внутренним характеристикам, по видам документов).

Типология поисковых систем в Интернет. Классификационные информационно-поисковые системы (каталоги). Вербальные (текстовые, словарные) информационно-поисковые системы (поисковые машины).

Глобальные информационно-поисковые системы и службы Интернета.

Естественные языки в Интернете. Региональные ИПС. Региональные версии глобальных систем. Русскоязычный Интернет.

Методы создания поисковых баз данных в глобальных системах. Индексирование и регистрация. Роботы-индексаторы. Инструменты управления индексированием (файл robots.txt, META-элементы).

Особенности лингвистического и информационного обеспечения ИПС в Интернет. Вербальные ИПЯ. Грамматические средства ИПЯ: синтагматика. Контекстно-позиционные операторы («фразы», операторы расстояния и др.).

Проблемы ранжирования документов в выдаче. Способы управления ранжированием.

Входные интерфейсы. Языки запросов (простые, расширенные). Их состав, примеры. Сравнительный анализ языков запросов ИПС сети Интернет. Сохранение запросов (история сеанса).

Выходные интерфейсы. Представление результатов поиска. Описание документов (веб-страниц), описание сайтов. Группирование документов по сайтам. Идентификация и объединение дублей.

Управление поиском. Статистика поиска. Поиск в найденном. Поиск по подобию.

Примеры вербальных ИПС. Сравнительный анализ поисковых систем.

Практикум по отладке запросов и поиску в вербальных ИПС.

Классификационные ИПС. Способы формиро-вания базы данных в классификационных системах. Регистрация, специальные регистрационные сайты. Поиск по рубрикатору.

Практикум по поиску в классификационных ИПС.

Раздел 7. Настоящее и будущее информационного поиска

Коммерциализация Интернета в целом и поисковых служб в частности. Реклама. Плата за ускоренную регистрацию.

Развитие локальных ИПС.

Проблемы унификации и стандартизации.

Средства обратной связи. Неформальные «поисковые сообщества».

Развитие лингвистического обеспечения.

Системы с централизованной и децентрализованной распределенной архитектурой.

Интеллектуализация информационного поиска. Интеллектуальные информационные системы.

Элементы интеллектуальной обработки в глобальных ИПС сети Интернет. Интеллектуальные агенты.

Языки метаданных, языки XML, RDF, OWL и другие средства описания содержания.

2.3. Примерные вопросы для самоконтроля

Дать определения:

Критерий выдачи

Релевантность

Тезаурус

Составные части ИПС

Состав лингвистического обеспечения

Инверсный файл

Выбрать правильные варианты ответов

Знак «&» в ИПС Рамблер означает операцию:

дизъюнкции (ИЛИ)

конъюнкции (И)

расстояния

Знак «|» в ИПС Яндекс означает операцию:

следования

конъюнкции (И)

дизъюнкции (ИЛИ)

Функциональные подсистемы ИПС - это:

лингвистическое обеспечение

программное обеспечение

техническое обеспечение

ввод документов

ввод запросов

критерий смыслового соответствия

язык запросов

выдача результатов поиска

инвертированные файлы

Типы ИПЯ - это:

морфологические языки

дескрипторные языки

семантические языки

классификационные языки

вербальные языки

вторичные языки

объектно-признаковые языки

Основные способы морфологической нормализации в ИПС:

на основе автоматического морфоанализа

усечение

маскирование

префиксация

Критерий смыслового соответствия - это:

правила индексирования

правила нормализации

правила вычисления полноты

методы ранжирования

методы классификации

Индексирование - это:

морфологическая нормализация

составление поискового образа

перевод на язык математической логики

перевод на ИПЯ

вычисление релевантности

составление дескрипторного словаря

Обеспечивающие подсистемы ИПС - это:

лингвистическое обеспечение

программное обеспечение

техническое обеспечение

ввод документов

ввод запросов

критерий смыслового соответствия

поисковые предписания

выдача результатов поиска

инвертированные файлы

Типы ИПЯ:

объектно-признаковые языки

классификационные языки

морфологические языки

семантические языки

вербальные языки

вторичные языки

дескрипторные языки

Критерий выдачи - это:

правила индексирования

правила нормализации

правила вычисления релевантности

правила вычисления полноты

методы ранжирования

методы классификации

2.4. Примерная тематика докладов, рефератов,
курсовых работ

Анализ и описание ИПС сети Интернет (выбор сис-темы по согласованию с преподавателем)

Создание терминологического банка данных по ин-форма-ционно-поисковым системам (выявление, клас-сификация терминов и толкований; результат - ги-пертекстовый словарь-указатель или поисковая база данных)

Исследование способов использования онлайновых словарей и тезаурусов (например, WordNet) для индекси-рования запросов в информационно-поисковых системах

Анализ и описание механизмов морфологической нормализации в информационно-поисковых системах

Учет синтагматических связей как средство повы-шения эффективности поиска в полнотекстовых ИПС (экспериментальное исследование)

Вычисления релевантности в информационно-поис-ковых системах (экспериментальное исследование)

Анализ исследований сравнительной эффективности полнотекстовых информационно-поисковых систем

Анализ лингвистического обеспечения полнотекс-товых информационно-поисковых систем

Аналитический обзор публикаций электронного жур-нала по информационно-поисковым системам Search Engine Report

2.5. Примерный перечень вопросов к экзамену
(зачету) по всему курсу

Абстрактная и конкретная (реальная) ИПС

Вербальные информационно-поисковые системы (поисковые машины). Их архитектура. Примеры вербальных ИПС

Глобальные и региональные ИПС в сети Интернет. Примеры

Грамматические средства ИПЯ. Способы выражения грамматических отношений

Дескрипторные словари. Тезаурусы

Документальная информация в сети Интернет. Текстовые документы. Языковые средства представления и структурирования документов (под углом поиска)

Индексирование документов и запросов. Автоматизация индексирования

Интеллектуальные информационные системы

Интернет как глобальная информационная среда. Информационные ресурсы сети. Проблемы поиска в сети Интернет

Информационная потребность, информационный запрос, поисковое предписание

Информационно-поисковые системы (ИПС). Типы ИПС. Краткий обзор основных типов

Информационно-поисковые языки: классификация, типология

ИПЯ. Дескрипторные языки. Вербальные языки

ИПЯ. Классификационные языки

История развития автоматизированных документальных ИПС, этапы развития. Особенности современного этапа

Классификационные информационно-поисковые системы (каталоги). Примеры классификационных ИПС

Классификация документальных ИПС по различным основаниям

Критерий смыслового соответствия. Модели поиска

Лингвистические средства информационного поиска. Состав лингвистического обеспечения ИПС

Методы создания поисковых баз данных в глобальных системах (индексирование, регистрация)

Морфологическая нормализация лексики в ИПС

Обеспечивающие подсистемы

Объектно-признаковые языки

Организация поисковых массивов в ИПС

Основные технические характеристики документальных ИПС (полнота, точность)

Понятие информационно-поискового языка (ИПЯ). Классификация (типология) ИПЯ

Понятия «информация» и «система». Информационные процессы и системы. Типы информационных систем

Проблемы многоязычного поиска в Интернет. Способы решения в разных ИПС

Проблемы поиска документов на русском языке. Русско-язычные ИПС

Проблемы составления поисковых предписаний. Обратная связь по релевантности

Смешанные (гибридные) системы. Метапоисковые системы. Примеры

Составные части дескрипторных информационно-поисковых языков

Составные части ИПС. Системные взаимосвязи между элементами ИПС

Сущность документального информационного поиска. Понятие релевантности

Семантические языки

Технология и режимы функционирования ИПС. Двухконтурные ИПС

Типология поисковых систем в Интернет

Фактографические ИПС

Функционально-структурная схема ИПС. Функциональные подсистемы

Язык запросов ИПС «Altavista». Интерфейс представления результатов поиска

Язык запросов ИПС «Google». Интерфейс представления результатов поиска

Язык запросов ИПС «Апорт». Интерфейс представления результатов поиска

Язык запросов ИПС «Рамблер». Интерфейс представления результатов поиска

Язык запросов ИПС «Яндекс». Интерфейс представления результатов поиска

Языки запросов современных информационно-поисковых систем. Сравнительный анализ

Языки запросов. Поисковые предписания.

2.6. Распределение часов курса по темам
и видам работы

2.7. Форма текущего, промежуточного и итогового контроля

В течение семестра слушатели готовят письменные работы (рефераты) по одной из выбранных тем, которые «защищаются» в конце курса в виде докладов. В конце курса - зачет.

2.8. Учебно-методическое обеспечение курса

Основная литература

Захаров В.П. Информационные системы (документальный поиск). СПб., 2002.

Информатика / Под ред. К.В. Тараканова. М., 1986.

Лахути Д.Г . Автоматизированные документально-фактогра-фические информационно-поисковые системы // Итоги науки и техники. Информатика. Т. 12. М., 1988. С. 6–77.

Солтон Дж. Динамические библиотечно-информационные системы. М., 1979.

Сэлтон Г. Автоматическая обработка, хранение и поиск информации. М., 1973.

Черный А.И . Введение в теорию информационного поиска. М., 1975.

Дополнительная литература

Аветисян Д.О . Проблемы информационного поиска. М., 1991.

Армс У. Электронные библиотеки. М., 2001.

Белоозеров В.Н. Новые стандарты на терминологию инфор-мационного поиска // НТИ. Сер. 1. 1997. № 11. С. 14–21.

Войскунский В.Г. Документальный поиск и обратная связь // Предметный поиск в традиционных и нетрадиционных информационно-поисковых системах. СПб., 1993. Вып. 11. С. 129–141.

Войскунский В.Г., Захаров В.П. Диалоговый отладочный комплекс // Структурная и прикладная лингвистика: Межвузовский сборник. Вып. 4. СПб., СПбГУ, 1993. С. 197–211.

Декер С., Мельник С., Хермелен ван Ф . Semantic Web: роли XML и RDF // Открытые системы. 2001. № 9. С. 23–33.

Захаров В.П., Мордовченко П.Г., Сахарный Л.В. Совершенствование лингвистического обеспечения в ИПС «бестезаурусного» типа // НТИ. Сер. 2. 1980. № 6. С. 14–19.

Захаров В.П., Панков И.П. Информационно-поисковые системы // Прикладное языкознание: Учебник / Отв. ред. А.С. Герд. СПб., СПбГУ, 1996. С. 334–359.

Захаров В.П., Пименов Е.Н . Естественно-языковой подход к созданию лингвистического обеспечения информационно-по-исковых систем // НТИ. Сер. 2. 1997. № 12.

Змитрович А.И. Интеллектуальные информационные систе-мы. Минск, 1997.

Капустин В.А. Поиск информации в Интернет // Мир Internet. 1998. №9. С. 54–58.

Капустин В.А. Информационные ресурсы - как мы их будем искать? // Мир Internet. 1998. № 9. С. 58–61.

Капустин В.А. Основы поиска информации в Интернет: Методическое пособие. СПб., 1999.

Курник А. Поиск в Интернет. СПб., 2001.

Информационно -поисковые системы. М., 1972.

Лахути Д.Г. Интеллектуализация информационных систем: Научный доклад… М., 2002.

Любарский Ю.Я. Интеллектуальные информационные системы. М., 1990.

Масевич А.Ц . Два подхода к теории ИПС в свете современных лингвистических концепций // Предметный поиск в традиционных и нетрадиционных информационно-поисковых системах. Л., 1989. Вып. 9. С.25–49.

Москович В.А . Информационные языки. М., 1971.

Пархоменко В.Ф. Система автоматического индексирования документов СКОБКИ ОС ЕС // М., 1983

Прикладное языкознание: Учебник. СПб., 1996. С. 59–67, 92–99, 360–388.

Рубашкин В.Ш. Представление и анализ смысла в интеллектуальных информационных системах. М., 1989.

Соколов А.В. Автоматизация библиографического поиска. - М., 1981.

Соколов А.В . Введение в теорию социальной коммуникации. СПб., 1996.

Соколов А.В . Методические материалы по разработке информационно-поисковых тезаурусов. Л., 1976.

Степанов В . Библиографический поиск в Интернет // Библиография. 1998. № 1. С. 5–10.

Храмцов П.Б . Информационно-поисковые системы Internet // Открытые системы. 1996. № 3. С. 46–49.

Храмцов П.Б . Моделирование и анализ работы информационно-поисковых систем Internet // Открытые системы. 1996. № 6. С. 46–56.

Шемакин Ю.И., Романов А.А . Компьютерная семантика. М., 1995.

Шемакин Ю.И . Тезаурус в автоматизированных системах управления и обработки информации. М., 1974.

Стандарты

Типовые проектные решения для автоматизированных сис-тем научно-технической информации. М., 1983.

ГОСТ 34.601-90. Информационная технология. Комплекс стандартов на автоматизированные системы. Стадии создания автоматизированных систем.

ГОСТ 34.602-89. Информационная технология. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы.

ГОСТ 7.52-85. Коммуникативный формат для обмена биб-лиографическими данными на магнитной ленте. Поисковый образ документа.

ГОСТ 7.74-96. Информационно-поисковые языки. Термины и определения.

РД 34.003-90. Информационная технология. Термины и опреде-ления.

РД 34.201-89. Информационная технология. Виды, комплект-ность и обозначения документов при создании автоматизированных систем.

РД 34.680-88. Методические указания. Информационная технология. Основные положения.

РД 34.698-90. Методические указания. Информационная технология. Требования к содержанию документов.

3. Практикум (лабораторные работы)

Инструкция по выполнению лабораторных работ

Результаты лабораторных работ сохраняются на жестком диске в папке соответствующей лабораторной работы Lab#N, где N - номер работы. При этом все эти папки, в свою очередь, хранятся в папке студента, которая имеет следующий путь: ДИСК:\ ФамилияПреподавателя\nnn-Фам\ , где nnn - номер (идентификатор) группы, Фам - фамилия студента. Например, все файлы и папки, создаваемые и сохраняемые в ходе лабораторной работы № 2 размещаются в папке D:\Захаров\ML_3kurs-Иванова\Lab#2. В заданиях лабораторных работ эта текущая папка студента называется «своя папка ».

В ряде случаев перед началом работы по указанию преподавателя следует скопировать (с компьютера преподавателя через «Сетевое окружение» или с дискеты) в свою папку дополнительные файлы, необходимые для выполнения задания.

Текстовый отчет c результатами выполнения соответствующей работы создается в редакторе Word. В окне документа требуется ввести фамилию, имя, номер группы/подгруппы, номер лабораторной работы, дату выполнения работы. Далее в этот файл записывать требуемые результаты выполнения работы (под номером соответствующего пункта задания ). Сохранять эти данные как файл отчета с именем ReportN в своей папке, где N - номер работы. Во избежание потери данных при сбоях формируемые студентами во время работы файлы рекомендуется регулярно сохранять.

Для предъявления преподавателю результатов работы расположить их на экране в следующих окнах, расположив их каскадом слева направо: содержимое папки защищаемой лабораторной работы (в окне Проводника), файл отчета в окне редактора Word, окно броузера (если требуется).

Лабораторная работа № 1

(Классификационные ИПС)

Открыть страницу поисковой системы Апорт (РОЛ, Russia On-Line). Ознакомиться с классификатором (рубрикатором) данной системы. Рубрики верхнего уровня переписать в тетрадь и перенумеровать. Переходя по рубрикам рубрикатора, найти два музея («Литературно-мемориальный музей Ф.М. Достоевского» и «Историко-мемориальный музей М.В. Ломоносова в селе Ломоносово Архангельской области»). Ознакомиться с формой представления информации о сайтах в каталоге.

Для каждого музея:

скопировать краткие описания указанных музеев в каталоге в файл отчета Report1;

указать индекс цитируемости (в виде числа) и лигу (в виде словесного названия) для данных музейных сайтов;

перейти на сайт музея и первую домашнюю страницу скопировать в своей папке в формате ;

создать «закладку» на сайт музея в своей папке в Избранном.

Открыть страницу поисковой системы Яндекс. Ознакомиться с классификатором (рубрикатором) данной системы. Рубрики верхнего уровня переписать в тетрадь и перенумеровать. Пометить (обвести) рубрики, совпадающие с рубриками Апорта (полностью или частично). Переходя по рубрикам рубрикатора, найти «Литературно-мемориальный музей Ф.М. Достоевского» и «Историко-мемориальный музей М.В. Ломоносова в селе Ломоносово Архангельской области». Их описания в рубрикаторе Яндекса скопировать в файл отчета.

Посетить Рейтинговую систему ИПС Рамблер. Ознакомиться с классификатором (рубрикатором) данной системы. Рубрики, совпадающие с рубриками Апорта (полностью или частично), переписать в тетрадь. Посмотреть рейтинг сайтов по теме «Образование». Ознакомиться с формой представления информации в каталоге. Название сайта, занимающего пятое место, с его количественными показателями, скопировать в файл отчета Report1. Посмотреть подробную статистику и статтаблицу скопировать в файл отчета.

То же самое повторить в системе Yahoo.

Лабораторная работа № 2

(Русскоязычные вербальные ИПС: сравнительный анализ)

Работа заключается в сравнительном изучении систем Апорт, Яндекс, Рамблер. Результаты изучения студент должен отразить в виде таблицы (с. 34) в файле Report2 (ориентация таблицы - альбомная). В ячейках записать, как в каждой системе представляется тот или другой элемент языка запросов или входного/выходного интерфейса (все допустимые способы). В некоторых случаях можно отвечать знаками «+» или «–» (например, «Описание документа ») или свободным текстом своими словами (например, «Релевантные страницы того же сайта» или «Сортировка» ).

Перейти на сайт поисковой системы Апорт (затем Яндекс и Рамблер). Найти в каждой системе ссылки на ее описание в целом, на описание языка запросов, интерфейсов («Справка», «Помощь», «Расширенный поиск» и т.п. ). Перейдя по ссылкам, внимательно изучить справочную информацию и в рабочей тетради кратко закон-спектировать основные пункты. После этого для каждой системы заполнить соответствующие ячейки таблицы (разделы 1, 2).

Примечание. Если текст ответа не помещается в ячейке таблицы, рекомендуется делать сноску и продолжать его под таблицей. Обратить внимание на то, что возможности систем в простом и в расширенном поиске различаются. Отразить это в отчете. Обратить внимание на наличие разделов «другое».

Вернуться назад на начальную страницу поисковой системы Апорт (затем Яндекс и Рамблер). Ввести какой-либо запрос (например, «Статистические методы в лингвистике» ) в окне для текстового запроса и провести поиск. Страницу с результатами поиска сохранить в своей папке в формате «только html» .

Изучить форму представления результатов. Кратко записать в тетради, что содержится на веб-странице с результатами поиска (структуру веб-страницы). Изучить форму представления отдельных веб-документов (их краткие описания с дополнительной информацией). На основе изучения полученных результатов и ранее изученной справочной информации заполнить соответствующие ячейки таблицы (раздел 3).

Предъявить работу преподавателю.

Результаты сравнительного изучения систем Апорт, Яндекс, Рамблер

Лабораторная работа № 3

(Русскоязычные вербальные ИПС: поиск)

Составление и отладка тематического запроса

Составить в тетради запрос по теме «Морские сражения во время Великой отечественной войны». При этом убрать из темы незначащие слова, расширить запрос синонимами, составить логическую формулу запроса с обязательным использованием операторов конъюнкции, дизъюнкции, расстояния и фразы (жесткое словосочетание).

Показать запрос преподавателю.

Затем записать его варианты на языках систем Апорт, Яндекс, Рамблер.

Отладить запрос в режиме реального поиска, проводя последовательно сеансы во всех трех системах. Попытаться варьировать поисковые предписания, чтобы добиться оптимальных показателей поиска. Для этого фиксировать в тетради полученные результаты по каждому варианту: точность (по первым 20 документам) и условную полноту (абсолютный объем выдачи).

Вернуться к наилучшему поисковому предписанию и текст запроса скопировать через буфер обмена из поисковой строки (окно для ввода запроса) в окно файла отчета Report3 (поочередно в каждой системе). Указать при этом в отчете показатели точности и полноты. Первую веб-страницу с результатами поиска в каждой системе сохранить в своей папке в формате «только html» .

Знакомство с поиском по полям («Расширенный поиск»)

Найти с помощью системы Яндекс документы, посвященные Льву Гумилеву. Количество найденных документов и сайтов записать в файл отчета. Адрес (URL) первого документа из списка сохранить в Избранном в папке «Гумилев».

Затем перейти в режим расширенного поиска и найти документы, посвященные Льву Гумилеву, с датой после 1 октября 2004 г. Новое количество найденных документов и сайтов снова записать в файл отчета. Первый документ из списка результатов поиска сохранить в своей папке в формате «веб-архив, один файл» (*.mht) .

Найти через систему Рамблер документы по теме «Экономика города Москвы». При этом объём выдачи (количество описаний документов на странице результатов) установить равным 30. Результаты поиска отсортировать по дате (по убыванию) и первую веб-страницу с результатами поиска сохранить в своей папке в формате «только html»

Перейти в режим расширенного поиска и найти документы по той же теме, но находящиеся лишь на сайте. Результаты поиска отсортировать по дате (по возрастанию) и первую веб-страницу с результатами поиска сохранить в своей папке в формате «только html» . Количество найденных документов и сайтов зафиксировать в файле отчета.

Найти через систему Яндекс документы по теме «Образование», из которых есть ссылка на сайт. Первую веб-страницу с результатами поиска сохранить в своей папке в формате «только html» . Количество найденных документов и сайтов зафиксировать в файле отчета.

Загрузить один из найденных документов, просмотреть его html-код, найти в нем ссылку на сайт и элемент гиперссылки (от начального до конечного тега А) через буфер обмена скопировать в файл отчета.

Документ в формате mht, сохраненный в п. 7 (о Льве Гумилеве), прочитать в редакторе Word: вначале в формате веб-страницы, затем в формате «только текст». При втором чтении просмотреть содержимое окна ввода редактора Word (особенно начало и конец файла), скопировать первую страницу окна ввода в файл отчета и быть готовым объяснить, что такое формат mht.

Примечание. Формат mht кодируется в соответствии со стандартом MIME (RFC2046 и RFC2047) .

Предъявить работу преподавателю.

Лабораторная работа № 4

(Глобальные вербальные ИПС: сравнительный анализ)

Работа заключается в сравнительном изучении заданных глобальных ИПС сети Интернет вербального типа.

Примечание. Набор систем и их количество может меняться по усмотрению преподавателя.

Перейти на сайт соответствующей поисковой системы (здесь и далее - доменное имя системы: www .название_системы. com ). Найти в каждой системе ссылки на ее описание в целом, на описание языка запросов, интерфейсов, режимов работы и других особенностей системы. Описание каждой ИПС кратко законспектировать в тетради.

Проанализировать и сравнить возможности систем в режиме расширенного поиска. Страницы интерфейса расширенного поиска сохранить в своей папке.

Результаты анализа в сжатом виде представить в форме сводной таблицы (с. 38) в файле отчета Report4 (ориентация таблицы - альбомная). Размеры таблицы можно увеличить. Если что-то не помещается в таблице, в ячейке делать сноску на текст под таблицей (таблица не столько форма представления результатов, сколько схема анализа).

Предъявить работу преподавателю.

Результаты сравнительного изучения глобальных вербальных ИПС

Лабораторная работа № 5

(Глобальные вербальные ИПС: изучение и поиск)

Провести поиск по теме «Компьютерная лингвистика» в заданных глобальных ИПС (набор систем и их количество может меняться по усмотрению преподавателя). Поисковое предписание логически должно выглядеть следующим образом:

(comp utational V c omputi ng V c omput er ) & l inguistics .
Запрос задать по-английски дважды, как конъюнкцию и как устойчивое словосочетание (фраза), используя характерные для каждой системы способы выражения операторов (для незнакомых систем найти соответствующую справочную информацию). Первую веб-страницу с результатами каждого поиска сохранить в своей папке в виде «только html» . Количественные результаты отразить в таблице:

Существующие в настоящие время средства информационного поиска могут рассматриваться как связь индивидуальных или коллективных потребителей (пользователей) информации. Средства поиска - это контакт конкретного потребителя с поставщиками инфор­мации, объединяемых общностью информации по отношению к поставленному вопросу (рис. 2).

Рис. 2 Схема взаимодействия средства информационного поиска с потребителями и поставщиками информации

На схеме поставщик информации вырабатывает информацию, которая аккумулируется (накапливается) средством информационного поиска. Потребитель информации формулирует запрос и после поиска в массиве получает от средства поиска необходимые сведения. Поставщики информации могут быть разобщены территориально и ведомственно, а средство поиска представляет способ преодоления этой разобщенности.

Средства информационного поиска решают проблемы отыскания конкретных сведений среди множества документов (информационных ресурсов). В их работе с документальной информацией можно выделить два основных этапа:

1-й этап - сбор и хранение информации;

2-й этап - поиск и выдача информационных ресурсов потребите­лям.

Процесс движения информации в Интернете происходит по замк­нутому кругу, состоящему из потребителей информации, поставщиков информации и средств информационного поиска. Поставщиками и потребителями информации могут быть как отдельные лица, так и целые организации. Источником информации является деятельность и общественная практика отдельных лиц и коллективов, в результате которых формируются документальные данные и сообщения.

Службы поиска (средства, предназначенные для поиска информа­ции) Интернета разделяются на каталоги (directories), поисковые системы (search engines) и метапоисковые системы (metasearch engines).

2. Информационно0поисковые каталоги

Каталоги

Каталог - это система, обеспечивающая классификацию информации . Его отличительная особенность - наличие иерархии (схемы упорядочения) ресурсов, в которой каждый из них (ресурсов)
относится к одному или более разделам. Каталоги (например, Yahoo!

www.yahoo.corn) и List.ru (http://list.ru )) работают не с индексами, а с описаниями ресурсов Интернета. Они наполняются Web-мастерами (людьми, создающими информационные ресурсы) или специальными редакторами, которые просматривают информационные ресурсы Сети. В ответ на запрос пользователя каталоги выполняют поиск по этим тесаниям. Каталоги автоматически не обнаруживают изменения ин­формационных ресурсов Сети. Однако результаты поиска в них могут

казаться более осмысленными, так как информационные ресурсы налогах подготовлены людьми.

Рассмотрим структуру типовой схемы каталога (рис. 3):

Рис. 3. Типовая схема каталога

Клиент - это программа просмотра конкретного информационного

ресурса. Наиболее популярными программами просмотра Интернет-

документов являются Microsoft Internet Explorer и Netscape Navigator. В

свою очередь, все эти информационные ресурсы являются объектами

поиска.

Пользовательский интерфейс - это группа Web-страниц (форм) средства поиска, при помощи которых пользователь взаимодействует с данным средством.

Поисковая машина - компонент системы, основное назначение ко­торого - поиск известных данной системе документов, соответствующих сформулированному запросу во внутреннем массиве данных системы, и формирование ответа (результата проведенного поиска) пользователю в виде набора ссылок на найденные документы.

Технический персонал - люди, в обязанности которых входит формирование перечня информационных ресурсов каталога, их описа­ний и иерархии этих ресурсов.

Запросы пользователя - массив данных системы, служащий для временного хранения сформулированных запросов пользователя.

Иерархия информационных ресурсов и их описания – внутренний массив данных каталога, в котором содержатся сведения об информационных ресурсах сети Интернет (адреса URL и краткое описание ресурсов). Данный массив организован таким образом, что каждый информационный ресурс соответствует какой-либо теме, а перечень тем упорядочен по признаку подчинения.

Информационные ресурсы - ресурсы, просмотр которых обеспе­чивается программами просмотра, такими как Microsoft Internet Explorer, Netscape Navigator и др., т.е. это Интернет-документы.

При решении стандартной поисковой задачи (при поиске обще­доступной информации) именно каталог, а не поисковая система оказывается наиболее лучшей точкой отсчета для начала поиска.

Типичным примером использования каталога является необходи­мость нахождения в сети Интернет группы информационных ресурсов на определенную недостаточно узкую тематику, например сайтов, предоставляющих контактную информацию организаций Москвы или сайтов электронных СМИ.

ИПС

Информационно-поисковые системы

Другая, принципиально отличная от каталога, служба поиска ин­формации - информационно-поисковая система (ИПС). ИПС - это система, обеспечивающая накопление и поиск информации

ИПС, решая задачи сбора, хранения, обработки и выдачи информации, выполняют следующие операции:

• поиск документов;
• анализ содержимого документов;
• построение поисковых образов документов (извлечение из
  документов информации, используемой системой как знания
  о документе);
• хранение поисковых образов документов (сведений о
  документах);
• анализ запросов пользователей (потребителей информации);
• поиск релевантных (соответствующих) запросу документов;
• выдача ссылок на документы потребителям.

Это представляет возможным составить общую схему ИПС. Примером может служить типовая схема ИПС (рис. 4).

Рис. 4. Типовая схема информационно-поисковой системы

Индекс базы данных - это основной массив данных ИПС. Он служит для хранения сведений обо всех известных системе Интернет-документах. Данные сведения необходимы для того, чтобы поисковая система сумела найти документы на запрос пользователя.

Робот-индексировщик (crawler, spider или паук) - программный модуль поисковой системы, служащий для поиска (отбора) информаци­онных ресурсов в Сети и их индексирования (индексировать информацию означает приписать каждому документу ключевые слова, отражающие содержание документа и управляющие поиском, приводя к тем документам, слова которых оказываются более сходными со словами сделанного запроса), т.е. поддержания базы данных индекса в актуальном (по отношению к Интернету) состоянии. Эта программа является основным источником информации о состоянии информационных ресурсов. Просмотр документов Интернета данным модулем системы делается регулярно. Для крупных систем период просмотра документов, как правило, составляет 1-2 недели.

Общий алгоритм функционирования ИПС (принцип работы; со сюит в следующем. Робот-индексировщик автоматических просматривает (переходя от одного ресурса к другому, используя ссыл­ки, расположенные на нем) различные информационные ресурсы Интернета (Интернет-документы). Создает индекс базы данных, помещая туда информацию о ресурсах Сети. При этом он также периодически возвращается к информационным ресурсам и проверяет их на наличие изменений. Когда пользователь делает поисковой систе­ме; запрос, ее программное обеспечение (поисковая машина) просматривает созданный индекс базы данных в поиске ресурсов с заданными ключевыми словами и ранжирует (упорядочивает) эти ресур­сы по степени близости к предмету поиска.

Относительно алгоритма функционирования ИПС следует сделать ряд замечаний. В каждой конкретной поисковой системе хранятся (сведения не о всех документах Интернета, а только о тех документах которые известны данной системе (для различных систем процент проиндексированных документов различен, но, как правило, не превы­шает 30%). В поисковых системах хранятся не сами документы, а только сведения о них, достаточные для их нахождения пользователем и, как следствие этого, поисковая система в результатах поиска может и не выдавать некоторые соответствующие запросу документы. В результате поиска (отклике на запрос) системой сортируются документы по степени соответствия сделанному пользователем запросу с точки зрения алго­ритма поисковой системы, а не с точки зрения их фактического соответствия запросу. Данная особенность систем значительно эконо­мит время, затрачиваемое на поиск требуемой информации, особенно когда комбинация слов запроса встречается в нескольких тысячах или миллионах документов, однако нередки и случаи, когда наиболее соответствующие запросу документы не являются первыми в выданном списке. В данном случае следует соблюдать компромисс между количе­ством просматриваемых документов и общим числом найденных документов (как правило, требуемая информация содержится в первых нескольких десятках найденных документов), но наиболее типичным действием является уточнение запроса с помощью средств уточнения запроса, предоставляемых данной системой (т.е. обычно при помощи языка запросов и (или) средств расширенного интерфейса формулиров­ки запросов). К формированию более детального запроса также следует обратиться, если в результатах поиска много информационного шума (т.е. не соответствующей запросу информации), что, как правило, свиде­тельствует о неудачно подобранных терминах запроса (например, они подвержены полисемии (т.е. имеют несколько значений)). В промежут­ках между работой робота-индексировщика системы документы изменяются пользователями, но эти изменения часто учитываются поисковой системой не мгновенно, а спустя некоторый промежуток времени, определяемый периодом индексирования Интернета, поэтому некоторая информация может быть в системе потенциально недоступ­ной в конкретный момент времени.

Поисковые системы следует применять, если требуется найти информацию по специфичным вопросам или для обеспечения полноты охвата ресурсов.

Примером применения при поиске информационно-поисковых сис­тем могут являться требования найти сайт конкретной организации или дать ответ на вопрос «Причины введения единого экзамена в средних школах?».

К наиболее известным поисковым системам относятся такие служ­бы, как Google (http://www.qooqle.com ) и Яндех (http://www.yandex.ru).

Метапоисиовые системы

Отличия в стратегии и широте охвата материала различных поис­ковых систем часто приводят к тому, что разные средства поиска дают разноречивые ответы на один и тот же запрос. Этим воспользовались разработчики метапомсковых систем, которые в своей работе исполь­зуют потенциал других средств информационного поиска (рис. 5.). Метапоисковые системы - это надстройки над поисковыми системами и электронным каталогами, которые не имеют собственной базы данных (индекса) и при поиске по поисковому предписанию пользователя само­стоятельно формируют запросы для нескольких внешних средств

Рис. 5. Типовая схема метапоисковой системы

поиска, а затем анализируют полученные результаты и выдают список ссылок в порядке, определяемом соотношением рейтингов ответа сразу по нескольким средствам поиска. Иначе, такая система ведет опрос нескольких поисковых систем, а затем отбирает ссылки, следуя собст­венному алгоритму.

Метапоисковые системы позволяют сократить время, за­траченное на поиск информации, так как при обработке запроса пользователя эти системы одновременно обращаются к нескольким различным средствам поиска.

Наиболее значимые метапоисковые системы - MetaCrawler (http://www.metacrawler.com ) и MetaBot.ru (http://metabot.ru ). Их главное достоинство заключается в умении рассылать вводимые в них запросы по другим системам, а затем суммировать результаты. Таким образом, пользователь, вводя поисковое предписание, например в MetaBot.ru, фактически одновременно обращается к другим поисковым системам. Этим гарантируется «объективность» и «полнота» полученных ре­зультатов, однако, учитывая различия в подходах к обработке терминов разными системами, результат может оказаться не всегда релевантным запросу.

Метапоисковые системы наиболее эффективны на начальных чпапах поиска информации. Они помогают локализовать средства юиска, в которых присутствуют сведения об искомой пользователем информации.

Дополнительные средства и способы поиска

Существуют и дополнительные способы поиска в Интернете, кото­рые используют возможности, предоставляемые некоторыми другими службами Сети, ее персоналом, а также ее пользователями, которые способствуют поиску информации. К таким службам можно отнести телеконференции (форумы) (способ взаимодействия пользователей в Интернете, посредством которого один из пользователей оставляет сообщения на информационном ресурсе сети (сайте), а другие пользо­ватели могут читать в любое удобное для них время), электронные объявлений (строятся по принципу телеконференций), чаты (от (игл. chat - болтать) (способ взаимодействия пользователей в Интерне-ie, посредством которого происходит общение пользователей в режиме реального времени), серверы, ведущие поиск информации через элек­тронную почту (один из возможных способов обращения к средствам информационного поиска) и др. Данные способы являются дополни­тельными, поскольку они:

• не предназначены для массового использования;
• не являются универсальными (накапливают адреса в недос­таточном объеме или по узким направлениям);
• не являются стандартными или обязательными для того, кто
  их предоставляет (т.е. нет гарантии получения ответа на
  запрос).

Информационно-поисковая система – это прикладная компьютерная среда для обработки, хранения, сортировки, фильтрации и поиска больших массивов структурированной информации.

Каждая ИПС предназначена для решения определенного класса задач, для которых характерен свой набор объектов и их признаков. ИПС бывают двух типов:

1. Документографические. В документографических ИПС все хранимые документы индексируются специальным образом, т. е. каждому документу присваивается индивидуальный код, составляющий поисковый образ. Поиск идет не по самим документам, а по их поисковым образам. Именно так ищут книги в больших библиотеках. Сначала отыскивают карточку в каталоге, а затем по номеру, указанному на ней, отыскивается и сама книга.

2. Фактографические. В фактографичеких ИПС хранятся не документы, а факты, относящиеся к какой-либо предметной области. Поиск осуществляется по образцу факта.

Каждая ИПС состоит из двух частей: базы данных (БД) и системы управления базами данных (СУБД).

База данных - это поименованная совокупность структурированных данных, относящихся к определенной предметной области.

Система управления базами данных - это комплекс программных и языковых средств, необходимых для создания баз данных, поддержания их в актуальном состоянии и организации поиска в них необходимой информации.

На настоящий момент существует множество различных СУБД. Наиболее широкую известность получили такие как Dbase, Clipper, FoxPro, Paradox, Microsoft Access.

ПС с большим набором функций и возможностей обычно входят в состав СУБД и именуются информационно-поисковыми системами. Они также создаются и используются для эффективного нахождения пользователями необходимых им данных, в том числе в Интернете.

Терминологически "информационно-поисковая система" (англ. "information retrieval system", IRS) - представляет систему, предназначенную для поиска и хранения информации; пакет программного обеспечения, реализующий процессы создания, актуализации, хранения и поиска в информационных базах и банках данных.

Информационно-поисковая система трактуется и как система, обеспечивающая поиск и отбор необходимых данных на основе информационно-поискового языка и соответствующих правил поиска, а база данных - как совокупность средств и методов описания, хранения и манипулирования данными, облегчающих сбор, накопление и обработку больших информационных массивов. Организация различных БД отличается видом объектов данных и отношений между ними.

Функционирование современных ИПС основано на двух предположениях:

1) документы, необходимые пользователю, объединены наличием некоторого признака или комбинации признаков;

2) пользователь способен указать этот признак.

ИПС делятся на: традиционные (ручные, механические, электромеханические) и автоматизированные (электронные).

Автоматизированные ИПС (АИПС), используют компьютерные программно-технические средства и технологии и предназначаются для нахождения и выдачи пользователям информации по заданным критериям. Определяющими для понимания методов автоматизации поиска являются два следующих фактора:

1) сравниваются не сами объекты, а описания - так называемые "поисковые образы";

2) сам процесс является сложным (составным и не одноактным) и обычно реализуется последовательностью операций.

Информационный поиск подразумевает использование определённых стратегий, методов, механизмов и средств. Поведение пользователя, осуществляющего управление процессом поиска, определяется не только информационной потребностью, но и инструментальным разнообразием системы - технологиями и средствами, предоставляемыми системой.

Реализуемый метод построения ПОЗа должен обеспечивать эффективные способы построения запроса для достижения целей различного типа.

Механизмы поиска - совокупность реализованных в системе моделей и алгоритмов процесса формирования выдачи документов в ответ на поисковый запрос.

Средства поиска, с одной стороны, - взаимозависимый комплекс информационно-поисковых языков (ИПЯ) и языков определения/управления данными, обеспечивающий структурные и семантические преобразования объектов обработки (документов, словарей, совокупностей результатов поиска), а с другой, - объекты пользовательского интерфейса, обеспечивающие управление последовательностью выбора операционных объектов конкретной АИПС.

Поисковые технологии - унифицированные (оптимизированные в рамках конкретной АИПС) последовательности эффективного использования отдельных средств поиска в процессе взаимодействия пользователя с системой для устойчивого получения конечного и промежуточных результатов.

Навигация как реализация процесса поиска по запросу в выбранной БД - целенаправленная, определяемая стратегией, последовательность использования методов, средств и технологий конкретной АИПС для получения и оценки результата.

Средства навигации позволяют пользователю осуществлять управление процессом поиска. Они предоставляются пользователю в виде интерфейса, позволяющего организовать более или менее эффективный процесс взаимодействия с БД. При этом "дружественность" интерфейса характеризуется не только эргономичностью и понятностью, но и вариантностью выбора операционных объектов.

Процесс поиска информации представляет последовательность шагов, приводящих при посредстве системы к некоторому результату, и позволяющих оценить его полноту. Так как пользователь обычно не имеет исчерпывающих знаний об информационном содержании ресурса, в котором проводит поиск, то оценить адекватность выражения запроса, равно как и полноту получаемого результата, он может, основываясь лишь на внешних оценках или на промежуточных результатах и обобщениях, сопоставляя их, например, с предыдущими.

Процесс поиска можно представить в виде следующих основных компонент:

1) формулирование запроса на естественном языке, выбор поисковых системы и сервисов, формализация запроса на соответствующем ИПЯ;

2) проведение поиска в одной или нескольких поисковых системах;

3) обзор полученных результатов (ссылок);

4) предварительная обработка полученных результатов: просмотр содержания ссылок, извлечение и сохранение релевантных и пертинентных данных;

5) при необходимости, модификация запроса и проведение повторного (уточняющего) поиска с последующей обработкой полученных результатов.

Для уменьшения объёма отобранных материалов осуществляют фильтрацию результатов поиска по типу источников (сайтов, порталов), тематике и другим основаниям.

По используемым поисковым технологиям ИС можно разбить на 4 категории:

1. Тематические каталоги;

2. Специализированные каталоги (онлайновые справочники);

3. Поисковые машины (полнотекстовый поиск);

4. Средства метапоиска.

В Интернете ИПС размещается на одном или нескольких серверах. В ИПС собирается, индексируется и регистрируется информация о документах, имеющихся в обслуживаемой системой группе веб-серверов. В документах индексируются все значащие слова или только слова из заголовков.

Тематические каталоги предусматривают обработку документов и отнесение их к одной из нескольких категорий, перечень которых заранее задан. Фактически это индексирование на основе классификации. Индексирование может проводиться автоматически или вручную с помощью специалистов, просматривающих популярные веб-узлы и составляющих краткое описание документов-резюме (ключевые слова, аннотация, реферат).

Специализированные каталоги или справочники создаются по отдельным отраслям и темам, по новостям, по городам, по адресам электронной почты и т. п.

Поисковые машины (самое развитое средство поиска в Интернете) реализуют технологию полнотекстового поиска. Индексируются тексты, расположенные на опрашиваемых серверах. Индекс может содержать информацию о нескольких миллионах документов. Например, в индексе популярной ИПС "AltaVista" более 56 млн. URL-адресов.

При использовании средств метапоиска запрос осуществляется одновременно несколькими поисковыми системами. Результат поиска объединяется в общий, упорядоченный по степени релевантности список. Каждая система обрабатывает только часть узлов сети, что позволяет расширить базу поиска. К подобному классу можно отнести и "персональные программы поиска", позволяющие формировать свои собственные инструменты метапоиска (например, автоматически опрашивать часто посещаемые узлы).

Базы информационных данных могут содержать практически любые виды информации, в том числе в любой комбинации. Информационный поиск осуществляется как по существующим в полнотекстовых ЭИР терминам, так и по специальным элементам, входящим в состав ИПЯ. Для формирования запросов используются специальные информационно-поисковые языки.

ИПС внутри найденной выборки обычно пытаются расположить документы в порядке их "релевантности", то есть близости к введенному пользователем запросу. Критериев такой близости много и выявление близких "по смыслу" к запросу документов не решает проблемы получения информации при отсутствии релевантного документа. Подобная ситуация достаточно тривиальна, в том числе и потому, что пользователь зачастую ищет документ, который сам собирается написать. Следует отметить, что в результате проведенного поиска пользователь может получить как релевантные, пертинентные, так и нерелевантные и непертинентные подмассивы данных.

ИПС фактически являются системами информационного обеспечения и представляют собой базы и банки данных. В качестве объекта в них выступает индивид, организация, отрасль, регион и т.п. Субъектом информационного обеспечения является специалист-информатик, любой потребитель информации.

Организация поиска

Предлагается процедуру поиска необходимой информации разделить на девять основных этапов:

Определение области знаний;

Выбор типа и источников данных;

Сбор материалов необходимых для наполнения информационной модели;

Отбор наиболее полезной информации;

Выбор метода обработки информации (классификация, кластеризация, регрессионный анализ и т.д.);

Выбор алгоритма поиска закономерностей;

Поиск закономерностей, формальных правил и структурных связей в собранной информации;

Творческая интерпретация полученных результатов;

Интеграция извлеченных "знаний".

Для проведения поиска первоначально на компьютере пользователя загружается интерфейс работы с соответствующей БД. Это может быть локальная или удалённая БД. Первоначально следует определиться с видом поиска (простой, расширенный и т.д.). Затем с набором предлагаемых для поиска полей. ИПС могут предложить для ввода одно или несколько полей. В последнем случае это обычно поля: автора, заглавия (названия), временного периода, вида документа, ключевых слов, рубрик и др. При формировании запроса практически все системы позволяют использовать логические элементы "И", "ИЛИ", "НЕТ".

Технологии поиска информации

Поисковые средства и технологии, используемые для реализации информационных потребностей, определяются типом и состоянием решаемой пользователем задачи основной деятельности: соотношением его знания и незнания об исследуемом объекте. Кроме того, процесс взаимодействия пользователя с системой определяется уровнем знания пользователем содержания ресурса (полноты представления, достоверности источника и т.д.) и функциональных возможностей системы как инструмента. В целом эти факторы обычно сводятся к понятию "профессионализма" - информационного (подготовленный/неподготовленный пользователь) и предметного (профессионал/непрофессионал) "профессионализма".

Процесс поиска информации обычно носит эмпирический характер. Он представляет последовательность шагов, приводящих при посредстве системы к некоторому результату, позволяющих оценить его полноту. При этом поведение пользователя, как организующее начало управления процессом поиска, мотивируется не только информационной потребностью, но и разнообразием стратегий, технологий и средств, предоставляемых системой.

Обычно пользователь не имеет исчерпывающих знаний об информационном содержании ресурса, в котором проводит поиск, поэтому оценить адекватность выражения запроса, как и полноту получаемого результата, он может, отыскав дополнительные сведения, или организовав процесс так, чтобы часть результатов поиска могла использоваться для подтверждения или отрицания адекватности другой части.

Операционными объектами, непосредственно участвующими во взаимодействии пользователей с поисковой системой являются поисковый образ документа (ПОД) и ПОЗ, соответствие которых устанавливается поисковым механизмом АИПС на формальном уровне. Адекватность образа действительному содержанию документа определяется качеством процесса свертки информации и уровнем знания субъектом средств отражения - концептуальной схемы предметной области и возможностей ИПЯ.

Поисковый образ документа - описание документа, выраженное средствами ИПЯ и характеризующее основное смысловое содержание или какие-либо другие признаки этого документа, необходимые для его поиска по запросу.

Большинство ПС изначально предлагают пользователям либо БО, либо ссылки на полные или частичные документы, их описание и другое, хранящиеся в различных АИПС. Современные ПС позволяют определиться и указать какой и в каком виде источник информации интересует пользователя.

Методы обработки результатов поиска

По характеру преобразований (в контексте дальнейшего использования результатов обработки) методы обработки результатов поиска можно условно разделить на две группы:

1. Структурно-форматные преобразования;

2. Структурно-семантические преобразования (информационно-аналитические, логико-семантические).

Реализация поиска

Что обычно ищут в Интернете: персональные данные об индивидуумах и организациях; различные адресные данные; конкретные материалы (статьи, книги, фотографии, справочные данные, программное обеспечение и др.) в том числе место их хранения; где и сколько стоят те или иные материалы, услуги, продукты и т.п.; информационные сайты и порталы и др.

Общепринята организация поиска по начальным фрагментам слова (поиск с усечением справа), например, вместо слова "библиотечный" можно ввести его фрагмент "библиоте*". При этом будут найдены документы, в которых содержится не только слово "библиотечный", но и "библиотека", "библиотекарь", "бибилотековедение" и др. В каждом случае пользователь должен представлять, что именно он хочет найти, так как в предложенном ему варианте будет найдено гораздо большее количество документов, чем при задании данного слова полностью (без усечения). В подобном случае возможно в полученном массиве информации провести уточняющий поиск и в результате получить более релевантные и пертинентные данные.

Оформление результатов

С точки зрения ИПС результат поиска в ней есть совокупность (подмножество) найденных документов или ссылок на них. Обычно он представляется пользователю в виде списка. То есть простейшей выходной формой в данном случае будет список ссылок в виде полных или частичных БО, найденных ИР. Такой список может быть тут же распечатан или послан на какой-либо адрес электронной почты, если такая возможность предоставляется ИПС и пользователь подключен к Интернету.

Графические и полнотекстовые ЭИР могут предлагаться пользователю только для просмотра, для копирования в различных форматах и масштабах, причём полностью или частично. Графические ИР обычно существуют в общепринятых форматах типа: JPG, GIFF, TIFF, BMP и др., а для текстовых материалов обычно используют текстовые форматы TXT, DOC и др., HTML и PDF - фактически графический формат, в котором могут сохраняться как текстовые, так и графические данные.

Полученные в результате поиска документы сохраняют.

Критерии оценки поиска

Критерием результата поиска является получение пользователем списка документов, одного документа или их частей, максимально удовлетворяющего его потребностям, сформулированным в поисковом запросе. В ИПС принято формировать список полученных в результате поиска документов по их релевантности. Различают критерии смыслового и формального соответствия между поисковым предписанием и выдаваемым документом.

Полнота и точность поиска являются взаимосвязанными показателями. Увеличение одного из них ведёт к снижению другого. В современных ИПС при сбалансированном поиске их значения составляет примерно 70%. Следует учитывать ситуацию, при которой список выданных поисковой системой ссылок содержит несколько, а порой и десятки разных адресов с одним и тем же текстом. Подобные ссылки характеризуются как дубликаты. Из них, при подсчёте коэффициентов учитывается только один документ.

Оценка и обработка результатов поиска

Учитывая, что идеальный результат поиска должен удовлетворять требованиям единственности, полноты и непротиворечивости, получаем, что различные виды поиска определяют различные требования к функциональным возможностям системы в части оценивания результата. Однако, для случая предметного поиска доказательство полноты является тривиальным: непустой результат поиска подтверждает факт существования (или отсутствия) объекта, обладающего искомыми свойствами. При этом результат тематического поиска множественен и требует последующей систематизации - ещё одного процедурного шага для упорядочения полученного множества объектов по значениям не определённого явно основания. В свою очередь, проблемный поиск предполагает уже двухуровневую систематизацию.

Развитие процесса поиска осуществляется путём модификации выражения ПОЗ, путем реформулирования запроса и проведения повторного поиска в том же массиве данных или в подмассиве, полученном в результате осуществления первоначального поиска.

Интерфейсные средства обработки результата и развития поиска используют два типа операционных объектов - отдельные документы или коллекции документов.

Интернет-поисковые системы

Для получения информации в среде Интернета создаются специальные поисковые системы. Как правило, они общедоступны и обслуживают пользователей в любой точке планеты, где имеется возможность работы с Интернетом. Непосредственно для поиска используются поисковые машины, число которых в мире исчисляется несколькими сотнями. Они ориентируются на определенные типы запросов или их сочетание (библиографический, адресный, фактографический, тематический и др.). Кроме того, бывают полнотекстовые, смешанные и другие поисковые машины.

Для проведения поиска в Интернете (в WWW) функционирует множество сайтов и поисковых систем, поэтому необходимо не только ориентироваться в таких системах, но и уметь осуществлять в них эффективный поиск, то есть использовать соответствующие технологии.

"Технология поиска (англ. "Search Technology") означает совокупность правил и процедур, в результате выполнения которых пользователь получает ИР. При поиске в Интернете рекомендуется обращать внимание на две составляющие: полноту (ничего не потеряно) и точность (не найдено ничего лишнего). Обычно соответствие найденных материалам этим критериям называют релевантностью, то есть соответствием ответа вопросу (запросу).

Поисковые системы характеризуются также временем выполнения поиска, интерфейсом, предоставляемым пользователю и видом отображаемых результатов. При выборе поисковых систем обращают внимание на такие их параметры, как охват и глубина. Под охватом понимается объём базы поисковой машины, измеряемый тремя показателями: общим объёмом проиндексированной информации, количеством уникальных серверов и количеством уникальных документов. Под глубиной понимается - существует ли ограничение на количество страниц или на глубину вложенности директорий на одном сервере.

Каждая поисковая машина имеет свои алгоритмы сортировки результатов поиска. Чем ближе к началу списка, полученного в результате проведения поиска, оказывается нужный документ, тем выше релевантность и лучше работает поисковая машина.

Поисковые машины используют общие принципы работы, ориентированные на выполнение двух основных функций. Первая функция реализуется программой-роботом, автоматически просматривающей различные сервера в Интернете. Находя новые или изменившиеся документы, она осуществляет их индексацию и передаёт на базовый компьютер поисковой машины. "Робот" - автоматизированный браузер, загружающий веб-страницу, изучающий её и, при необходимости, переходящим к одной из её гиперсвязей. Когда ему попадается страница, не содержащая связей, робот возвращается на одну-две ступени назад и переходит по адресу, указанному в одной из обнаруженных ранее связей. Запущенный робот проходит огромные расстояния в среде Интернета (киберпространстве), ориентируясь на развитие веб-сети и изменяя в соответствии с этим свои маршруты. Индексирующие роботы обрабатывают лишь HTML-файлы, игнорируя изображения и другие мультимедийные файлы. Они могут: обнаруживать связи с уже несуществующими страницами; устанавливать связь с наиболее популярными узлами, подсчитывая количество ссылок на них в других веб-страницах; регистрировать веб-страницы для оценки роста системы и др. Чаще всего роботы просматривают сервера самостоятельно, находя новые внешние ссылки в уже обследованных документах. Вторая функция заключается в обработке выявленных документов. При этом учитывается все содержание страниц (не только полный текст, но и наличие иллюстраций, аудио и видео файлов, Java-приложений). Индексации подвергаются все слова в документе, что дает возможность использовать поисковые системы для детального поиска по самой узкой тематике. Образуемые гигантские индексные файлы, хранящие информацию о том, какое слово, сколько раз, в каком документе и на каком сервере употребляется, составляют БД, к которой собственно и обращаются пользователи, вводя в поисковую строку ПОЗ (сочетания ключевых слов). Выдача результатов осуществляется с помощью специальной подсистемы, производящей интеллектуальное ранжирование результатов. В своих расчетах она опирается на местоположение термина, частоту его повторения в тексте, процентное соотношение данного термина с остальным текстом на данной странице и другие параметры, характеризующие возможности конкретной поисковой машины.

"Роботы" имеют ряд разновидностей, одной из которых является "паук" (англ. "spider"). Он непрерывно "ползает по сети", переходя с одной веб-страницы к другой с целью сбора статистических данных о самой "паутине" (Web) и (или) формирования некоторой БД с индексами содержимого веб.

Автоматизированные агенты "спайдеры" регулярно сканируют веб-страницы и актуализируют БД адресов (гиперссылки), средства индексирования информации, расположенные по указанным адресам. Полученные индексы используются для быстрого и эффективного поиска по набору терминов, задаваемых пользователем.

В разных системах эта цель достигается различным образом. Одни посылают "агентов" на каждую попадающуюся веб-страницу, индексируя все встречающиеся слова. Другие сначала анализируют БД адресов, определяя наиболее популярные (обычно подсчитывается число имеющихся ссылок на них). Именно эти веб-страницы в различной степени индексируются (только заголовки веб-страниц и ссылки, включая автоматическое аннотирование документов или весь текст).

Все чаще применяются "интеллектуальные агенты" - небольшие программы, обладающие способностью самообучаться, и действовать самостоятельно от имени своего владельца. Имея связь с компьютером пользователя, они выступают в роли персональных помощников, выполняющих ряд задач с применением знаний о потребностях и интересах пользователя. Интеллектуальные роботы-агенты ведут самостоятельный поиск в сети по собственным уникальным алгоритмам. Некоторые из них не только просматривают ключевые слова, но и осуществляют в Интернете семантический анализ информации, выявляя степень ее смыслового соответствия поставленной задаче.

Эффективный доступ к информации в Интернете обеспечивают такие зарубежные поисковые системы (машины), как Альта-Виста (AltaVista), "Lycos", "Yahoo", "Google", "OpenText", "Wais", "WebCrawler" и др. Их адреса в Интернете: www.altavista.com, www.yahoo.com, www.gogle.com, www.opentext.com,

К отечественным поисковым машинам относятся: Апорт ("Aport" АО Агама), Rambler (фирма Stack Ltd.), Яндех ("Yandex" фирма CompTek Int), "Русская машина поиска", "Новый русский поиск", и др. Их адреса в Интернете: www.aport.ru, www.rambler.ru, www.yandex.ru, search.interrussia.com, www.openweb.ru соответственно) и др.

2. Виды операций пользователя при взаимодействии с информационно-поисковой системой.

Язык пользователя - это те действия, которые пользователь производит в отношении системы путем использования возможностей клавиатуры, "мыши" и т.п. Наиболее прост язык пользователя в форме входных и выходных документов. Выведя на экран входную форму (документ), пользователь заполняет его необходимыми данными и вводит в компьютер. Система поддержки принятия решений производит необходимый анализ и выдает результаты в виде выходного документа установленной формы. Значительно возрастает популярность визуального интерфейса. С помощью манипулятора "мышь" пользователь выбирает представленные ему в форме картинок на экране объекты и команды, реализуя таким образом свои действия. Ожидается появление систем поддержки принятия решений, использующих речевой ввод информации.

Язык сообщений - это то, что пользователь видит на экране дисплея (символы, графика, цвет), данные, полученные на принтере, звуковые выходные сигналы и т.п.

Важный показатель эффективности используемого интерфейса - форма диалога между пользователем и системой. Распространены следующие формы диалога: запросно-ответный режим, командный режим, режим меню, режим заполнения пропусков в выражениях, предлагаемых компьютером. Каждая форма в зависимости от типа задачи, особенностей пользователя и принимаемых решений имеет свои достоинства и недостатки.

Знания пользователя - это то, что пользователь должен знать, работая с системой. К ним относятся не только план действий, находящийся в голове пользователя, но и учебники, инструкции, справочные данные, выдаваемые компьютером.

3. Основы поиска информации в информационно-поисковых системах.

Поиск информации представляет собой процесс выявления в некотором множестве документов (текстов) всех тех, которые посвящены указанной теме (предмету), удовлетворяют заранее определенному условию поиска (запросу) или содержат необходимые (соответствующие информационной потребности) факты, сведения, данные.

Процесс поиска включает последовательность операций, направленных на сбор, обработку и предоставление информации.

В общем случае поиск информации состоит из четырех этапов:

определение (уточнение) информационной потребности и формулировка информационного запроса;

определение совокупности возможных держателей информационных массивов (источников);

извлечение информации из выявленных информационных массивов;

ознакомление с полученной информацией и оценка результатов поиска.

[править]

Виды поиска

Полнотекстовый поиск - поиск по всему содержимому документа. Пример полнотекстового поиска - любой интернет-поисковик, например www.yandex.ru, www.google.com. Как правило, полнотекстовый поиск для ускорения поиска использует предварительно построенные индексы. Наиболее распространенной технологией для индексов полнотекстового поиска являются инвертированные индексы.

Поиск по метаданным - это поиск по неким атрибутам документа, поддерживаемым системой - название документа, дата создания, размер, автор и т. д. Пример поиска по реквизитам - диалог поиска в файловой системе (например, MS Windows).

Поиск изображений - поиск по содержанию изображения. Поисковая система распознает содержание фотографии (загружена пользователем или добавлен URL изображения). В результатах поиска пользователь получает похожие изображения. Так работают поисковые системы: Polar Rose, Picollator и др.

[править]

Методы поиска

[править]

Адресный поиск

Процесс поиска документов по чисто формальным признакам, указанным в запросе.

Для осуществления нужны следующие условия:

Наличие у документа точного адреса

Обеспечение строгого порядка расположения документов в запоминающем устройстве или в хранилище системы.

Адресами документов могут выступать адреса веб-серверов и веб-страниц и элементы библиографической записи, и адреса хранения документов в хранилище.

[править]

Семантический поиск

Процесс поиска документов по их содержанию.

Составление поискового описания, в котором указывается дополнительное условие поиска.

Принципиальная разница между адресным и семантическим поисками состоит в том, что при адресном поиске документ рассматривается как объект с точки зрения формы, а при семантическом поиске - с точки зрения содержания.

При семантическом поиске находится множество документов без указания адресов.

В этом принципиальное отличие каталогов и картотек.

Библиотека - собрание библиографических записей без указания адресов.

Документальный поиск

Процесс поиска в хранилище информационно-поисковой системы первичных документов или в базе данных вторичных документов, соответствующих запросу пользователя.

Два вида документального поиска:

Библиотечный, направленный на нахождение первичных документов.

Библиографический, направленный на нахождение сведений о документах, представленных в виде библиографических записей.

Фактографический поиск

Процесс поиска фактов, соответствующих информационному запросу.

К фактографическим данным относятся сведения, извлеченные из документов, как первичных, так и вторичных и получаемые непосредственно из источников их возникновения.

Различают два вида:

Документально-фактографический, заключается в поиске в документах фрагментов текста, содержащих факты.

Фактологический (описание фактов), предполагающий создание новых фактографических описаний в процессе поиска путем логической переработки найденной фактографической информации.

4. Стратегии поиска информации в сети Интернет.

Стратегия поиска - общий план (концепция, предпочтение, установка) поведения системы или пользователя для выражения и удовлетворения информационной потребности пользователя, обусловленный как характером цели и видом поиска, так и системными "стратегическими" решениями - архитектурой БД, методами и средствами поиска в конкретной АИПС. Выбор стратегии в общем случае является оптимизационной задачей. На практике в значительной степени он определяется искусством достижения компромисса между практическими потребностями и возможностями имеющихся средств.

Метод поиска - совокупность моделей и алгоритмов реализации отдельных технологических этапов: построения поискового образа запроса (ПОЗ), отбора документов (сопоставление поисковых образов запросов и документов), расширения и реформулирования запроса, локализации и оценки выдачи.

Поисковый образ запроса - записанный на ИПЯ текст, выражающий смысловое содержание информационного запроса и содержащий указания, необходимые для наиболее эффективного осуществления информационного поиска.

Методы поиска, т.е. выделение подмножества документов, потенциально содержащих описание решения задачи отбора документов (ОД), являются отражением процесса нахождения решения и зависят от характера задачи и предметной области.

Рассматривая поиск как итеративный процесс, методы сокращения пространства перебора (просматриваемого подмножества) образуют по существу методологическую основу стратегии поиска и могут быть разделены на следующие классы - методы поиска в:

1) одном пространстве (обычно, тематическом);

2) иерархически упорядоченном пространстве;

3) альтернативных пространствах;

4) динамическом (изменяющемся в процессе поиска) пространстве.

Некоторую специализирoванную информацию стоит поискать в специализированных каталогах, просматривая нужные вам тематические разделы. Увидев качественный, подходящий вам по тематике поиска сайт, не спешите брoсать его не просмотрев страницы ссылок. Обычно для серьезных сайтаx ссылки подобраны сколько, и весь возможно вы найдете что-то там.

База данных этой Поисковой Машины разделена для тематические разделы, один с которых (Health, Поисковая Машина Yahoo) в ответ для запрос представляет новoсть «меню» для выбора в виде более детальной рубрикации раздела Health, включающего Deseases and Conditions (болезни и состояния). Поскольку Yahoo. удерживает в процессе поиска иерархическую структуру разделов, всегда можно вернуться для пpедыдущий вышестоящий степень, если по некоторый причине вызванный нынешний раздел не оправдал ожиданий. Выбрав Diseases and Couditions, вы получаете новость «меню», с которого можно вызвать раздел Diabetes, если нажать букву D в алфавите страницы. Yahoo. Стартовая точка сбора информации в Интернете для начинающих.

Условно инструменты поиска подразделяются для поисковые средства справочного типа (directories

Для поиска информации в Интернете разработаны различные системы. Эти системы позволяют искать информацию на Web-страницах, в группах новостей и хранилищах файлов.

Стратегия современных поисковых серверов базируется на трех основных подходах:

Создание индексов;

Создание каталогов;

Гибридный метод.

Поисковые системы

Для поиска информации существуют поисковые системы и каталоги. Если раньше примерно половина поиска велась с помощью поисковых систем, а половина с помощью каталогов, то сейчас это соотношение изменилось до 4:1 в пользу поисковых систем.

Крупнейшими поисковыми системами на сегодняшний день являются www.yandex.ru, www.rambler.ru, www.google.ru, www.aport.ru. Эти поисковые системы (порталы) снабжены каталогами ресурсов Интернет и мощными поисковыми роботами (табл. 4.2).

Таблица 4.2

Наиболее популярные поисковые системы

Стандартная поисковая система состоит из трех частей. Одна из них -робот. Такая программа непрерывно просматривает сайты, ищет новые, проверяет ранее найденные. По этим данным формируетсяиндексная база, в которой хранятся сведения о найденных Интернет-ресурсах.

Далее в дело вступаетпоисковик, который ищет в индексе ресурсы, удовлетворяющие запросу пользователя. То есть когда вы посылаете запрос, то поиск осуществляется в заранее подготовленной базе данных. Именно поэтому поисковая машина работает достаточно быстро, хотя и имеет существенный недостаток, который заключается в том, что свежую информацию с помощью таких машин найти трудно. Также возможно, что ссылка приведет вас на уже не существующий ресурс, который исчез со времени последнего посещения сайта поисковым роботом.

Каталоги Интернет-ресурсов

За аналог интернет-каталогов можно принять библиотечные каталоги. Владельцы каталогов коллекционируют ссылки на сайты, публикуют их адреса и зачастую аннотации. Такие каталоги снабжаются иерархическим либо линейным рубрикатором.

Классическим примером иерархического рубрикатора можно назвать каталог Yahoo!, в русскоязычной сети - www.list.ru. Линейный рубрикатор используется на www.rambler.ru.

Пополняются каталоги обычно по заявкам владельцев сайтов. Изменения в каталог могу быть внесены автоматически.

Эффективный поиск

Для эффективного поиска надо использовать как поисковые машины, так и каталоги.

Индексная база поисковой машины обычно содержит гораздо больше ссылок на сайты, чем каталоги. Однако каталоги, снабженные хорошим рубрикатором, позволяют значительно сузить круг поиска и быстрее найти нужную информацию. Также гиды каталогов в состоянии лучше определить ключевые слова для данного сайта, нежели поисковый робот.

Если поиск не дает нужных результатов, нужно точнее сформулировать запрос. В этом вам может помочь тщательная работа с функцией расширенного поиска, которой снабжено большинство крупных поисковых систем. Сами функции расширенного поиска несколько различаются в разных системах, но цель их одна - создание как можно более точного запроса. Для этих же целей системы дополняют языком запросов.

Глобальные поисковые системы и каталоги

Наиболее популярны такие системы, как www.yahoo.com и www.altavista.com. Yahoo! традиционно относят к каталогам, а AltaVista - к поисковым системам, однако сейчас на обоих сайтах можно воспользоваться и каталогом и поисковой системой. Хорошо зарекомендовал себя также поисковик www.hotbot.com. Есть поисковая машина по европейским ресурсам www.euroseek.com. Много пользователей у каталога www.britanica.com.

Для поиска информации с помощью поисковой системыAltaVista, которая имеет одну из самых больших баз данных и быстрый механизм поиска, необходимо:

Установить связь с поставщиком услуг Интернет;

Запустить программуInternet Explorer или другую программу просмотр;

Нажать кнопкуПоиск. На экране появится список поисковых систем с полем запроса для поиска информации;

Ввести информацию для запроса в поле ввода поисковой системы AltaVista и нажать кнопку Поиск. Через некоторое время на экране появится страница с результатом поиска информации.

В большинстве случаев достаточно бывает простых запросов. Однако данная система реализует и сложный запрос, для которого используются логические операторы и синтаксические выражения.

Синтаксические выражения - это любые слова и словосочетания или фразы. Над синтаксическими выражениями допустимы логические операции с помощью следующих логических операторов:

And - логическое И;

Or - логическое ИЛИ;

Near - аргументы, присутствующие в запросе, отстоят друг от друга в документе не более чем на десять символов;

Not - обеспечивает отсутствие аргумента в документе.

AltaVista - это только одна из многих поисковых систем. В настоящее время с помощью поисковых средств можно найти практически любую информацию.

Метапоисковые системы

Поиск информации с использованием различных поисковых систем требует больших затрат времени. Стремление облегчить задачу поиска информации дало толчок к развитию систем параллельного поиска, называемых метапоисковыми системами - интерфейсные программы, которые предоставляют доступ поочередно к нескольким серверам.

К таким русскоязычным системам относятся www.metabot.ru, www.poisk.ru. Среди глобальных можно выделить www.metacrawler.com, www.search.com.

Поиск программ и других файлов

Для поиска файлов проще всего воспользоваться поиском по FTP-серверам с помощью WWW. Сейчас существует много сайтов, предоставляющих такие услуги. Русский интерфейс имеют такие системы, как www.files.ru и www.filesearch.ru. Введя в окно поиска имя нужного вам файла, например WINZIP, вы получите список FTP-серверов, где такие файлы найдены. В имени файла можно употреблять символы * и? для обозначения неизвестных вам окончаний или букв в имени файла.

После получения списка файлов и папок будьте внимательны, обратите внимание на полное имя файла, тип файла и его размер. Так, в файле winzip.jpg будет картинка, а не программа, и вы рискуете скачать не то, что нужно.

Удобно также воспользоваться специализированными каталогами программ. К наиболее качественным относятся следующие каталоги программного обеспечения: www.download.ru, www.freeware.ru, www.freesoft.ru, www.softfree.ru, www.listsoft.ru.

В каталогах программы разбиты по темам и часто ссылки на них снабжены описаниями. Ссылки ведут на FТР-сервера. Также большинство крупных каталогов имеют поисковую систему. Правда, в этом случае поиск осуществляется не по всему пространству FТР-архивов, а только по файлам, зарегистрированным в данном каталоге.

Источники специализированной информации

В сети Интернет находится слишком много информации, и зачастую ее содержание не всегда соответствует затраченному на поиск времени. Ведь ориентироваться в этом хаосе сведений - искусство, и им владеют исключительно специалисты.

Существуют информационные компании, обеспечивающие информационное электронное обслуживание. Например, Knight-Ridder (KR) - это крупнейшая в мире информационная компания, предоставляющая доступ к своим службам в интерактивном режиме. Здесь объединились такие всемирно известные службы, как Dialog Information Service из США и Data Star из Европы. Используя Интернет в качестве среды для распространения своих услуг, KR сумела автоматизировать ключевые моменты своей деятельности, улучшить обслуживание клиентов и, самое главное, расширить рынок своих услуг. Все это в конечном счете привело к тому, что KR стала мировым лидером в области доставки электронных документов и информационного сервиса.

Имеет собственную систему информационного поиска в Интернет фирма IBM - InfoMarket. В ней сочетаются средства получения информации и управления платежами с правами доступа.

Добрый день, мои уважаемые читатели. Сегодня мы коснемся чрезвычайно интересной и важной темы – информационно поисковые системы. Умение правильно работать с ними, знание основных понятий и принципов работы смогут помочь начинающим пользователям научиться быстро и оперативно искать различную информацию в сети, получать нужные данные и быстро развивать свой интернет бизнес.

В данной статье я расскажу об истории создания систем поиска, принципах их работе и структуре. Помимо этого, остановлюсь на очень важных фишках, которые необходимо обязательно знать при работе с ИПС.

Итак, давайте более подробно изучим, что такое ИПС, какие компоненты входят в их состав.

Информационно – поисковые системы (ИПС) и их виды

Данное понятие возникло еще в конце 80 – х, начале 90 – х годов прошлого века. Именно тогда и возникли их первые прототипы, как в России, так и за рубежом. Согласно определению – это система, которая позволяет искать, обрабатывать, отбирать требуемые данные запроса в своей особой базе, где находятся описания различных источников информации, а также правила пользования ими.

Основной ее задачей является поиск нужной пользователю информации. Для того, чтобы он был более эффективным, используется понятие релевантности, то есть то, насколько сами результаты поиска точно подходят тому или иному запросу.

К основным типам ИПС относятся следующие понятия:

Индексация каталога может производиться, как вручную, так и автоматически с обновлением индекса. В свою очередь сам результат работы системы включает в себя особый список. В него входят гиперссылка на требуемые ресурсы и описание того или иного документа в интернете.

Из наиболее популярных каталогов можно выделить: Yahoo , Magellan (зарубежные) и Weblist , Улитка и @ Rus из отечественных.

К наиболее распространенным зарубежным ИПС относят – Google, Altavista, Excite. Русские – «Яндекс» и «Рамблер».

• В мире существует огромное количество различных видов ИПС, которые содержат множество источников информации. Разумеется, что даже наличие самого современного и мощного сервера не может удовлетворить запросы миллионов пользователей. Именно поэтому, появились специальные метапоисковые системы. Они могут одновременно пересылать запросы пользователей различным поисковым серверам, а на основе своего обобщения имеют возможность предоставить пользователю документ, содержащий ссылки на требуемый ресурс. К их числу можно отнести – MetaCrawler или SavvySearch.

История создания ИПС

Самые первые ИПС появились в середине 90 – х годов 20 века. Они весьма напоминали обычные указатели, которые находятся в любых книгах, некие справочники. В их базе данных содержались специальные ключевики (слова), которые различными способами собирались с многочисленных сайтов. Так, как интернет – технологии были не совершенными, то и сам поиск выполнялся только по ключевым словам.

Значительно позднее был разработан специальный полнотекстовый поиск, облегчающий нахождение необходимой пользователю информации. Система производила фиксацию ключевых слов. Благодаря ей, пользователи могли производить нужные запросы по тем или иным словам и различным словосочетаниям.

Одной из первых, была «Wandex». Ее разработкой занимался очень известный программист Мэтью Греэм в 1993 году. Также, в этом же году возникла и новая «поисковка» «Aliweb» (кстати, и по сей день успешно работает). Однако все они имели достаточно сложную структуру и не обладали современными технологиями.

Одной из наиболее удачных явилась «WebCrawler», которая впервые была запущена в 1994 году. Отличительной особенностью и главным преимуществом, выгодно выделяющим ее среди других систем поиска, явилось то, что она могла находить любые ключевики на той или иной странице. После этого, это стало своего рода эталоном и для всех остальным ИПС, которые разрабатывались позднее.

Значительно позже возникли и другие поисковики, которые иногда конкурировали между собой. Это были – «Excite», «AltaVista», «InfoSeek», «Inktomi» и многие другие. Начиная с 96 года, российские пользователи сети начали работать с «Рамблером» и «Апортом». Но, настоящим триумфом для российского интернета, стал созданный в 1997 году «Яндекс».

Этот российский аналог «Google» стал настоящей гордостью российских программистов. Сегодня, он уверенно теснит конкурента в рунете и также является одним из лидеров по поисковым запросам среди ИПС в России.

На сегодняшний день, имеются многочисленные специальные «поисковики», которые созданы для решения определенных задач. Так, например, информационно – поисковая система «Патрон», разработана для того, чтобы хранить и искать данные по патронам для различного оружия и сейчас применяется, как в органах Министерства Внутренних Дел и спецслужб, так и для охотников – профессионалов и любителей.

Имеются и другие, разработанные для нотариусов, врачей, инженеров, военных, автолюбителей и т д

Как работает ИПС

Работа информационно – поисковой системы является очень сложной. Однако при желании можно разобраться в ее структуре. Первое, что необходимо отметить, что существует особая программа – она называется поисковым роботом (пауком). Данная программа систематически мониторит различные страницы и индексирует их.

Веб сервер создает запрос пользователя на получение той или иной информации, а затем предоставляет данный запрос машине поиска. Поисковик исследует требуемую базу данных, потом составляет полный список страниц, а затем передает веб-серверу. Он в свою очередь окончательно формирует все результаты запроса в «читаемый» вид, затем передает их на «комп» пользователя.

ИПС предназначена для следующих целей:

• Хранить значительные объемы данных;
• Производить оперативный поиск нужной информации;
• Добавлять, а также удалять различные данные;
• Выводить информацию в простом и удобном виде.

Существуют несколько основных типов ИПС:

• Автоматизированные
• Библиографические
• Диалоговые
• Документальные

Какие поисковые системы наиболее популярны сегодня?

На первом месте, без всякого сомнения, находиться неотъемлемый лидер – «Google». На сегодняшний день, к нему адресуется около 80 процентов различных мировых запросов по самым различным сферам. Что касается второго места, то его, также заслуженно, занимает американский «eBay».

На третьем месте, наш, отечественный, российский «Яндекс». На четвертом – «Yahoo» и на пятом – MSN. Еще одним отечественным браузером, но занимающим только 10 место в рейтинге Европы – это российский «Rambler».

Google

Этот поисковик знают огромное количество пользователей. На сегодняшний день это первая по популярности система в мире! Ежемесячно она обрабатывает более 41 млрд запросов и проводит индексацию 25 миллиардов страниц.

Что касается истории создания компании «Google», то еще в 1996 году, пара студентов университета Стэнфорда – Ларри Пейдж и Сергей Брин разработали браузер, созданный на новых методах поиска. Назвали они ее просто и лаконично, как собственно и дизайн поисковой системы «Google». Собственно название google – это искаженный googol (число десять в сотой степени).

В основе нее специальный поисковый робот, который называется «Googlebot». Он производит сканирование страниц и их индексацию. В качестве алгоритма авторитетности, эта ПС . Собственно именно он обеспечивает то, как будут выдаваться страницы посетителю в поисковых результатах.

Одним из первых, эта фирма разработала и на различных языках, который значительно облегчает введение данных в систему. Ну, и наконец, именно и послужил основой для слова «гуглить», которое все чаще встречается в сленге молодых тинейджеров.

«Yahoo » – вторая по популярности в США. Ее организовали в 1994 году два аспиранта Стэнфорда – Дэвид Фило и Джерри Янг. В конце 90 –х ими был приобретен портал RocketMail и на основе него создан бесплатный почтовый сервер «Yahoo». Сегодня на ее серверах можно хранить любое количество писем. В 2010 году появляется и русскоязычный ресурс почты – Yahoo! Почта.

Яндекс

Одним из лучших российских поисковиков, вне всякого сомнения, является «Яндекс». На сегодняшний день он стоит на четвертом месте по общему количеству запросов. В то же самое время, по популярности «Яндекс» занимает сегодня первое место в Российской Федерации. Общее количество произведенных запросов превышает 250 миллионов каждый день

Он был представлен в сентябре 1997 года, а уже в мае 2011, произведя размещение своих акций на IPO, эта фирма смогла заработать наибольшее количество акций среди других интернет – компаний.

Сегодня, «Yandex» имеет 50 сервисов, из которых некоторые уникальные – Яндекс.Поиск, Яндекс.Карты, Яндекс.Маркет. Помимо этого, российских пользователей очень интересуют такие сервисы, как «Поиск по блогам», «Яндекс Пробки». Основные запросы для пользователей в основном из следующих стран ближнего зарубежья: Россия, Белоруссия, Турция и Казахстан.

Исторически фирму основал бизнесмен – программист Аркадий Волож в 1989 году. Само название компании было придумано Ильей Сегаловичем, директором «Яндекса». Благодаря сотрудничеству с институтом проблем передачи информации был создан справочный словарь с поиском.

В отличие от других браузеров, учитывает и морфологию русского языка. Таким образом, сама система предназначена именно для работы в русскоязычном сегменте интернета.

Начиная с 2010 года, помимо браузера «Yandex.ru» появился еще один поисковик «Yandex.com». Данный интернет – ресурс используется для поиска по зарубежным порталам.

Поисковая система « Ebay »

Ebay представляет собой интернет – компанию из США, которая специализируется на проведении интернет – аукционов. Она производит управление портала eBay.com, а также версиями в других странах мира. Помимо этого, в собственности фирмы есть еще одна eBay Enterprise.

Основателем фирмы является американский программист Пьер Омидьяр, который в середине 90 – х годов разработал интернет – аукцион для своего личного портала. В то же время, eBay – это своего рода посредник при купле продаже. Чтобы использовать его продавцы вносят определенный взнос, а покупатели получают возможность бесплатного использования сайта.

Общие принципы его работы следующие:

• В основном все люди добропорядочны
• Каждый может внести свой вклад
• В открытом общении люди проявляют свои лучшие качества

Уже в 1995 году на тысячах онлайн аукционов продавались миллионы различных предметов. Сегодня, это мощная платформа для купли продажи, как физлицами, так и юрлицами.

С 2010 года возникла и русскоязычная версия популярного ресурса и стала называться «Международный торговый центр eBay». Оплата на аукционе производится через платежную систему «PayPal».

Для того, чтобы продать предметы на данном портале необходимо написать сколько он стоит, его стартовая цена, когда начнутся торги, а также сколько будут длиться торги. Как и в обычном аукционе, выбранный товар получает заплативший самую высокую цену.

Из плюсов подобного аукциона стоит отметить то, что продавец и покупатель могут находиться в любом месте земного шара, а наличие локальных филиалов и временных рамок предоставляют возможность участвовать в аукционах огромному количеству продавцов и покупателей.

Данная поисковая система является ведущим интернет – браузером, разработанным компанией «Microsoft». Он появился одновременно с выпуском первой операционной системы Windows 95. Далее этим названием стал пользоваться и сервис электронной почты Hotmail, а также различные веб-узлы Майкрософт. В начале 2002 года он являлся одним из самых крупных интернет – провайдеров в США и имел 9 миллионов подписчиков.

Поисковая система Rambler

Вторым крупным российским поисковиком, является интернет – портал «Rambler». По своей сути, вместе с «Яндекс» он является родоначальником рунета, а также главным игроком на рынке медиа услуг.

Основателем его является Сергей Лысаков, который в 1994 году разработала поисковую систему, а в 1996 году был зарегистрирован и домен www.rambler.ru. Начиная с 2012 года, «Рамблер» стал работать, как новостной портал.

Сегодня он имеет 11 место по популярности среди других сайтов РФ. Также, был разработан и специальный классификатор Rambler Top-100. По своей сути он был первый и в России. Сегодня – это удобный каталог объектов недвижимости «Rambler – недвижимость».

Поисковик mail

Одной из самых крупных почтовых служб явилась, созданная в 1998 году, Mail.ru. Сегодня она представляет собой службу электронной почты, каталог интернет – ресурсов и информационные разделы. Помимо очень удобной почты, она имеет ряд специальных проектов, которые весьма популярны и нужны подписчикам: «Авто Mail.ru», Афиша «Mail.ru», «Дети mail.ru», «Здоровье mail.ru», «Леди mail.ru», «Новости mail.ru» и «Недвижимость mail.ru».

Для любителей спорта и Hi-Tech есть соответствующие рубрики.

На этом я завершаю свой материал. Если вам нравилось, то, пожалуйста, подписывайтесь на мой блог и приглашайте своих родных, друзей и знакомых.

(Пока оценок нет)

Прочитано: 462 раз