Интернет-разведка. Руководство к действию - Евгений Ющук

3. Когда вам требуется исчерпывающий результат, который заведомо проверен людьми, ориентирующимися в изучаемой области.

Поисковые машины неспособны сравниться по этим параметрам с ресурсами невидимого Интернета. Глубина индексирования, несвоевременность, фильтрация результатов приводят к тому, что появляется много «шума». Проблему усугубляет отсутствие у большинства поисковых систем инструментов тонкой настройки запроса. Именно этот критерий – один из основных, на наш взгляд, по которому Гугл, имеющий одно логическое «И», проигрывает Яндексу, располагающему аж тремя логическими «И».

4. Когда стоит задача получить лишь своевременный контент.

Страницы невидимого Интернета и тематические ресурсы в ряде случаев обновляются чаще, чем страницы и директории, индексируемые поисковыми машинами. Это связано с тем, что добровольцы-энтузиасты с большим рвением отслеживают изменения на тематических сайтах, в отличие от беспристрастных и ничем не интересующихся пауков поисковых машин.

Плюсы и минусы директорий как способа поиска информации в Интернете

Независимо от того, к видимому или к невидимому Интернету относятся директории, у них есть ряд общих положительных и отрицательных свойств.

1. Директории всегда относительно невелики по размеру – в сравнении с общим количеством информации, доступной через поисковые машины.

Поскольку директории отбираются вручную, они, по определению, содержат информации меньше, чем любая поисковая машина. Однако такое ограничение имеет как плюсы, так и минусы.

К преимуществам директорий относится их прямая нацеленность на заданную проблему. Редактор, который принимает решение о включении каких-то данных в тематическую директорию, должен оценить соответствие этой информации теме, и поэтому для каталога отбираются лишь высококачественные ссылки. Кроме того, к каждой статье в директории прилагается аннотация, из которой сразу становится понятно, имеет ли смысл пользователю идти по конкретной ссылке в поисках определенной информации.

К минусам, связанным с небольшими размерами директорий и ограниченной численностью персонала, который их обслуживает, относится неспособность редактора понять нюансы той или иной узкой проблемы и, как результат, исключение некоторых пограничных вопросов из перечня тем. Надо сказать, что некоторые каталоги пошли по пути организации онлайновой энциклопедии – Википедии, когда сами пользователи решают, что соответствует, а что не соответствует их теме. Такие базы данных получают преимущество перед традиционными, которые контролируются лимитированным штатом редакторов. Что интересно, первоначально существовали опасения, что подобные возможности правок приведут к появлению тотальной анархии. Как и в ситуации с Википедией, практика показала, что все эти домыслы оказались беспочвенными.

2. Редакторская политика бывает очень субъективной.

Хотя редакторские стандарты и критерии отбора информации заявлены уже на входе в каждую директорию, другие факторы также могут влиять на качество ее содержимого. Так, у редактора могут быть «любимые» и «нелюбимые» темы. В открытых каталогах может быть собрано много информации, но такой специалист имеет возможность, например, убрать данные о конкуренте. Хорошая директория старается сохранить объективность и предоставить разные точки зрения, однако далеко не всегда это удается сделать на практике.

3. Несвоевременность.

Мы уже говорили, что на специализированных сайтах, благодаря работе энтузиастов, достаточно оперативно отслеживаются изменения по тематическим вопросам. Однако это происходит не всегда. К сожалению, нередко адреса и содержимое страниц могут меняться со временем, но далеко не всегда это находит оперативное отражение в содержании директории. Теоретически за этим должен следить редактор, однако на практике все подчас складывается иначе, хотя бы в силу банальной нехватки времени. В связи с этим многие из них просят сообщать о так называемых «битых и удаленных ссылках», но те адреса, которые посещаются мало, могут быть пропущены и не отслежены с помощью этого фильтра.

Кроме того, нередко картину в каталогах портит тактика неких «дорвеев». Она нацелена на то, чтобы заманить на свой сайт пользователя, который бродит по Интернету в поисках определенного контента, а затем перебросить его на другой сайт, ради принудительного посещения которого первый сайт, собственно, и создавался, а после чего «раскручивался». Недобросовестный администратор такого сайта может дождаться, когда его сайт, соответствующий теме каталога, окажется включен в тематический каталог, а затем ставит так называемый редирект (перенаправление) на сайт, например, порнографического содержания. Именно из-за этой технологии люди, которые ищут, например, программное обеспечение для мобильных телефонов, часто при переходе по ссылке оказываются на сайте электронного казино или на ресурсее, предлагающем интимные услуги.

4. Перекос информации в одну сторону.

Директории могут не отражать реального баланса информации, содержащейся в Интернете, поскольку информация отфильтровывается заведомо предвзято. Для директорий, имеющих узкую направленность, это не является недостатком, скорее наоборот. А вот для директорий общего назначения это критично. Ситуацию усугубляет то обстоятельство, что некоторые «раскрученные» ресурсы берут плату за включение новых сайтов в свои каталоги, что может приводить к исчезновению действительно нужного контента и замене его на бесполезный, но проплаченный в рекламных целях.

С другой стороны, как недостаток, так и избыток информации могут создавать проблемы, так как перенасыщение Сети материалами заметно усложняет процедуру поиска нужного ресурса. Примером перегруженных директорий, содержащих тысячи документов, может служить категория «Производство и поставки «в Яндексе, которая на момент написания книги включала 8748 ссылок. Отчасти указанная проблема решается за счет хорошего структурирования материала, однако это не избавляет пользователя от необходимости затрачивать на поиск немалые усилия.

Основные категории невидимого Интернета

Крис Шерман и Гэри Прайс еще в 2004 г. выделили основные категории онлайновой информации, которая чаще всех остальных сведений относится к невидимому Интернету – в той или иной степени.

Мы бы рекомендовали материалы, подобные приведенным ниже, искать не только и не столько через информационные системы, сколько через специализированные сайты. При этом сами такие узконаправленные ресурсы (их главные страницы, а не содержимое) можно успешно отыскать при помощи тех же информационных систем.

Мы попытались проанализировать, насколько изменилась ситуация по сравнению с той, что была описана Шерманом и Прайсом, а также проверить, как обстоят дела с подобными типами ресурсов в русскоязычной части Интернета.

1. Информация о компаниях, обязательная для раскрытия.

Во многих странах компании, акции которых публично продаются, обязаны предоставлять определенную информацию о себе на правительственные сайты или сайты общественных организаций. Такие ресурсы нередко позволяют организовать информирование по электронной почте об изменениях информации о какой-либо компании. В России к таким сайтам относится сайт проекта СКРИН: http://www.skrin.ru/issuers/.

2. Номера телефонов.

К невидимому Интернету часто относят так называемые «Белые страницы» или «White Pages» (справочники, содержащие информацию о телефонах отдельных людей), например справочник, расположенный по адресу: http://interweb.spb. ru/phone/.

3. Составление карт для водителей.

Конкретная карта, составляется по запросу.

Примеры:

http://www.wayinnet.com/r/service/m2.htm

http://truckmarket.ru/tc.php

http://www.licard.ru/wwwintra/licard_ru_route.nsf/RoutePlanning?OpenForm &lang=RU.

4. Патенты.

Поиск по базам данных патентов в России предоставляется, в частности, на сайте Роспатента: http://www.fips.ru/russite/.

5. Книги, которые больше не печатаются.

Книги, которые больше не печатаются, но представляют интерес для читателей, есть всегда. И это не обязательно антиквариат. Нередко люди ищут такую литературу просто из желания сэкономить, особенно если речь идет об иностранной печатной продукции. Для удовлетворения такого спроса созданы специализированные сайты.

Напрмер, американский ресурс http://www.alibris.com или российский http:// www.alib.ru/.

6. Библиотечные каталоги.

http://www.benran.ru/Lib_kat.htm

Каталоги библиотек России: каталоги Российской государственной библиотеки;

– каталоги Российской национальной библиотеки (Санкт-Петербург);

– каталоги ГПНТБ РФ (включая Российский Сводный Каталог по научно-технической литературе);

– каталоги Государственной центральной научной медицинской библиотеки;