Невидимая Сеть (invisible Web) – коллекция доступных для поиска веб-сайтов, чье содержание содержится в базах данных и не включено в индекс традиционных поисковиков.

У всех поисковиков “общего пользования” имеется одна общая проблема, и большинство людей о ней даже не знает. А проблема формулир
ется предельно просто: огромная часть интернета для поисковиков абсолютно невидима.

Невидимая Сеть состоит из различных баз данных. Эта исключительно ценная информация, к сожалению, недоступна для индексирования программами обычных поисковиков, таких как “Яндекс”, Google, Yahoo! и т.д. Другими словами, мы пока не можем получить доступ к этой информации стандартными средствами, которыми пользуемся каждый день.

Пауки поисковых машин обходят весь интернет и индексируют информацию. Когда они встречают такую базу данных, это похоже на несчастный случай – как будто вы врезались в массивную и плотно закрытую дверь библиотеки. В результате поисковик может назвать адрес этой библиотеки, но никогда не скажет, какие книги, журналы и другие документы там хранятся. Типичный пример – информационно-поисковая система по российскому законодательству (http://iv2.garant.ru/SESSION/S__MHMBTGMr/PILOT/main.htm). Тысячи документов из базы данных становятся доступны только после входа в систему, а пауки “Яндекса” не могут проникнуть в защищенную часть сайта.

К счастью, в интернете есть сайты-путеводители по ресурсам, составляющим невидимую Сеть, а также специализированные программы. Вот некоторые из них:

Infomine Multiple Database Search (http://infomine.ucr.edu/search.phtml, академический инструмент поиска по университетским архивам, библиотекам и книгам), BUBL LINK (http://www.bubl.ac.uk/link, каталог информационных сайтов, которые уникальны в своей областях), Scirus (http://www.scirus.com/srsapp, поиск научной информации на специализированных сайтах), Amazon.com (полнотекстовый поиск по содержанию всех книг).

В статье, посвященной “невидимой Сети”, газета New York Times тоже приводит несколько примеров (http://www.nytimes.com/2001/01/25/technology/25SEAR.html). Например, лучшим ресурсом по американскому законодательству назван сайт FindLaw.com, лучший сайт для сравнения цен – MySimon.com, наиболее полная финансовая информация – FinancialFind.com, а информацию из научно-популярных журналов и научных баз данных о биотехнологиях можно найти на Biolinks.com (http://www.bioview.com/bv/servlet/BVHome). Все эти сайты являются “порталами” для входа в невидимую Сеть, которая практически полностью отсутствует на Google, сообщает Вебпланета.

Текст новостей тоже традиционно относился к невидимой Сети, но в последние годы все крупнейшие поисковые сайты разработали эффективные инструменты поиска новостей с ежеминутным обновлением: это, например, “Яндекс.Новости” и Google News.

Преимущество “невидимых ресурсов” – в их узкой специализации. Это такие же поисковые машины, но они настолько узко специализируются в своей отрасли, что позволяет авторам проекта вручную писать программы для доступа к отдельным базам данных или опять же вручную добавлять информацию в индекс. Поисковые машины невидимой Сети – это штучные автомобили ручной сборки по сравнению с массовыми моделями популярных поисковиков.

By Ruslan Novikov

Интернет-предприниматель. Фулстек разработчик. Маркетолог. Наставник.