20 апреля 2004 года исполнилось 10 лет со времени запуска первого в мире настоящего поискового веб-сайта. Экспериментальная программа WebCrawler автоматически исследовала сеть и индексировала страницы.
В это сложно поверить, но WebCrawler был настольным приложением и успешно работал с одного-еди
ственного компьютера. Вы помните, какой тогда была производительность обычного десктопа? Именно такая “персоналка” стояла в комнате студента Вашингтонского университета Брайана Пинкертона, который написал программу в свободное от учебы время. Для сравнения: поисковый движок Google работает на платформе из 100 тыс. серверов c собственной файловой системой GFS.
Возможно, WebCrawler и не был самым первым в мире поисковым пауком. Тогда, десять лет назад, идея поиска в интернете витала в воздухе и несколько команд разработчиков готовили к запуску собственные программы для индексирования всего содержимого WWW. Сразу несколько пауков почти одновременно начали рыскать по просторам Всемирной паутины в далеком 1994-м году и WebCrawler был одним из них. Достоверно известно, что раньше всех, 20 апреля 1994 года, в сети появился доступный для всех и бесплатный поисковый сервис, в индексе которого находилось более 4000 веб-сайтов. Имеется документальное подтверждение этому факту: письмо Брайана Пинекртона, в котором он сообщает об окончании разработки веб-интерфейса для обработки запросов. Разработчик сообщает, что первоначальный индекс из более 4000 сайтов собран пауком всего за сутки, а движок пока не может быстро работать. В далеком 1996 году интерфейс WebCrawler все еще был простым и очень милым.
За десятилетнюю историю первый поисковый сайт несколько раз покупали и продавали. По количеству переходов из рук в руки WebCrawler, пожалуй, стал рекордсменом среди всех поисковых сайтов. В данный момент он принадлежит компании InfoSpace.
Вообще, подробная история WebCrawler представляет собой увлекательное чтиво, похожее на детектив: 1 июня 1995 г. его купила America Online. Кстати, в то время у AOL насчитывалось менее 1 млн. пользователей, которые даже не имели возможности выхода в интернет. В июне 1997 г. WebCrawler приобрела Excite. Эта компания спустя четыре года сообщила о своем банкротстве, а многострадальный поисковик перешел под крыло InfoSpace, которая в данный момент использует его как метапоисковый механизм.