сетевой+робот

Первый сетевой робот
В 1993 году студент Массачусетского технологического института Мэтью Грей создал первого робота, который индексировал страницы Интернета. Назывался он //**World Wide Web Wanderer**//, буквально — «странник по Всемирной паутине». Прежде опись сетевых ресурсов составлялась вручную. Программа позволяла пересчитывать веб-серверы, измеряя масштабы Паутины. База сайтов, собранная при помощи первого робота, получила название Wandex. Однако с течением времени эта база становилась все менее пригодной для поиска, и постепенно утратила актуальность для пользователей. Поисковые роботы первого поколения были крайне медлительными и попросту не успевали за ростом всемирной Сети. Проблемы с автоматическим сбором информации привели к появлению принципиально иной концепции поисковой системы. Так возникла система ALIWEB- первый глобальный каталог (или директория) ресурсов Всемирной паутины. Ее базу данных наполняла не программа-робот, а хозяин сайта или веб-страницы.

Источник: []