УПРАВЛЕНИЕ БОЛЬШИМИ СИСТЕМАМИ
на главную написать письмо карта сайта

Адаптивный краулер для поиска и сбора внешних гиперссылок


Название статьи:  Адаптивный краулер для поиска и сбора внешних гиперссылок
Выпуск: 36
Год: 2012
Библиография: Печников А. А., Чернобровкин Д. И. Адаптивный краулер для поиска и сбора внешних гиперссылок / Управление большими системами. Выпуск 36. М.: ИПУ РАН, 2012. С.301-315.
Дата опубликования: 31.03.2012
Ключевые слова: гиперссылка, поисковый робот, адаптивное поведение, задача о многоруком бандите, индексы Гиттинса
Аннотация: Описывается поисковый робот (краулер), предназначенный для сбора информации об исходящих гиперссылках с задаваемого множества сайтов, относящихся к одной тематике. Адаптивное поведение краулера сформулировано в терминах задачи о многоруком бандите. Проведенные эксперименты показывают, что выбор адаптивного алгоритма рационального поведения краулера зависит от тематики множества сайтов.


Author(s): Pechnikov A., Chernobrovkin D.
Article title: Adaptive crawler for external hyperlinks search and acquisition
Issue: 36
Year: 2012
Keywords: hyperlink, crawler, adaptive behavior, multi-armed bandit problem, Gittins index
Abstract: We consider the web-crawler designed to find information about outgoing hyperlinks from a set of monothematic web-sites. Adaptive behavior of the crawler is formulated in terms of the multi-armed bandit problem. The experiments show that the choice of the adaptive algorithm of rational behavior depends on the subject of the considered set of web-sites.


в формате PDF
Обсудить статью в Интернет-конференции

Просмотров: 5355; загрузок: 1993, за месяц: 24.

Назад

ИПУ РАН © 2007. Все права защищены