Название статьи: Адаптивный краулер для поиска и сбора внешних гиперссылок
Библиография: Печников А. А., Чернобровкин Д. И. Адаптивный краулер для поиска и сбора внешних гиперссылок / Управление большими системами. Выпуск 36. М.: ИПУ РАН, 2012. С.301-315.
Дата опубликования: 31.03.2012
Ключевые слова: гиперссылка, поисковый робот, адаптивное поведение, задача о многоруком бандите, индексы Гиттинса
Аннотация: Описывается поисковый робот (краулер), предназначенный для сбора информации об исходящих гиперссылках с задаваемого множества сайтов, относящихся к одной тематике. Адаптивное поведение краулера сформулировано в терминах задачи о многоруком бандите. Проведенные эксперименты показывают, что выбор адаптивного алгоритма рационального поведения краулера зависит от тематики множества сайтов.
Author(s): Pechnikov A., Chernobrovkin D.
Article title: Adaptive crawler for external hyperlinks search and acquisition
Keywords: hyperlink, crawler, adaptive behavior, multi-armed bandit problem, Gittins index
Abstract: We consider the web-crawler designed to find information about outgoing hyperlinks from a set of monothematic web-sites. Adaptive behavior of the crawler is formulated in terms of the multi-armed bandit problem. The experiments show that the choice of the adaptive algorithm of rational behavior depends on the subject of the considered set of web-sites.
в формате PDFОбсудить статью в Интернет-конференции
Просмотров: 5753; загрузок: 2198, за месяц: 14.
Назад