Адаптивный краулер для поиска и сбора внешних гиперссылок

Автор(ы): Печников А. А., Чернобровкин Д. И.

Название статьи: Адаптивный краулер для поиска и сбора внешних гиперссылок

Выпуск: 36

Рубрика: Технические и программные средства управления

Год: 2012

Библиография: Печников А. А., Чернобровкин Д. И. Адаптивный краулер для поиска и сбора внешних гиперссылок / Управление большими системами. Выпуск 36. М.: ИПУ РАН, 2012. С.301-315.

Дата опубликования: 31.03.2012

Ключевые слова: гиперссылка, поисковый робот, адаптивное поведение, задача о многоруком бандите, индексы Гиттинса

Аннотация: Описывается поисковый робот (краулер), предназначенный для сбора информации об исходящих гиперссылках с задаваемого множества сайтов, относящихся к одной тематике. Адаптивное поведение краулера сформулировано в терминах задачи о многоруком бандите. Проведенные эксперименты показывают, что выбор адаптивного алгоритма рационального поведения краулера зависит от тематики множества сайтов.

Author(s): Pechnikov A., Chernobrovkin D.

Article title: Adaptive crawler for external hyperlinks search and acquisition

Issue: 36

Year: 2012

Keywords: hyperlink, crawler, adaptive behavior, multi-armed bandit problem, Gittins index

Abstract: We consider the web-crawler designed to find information about outgoing hyperlinks from a set of monothematic web-sites. Adaptive behavior of the crawler is formulated in terms of the multi-armed bandit problem. The experiments show that the choice of the adaptive algorithm of rational behavior depends on the subject of the considered set of web-sites.

в формате PDF
Обсудить статью в Интернет-конференции

Просмотров: 5764; загрузок: 2198, за месяц: 14.

Назад