$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

확률적 보상과 유효성을 갖는 Sleeping Bandits의 다수의 전략을 융합하는 기법
Combining Multiple Strategies for Sleeping Bandits with Stochastic Rewards and Availability

정보과학회논문지 = Journal of KIISE, v.44 no.1, 2017년, pp.63 - 70  

최상희 (서강대학교 컴퓨터공학과) ,  장형수 (서강대학교 컴퓨터공학과)

초록
AI-Helper 아이콘AI-Helper

본 논문에서는 확률적 보상과 유효성을 갖고, 매 시간 유효한 arm들의 집합이 변하는 sleeping bandit 문제를 해결하는 다수의 전략들의 집합 ${\Phi}$가 주어졌을 때, 이들을 융합하는 문제를 고려하고, 이 문제를 해결하기 위한 융합 알고리즘 sleepComb(${\Phi}$)를 제안한다. 제안된 알고리즘인 sleepComb(${\Phi}$)는 확률적(stochastic) multi-armed bandit 문제를 해결하는 매개변수 기반 휴리스틱으로 잘 알려진 ${\epsilon}_t$-greedy의 확률적 스위칭 기법을 바탕으로 매 시간 적절한 전략을 선택하는 알고리즘이다. 시퀀스 {${\epsilon}_t$}와 전략들에 대한 적절한 조건이 주어졌을 때, 알고리즘 sleepComb(${\Phi}$)는 sleeping bandit 문제에 대해 적절히 정의된 "best" 전략으로 수렴한다. 실험을 통해 이 알고리즘이 "best" 전략으로 수렴한다는 사실을 확인하고, 기존의 다른 융합 알고리즘보다 "best" 전략으로 더 빠르게 수렴함과 "best" 전략을 선택하는 비율이 더 높음을 보인다.

Abstract ▼ AI-Helper 아이콘AI-Helper

This paper considers the problem of combining multiple strategies for solving sleeping bandit problems with stochastic rewards and stochastic availability. It also proposes an algorithm, called sleepComb(${\Phi}$), the idea of which is to select an appropriate strategy for each time step ...

주제어

#Sleeping bandit 문제   #multi-armed bandit 문제   #융합 알고리즘   #최적성  

참고문헌 (15)

  1. P. Auer, N. Cesa-Bianchi, and P. Fisher, "Finitetime analysis of the multiarmed bandit problem," Machine Learning, Vol. 47, pp. 235-256, 2002. 

    crossref

  2. P. Auer, N. Cesa-Bianchi, Y. Freund, and R. E. Schapire, "The nonstochastic multiarmed bandit problems," SIAM J. Comput., Vol. 32, No. 1, pp. 48- 77, 2002. 

    상세보기 crossref

  3. J. Bather, "Randomized allocation of treatment in sequential trials," Advances in Applied Probability, Vol. 12, No. 1, pp. 174-182, 1980. 

    crossref

  4. A. Blum and Y. Monsour, "From external to internal regret," Conf. on Learning Theory(COLT), pp. 621-636, 2005. 

  5. S. Bubeck and N. Cesa-Bianchi, "Regret analysis of stochastic and nonstochastic multi-armed bandit problems," Foundations and Trends in Machine Learning, Vol. 5, No. 1, pp. 1-122, 2012. 

    상세보기 crossref

  6. D. P. de Farias and N. Megiddo, "Combining expert advice in reactive environments," J. of the ACM, Vol. 53, No. 5, pp. 762-799, 2006. 

    상세보기 crossref

  7. H. S. Chang and S. H. Choe, "Combining multiple strategies for multi-armed bandits problems and asymptotic optimality," Journal of Control Science and Engineering, Vol. 2015, Article ID 264953, 7 pages, Mar. 2015. 

  8. Y. Freund, R. E. Schapire, Y. Singer, and M. K. Warmuth, "Using and combining predictors that specialize," Proc. of the 22nd annual ACM symp. on Theory of comput., pp. 334-343, 1997. 

  9. J. C. Gittins and D. M. Jones, "A dynamic allocation index for sequential design of experiments," Progress in Statistics, Euro. Meet. Statis., Vol. 1, pp. 241-266, 1972. 

  10. V. Kanade, B. McMahan, and B. Bryan, "Sleeping experts and bandits with stochastic action availability and adversarial rewards," Inter. Conf. on Art. Int. and Stat., pp. 272-279, 2009. 

  11. R. D. Kleinberg, A. Niculescu-Mizil, and Y. Sharma, "Regret bounds for sleeping experts and bandits," Machine learning, Vol. 80, No. 2-3, pp. 245-272, 2010. 

    상세보기 crossref

  12. T. L. Lai and Herbert Robbins, "Asymptotically efficient adaptive allocations rules," Adv. in appl. Math., Vol. 6, pp. 4-22, 1985. 

    상세보기 crossref

  13. H. B. McMahan and M. Streeter, "Tighter bounds for multi-armed bandits with expert advice," Proc. of the 22nd Conf. on Learning Theory, 2009. 

  14. G. Neu and M. Valko, "Online combinatorial optimization with stochastic decision sets and adversarial losses," Advances in Neural Information Processing Systems, pp. 2780-2788, 2014. 

  15. H. Robbins, "Some aspects of the sequential design of experiments," Bull. Amer. Math. Soc., Vol. 58, pp. 527-535, 1952. 

    상세보기 crossref

저자의 다른 논문 :

관련 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로