$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

개미 집단 시스템에서 TD-오류를 이용한 강화학습 기법
A Reinforcement Loaming Method using TD-Error in Ant Colony System 원문보기

정보처리학회논문지. The KIPS transactions. Part B. Part B, v.11B no.1, 2004년, pp.77 - 82  

이승관 (경희대학교 대학원 전자계산공학과) ,  정태충 (경희대학교 컴퓨터공학과)

초록
AI-Helper 아이콘AI-Helper

강화학습에서 temporal-credit 할당 문제 즉, 에이전트가 현재 상태에서 어떤 행동을 선택하여 상태전이를 하였을 때 에이전트가 선택한 행동에 대해 어떻게 보상(reward)할 것인가는 강화학습에서 중요한 과제라 할 수 있다. 본 논문에서는 조합최적화(hard combinational optimization) 문제를 해결하기 위한 새로운 메타 휴리스틱(meta heuristic) 방법으로, greedy search뿐만 아니라 긍정적 반응의 탐색을 사용한 모집단에 근거한 접근법으로 Traveling Salesman Problem(TSP)를 풀기 위해 제안된 Ant Colony System(ACS) Algorithms에 Q-학습을 적용한 기존의 Ant-Q 학습방범을 살펴보고 이 학습 기법에 다양화 전략을 통한 상태전이와 TD-오류를 적용한 학습방법인 Ant-TD 강화학습 방법을 제안한다. 제안한 강화학습은 기존의 ACS, Ant-Q학습보다 최적해에 더 빠르게 수렴할 수 있음을 실험을 통해 알 수 있었다.

Abstract ▼ AI-Helper 아이콘AI-Helper

Reinforcement learning takes reward about selecting action when agent chooses some action and did state transition in Present state. this can be the important subject in reinforcement learning as temporal-credit assignment problems. In this paper, by new meta heuristic method to solve hard combinati...

주제어

#개미집단최적화   #개미시스템   #개미집단시스템   #다양화   #메타휴리스틱   #TD-오류  

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본 논문에서는 Ant-Q 강화 학습에서 Temporal-credit 할당 문제를 해결하기 위한 TD-오류 이용과 각 노드에 대해 에이전트들의 방문 빈도수 기반의 다양화 전략에 의한 상태 전이를 통해 강화학습하는 방법을 제안하였다.
  • 본 논문에서는 Ant-Q 강화 학습에서 Temporal-credit 할당 문제를 해결하기 위해 제시된 TD-오류를 이용한 강화학습 방법을 제안한다.
  • 본 논문에서는 TSP 문제를 풀기 위해 Colomi, Dorigo 그리고 Maniezzo[l, 2]에 의해 제안된 새로운 메타 휴리스틱 (Meta Heuristic) 방법인 강화학습 기반의 조합최적화 문제를 해결하는 Ant-Q[8, 9] 학습방법을 살펴보고 이 Ant-Q 학습에 TD-오류를 적용한 학습방법[3-5, 13]인 새로운 Ant-TD 강화학습 기법을 제안한다.
본문요약 정보가 도움이 되었나요?

참고문헌 (15)

  1. A. Colorni, M. Dorigo and V. Maniezzo, 'An investigation of some properties of an ant algorithm,' Proceediings of the Parallel Parallel Problem Solving from Nature Conference(PPSn'92), R. Manner and B. Manderick (Eds.), Elsevier Publishing, pp.509-520, 1992 

  2. A. Colorni, M. Dorigo and V. Maniezzo, 'Distributed optimization by ant colonies', Proceedings of ECAL'91 - Eu - ropean Conference fo Artificial Life, Paris, France, F. Varela and P. Bourgine (Eds.), Elsevier Publishing, pp.134-144, 1991 

  3. C. J. C. H. Watkins, 'Learning from Delayed Rewards, King's College,' Ph.D. thesis, King's College, Cambrige, U.K, 1989 

  4. C. N. Fiecher, 'Efficient reinforcement learning', In Proceedings of the Seventh Annual ACM Conference On Computational Learning THeory, pp.88-97, 1994 

  5. E. Barnald, 'Temporal-difference methods and markov model,' IEEE Transactions on Systems, Man, and Cybernetics, Vol.23, pp.357-365, 1993 

    상세보기 crossref

  6. L. M. Gambardella and M. Dorigo, 'Solving symmetric and asymmetric TSPs by ant colonies', Proceedings of IEEE International Conference of Evolutionary Computation, IEEE-EC'96, IEEE Press, pp.622-627, 1996 

    crossref

  7. L. M. Gambardella and M. Dorigo, 'Ant Colony System : A Cooperative Learning apprach to the Traveling Salesman Problem', IEEE Transactions on Evolutionary Computation, Vol.1, No.1, 1997 

    상세보기 crossref

  8. L. M. Gambradella and M. Dorigo, 'Ant-Q : a reinforcement learning approach to the traveling salesman problem', Proceedings of ML-95, Twelfth International Conference on Machine Learning, A. Prieditis and S. Russell (Eds.), Morgan Kaufmann, pp.252-260, 1995 

  9. M. Dorigo and L. M. Gambardella, 'A study of some properties of Ant-Q', Proceedings of PPSN IVFourth International Conference on Parallel Problem Solving From Nature, H. M.Voigt, W. Ebeling, I. Rechenberg and H. S. Schwefel (Eds.), Springer-Verlan, Berlin, pp.656-665, 1996 

  10. M. Drigo and V. Maniezzo and A. Colorni, 'The ant system : optimization by a colony of cooperation agents', IEEE Transactions of Systems, Man and Cybernetics- Part B, Vol.26, No.2, pp.29-41, 1996 

    상세보기 crossref

  11. M. Dorigo and G. D. Caro, 'Ant Algorithms for Discrete Optimization', Artificial Life, Vol.5, No.3, pp.137-172, 1999 

    상세보기 crossref

  12. M. Dorigo and L. M. Gambardella, 'Ant Colonies for the Traveling Salesman Problem', BioSystems, 43, pp.73-81, 1997 

    상세보기 crossref

  13. R. C. Yee, P. E. Utgoff and A. G. Barto, 'Explaining temporal differences to create useful concepts for evaluating states', In Proceedings of the 8th National Conference on Artificial Intelligence, pp.882-888, 1990 

  14. T. Stutzle, and H. Hoos, 'The ant system and local search for the traveling salesman problem', Proceedings of ICEC 1997-1997 IEEE 4th International Conference fo Evolutionary 

  15. T. Sttzle and M. Dorigo, 'ACO Algorithms for the Traveling Saleslman Problem,' In K. Miettinen, M. Makela, P. Neittaanmaki, J. Periaux, editors, Evolutionary Algorithms in Engineering and Computer Science, Wiley, 1999 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

BRONZE

출판사/학술단체 등이 한시적으로 특별한 프로모션 또는 일정기간 경과 후 접근을 허용하여, 출판사/학술단체 등의 사이트에서 이용 가능한 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로