[논문]큐러닝(Q-learning)을 이용한 다중 대기열 패킷 스케쥴링

정현석; 이태호; 이병준; 김경태; 윤희용

큐러닝(Q-learning)을 이용한 다중 대기열 패킷 스케쥴링
Multiple Queue Packet Scheduling using Q-learning 원문보기

정현석 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 이태호 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 이병준 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 김경태 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 윤희용 (성균관대학교 소프트웨어대학 소프트웨어학과)

본 논문에서는 IoT 환경의 무선 센서 네트워크 시스템 상의 효율적인 패킷 전달을 위해 큐러닝(Q-learning)에 기반한 다중 대기열 동적 스케쥴링 기법을 제안한다. 이 정책은 다중 대기열(Multiple queue)의 각 큐가 요구하는 딜레이 조건에 맞춰 최대한 패킷 처리를 미룸으로써 효율적으로 CPU자원을 분배한다. 또한 각 노드들의 상태를 큐러닝(Q-learning)을 통해 지속적으로 상태를 파악하여 기아상태(Starvation)를 방지한다. 제안하는 기법은 무선 센서 네트워크 상의 가변적이고 예측 불가능한 환경에 대한 사전지식이 없이도 요구하는 서비스의 질(Quality of service)를 만족할 수 있도록 한다. 본 논문에서는 모의실험을 통해 기존의 학습 기반 패킷 스케쥴링 알고리즘과 비교하여 제안하는 스케쥴링 기법이 복잡한 요구조건에 따라 유연하고 공정한 서비스를 제공함에 있어 우수함을 증명하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

IoT 환경의 무선 센서 네트워크 시스템에 있어서 트래픽 컨트롤 알고리즘의 궁극적인 목적은 각 센서 노드들의 트래픽이 요구하는 QoS를 만족하면서도 Starvation이 일어나지 않고 최대한의 효율로 패킷을 전달하는 것이다. FIFO나 EDF 등의 일반적으로 널리 쓰이는 스케쥴링 알고리즘의 경우 빠르고 안정적이지만 스케쥴링에 있어 많은 정보를 고려하지 않기 때문에 서비스의 질과 효율 측면에서는 한계를 보인다.
본 논문에서는 IoT 무선 센서 네트워크 환경에서 유연하고 안정적인 서비스를 실시간으로 제공하기 위해 강화학습의 일종인 큐러닝을 이용해 현재의 환경을 학습하고 평가하는 스케줄러를 향상시켰다. 제안하는 방식은 모의실험을 통해 기존의 큐러닝을 이용한 알고리즘보다 훨씬 공정하고 안정적으로 스케쥴링하는 경향이 있음을 증명하였다.

제안 방법

다음으로 Q-learning을 통해 가장 높은 Q값을 가지는 정책을 통해 다음에 서비스할 대기열을 선택하는 알고리즘이 제시되어 있다[2]. 이 알고리즘 역시 각 대기열의 Delay Requirement R_i과 각대기열의 Mean Delay M_i에 따라 현재의 State에 대해 모델링하고, 이에 기반해 점수를 매긴 뒤 가장 높은 점수를 가진 대기열을 다음 서비스할 대기열로 선택한다.
먼저 확률적인 방법을 통해 다음에 서비스할 큐를 선택하는 알고리즘이 제시되어 있다[1]. 이를 위해 먼저 딜레이 요구조건(Delay Requirement)을 이용하여 현재의 상태(State)에 대해 모델링한다. 이에 따라 다음에 선택될 대기열을 확률적으로 선택한다.
제안하는 방식으로는 대기열 선택에 있어 소프트맥스 함수(Softmax function)를 이용하여 Q-learning 기반의 스케쥴링 알고리즘[2] 의 대기열 선택 방식을 확률적으로 만드는 것이다. 먼저 현재 State를 평가하여 표현한다.

이론/모형

그렇기 때문에 이러한 알고리즘은 각 대기열의 성능(Performance)에 따라 서로 다른 서비스율(ServiceRate)을 가져야 한다. 이를 위해 큐러닝(Q-learning)을 이용하였다.

성능/효과

본 논문에서는 IoT 무선 센서 네트워크 환경에서 유연하고 안정적인 서비스를 실시간으로 제공하기 위해 강화학습의 일종인 큐러닝을 이용해 현재의 환경을 학습하고 평가하는 스케줄러를 향상시켰다. 제안하는 방식은 모의실험을 통해 기존의 큐러닝을 이용한 알고리즘보다 훨씬 공정하고 안정적으로 스케쥴링하는 경향이 있음을 증명하였다. 하지만 평균 지연율과 딜레이 요구시간만을 상태 평가에 고려를 하고 있기 때문에 안정성이 떨어진다.

후속연구

하지만 평균 지연율과 딜레이 요구시간만을 상태 평가에 고려를 하고 있기 때문에 안정성이 떨어진다. 이를 보완하기 위해서 더 많은 요소를 고려할 수 있도록 상태공간(State Space)를 더 늘리는 방식에 대한 추가 연구가 이루어질 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

큐러닝(Q-learning)을 이용한 다중 대기열 패킷 스케쥴링
Multiple Queue Packet Scheduling using Q-learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

큐러닝(Q-learning)을 이용한 다중 대기열 패킷 스케쥴링 Multiple Queue Packet Scheduling using Q-learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

큐러닝(Q-learning)을 이용한 다중 대기열 패킷 스케쥴링
Multiple Queue Packet Scheduling using Q-learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper