[논문]강화학습을 통한 시간에 엄격한 패킷 스케쥴링

정현석; 이태호; 이병준; 김경태; 윤희용

강화학습을 통한 시간에 엄격한 패킷 스케쥴링
Time Critical Packet Scheduling via Reinforcement Learning 원문보기

정현석 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 이태호 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 이병준 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 김경태 (성균관대학교 정보통신대학 전자전기컴퓨터공학과) , 윤희용 (성균관대학교 소프트웨어대학 소프트웨어학과)

본 논문에서는 시간에 엄격한(Time critical) 산업용 IoT(Industrial IoT) 환경의 무선 센서 네트워크 시스템 상의 효율적인 패킷 전달과 정확도(Accuracy) 향상을 위해 강화학습과 EDF 알고리즘을 혼합한 스케쥴링 기법을 제안한다. 이 방식은 다중 대기열(Multiple queue) 환경에서 각 대기열의 요구 정확도(Accuracy Requirement)를 기준으로 최대한 패킷 처리를 미룸으로써 효율적인 CPU자원 분배와 패킷 손실율(Packet Loss)을 조절한다. 제안하는 기법은 무선 센서 네트워크 상의 가변적이고 예측 불가능한 환경에 대한 사전지식이 없이도 요구하는 서비스의 질(Quality of service)를 만족할 수 있도록 한다. 또한 정확도를 요구조건으로 제시하여 마감시간이 중요시되는 작업에서도 효율을 최대화한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 IIoT 환경이 요구하는 시간에 엄격한 환경에서 강화학습의 일종인 큐러닝을 이용한 패킷 스케쥴링 방식을 제안하였다. 기존 큐러닝을 이용한 알고리즘의 시간에 엄격하지 않은 방식의 문제점을 EDF 스케쥴링과 혼합하여 딜레이 요구시간을 학습을 통해 변경함으로써 시간에 엄격하면서도 다양한 환경에 적응하는 알고리즘을 제안하였다.

제안 방법

본 논문에서는 IIoT 환경이 요구하는 시간에 엄격한 환경에서 강화학습의 일종인 큐러닝을 이용한 패킷 스케쥴링 방식을 제안하였다. 기존 큐러닝을 이용한 알고리즘의 시간에 엄격하지 않은 방식의 문제점을 EDF 스케쥴링과 혼합하여 딜레이 요구시간을 학습을 통해 변경함으로써 시간에 엄격하면서도 다양한 환경에 적응하는 알고리즘을 제안하였다. 하지만 적용과정이 단순화되었기 때문에 강화학습의 특성을 더욱 활용할 수 있도록 더 많은 요소와 더 많은 상태공간(State Space)을 도입하는 방식에 대해 추가 연구가 이루어질 예정이다.
제안하는 방식은 EDF 스케쥴링과 큐러닝을 혼합한 방식이다. 현재 타임슬롯(Time Slot)이 t일 때, 각 대기열의 딜레이 요구시간 R_i(t)과 각 대기열의 현재 평균 지연시간(Mean Delay) M_i(t) 에 따라 현재의 상태(State)에 대해 모델링 한다.
제안하는 방식은 EDF 스케쥴링과 큐러닝을 혼합한 방식이다. 현재 타임슬롯(Time Slot)이 t일 때, 각 대기열의 딜레이 요구시간 R_i(t)과 각 대기열의 현재 평균 지연시간(Mean Delay) M_i(t) 에 따라 현재의 상태(State)에 대해 모델링 한다. 이 때 딜레이 요구시간 R_i(0)은 다음 식과 같이 초기 값이 설정된다.

후속연구

기존 큐러닝을 이용한 알고리즘의 시간에 엄격하지 않은 방식의 문제점을 EDF 스케쥴링과 혼합하여 딜레이 요구시간을 학습을 통해 변경함으로써 시간에 엄격하면서도 다양한 환경에 적응하는 알고리즘을 제안하였다. 하지만 적용과정이 단순화되었기 때문에 강화학습의 특성을 더욱 활용할 수 있도록 더 많은 요소와 더 많은 상태공간(State Space)을 도입하는 방식에 대해 추가 연구가 이루어질 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

강화학습을 통한 시간에 엄격한 패킷 스케쥴링
Time Critical Packet Scheduling via Reinforcement Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

후속연구

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

강화학습을 통한 시간에 엄격한 패킷 스케쥴링 Time Critical Packet Scheduling via Reinforcement Learning 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

후속연구

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

강화학습을 통한 시간에 엄격한 패킷 스케쥴링
Time Critical Packet Scheduling via Reinforcement Learning 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper