[논문]Efficient Resource Allocation for Energy Saving with Reinforcement Learning in Industrial IoT Network

Dongyeong Seo; Kwansoo Jung; Sangdae Kim

doi:10.9708/jksci.2024.29.09.169

[국내논문] Efficient Resource Allocation for Energy Saving with Reinforcement Learning in Industrial IoT Network

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.29 no.9, 2024년, pp.169 - 177

Dongyeong Seo (ICT Testing Research Center, Electronics and Telecommunication Research Institute) , Kwansoo Jung (Dept. of Fintech, Daejeon University) , Sangdae Kim (Dept. of Medical Information Technology Engineering, Soonchunhyang University)

초록
AI-Helper

IWSN(Industrial Wireless Sensor Network)는 센서, 로봇, 기계 등의 산업 장비들을 무선으로 연결하여 공정 모니터링 및 제어를 통한 산업 자동화 실현을 가능하게 하는 산업 IoT의 핵심 기술로써 실시간, 신뢰성, 에너지 효율 등 현대 산업환경의 엄격한 요구사항을 지원해야 한다. 이를 위해 IWSN에서는 다중 라우팅 경로 설정, 고정적 중복자원 할당 및 비경쟁 기반 스케줄링 등 신뢰적 통신 방식이 사용된다. 그러나 활용되지 않는 무선 자원의 낭비는 한정된 무선 자원의 효율뿐만 아니라 에너지 효율을 저하한다. 본 논문에서는 통신 스케줄링 시 강화학습을 활용하여 사용되지 않는 할당된 무선 자원을 파악하고, 이를 반영한 자원 재할당을 통해 전체 산업 네트워크의 에너지 소모를 절약하는 방안을 제안한다. 실험을 통한 성능평가 결과, 제안 방안은 높은 전송 신뢰성을 유지하면서도 기존 방법에 비해 약 30% 향상된 스케줄링 자원 효율을 보였다. 또한, 불필요한 통신을 줄임으로써 에너지 효율 및 전송지연이 각각 21%, 38% 이상 개선됨을 확인하였다.

Abstract ▼ AI-Helper

Industrial Wireless Sensor Network (IWSN) is a key feature of Industrial IoT that enables industrial automation through process monitoring and control by connecting industrial equipment such as sensors, robots, and machines wirelessly, and must support the strict requirements of modern industrial environments such as real-time, reliability, and energy efficiency. To achieve these goals, IWSN uses reliable communication methods such as multipath routing, fixed redundant resource allocation, and non-contention-based scheduling. However, the issue of wasting redundant resources that are not utilized for communication degrades not only the efficiency of limited radio resources but also the energy efficiency. In this paper, we propose a scheme that utilizes reinforcement learning in communication scheduling to periodically identify unused wireless resources and reallocate them to save energy consumption of the entire industrial network. The experimental performance evaluation shows that the proposed approach achieves about 30% improvement of resource efficiency in scheduling compared to the existing method while supporting high reliability. In addition, the energy efficiency and latency are improbed by more than 21% and 38%, respectively, by reducing unnecessary communication.

Keyword

표/그림 (12)

그림 Fig. 1. Industrial Wireless Sensor Networks
그림 Fig. 2. Superframe scheduling example in IWSN
표 Table 1. Proposed Scheduling Update Algorithm
그림 Fig. 3. Updated schedule with proposed scheme
그림 Fig. 4. Result of Resource Efficiency (Allocated Resource per Superframe)
표 Table 2. Proposed Scheduling Update Algorithm
표 Table 3. Experimental Environments
그림 Fig. 7. Result of Reliability Evaluation (End-to-End Packet Data Ratio)
그림 Fig. 8. Result of Real-time Evaluation (End-to-End Delivery Latency)
그림 Fig. 5. Result of Energy Efficiency (Energy Consumption with Link Quality)
그림 Fig. 6. Result of Energy Saving (Energy Consumption with varying Data flows)
표 Table 4. Summary of performance evaluation

AI 본문요약
AI-Helper

문제 정의

이러한 과정에 사용되는 대표적 MAB 알고리즘인 ε-greedy 방식은 일정 확률(ε)로 알려지지 않은 랜덤한 머신(Arm)을 선택하고, 나머지 확률로 알려진 보상(Reward)이 가장 높은 Arm을 선택하는 방식으로 동작한다. 본 논문에서는 IWSN 환경에 MAB 알고리즘을 적용함으로써, 한정된 무선 자원을 효과적으로 활용할 수 있도록 할당하여 스케줄링하고 개선되는 네트워크 성능을 확인하고자 한다.
정리하자면, 각기 다른 산업응용의 목적 달성을 위해 라우팅 및 스케줄링과 같은 네트워크 관리 측면의 연구들이 진행되고 있으나, 현대적으로 변화하는 산업환경을 효과적으로 지원하기 위해서는 기존 네트워크 기술과 호환을 제공하면서도 자원 효율적인 네트워크 관리 방안이 요구된다. 본 연구에서는 산업환경에서 네트워크 자원 최적화를 위해 RL-MAB을 적용한 자원 할당 및 스케줄링 방식을 제안하여 신뢰성과 실시간성을 지원하면서도 에너지 효율, 자원 효율 등의 네트워크 성능 개선을 도모하고자 한다.
본 연구는 IWSN의 산업 데이터 전송에 사용되는 통신 스케줄링 시, 강화학습 기법인 MAB을 적용하여 활용되지 않고 낭비되는 무선 할당 자원을 파악하고 이를 자원 재할당 및 스케줄링 업데이트에 반영함으로써 자원 효율, 에너지 효율 등의 네트워크 성능 개선을 목표로 한다.
강화학습의 대표적 분야로 분류되는 MAB 알고리즘은 환경의 변동성이나 다양한 요구사항을 파악하여 특정 상황에서 적합한 탐색(Exploration)과 활용(Exploitation)의 균형을 찾는 것이 중요하다. 본 연구에서는 다양한 산업장비가 배치되고 한정된 무선자원, 구현의 복잡성 등이 요구되는 IWSN 환경에서 MAB의 대표적 알고리즘인 e-greedy 알고리즘을 적용하고 실험적 접근을 통해 자원할당 및 스케줄링 문제를 최적화하는 것을 목적으로 한다. MAB을 적용하기 위한 기본적인 용어는 다음과 같다.
본 연구의 목표는 산업용 무선 네트워크에 사용되는 통신 스케줄링 시, 산업응용의 요구사항을 지원하면서도 불필요하게 낭비되는 중복 할당 자원을 줄여나가 전체 네트워크의 에너지 효율을 개선하는 것에 있다. 이에, 산업용 무선 네트워크에서 핵심적으로 요구되는 신뢰성, 실시간성, 자원 효율, 에너지 효율 등을 성능평가 항목으로 분류하고 기존 IWSN과 제안 방안의 스케줄링 방식을 비교 분석하였다.
본 논문에서는 현대 산업현장에 적용되고 있는 산업용 IoT의 기반 기술인 산업용 무선 네트워크에 대해 다루었다. 실제 공장 자동화 환경에서 사용되고 있는 산업용 무선 센서 네트워크는 신뢰성, 실시간성, 에너지 효율, 자원효율 등 다양한 산업응용의 요구사항을 지원해야 하며 이와 관련된 많은 연구가 진행되고 있다.
실제 공장 자동화 환경에서 사용되고 있는 산업용 무선 센서 네트워크는 신뢰성, 실시간성, 에너지 효율, 자원효율 등 다양한 산업응용의 요구사항을 지원해야 하며 이와 관련된 많은 연구가 진행되고 있다. 본 연구에서는 이러한 요구사항들을 지원하기 위한 핵심인 통신 스케줄링 시, 강화학습의 한 형태인 MAB 알고리즘을 활용하여 통신에 활용되지 않는 할당된 무선 자원들을 파악하고 이를 반영한 자원 재할당 및 스케줄링 업데이트를 통해 불필요한 통신을 줄여 전체 네트워크의 에너지 효율 개선을 도모하였다. 실험을 통한 성능평가 결과, 제안 방안은 데이터 전송의 높은 신뢰성을 지원하면서도, 자원 효율 측면에서 기존 기술에 비해 30% 이상 개선된 자원 점유율을 갖는 스케줄링 결과를 보임을 확인하였다.
현대 산업환경은 인공지능, 로봇 기술 등의 발전으로, 이를 활용할 수 있는 적합한 무선 네트워크 기술을 산업에 적용하려는 연구가 진행되고 있다. 특히 산업 IoT는 이동통신망 활용에 적합한 분야로, 향후 본 연구를 확장하여 기존 산업망과 개방형 이동통신망 연동 시나리오를 연구하고 이를 활용한 산업 자동화 환경의 이동성 지원, 자원 및 에너지 효율 등의 네트워크 성능개선 방안에 대해 연구하고자 한다.

가설 설정

성능평가는 산업용 IoT의 IEEE 802.15.4e 기반 MAC 계층 프로토콜 시뮬레이터로 널리 사용되고 있는 TSCH-sim[23]을 사용하여 IWSN을 가정한 무선 메시 네트워크 토폴로지를 구축하고 Table 3과 같은 네트워크 환경을 설정하였다.

제안 방법

제안 방안에서는 이러한 스케줄링 규칙을 기반으로 RL-MAB 알고리즘을 적용하고, 네트워크 상황에 따라 사용되지 않는 할당된 중복자원들을 줄여나간다. Table 1은 각 data flow의 활용되지 않는 낭비 자원들을 파악하고 Superframe에 스케줄링 되어야 할 자원 할당량을 업데이트하여 스케줄링에 반영하는 과정을 보여준다.
본 연구의 목표는 산업용 무선 네트워크에 사용되는 통신 스케줄링 시, 산업응용의 요구사항을 지원하면서도 불필요하게 낭비되는 중복 할당 자원을 줄여나가 전체 네트워크의 에너지 효율을 개선하는 것에 있다. 이에, 산업용 무선 네트워크에서 핵심적으로 요구되는 신뢰성, 실시간성, 자원 효율, 에너지 효율 등을 성능평가 항목으로 분류하고 기존 IWSN과 제안 방안의 스케줄링 방식을 비교 분석하였다.
먼저 본 연구에서 주로 해결하고자 하는 산업 네트워크의 자원 효율 측면에서 제안 방안의 성능을 평가하였다.
Table 4는 각 평가 항목별(자원 효율, 에너지 효율, 신뢰성, 실시간성) 제안 방안의 성능을 기존 기법과 비교하여 요약한 결과를 보여준다. 제안 방안은 IWSN에서의 스케줄링을 위한 자원 할당 시, 강화학습-MAB 알고리즘을 적용하여 기존 중복 자원 할당 정책으로 낭비되는 자원을 줄인다. 성능평가 결과 제안 방안은 슈퍼프레임 스케줄 주기 내 할당되는 자원 점유율을 기존 기법에 비해 약 30% 이상 감소시켜 자원효율을 개선하면서도 높은 전송 성공률을 유지하는 결과를 보여주었다.

이론/모형

이에 본 논문에서는 네트워크 매니저의 통신 스케줄링 시, 고정적으로 할당되는 무선 자원 중 실제 통신에 활용되지 않고 낭비되는 자원을 주기적으로 파악하기 위해 보상 최적화와 관련된 대표적 강화학습의 한 형태인 MAB(Multi-Armed Bandit) 알고리즘을 활용한다. MAB은 한정된 자원에 대해 여러 가지 불확실한 옵션 중 최적으로 분배하는 방법을 선택하는 상황에 효과적으로 사용될 수 있다[12].

성능/효과

이를 통해 네트워크 매니저가 낭비되는 고정적 할당 자원들을 반영하여 재스케줄링함으로써 각 산업 장비의 통신이 불필요한 유휴 상태에서 에너지 소모 감소를 도모한다. 제안 방안을 통해 신뢰적인 네트워크 환경 제공을 위한 중복성 정책을 유지하면서도 효율적 자원할당을 통한 슈퍼프레임 스케줄링으로 전체 네트워크 에너지 효율을 개선할 수 있다.
4는 매 슈퍼프레임 스케줄의 주기가 반복될 때마다 할당되는 자원량을 보여준다. 기존 IWSN의 자원 할당량은 고정적인 자원 할당 메커니즘으로 인해 일정하지만, 제안 방안의 경우 강화학습을 통해 활용되지 않는 고정적 자원을 제거함에 따라 주기가 반복될수록 고정적으로 할당되는 자원량이 30% 내외로 감소하며 수렴하는 것을 확인할 수 있다. 즉, 기존 IWSN에 비해 더 낮은 자원 점유율의 통신 스케줄링이 가능함을 보인다.
제안 방안의 자원 효율적 스케줄링을 통해 실제 활용되지 않는 낭비 자원을 줄임으로써 산업 장비 간 통신이 불필요한 유휴 상태의 에너지 소모를 절약할 수 있다. Fig.
6은 네트워크 링크 품질(Link Quality) 및 data flow의 변화에 따른 네트워크 에너지 소모량을 비교한 결과를 보여준다. 링크 품질이 좋지 않을 경우, 재전송 및 대체 경로에서의 재전송이 일어날 확률이 높아 에너지 소모량은 링크 품질이 안 좋을수록 제안 방안과 기존 방법 모두 에너지 소모량이 많음을 확인할 수 있다. 그러나 제안 방안에서는 할당되는 자원의 수를 감소시킴으로써 유휴상태 time-slot이 확보되어, 기존 기법에 비해 각 노드는 약 20% 이상 에너지 소모가 줄어든 것을 확인할 수 있다.
링크 품질이 좋지 않을 경우, 재전송 및 대체 경로에서의 재전송이 일어날 확률이 높아 에너지 소모량은 링크 품질이 안 좋을수록 제안 방안과 기존 방법 모두 에너지 소모량이 많음을 확인할 수 있다. 그러나 제안 방안에서는 할당되는 자원의 수를 감소시킴으로써 유휴상태 time-slot이 확보되어, 기존 기법에 비해 각 노드는 약 20% 이상 에너지 소모가 줄어든 것을 확인할 수 있다. 또한 네트워크 내 data flow가 많아질수록 소모되는 에너지는 많아지지만, 제안 방안은 슈퍼프레임 내 할당되는 자원의 수를 줄임으로써 해당 슬랏에서 소모되는 전력을 줄일 수 있어 기존 IWSN의 스케줄링에 비해 소모되는 전력이 21% 이상 감소함을 확인할 수 있다.
그러나 제안 방안에서는 할당되는 자원의 수를 감소시킴으로써 유휴상태 time-slot이 확보되어, 기존 기법에 비해 각 노드는 약 20% 이상 에너지 소모가 줄어든 것을 확인할 수 있다. 또한 네트워크 내 data flow가 많아질수록 소모되는 에너지는 많아지지만, 제안 방안은 슈퍼프레임 내 할당되는 자원의 수를 줄임으로써 해당 슬랏에서 소모되는 전력을 줄일 수 있어 기존 IWSN의 스케줄링에 비해 소모되는 전력이 21% 이상 감소함을 확인할 수 있다.
8은 네트워크 링크 품질에 따라 네트워크 내 생성된 데이터들이 End-to-End 경로를 통해 목적지까지 성공적으로 도착하는 평균 전달 성공률(PDR, Packet Delivery Rate) 및 평균 전달 지연 성능을 보여준다. 제안 방안은 더 적은 자원을 사용하면서도 기존 IWSN의 전송 신뢰성을 제공함을 확인할 수 있다. 특히 전달 지연 측면에서, 제안 방안은 낭비되지 않는 무선 자원을 줄임으로써 각 data flow에 대한 스케줄링을 기존 더욱 조밀하게 하여 평균 전달 지연시간이 38% 이상 단축됨을 확인할 수 있다.
제안 방안은 더 적은 자원을 사용하면서도 기존 IWSN의 전송 신뢰성을 제공함을 확인할 수 있다. 특히 전달 지연 측면에서, 제안 방안은 낭비되지 않는 무선 자원을 줄임으로써 각 data flow에 대한 스케줄링을 기존 더욱 조밀하게 하여 평균 전달 지연시간이 38% 이상 단축됨을 확인할 수 있다.
제안 방안은 IWSN에서의 스케줄링을 위한 자원 할당 시, 강화학습-MAB 알고리즘을 적용하여 기존 중복 자원 할당 정책으로 낭비되는 자원을 줄인다. 성능평가 결과 제안 방안은 슈퍼프레임 스케줄 주기 내 할당되는 자원 점유율을 기존 기법에 비해 약 30% 이상 감소시켜 자원효율을 개선하면서도 높은 전송 성공률을 유지하는 결과를 보여주었다. 또한 통신 스케줄 내 자원 점유율의 감소는 산업장비의 불필요한 수신 대기 시간을 줄임으로써 평균 21.
성능평가 결과 제안 방안은 슈퍼프레임 스케줄 주기 내 할당되는 자원 점유율을 기존 기법에 비해 약 30% 이상 감소시켜 자원효율을 개선하면서도 높은 전송 성공률을 유지하는 결과를 보여주었다. 또한 통신 스케줄 내 자원 점유율의 감소는 산업장비의 불필요한 수신 대기 시간을 줄임으로써 평균 21.2%의 에너지 소모량이 절약되었으며, 실시간 전송 측면에서도 평균 38.7% 이상의 전달 지연 시간이 개선되었다.
본 연구에서는 이러한 요구사항들을 지원하기 위한 핵심인 통신 스케줄링 시, 강화학습의 한 형태인 MAB 알고리즘을 활용하여 통신에 활용되지 않는 할당된 무선 자원들을 파악하고 이를 반영한 자원 재할당 및 스케줄링 업데이트를 통해 불필요한 통신을 줄여 전체 네트워크의 에너지 효율 개선을 도모하였다. 실험을 통한 성능평가 결과, 제안 방안은 데이터 전송의 높은 신뢰성을 지원하면서도, 자원 효율 측면에서 기존 기술에 비해 30% 이상 개선된 자원 점유율을 갖는 스케줄링 결과를 보임을 확인하였다. 또한, 네트워크 에너지 소모량 및 실시간 전송 지원 측면에서는 산업 장비의 불필요한 통신을 줄임으로써 기존 기법에 비해 각각 21%, 38% 이상의 성능개선을 확인하였다.
실험을 통한 성능평가 결과, 제안 방안은 데이터 전송의 높은 신뢰성을 지원하면서도, 자원 효율 측면에서 기존 기술에 비해 30% 이상 개선된 자원 점유율을 갖는 스케줄링 결과를 보임을 확인하였다. 또한, 네트워크 에너지 소모량 및 실시간 전송 지원 측면에서는 산업 장비의 불필요한 통신을 줄임으로써 기존 기법에 비해 각각 21%, 38% 이상의 성능개선을 확인하였다. 현대 산업환경은 인공지능, 로봇 기술 등의 발전으로, 이를 활용할 수 있는 적합한 무선 네트워크 기술을 산업에 적용하려는 연구가 진행되고 있다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증