초록 ▼

본 발명은 각 노드의 Unslotted CSMA/CA 파라미터를 강화학습을 통해 학습시켜 IEEE 802.15.4 Wi-SUN MAC의 채널 액세스 방식인 Unslotted CSMA/CA의 최적화가 가능하도록 한 Wi-SUN에서의 강화학습을 이용한 비슬롯 기반 CSMA/CA 최적화를 위한 장치 및 방법에 관한 것으로, 비슬롯 기반 CSMA/CA 최적화를 위한 알고리즘에 사용되는 변수 초기화를 하는 변수 초기화부;Epsilon greedy 알고리즘을 사용하여 탐색(exploration)/활용(Exploitation)을 결정하는 탐색

본 발명은 각 노드의 Unslotted CSMA/CA 파라미터를 강화학습을 통해 학습시켜 IEEE 802.15.4 Wi-SUN MAC의 채널 액세스 방식인 Unslotted CSMA/CA의 최적화가 가능하도록 한 Wi-SUN에서의 강화학습을 이용한 비슬롯 기반 CSMA/CA 최적화를 위한 장치 및 방법에 관한 것으로, 비슬롯 기반 CSMA/CA 최적화를 위한 알고리즘에 사용되는 변수 초기화를 하는 변수 초기화부;Epsilon greedy 알고리즘을 사용하여 탐색(exploration)/활용(Exploitation)을 결정하는 탐색 및 활용 선택부;활용(Exploitation)이 선택되면, 행동들 중에서 가장 좋은 Q-Value를 가지는 행동을 선택하고, 탐색(Exploration)이 선택되면, 랜덤하게 행동을 선택하는 행동 선택부;행동(Action)이 선택되면, 백오프를 실행하되, 백오프 시간동안 CCA를 반복 실행하고 백오프 시간동안 channel의 Idle한 횟수, busy한 횟수를 카운트하는 채널 정보 수집부;채널이 Idle하다면 패킷을 전송하고 Ack를 받으면 성공 보상을 하는 성공 보상부;받은 보상(Reward)을 확인하고, 행동(Action), 상태(State), 보상(Reward)을 토대로 Q-table을 업데이트하는 Q 테이블 업데이트부;를 포함하는 것이다.

대표청구항 ▼

비슬롯 기반 CSMA/CA 최적화를 위한 알고리즘에 사용되는 변수 초기화를 하는 변수 초기화부;Epsilon greedy 알고리즘을 사용하여 탐색(exploration)/활용(Exploitation)을 결정하는 탐색 및 활용 선택부;활용(Exploitation)이 선택되면, 행동들 중에서 가장 좋은 Q-Value를 가지는 행동을 선택하고, 탐색(Exploration)이 선택되면, 랜덤하게 행동을 선택하는 행동 선택부;행동(Action)이 선택되면, 백오프를 실행하되, 백오프 시간동안 CCA를 반복 실행하고 백오프 시간동안 chann

비슬롯 기반 CSMA/CA 최적화를 위한 알고리즘에 사용되는 변수 초기화를 하는 변수 초기화부;Epsilon greedy 알고리즘을 사용하여 탐색(exploration)/활용(Exploitation)을 결정하는 탐색 및 활용 선택부;활용(Exploitation)이 선택되면, 행동들 중에서 가장 좋은 Q-Value를 가지는 행동을 선택하고, 탐색(Exploration)이 선택되면, 랜덤하게 행동을 선택하는 행동 선택부;행동(Action)이 선택되면, 백오프를 실행하되, 백오프 시간동안 CCA를 반복 실행하고 백오프 시간동안 channel의 Idle한 횟수, busy한 횟수를 카운트하는 채널 정보 수집부;채널이 Idle하다면 패킷을 전송하고 Ack를 받으면 성공 보상을 하는 성공 보상부;받은 보상(Reward)을 확인하고, 행동(Action), 상태(State), 보상(Reward)을 토대로 Q-table을 업데이트하는 Q 테이블 업데이트부;를 포함하는 것을 특징으로 하는 Wi-SUN에서의 강화학습을 이용한 비슬롯 기반 CSMA/CA 최적화를 위한 장치.