IoT(Internet of Things) 환경이 스마트 빌딩, 스마트 팩토리, 차량 네트워크 등 다양한 분야에 적용되고 있으며, 기존 무선 통신환경과 비교했을 때 많은 종류와 수의 기계들이 네트워크에 연결되고 있다. 통신 환경 변화에 따른 새로운 문제들을 해결하기 위해 IEEE 802.15.4e에서는 산업표준에서 사용되던 TSCH (Time Slotted Channel Hopping)를 표준으로 채택하였다. TSCH의 표준 라우팅 프로토콜은 RPL(...
IoT(Internet of Things) 환경이 스마트 빌딩, 스마트 팩토리, 차량 네트워크 등 다양한 분야에 적용되고 있으며, 기존 무선 통신환경과 비교했을 때 많은 종류와 수의 기계들이 네트워크에 연결되고 있다. 통신 환경 변화에 따른 새로운 문제들을 해결하기 위해 IEEE 802.15.4e에서는 산업표준에서 사용되던 TSCH (Time Slotted Channel Hopping)를 표준으로 채택하였다. TSCH의 표준 라우팅 프로토콜은 RPL(Routing Protocol for Low power and Lossy network)로, 저전력 손실 네트워크(LLN, Low power lossy network)를 위해 IETF에서 발표한 라우팅 프로토콜이다. 저전력 손실 네트워크의 문제는 많은 노드가 하나의 네트워크에 연결되어 혼잡이 발생한다는 것이다. 부하 분산(loadbalancing)이 제대로 되지 않아 일부 노드에서 병목 현상이 발생한다. 이로 인해 배터리 및 자원이 소모로 지연 시간 증가와 안전성의 감소로 이어질 수 있다. 이를 해결하기 위해 RPL과 관련해 부하 분산 기술 연구가 활발히 진행되고 있다. 한편 네트워크 라우팅 분야에서도 강화학습을 적용하여 네트워크의 성능을 높이려는 연구가 진행되고 있다. 인공지능의 발달로 다양한 분야에 인공지능이 적용되어 효율을 높이려는 시도가 있다. 네트워크의 라우팅 분야에서도 강화학습을 적용하여 네트워크의 성능을 높이려는 연구가 진행되고 있다. 기존 강화학습을 적용한 라우팅 연구에서는 강화학습인 Q-learning을 적용하여 패킷을 전달하려는 노드는 목적지 노드까지 전달하는 데 걸리는 총 시간을 바탕으로 얻은 이웃 노드의 Q-value를 바탕으로 Q-table을 구성한다. 그 후 패킷 전달을 위해 선호 부모 노드를 결정할 때 Q-table에서 목적지 별로 최소 Q-value를 가지는 부모 노드를 선택한다. 기존 Q-routing의 Q-table을 처리하기에 과도한 전력 사용과 전송 지연이 발생해 네트워크의 전체 성능 저하가 발생할 수 있다. 그래서 본 논문에서는 저전력 저손실 네트워크에 적합한 라우팅 알고리즘인 RPL에 Q-learning을 적용하여 해당 문제를 해결하고자 한다. 본 논문은 저전력 손실 네트워크(LLN, Low power lossy network)를 위한 라우팅 프로토콜인 RPL에 강화학습인 Q-learning을 적용하였다. 또 기존 Q-learning을 적용한 라우팅 알고리즘과 다르게, 주기적으로 Q-table을 갱신해 라우팅 시 전체 네트워크의 상황이 반영되도록 하였다. 기존 Q-learning을 적용한 라우팅 알고리즘인 Full Echo Q-routing과 성능 비교를 진행하였고, PDR(Packet Delivery Rate)과 전송 지연(delay) 부분에서 더 좋은 성능을 보이는 것을 확인하였다.
IoT(Internet of Things) 환경이 스마트 빌딩, 스마트 팩토리, 차량 네트워크 등 다양한 분야에 적용되고 있으며, 기존 무선 통신환경과 비교했을 때 많은 종류와 수의 기계들이 네트워크에 연결되고 있다. 통신 환경 변화에 따른 새로운 문제들을 해결하기 위해 IEEE 802.15.4e에서는 산업표준에서 사용되던 TSCH (Time Slotted Channel Hopping)를 표준으로 채택하였다. TSCH의 표준 라우팅 프로토콜은 RPL(Routing Protocol for Low power and Lossy network)로, 저전력 손실 네트워크(LLN, Low power lossy network)를 위해 IETF에서 발표한 라우팅 프로토콜이다. 저전력 손실 네트워크의 문제는 많은 노드가 하나의 네트워크에 연결되어 혼잡이 발생한다는 것이다. 부하 분산(load balancing)이 제대로 되지 않아 일부 노드에서 병목 현상이 발생한다. 이로 인해 배터리 및 자원이 소모로 지연 시간 증가와 안전성의 감소로 이어질 수 있다. 이를 해결하기 위해 RPL과 관련해 부하 분산 기술 연구가 활발히 진행되고 있다. 한편 네트워크 라우팅 분야에서도 강화학습을 적용하여 네트워크의 성능을 높이려는 연구가 진행되고 있다. 인공지능의 발달로 다양한 분야에 인공지능이 적용되어 효율을 높이려는 시도가 있다. 네트워크의 라우팅 분야에서도 강화학습을 적용하여 네트워크의 성능을 높이려는 연구가 진행되고 있다. 기존 강화학습을 적용한 라우팅 연구에서는 강화학습인 Q-learning을 적용하여 패킷을 전달하려는 노드는 목적지 노드까지 전달하는 데 걸리는 총 시간을 바탕으로 얻은 이웃 노드의 Q-value를 바탕으로 Q-table을 구성한다. 그 후 패킷 전달을 위해 선호 부모 노드를 결정할 때 Q-table에서 목적지 별로 최소 Q-value를 가지는 부모 노드를 선택한다. 기존 Q-routing의 Q-table을 처리하기에 과도한 전력 사용과 전송 지연이 발생해 네트워크의 전체 성능 저하가 발생할 수 있다. 그래서 본 논문에서는 저전력 저손실 네트워크에 적합한 라우팅 알고리즘인 RPL에 Q-learning을 적용하여 해당 문제를 해결하고자 한다. 본 논문은 저전력 손실 네트워크(LLN, Low power lossy network)를 위한 라우팅 프로토콜인 RPL에 강화학습인 Q-learning을 적용하였다. 또 기존 Q-learning을 적용한 라우팅 알고리즘과 다르게, 주기적으로 Q-table을 갱신해 라우팅 시 전체 네트워크의 상황이 반영되도록 하였다. 기존 Q-learning을 적용한 라우팅 알고리즘인 Full Echo Q-routing과 성능 비교를 진행하였고, PDR(Packet Delivery Rate)과 전송 지연(delay) 부분에서 더 좋은 성능을 보이는 것을 확인하였다.
The Internet Engineering Task Force (IETF) proposed an IPv6 Routing Protocol for Low-power Lossy Network (RPL) as a routing protocol for LLN (Low Power and Lossy Networks). In a network using RPL, a single parent node is connected to many child nodes, and a Thundering Herd Phenomenon may occur where...
The Internet Engineering Task Force (IETF) proposed an IPv6 Routing Protocol for Low-power Lossy Network (RPL) as a routing protocol for LLN (Low Power and Lossy Networks). In a network using RPL, a single parent node is connected to many child nodes, and a Thundering Herd Phenomenon may occur where connections to some nodes are concentrated. To solve this, a method of limiting the maximum number of child nodes connected per node using CNC (Child Number Count) was considered. However, some parent nodes can be attached as many as the maximum number of child nodes. In the previous paper, we propose an algorithm that evenly distributes the number of connected child nodes per node to solve the Thundering Herd Phenomenon problem. We compared the performance with the algorithm using the existing CNC, and as a result, verified that the proposed algorithm shows better performance in terms of load balancing. Recently, with the development of artificial intelligence, there have been attempts to increase efficiency by applying artificial intelligence to various fields. In the field of network routing, research is being conducted to improve the network performance by applying reinforcement learning, which is a kind of artificial intelligence. The node constructs a Q-table based on the Q-value of the surrounding nodes obtained based on the total time it takes to deliver packet to the destination node. After that, when determining the preferred parent node for packet delivery, the parent node having the minimum Q-value for each destination is selected from the Q-table. In the recent network environment, because of Internet of Things (IOT) environment more devices than ever have been connected to the network at the same time. And recently the connected devices are not only wired devices, but also wireless devices. In many cases, wireless deiveces’s performance is poor and power usage is limited compared to wired devices’s. In order to process the Q-table applied to the existing Q-learning, excessive power and high delay may occur. Therefore, if the routing using the existing Q-learning is applied, the overall performance of the network may deteriorate. So this paper trys to solve the problem by applying Q-learning to RPL, which is the routing algorithm suitable for low-power and lossy networks. In order to update the Q-value, routing using the existing Q-larning sent ICMP (Internet Control Message Rrotocol) to all the neighboring nodes before forwarding the packet. After that, the Q-value is updated based on the ICMP sent to the neighboring node. This process can generate a lot of traffic in a high load situation. So, in this paper, the nodes of the entire network periodically send ICMP at the same time to update the Q-table to solve the problem. In this paper, Q-learning, a kind of reinforcement learning, is applied to the routing protocol RPL for a low power lossy network (LLN). Also, the routing algorithm to which the existing Q-learning is applied and the Q-table update period are different to reflect the situation of the entire network when routing. We compared the performance with Full Echo Q-routing, an algorithm that applied the existing Q-learning, and confirmed that it showed better performance in the PDR (Packet Delivery Rate) and Delay.
The Internet Engineering Task Force (IETF) proposed an IPv6 Routing Protocol for Low-power Lossy Network (RPL) as a routing protocol for LLN (Low Power and Lossy Networks). In a network using RPL, a single parent node is connected to many child nodes, and a Thundering Herd Phenomenon may occur where connections to some nodes are concentrated. To solve this, a method of limiting the maximum number of child nodes connected per node using CNC (Child Number Count) was considered. However, some parent nodes can be attached as many as the maximum number of child nodes. In the previous paper, we propose an algorithm that evenly distributes the number of connected child nodes per node to solve the Thundering Herd Phenomenon problem. We compared the performance with the algorithm using the existing CNC, and as a result, verified that the proposed algorithm shows better performance in terms of load balancing. Recently, with the development of artificial intelligence, there have been attempts to increase efficiency by applying artificial intelligence to various fields. In the field of network routing, research is being conducted to improve the network performance by applying reinforcement learning, which is a kind of artificial intelligence. The node constructs a Q-table based on the Q-value of the surrounding nodes obtained based on the total time it takes to deliver packet to the destination node. After that, when determining the preferred parent node for packet delivery, the parent node having the minimum Q-value for each destination is selected from the Q-table. In the recent network environment, because of Internet of Things (IOT) environment more devices than ever have been connected to the network at the same time. And recently the connected devices are not only wired devices, but also wireless devices. In many cases, wireless deiveces’s performance is poor and power usage is limited compared to wired devices’s. In order to process the Q-table applied to the existing Q-learning, excessive power and high delay may occur. Therefore, if the routing using the existing Q-learning is applied, the overall performance of the network may deteriorate. So this paper trys to solve the problem by applying Q-learning to RPL, which is the routing algorithm suitable for low-power and lossy networks. In order to update the Q-value, routing using the existing Q-larning sent ICMP (Internet Control Message Rrotocol) to all the neighboring nodes before forwarding the packet. After that, the Q-value is updated based on the ICMP sent to the neighboring node. This process can generate a lot of traffic in a high load situation. So, in this paper, the nodes of the entire network periodically send ICMP at the same time to update the Q-table to solve the problem. In this paper, Q-learning, a kind of reinforcement learning, is applied to the routing protocol RPL for a low power lossy network (LLN). Also, the routing algorithm to which the existing Q-learning is applied and the Q-table update period are different to reflect the situation of the entire network when routing. We compared the performance with Full Echo Q-routing, an algorithm that applied the existing Q-learning, and confirmed that it showed better performance in the PDR (Packet Delivery Rate) and Delay.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.