차세대 무선통신 시스템에서 다중 경로 페이딩의 영향을 효율적으로 감소시키기 위한 방법으로 최근 협력통신 시스템이 각광을 받고 있다. 협력통신 시스템은 정보를 전송하기 위해서 다양한 페이딩 계수를 가지고 있는 협력 릴레이를 사용하기 때문에, 모든 릴레이를 협력통신에 참여 시키는 것은 자원의 낭비를 초래한다. 그러므로 무선자원을 효율적으로 사용하기 위해서는 최적의 릴레이를 선택적으로 사용할 필요가 있다. 본 논문에서는 무선 협력통신 네트워크에서 발생하는 이러한 문제를 해결하기 위하여 Q-Learning 알고리즘을 이용한 협력 릴레이 선택 기법을 제안한다. Q-Learning에서는 자가 학습을 위해서 상태, 행동, 그리고 보상에 대한 파라미터를 정의한다. 이러한 파라미터가 잘 정의 될 때 Q-Learning을 이용하여 우수한 통신 성능을 얻을 수 있다. Q-Learning 알고리즘의 우수성을 보이기 위해서, 수학적인 분석을 통해서 최적의 협력 릴레이를 얻는 기법과 통신 성능을 비교하였다. 모의실험 결과, 제안된 기법에서 Q-Learning 알고리즘 내의 보상을 주는 방식에 따라, 비교 기법과 유사한 심벌오율 성능을 얻으면서 보다 더 적은 협력 릴레이를 선택하는 것을 보였다. 따라서 본 논문에서 제안된 기법은 다수의 릴레이를 사용하는 차세대 무선통신 시스템의 성능 향상을 위한 좋은 접근 방식의 하나로 판단된다.
차세대 무선통신 시스템에서 다중 경로 페이딩의 영향을 효율적으로 감소시키기 위한 방법으로 최근 협력통신 시스템이 각광을 받고 있다. 협력통신 시스템은 정보를 전송하기 위해서 다양한 페이딩 계수를 가지고 있는 협력 릴레이를 사용하기 때문에, 모든 릴레이를 협력통신에 참여 시키는 것은 자원의 낭비를 초래한다. 그러므로 무선자원을 효율적으로 사용하기 위해서는 최적의 릴레이를 선택적으로 사용할 필요가 있다. 본 논문에서는 무선 협력통신 네트워크에서 발생하는 이러한 문제를 해결하기 위하여 Q-Learning 알고리즘을 이용한 협력 릴레이 선택 기법을 제안한다. Q-Learning에서는 자가 학습을 위해서 상태, 행동, 그리고 보상에 대한 파라미터를 정의한다. 이러한 파라미터가 잘 정의 될 때 Q-Learning을 이용하여 우수한 통신 성능을 얻을 수 있다. Q-Learning 알고리즘의 우수성을 보이기 위해서, 수학적인 분석을 통해서 최적의 협력 릴레이를 얻는 기법과 통신 성능을 비교하였다. 모의실험 결과, 제안된 기법에서 Q-Learning 알고리즘 내의 보상을 주는 방식에 따라, 비교 기법과 유사한 심벌오율 성능을 얻으면서 보다 더 적은 협력 릴레이를 선택하는 것을 보였다. 따라서 본 논문에서 제안된 기법은 다수의 릴레이를 사용하는 차세대 무선통신 시스템의 성능 향상을 위한 좋은 접근 방식의 하나로 판단된다.
As a scheme to efficiently reduce the effects of multipath fading in next generation wireless communication systems, cooperative communication systems have recently come into the spotlight. Since these cooperative communication systems use cooperative relays with diverse fading coefficients to trans...
As a scheme to efficiently reduce the effects of multipath fading in next generation wireless communication systems, cooperative communication systems have recently come into the spotlight. Since these cooperative communication systems use cooperative relays with diverse fading coefficients to transmit information, having all relays participate in cooperative communication may result in unnecessary waste of resources, and thus relay selection schemes are required to efficiently use wireless resources. In this paper, we propose an efficient relay selection scheme through self-learning in cooperative wireless networks using Q-learning algorithm. In this scheme, we define states, actions and two rewards to achieve good SER (Symbol Error Rate) performance, while selecting a small number of cooperative relays. When these parameters are well-defined, we can obtain good performance. For demonstrating the superiority of the proposed Q-learning, We compared the proposed scheme with Q-learning and a relay selection scheme with a mathematical analysis. The simulation results show that, compared to a scheme that obtains optimum relays through a mathematical analysis, the proposed scheme uses resources efficiently by using smaller numbers of relays with comparable SER performance. According to these simulation results, the proposed scheme can be considered as a good attempt for future wireless communication.
As a scheme to efficiently reduce the effects of multipath fading in next generation wireless communication systems, cooperative communication systems have recently come into the spotlight. Since these cooperative communication systems use cooperative relays with diverse fading coefficients to transmit information, having all relays participate in cooperative communication may result in unnecessary waste of resources, and thus relay selection schemes are required to efficiently use wireless resources. In this paper, we propose an efficient relay selection scheme through self-learning in cooperative wireless networks using Q-learning algorithm. In this scheme, we define states, actions and two rewards to achieve good SER (Symbol Error Rate) performance, while selecting a small number of cooperative relays. When these parameters are well-defined, we can obtain good performance. For demonstrating the superiority of the proposed Q-learning, We compared the proposed scheme with Q-learning and a relay selection scheme with a mathematical analysis. The simulation results show that, compared to a scheme that obtains optimum relays through a mathematical analysis, the proposed scheme uses resources efficiently by using smaller numbers of relays with comparable SER performance. According to these simulation results, the proposed scheme can be considered as a good attempt for future wireless communication.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 이러한 문제를 해결하기 위한 방안으로 Q-Learning을 이용한 자가 학습 릴레이 선택 기법을 제안하였다. Q-Learning은 기계 학습 분야에서 강화 학습 (Reinforcement Learning)에 속하는 알고리즘 중에 하나로[7], 최근에 또 하나의 차세대 무선통신시스템으로 주목 받고 있는 인지 무선통신 (Cognitive Radio)[8~9]에 적용하는 연구가 많이 진행되고 있다.
Q-Learning을 위해서 보상 r을 정의하는 것은 중요한 이슈이다. 본 논문에서는 적은 개수의 협력 릴레이들을 이용하면서, 동시에 우수한 SER 성능을 얻기 위하여 r을 다음 식과 같이 정의한다.
본 논문은 무선 협력통신 네트워크에서 Q-Learning을 이용하는 릴레이 선택 기법을 제안하였다. 제안된 기법에서, Q-Learning을 위하여 상태, 행동, 보상을 적절히 정의 하는 것에 의해서 복잡한 수학적 계산 없이 우수한 SER 성능을 얻는 시스템이 고안되었다.
가설 설정
• 협력통신에 모든 릴레이들이 참여하고, 모든 릴레이들의 인덱스 집합은 [4]에서 제안한 것과 같은 방법으로 정렬된다고 가정한다.
협력통신 네트워크에서 중요하게 다루어야 하는 송신 전력의 경우, 비교되는 릴레이 선택 기법과 제안된 릴레이 선택 기법의 복잡도를 낮추기 위해서 본 논문에서는 동등 전력 할당을 사용하였다. 동등 전력 할당은 전체 전력 P의 절반은 소스와 선택되어진 협력 릴레이 집합에 각각 할당되고, 협력 릴레이 집합에 할당된 전체 전력 P의 절반은 다시 선택된 각 협력 릴레이들에게 동등하게 분배되는 것을 가정한다. 그림 3부터 그림 5까지 보이는 실험 결과는 이용 가능한 전체 릴레이 개수가 N = 10 임을 가정한 것이고, 그림 3부터 그림 6까지 보이는 실험 결과는 식 (13)의 보상 방안을 이용한 것이다.
본 논문에서는 그림 1과 같이 N개 릴레이의 도움을 받아서 목적지로 정보를 전송하는 무선 협력통신 네트워크를 고려한다. 소스와 릴레이 사이의 채널과 릴레이와 목적지 사이의 채널은 각각 독립적이라고 가정한다. 협력통신은 소스의 정보를 전달하기 위해서 두 번의 과정을 거친다.
통신을 위해서 QPSK (Quadri-Phase Shift Keying) 변조 방식을 사용하였고 비트 에너지를 1로 정규화 하였다. 소스와 목적지 사이의 채널 계수는 1로 고정되어 있고, 소스와 각 릴레이 사이의 채널 계수와 각 릴레이와 목적지 사이의 채널 계수는 [1,10]의 균등 분포를 가지고 있다고 가정하였다. 잡음 분산은 1로 정규화 하였으며, 하나의 전송 블록에서 채널 계수는 변하지 않으나 서로 다른 블록 사이의 채널 계수는 독립적으로 변한다고 가정하였다.
소스와 목적지 사이의 채널 계수는 1로 고정되어 있고, 소스와 각 릴레이 사이의 채널 계수와 각 릴레이와 목적지 사이의 채널 계수는 [1,10]의 균등 분포를 가지고 있다고 가정하였다. 잡음 분산은 1로 정규화 하였으며, 하나의 전송 블록에서 채널 계수는 변하지 않으나 서로 다른 블록 사이의 채널 계수는 독립적으로 변한다고 가정하였다. 협력통신 네트워크에서 중요하게 다루어야 하는 송신 전력의 경우, 비교되는 릴레이 선택 기법과 제안된 릴레이 선택 기법의 복잡도를 낮추기 위해서 본 논문에서는 동등 전력 할당을 사용하였다.
제안 방법
이 식에서 SNRd(statecurrent)가 SNRd(statenext)보다 작다면 부정적인 보상 받을 것이고, 그 반대의 경우에는 긍정적인 보상을 받을 것이다. 또한, |statenext -statecurrent| 항으로 다음 상태와 현재 상태에서의 SNRd의 차이를 나누는 것에 의해서, 단순히 높은 SNRd를 갖는 릴레이 개수를 선택했을 때 높은 보상을 받기 보다는 적은 릴레이 개수로 적절한 SNRd를 갖는 상태로 이동하도록 행동을 취했을 때 높은 보상을 받도록 하였다.
하지만 [12]은 Q-Learning을 위한 보상값이 데이터 비트를 받고 보내는데 필요한 에너지로 구성되는 등 주로 MAC 계층 관점에서 연구가 수행되었고, 협력 릴레이를 선택하기 위해서 Q-Learning을 이용하는 전반적인 전략은 잘 구성되어 있으나 상태와 행동 등이 명확하게 정의가 되어있지 않다. 반면에 본 논문에서는 물리 계층 관점에서 Q-Learning을 위한 상태, 행동, 보상을 명확하게 정의하고 전체 기법을 제안하였다는데 차별성이 있다. 본 논문의 제안 기법에 대한 모의실험 결과를 통해, Q-Learning을 이용한 제안 기법은 수학적인 분석을 통해서 릴레이를 선택하는 기법과 비교했을 때 시스템의 복잡도를 효율적으로 저감시키며 유사한 SER 성능을 보였다.
본 논문에서는 그림 1과 같이 N개 릴레이의 도움을 받아서 목적지로 정보를 전송하는 무선 협력통신 네트워크를 고려한다. 소스와 릴레이 사이의 채널과 릴레이와 목적지 사이의 채널은 각각 독립적이라고 가정한다.
본 장에서는 Q-Learning을 이용하는 제안된 릴레이 선택 알고리즘의 성능을 모의실험을 통해 검증한다. 통신을 위해서 QPSK (Quadri-Phase Shift Keying) 변조 방식을 사용하였고 비트 에너지를 1로 정규화 하였다.
본 논문은 무선 협력통신 네트워크에서 Q-Learning을 이용하는 릴레이 선택 기법을 제안하였다. 제안된 기법에서, Q-Learning을 위하여 상태, 행동, 보상을 적절히 정의 하는 것에 의해서 복잡한 수학적 계산 없이 우수한 SER 성능을 얻는 시스템이 고안되었다. 특히, [4]에서 제안한 기법에서는 이용 가능한 릴레이 개수가 증가함에 따라서 협력 릴레이 개수 또한 선형적으로 증가하였지만, 본 논문에서 제안된 기법은 평균적으로 약 2.
잡음 분산은 1로 정규화 하였으며, 하나의 전송 블록에서 채널 계수는 변하지 않으나 서로 다른 블록 사이의 채널 계수는 독립적으로 변한다고 가정하였다. 협력통신 네트워크에서 중요하게 다루어야 하는 송신 전력의 경우, 비교되는 릴레이 선택 기법과 제안된 릴레이 선택 기법의 복잡도를 낮추기 위해서 본 논문에서는 동등 전력 할당을 사용하였다. 동등 전력 할당은 전체 전력 P의 절반은 소스와 선택되어진 협력 릴레이 집합에 각각 할당되고, 협력 릴레이 집합에 할당된 전체 전력 P의 절반은 다시 선택된 각 협력 릴레이들에게 동등하게 분배되는 것을 가정한다.
데이터처리
제 IV장에서, [4]에서 제안한 이러한 릴레이 선택 기법과 본 논문에서 제안한 Q-Learning을 이용한 릴레이 선택 기법의 통신 성능을 비교한다.
이론/모형
본 장에서는 Q-Learning을 이용하는 제안된 릴레이 선택 알고리즘의 성능을 모의실험을 통해 검증한다. 통신을 위해서 QPSK (Quadri-Phase Shift Keying) 변조 방식을 사용하였고 비트 에너지를 1로 정규화 하였다. 소스와 목적지 사이의 채널 계수는 1로 고정되어 있고, 소스와 각 릴레이 사이의 채널 계수와 각 릴레이와 목적지 사이의 채널 계수는 [1,10]의 균등 분포를 가지고 있다고 가정하였다.
Q-Learning은 기계 학습 분야에서 강화 학습 (Reinforcement Learning)에 속하는 알고리즘 중에 하나로[7], 최근에 또 하나의 차세대 무선통신시스템으로 주목 받고 있는 인지 무선통신 (Cognitive Radio)[8~9]에 적용하는 연구가 많이 진행되고 있다. 특히, 다중 사용자와 다중 채널 인지 무선통신 시스템에서 이차 사용자 사이의 협상 없이 채널을 선택하기 위해서 Q-Learning이 사용 되었고[10], 인지 무선통신에서 사용자들의 스펙트럼 센싱 시간을 공유하고 전력을 효율적으로 할당하기 위해서 분산된 Q-Learning 알고리즘이 사용되었다[11]. 한편, [12]에서는 인지 무선통신 기술을 사용하는 멀티미디어 센서 네트워크에서 협력 릴레이를 선택하기 위하여 Q-Learning이 사용되었다.
성능/효과
결과적으로, 행동은 L1 (≤ N)개 릴레이를 사용하는 상태에서 L2 (≤ N)개 릴레이를 사용하는 상태로 이동하는 것을 의미한다.
또한, [4]는 릴레이 선택을 위해서 최악의 경우 식 (11)을 N-1 번 계산하지만, 본 논문에서 제안된 기법은 식 (8)을 오직 두 번만 계산한다. 그러므로 본 논문에서 제안된 기법은 복잡도면에서 매우 우수하다고 할 수 있다. 이러한 결과들은 적은 개수의 협력 릴레이를 사용하는 것에 의해 무선자원 이용의 효율성을 개선시킬 수 있음을 보여준다.
이러한 결과들은 적은 개수의 협력 릴레이를 사용하는 것에 의해 무선자원 이용의 효율성을 개선시킬 수 있음을 보여준다. 또한, Q-Learning에서 보상 r을 정의하는 방법에 따라서 시스템의 목적을 다르게 설정 할 수 있음을 보여주었다. 본 논문의 연구 결과는 자가 학습을 하는 Q-Learning이 다수의 릴레이를 사용하는 미래의 무선통신 네트워크를 위해서 효율적으로 사용될 수 있음을 보여준다.
또한, 제안 기법에서 보상은 식 (8)을 두 번만 계산하면 되므로 알고리즘적인 복잡도와 계산량이 크게 감소한다. 반면에 다음 장의 모의실험 결과를 통해 알 수 있듯이 수학적인 분석을 통한 릴레이 선택 기법과 비교했을 때 제안 기법은 적은 개수의 릴레이를 사용하지만 거의 유사한 SER 성능을 얻는 것을 보인다.
반면에 본 논문에서는 물리 계층 관점에서 Q-Learning을 위한 상태, 행동, 보상을 명확하게 정의하고 전체 기법을 제안하였다는데 차별성이 있다. 본 논문의 제안 기법에 대한 모의실험 결과를 통해, Q-Learning을 이용한 제안 기법은 수학적인 분석을 통해서 릴레이를 선택하는 기법과 비교했을 때 시스템의 복잡도를 효율적으로 저감시키며 유사한 SER 성능을 보였다. 특히, 이러한 결과는 Q-Learning 알고리즘이 차세대 무선통신 시스템의 성능 향상을 위해서 효과적으로 사용될 수 있음을 보여준다.
그림 4는 협력통신을 위해서 사용된 평균 릴레이 개수를 보여준다. 여기서, 본 논문에서 제안된 기법이 [4]에서 제안한 기법 보다 약 2.5개의 릴레이를 절약하고, 모든 릴레이가 협력통신에 참여 했을 때 보다 약 7.5개의 릴레이를 더 적게 사용하는 것을 확인 할 수 있다.
그림 5는 SNR = 10 dB에서 이용 가능한 릴레이 개수가 증가함에 따라서 협력통신을 위해 선택된 평균 릴레이 개수를 보여준다. 이 결과로부터, [4]에서 제안한 릴레이 선택 기법과 다르게 본 논문에서 제안된 기법은 이용 가능한 릴레이 개수가 증가함에도 불구하고 평균적으로 약 2.5개의 고정된 개수의 릴레이를 선택하는 것을 보여준다. 그림 6은 협력통신에 참여하는 다양한 릴레이 개수에 따른 SER 성능을 보여준다.
그러므로 본 논문에서 제안된 기법은 복잡도면에서 매우 우수하다고 할 수 있다. 이러한 결과들은 적은 개수의 협력 릴레이를 사용하는 것에 의해 무선자원 이용의 효율성을 개선시킬 수 있음을 보여준다. 또한, Q-Learning에서 보상 r을 정의하는 방법에 따라서 시스템의 목적을 다르게 설정 할 수 있음을 보여주었다.
지금까지의 실험 결과들은 제안된 기법이 행동에 대한 보상을 주고 Q-Table을 업데이트하는 간단한 릴레이 선택 과정과 함께 협력 릴레이 개수를 급격하게 감소시키지만 우수한 SER 성능을 얻을 수 있음을 보여준다.
제안된 기법에서, Q-Learning을 위하여 상태, 행동, 보상을 적절히 정의 하는 것에 의해서 복잡한 수학적 계산 없이 우수한 SER 성능을 얻는 시스템이 고안되었다. 특히, [4]에서 제안한 기법에서는 이용 가능한 릴레이 개수가 증가함에 따라서 협력 릴레이 개수 또한 선형적으로 증가하였지만, 본 논문에서 제안된 기법은 평균적으로 약 2.5개의 협력 릴레이만을 사용하였다. 또한, [4]는 릴레이 선택을 위해서 최악의 경우 식 (11)을 N-1 번 계산하지만, 본 논문에서 제안된 기법은 식 (8)을 오직 두 번만 계산한다.
그림 5와 6에서 볼 수 있듯이, 참여 가능한 릴레이 개수가 증가함에 따라 선택되는 협력 릴레이 개수 또한 증가하는 것이 SER 성능을 증가시키기 위해서 합리적인 접근이다. 하지만, 실험 결과를 통해서 SNR이 8 dB 보다 작을 때, 협력 릴레이 개수가 약간 감소하는 것은 SER 성능에 거의 영향을 미치지 못하고, 더 나아가서 SNR이 8 dB 이상일 때는 비록 SER 성능이 약간 저하되지만 협력 릴레이 개수를 급격하게 줄일 수 있다는 것을 보여준다.
후속연구
또한, Q-Learning에서 보상 r을 정의하는 방법에 따라서 시스템의 목적을 다르게 설정 할 수 있음을 보여주었다. 본 논문의 연구 결과는 자가 학습을 하는 Q-Learning이 다수의 릴레이를 사용하는 미래의 무선통신 네트워크를 위해서 효율적으로 사용될 수 있음을 보여준다.
본 논문의 제안 기법에 대한 모의실험 결과를 통해, Q-Learning을 이용한 제안 기법은 수학적인 분석을 통해서 릴레이를 선택하는 기법과 비교했을 때 시스템의 복잡도를 효율적으로 저감시키며 유사한 SER 성능을 보였다. 특히, 이러한 결과는 Q-Learning 알고리즘이 차세대 무선통신 시스템의 성능 향상을 위해서 효과적으로 사용될 수 있음을 보여준다.
질의응답
핵심어
질문
논문에서 추출한 답변
Q-Learning이란?
Q-Learning은 기본적으로 환경, 에이전트, 상태, 행동, 그리고 보상으로 구성된 강화 학습 알고리즘이다. Q-Learning 알고리즘에서 환경은 유한 상태 이산 시간 확률 시스템 (Finite-State Discrete-Time Stochastic System)으로 구성된다.
협력통신 네트워크의 이득을 최대화시키기 위한 핵심은?
협력통신 네트워크의 이득을 최대화시키기 위한 핵심은 무선자원을 효율적으로 이용하는 것이다. 특히, 협력통신 네트워크에서 통신 성능을 개선시키고 전력과 대역폭 자원을 효율적으로 사용하기 위해서 전력 할당과 릴레이 선택에 관한 문제를 해결하기 위한 연구가 활발하게 진행되고 있다.
협력 릴레이를 이용하기 위해서 어떠한 프로토콜이 있는가?
지금까지 협력 릴레이를 이용하기 위해서 다양한 프로토콜이 제안되어왔다[1]. 그 중에서도, 릴레이가 소스로부터 전달 받은 신호를 단순히 증폭시켜서 목적지로 재전송하는 AF(Amplify-and-Forward) 방식과 소스로부터 전달 받은 신호를 복호 후에 전송하는 DF(Decode-and-Forward) 방식이 협력통신을 위해서 주로 사용된다.
참고문헌 (13)
A. Nosratinia, T. E. Hunter, and A. Hedayat, "Cooperative communication in wireless networks," IEEE Commun. Mag., vol. 42, pp. 74-80, October 2004.
Y. Zhao, R. S. Adve, and T. J. Lim, "Improving amplify-and-forward relay networks: Optimal power allocation versus selection," IEEE Trans. Wireless Commun., vol. 6, no. 8, pp. 3114-3123, August 2007.
Z. Kenan and T. M. Lok, "A relay selection scheme under optimal power allocation," Proc. ICCS 2008, pp. 1609-1613, Guangzhou, China, November 2008.
H. Wu, Y. Wang, C. Xiong, and D. Yang, "A novel relay selection scheme with simplified power allocation for wireless relay networks," Proc. IEEE GLOBECOM 2009, pp. 1-5, Honolulu, USA, December 2009.
F. Ke, S. Feng, and H. Zhuang, "Relay selection and power allocation for cooperative network based on energy pricing," IEEE Commun. Lett., vol. 14, no. 5, pp. 396-398, May 2010.
L. Song, "Relay selection for two-way relaying with amplify-and-forward protocols," IEEE Trans. Veh. Technol., vol. 60, no. 4, pp. 1954- 1959, April 2011.
R. S. Sutton and A. G. Barto, Reinforcement Learning, MIT Press, 1998.
김재명, "Cognitive Radio 기술개요 및 발전방향," 대한전자공학회지, 제36권, 제6호, 20-27쪽, 2009년 6월.
조정일, 서종필, 유재호, 정재학, "Cognitive Radio 의 네트워크 및 물리계층 연구동향," 대한전자공학회지, 제36권, 제6호, 39-51쪽, 2009년 6월.
A. Galindo-Serrano and L. Giupponi, "Distributed Q-learning for aggregated interference control in cognitive radio networks," IEEE Trans. Veh. Technol., vol. 59, no. 4, pp. 1823-1834, April 2010.
O. V. Den Biggelaar, "Sensing time and power allocation for cognitive radios using distributed Q-learning," EURASIP Jour. Wireless Commun. & Networking, vol. 2012, no. 138, April 2012.
J. Peng, J. Li, S. Li, and Jing Li, "Multi-relay cooperative mechanism with Q-learning in cognitive radio multimedia sensor networks," Proc. IEEE TrustCom-11/IEEE ICESS-11/ FCST-11, pp. 1624-1629, Changsha, China, November 2011.
K. J. R. Liu, A. K. Sadek, W. Su, and A. Kwasinski, Cooperative Communication and Networking, Cambridge University Press, 2009.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.