[논문]강화학습을 이용한 1축 드론 수평 제어

이태우; 유진후; 박희민

doi:10.9717/kmms.2018.21.2.250

강화학습을 이용한 1축 드론 수평 제어
Hovering Control of 1-Axial Drone with Reinforcement Learning 원문보기

이태우 (Dept. of Software Engineering, Sangmyung University) , 유진후 (Dept. of Software Engineering, Sangmyung University) , 박희민 (Dept. of Software, Sangmyung University)

In order to control the quadcopter using reinforcement learning, hovering of 1-axial drones prototype is implemented through reinforcement learning. A complementary filter is used to measure the correct angle, and the range of angles is from -180 degrees to +180 degrees using modified complementary filter. The policy gradient method is used together with the REINFORCE algorithm for reinforcement learning. The prototype learned in this way confirmed the difference in performance depending on the length of the episode.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 1축 드론의 수평제어(hovering)를 강화학습을 통해 구현하기 위한 프로토타입을 제안한다. Fig.
본 논문에서는 강화학습에서의 에이전트인 프로토타입의 목표함수를 최대로 하는 최적의 정책을 찾기 위해 정책신경망을 설계하였다. 정책신경망은 Input layer, 3개의 Hidden layer 그리고 Output layer로 이루어져 있다.
따라서 5분이라는 긴 시간을 여러 번의 에피소드로 잘게 쪼개서 학습을 진행하였다. 본 논문에서는 학습이 잘 이루어질 수 있는 에피소드의 길이를 찾는 실험을 진행하였다. 에피소드 길이(3초, 5초, 10초) 별로 각각 65분(5분씩 16번)의 실험을 했을 때 에피소드별 학습 결과는 Fig.
즉 본 논문에서 제안한 프로토타입에서는 5초의 에피소드 길이가 가장 적합한 학습 결과를 보인다고 볼 수 있다. 이 조건하에서 학습된 정책에 의해 변화된 모터 PWM 값을 확인해보자.

제안 방법

3를 보면 Input layer는 강화학습을 진행하는 에이전트인 프로토타입 상태(state)의 구성 요소인 각도(degree), 각속도(angular velocity), 왼쪽과 오른쪽 모터의 PWM 값(left/right motor pwm)을 입력받을 수 있도록 4개의 노드로 구성되어있다. 3개의 Hidden layer는 각각 24개의 노드로 구성되어 있으며, Output layer는 왼쪽 모터를 조절하는 3가지 경우(모터 값 증가, 유지, 감소)의 수와 오른쪽 모터를 조절하는 3가지 경우(모터 값 증가, 유지, 감소)의 수의 곱인 9가지 경우의 수를 나타낼 수 있도록 9개의 노드로 구성하였다. 또한 모든 계층(layer) 사이에는 활성함수(activation function)로서 ‘tanh’를 사용하였고.
또한 모든 계층(layer) 사이에는 활성함수(activation function)로서 ‘tanh’를 사용하였고. Overfitting 현상을 줄이기 위하여 Dropout(rate: 0.7)을 사용하였다[14]. 단 마지막 Output layer에서 나오는 결과물에서는 단 하나의 최척의 정책을 선택하기 위하여 Softmax 함수를 사용하였다.
따라서 에피소드가 길어지면 학습이 느려지고 반환값의 분산이 커지는 단점이 있다. 따라서 5분이라는 긴 시간을 여러 번의 에피소드로 잘게 쪼개서 학습을 진행하였다. 본 논문에서는 학습이 잘 이루어질 수 있는 에피소드의 길이를 찾는 실험을 진행하였다.
또한 모든 계층(layer) 사이에는 활성함수(activation function)로서 ‘tanh’를 사용하였고.
이러한 강화학습은 Python과 TensorFlow를 통해 구현하였고 프로토타입에 구성된 라즈베리파이로 직접 학습을 실행시켜 실험을 진행하였다. 또한 본 논문에서 구현된 방법을 통해 변화된 환경이나 상태에서도 스스로 학습을 통해 적응할 수 있는지를 실험하기 위해 프로토타입의 무게 중심을 일부러 무너트려 실험을 수행하였다. 실험 결과, 구현한 방법이 프로토타입 수평 제어에 익숙한 학습된 사람에 비할 수 있을 만큼 성능이 우수함을 확인하였다.
이후에 진행된 제안한 강화학습 기반 수평 제어에서는 프로토타입의 무게 중심이 애초에 잘 잡혀있는 즉, 무게중심으로 인한 초기 각도가 0도인 상황에서는 1축 드론의 조건상 모터의 영향으로 인한 ‘힘의 균형’ 상태인지 양력 등의 모터가 발생시키는 ‘힘의 부족’ 상태인지 명확히 판단할 수 없었다. 띠라서 무게중심으로 인한 초기 각도가 +45도에서 +52도 사이인 상태를 무게중심이 무너져 있는 조건의 예시로 설정하였고, Fig. 7과 같이 프로토타입의 오른쪽 날개 축에 무게를 더해 균형을 무너트려 학습을 진행하였다.
2에는 실제로 구현된 프로토타입의 모습을 나타내었다. 목재의 중앙부 양 옆면에 베어링을 달고 긴 연마봉의 중간 지점에 프로토타입이 위치하도록 하여 자유롭게 360도 회전이 가능하도록 제작하였다. 추가적으로, 모터의 진동 등 물리적 조건으로부터 얻어지는 센서의 노이즈를 최소화하기 위해 라즈베리파이와 Navio보드를 날개 축에 직접 연결한 것이 아니라 충격이나 진동을 어느 정도 흡수 할 수 있는 4개의 댐핑 공 위의 판에 연결하였다.
본 논문에서는 쿼드콥터 드론의 자율 주행에 강화학습을 적용하는 것에 앞서 1축 드론 프로토타입의 수평제어(hovering)를 강화학습을 통해 구현한다. 최종 목표로 사용될 소형 드론을 위해 컴퓨팅 자원은 라즈베리파이 한 대로 한정하여 1축 드론 프로토타입을 제작하였다.
강화학습에는 정책신경망(policy network)을 통해 정책(policy)을 직접적으로 근사하여 누적 보상을 최대로 하는 최적 정책을 찾는 Policy Gradient[6]를 REINFORCE 알고리즘[7]과 함께 사용하였다. 이러한 강화학습은 Python과 TensorFlow를 통해 구현하였고 프로토타입에 구성된 라즈베리파이로 직접 학습을 실행시켜 실험을 진행하였다. 또한 본 논문에서 구현된 방법을 통해 변화된 환경이나 상태에서도 스스로 학습을 통해 적응할 수 있는지를 실험하기 위해 프로토타입의 무게 중심을 일부러 무너트려 실험을 수행하였다.
제안한 강화학습 기반 수평제어 방법 이외에 왼쪽과 오른쪽 각 모터의 최솟값과 최댓값을 설정한 뒤, 기울어진 정도에 비례하여 기울어진 쪽의 모터의 세기를 증가시키는 룰기반 수평 제어 방식에서는 비례하는 상수 값을 찾지 못했을 뿐만 아니라 수평 제어가 이뤄지지 않았다.
이를 통해 라즈베리파이에서는 각종 센서 데이터로부터 정확한 각도(pitch 값)를 측정하기 위한 처리를 한다. 처리된 데이터를 활용하여 라즈베리파이에서 직접 강화학습을 진행하고, 예측된 최적의 정책을 바탕으로 Navio보드를 이용해서 왼쪽과 오른쪽 각 모터의 PWM 값을 조절하여 프로토타입의 수평 제어를 수행한다. 이러한 구조도를 바탕으로 제작된 프로토타입의 모습은 Fig.
본 논문에서는 쿼드콥터 드론의 자율 주행에 강화학습을 적용하는 것에 앞서 1축 드론 프로토타입의 수평제어(hovering)를 강화학습을 통해 구현한다. 최종 목표로 사용될 소형 드론을 위해 컴퓨팅 자원은 라즈베리파이 한 대로 한정하여 1축 드론 프로토타입을 제작하였다. 또한 정확한 각도를 측정하기 위해 상보필터(complementary filter)를 사용하였다.
목재의 중앙부 양 옆면에 베어링을 달고 긴 연마봉의 중간 지점에 프로토타입이 위치하도록 하여 자유롭게 360도 회전이 가능하도록 제작하였다. 추가적으로, 모터의 진동 등 물리적 조건으로부터 얻어지는 센서의 노이즈를 최소화하기 위해 라즈베리파이와 Navio보드를 날개 축에 직접 연결한 것이 아니라 충격이나 진동을 어느 정도 흡수 할 수 있는 4개의 댐핑 공 위의 판에 연결하였다.

이론/모형

이러한 상보필터에 특정한 기법을 이용하여 측정할 수 있는 각도의 범위를 -180도에서 +180도로 구현하였다. 강화학습에는 정책신경망(policy network)을 통해 정책(policy)을 직접적으로 근사하여 누적 보상을 최대로 하는 최적 정책을 찾는 Policy Gradient[6]를 REINFORCE 알고리즘[7]과 함께 사용하였다. 이러한 강화학습은 Python과 TensorFlow를 통해 구현하였고 프로토타입에 구성된 라즈베리파이로 직접 학습을 실행시켜 실험을 진행하였다.
7)을 사용하였다[14]. 단 마지막 Output layer에서 나오는 결과물에서는 단 하나의 최척의 정책을 선택하기 위하여 Softmax 함수를 사용하였다.
최종 목표로 사용될 소형 드론을 위해 컴퓨팅 자원은 라즈베리파이 한 대로 한정하여 1축 드론 프로토타입을 제작하였다. 또한 정확한 각도를 측정하기 위해 상보필터(complementary filter)를 사용하였다. 그 이유는 상보필터가 칼만필터에 비해 많은 컴퓨팅 자원이 필요하지 않고 계산이 비교적 간단하지만 정확한 각도를 얻을 수 있기 때문이다.

성능/효과

본 논문에서는 변형된 상보필터를 통해 얻은 정확한 각도를 측정하고, 이 각도값과 각속도 그리고 왼쪽과 오른쪽 모터의 PWM값을 이용하여 강화학습의 한 종류인 REINFORCE 알고리즘을 이용한 Policy Gradient를 사용하여 학습을 진행하고 이를 통해 학습된 정책신경망을 이용하여 1축 드론 프로토타입의 수평제어가 잘 이루어졌음을 확인하였다. 본 논문의 실험에 따른 결과를 통해 적절한 에피소드 길이의 설계가 정책 성능에 영향을 끼치는 요인임을 확인하였다.
본 논문에서는 변형된 상보필터를 통해 얻은 정확한 각도를 측정하고, 이 각도값과 각속도 그리고 왼쪽과 오른쪽 모터의 PWM값을 이용하여 강화학습의 한 종류인 REINFORCE 알고리즘을 이용한 Policy Gradient를 사용하여 학습을 진행하고 이를 통해 학습된 정책신경망을 이용하여 1축 드론 프로토타입의 수평제어가 잘 이루어졌음을 확인하였다. 본 논문의 실험에 따른 결과를 통해 적절한 에피소드 길이의 설계가 정책 성능에 영향을 끼치는 요인임을 확인하였다. 본 논문을 통해 최종 목표인 무인 비행체의 자율 비행에 한 걸음 다가갈 수 있었다.
또한 본 논문에서 구현된 방법을 통해 변화된 환경이나 상태에서도 스스로 학습을 통해 적응할 수 있는지를 실험하기 위해 프로토타입의 무게 중심을 일부러 무너트려 실험을 수행하였다. 실험 결과, 구현한 방법이 프로토타입 수평 제어에 익숙한 학습된 사람에 비할 수 있을 만큼 성능이 우수함을 확인하였다.
이 두 각도를 이용하여 상보필터를 적용시키고 다시 영역의 범위를 0° ∼-360° 범위에서 -180°∼+180°범위로 치환하는 방법을 사용하면 기대하는 정확한 상보 필터 값을 얻을 수 있다.
6을 보면 해결된 것을 알 수 있다. 이를 통해 본 논문에서 제안한 상보필터를 통해 프로토타입의 정확한 각도를 얻을 수 있음을 알 수 있다.
이후에 진행된 제안한 강화학습 기반 수평 제어에서는 프로토타입의 무게 중심이 애초에 잘 잡혀있는 즉, 무게중심으로 인한 초기 각도가 0도인 상황에서는 1축 드론의 조건상 모터의 영향으로 인한 ‘힘의 균형’ 상태인지 양력 등의 모터가 발생시키는 ‘힘의 부족’ 상태인지 명확히 판단할 수 없었다.
8에서 확인한 가장 수평제어 성능이 좋았던 조건은 에피소드 길이를 5초로 설정하는 것이다. 즉 본 논문에서 제안한 프로토타입에서는 5초의 에피소드 길이가 가장 적합한 학습 결과를 보인다고 볼 수 있다. 이 조건하에서 학습된 정책에 의해 변화된 모터 PWM 값을 확인해보자.

후속연구

본 논문을 통해 최종 목표인 무인 비행체의 자율 비행에 한 걸음 다가갈 수 있었다. 차후 과제로는 각도 오차의 진폭을 더 줄이고 보다 더 안정된 수평 제어를 통해 2축 드론인 쿼드콥터의 수평 제어가 남아있다.

핵심어

질문

논문에서 추출한 답변

자신의 위치를 추정할 수 있는 항법 시스템의 대표적인 기술은 무엇인가?

이는 드론이 목적지까지 다양한 물체들을 이동시키는 과정에서 인간의 조작이 아닌 스스로 판단하여 비행하는 길을 찾아 가는 기능을 수행할 수 있기 때문이다. 드론이 자율 비행을 하기 위해서는 자신의 위치를 추정할 수 있는 항법 시스템이 필수적이며, 대표적인 기술로는 주변 환경과의 상대 거리를 카메라와 레이저센서 등의 다양한 센서로 측정하여 자신의 위치를 결정하는 자기위치추정기법(Simultaneous Localization and Mapping, SLAM)이 있다. 하지만 이동체가 고속으로 이동하거나 주변 환경이 변화하게 되면 성능이 저하되는 문제가 존재한다[1].

드론이 자율 비행을 하기 위해서는 어떠한 항법 시스템이 필수적인가?

이는 드론이 목적지까지 다양한 물체들을 이동시키는 과정에서 인간의 조작이 아닌 스스로 판단하여 비행하는 길을 찾아 가는 기능을 수행할 수 있기 때문이다. 드론이 자율 비행을 하기 위해서는 자신의 위치를 추정할 수 있는 항법 시스템이 필수적이며, 대표적인 기술로는 주변 환경과의 상대 거리를 카메라와 레이저센서 등의 다양한 센서로 측정하여 자신의 위치를 결정하는 자기위치추정기법(Simultaneous Localization and Mapping, SLAM)이 있다. 하지만 이동체가 고속으로 이동하거나 주변 환경이 변화하게 되면 성능이 저하되는 문제가 존재한다[1].

자기위치추정기법이 성능이 저하될 수 있는 문제의 원인이 무엇인가?

드론이 자율 비행을 하기 위해서는 자신의 위치를 추정할 수 있는 항법 시스템이 필수적이며, 대표적인 기술로는 주변 환경과의 상대 거리를 카메라와 레이저센서 등의 다양한 센서로 측정하여 자신의 위치를 결정하는 자기위치추정기법(Simultaneous Localization and Mapping, SLAM)이 있다. 하지만 이동체가 고속으로 이동하거나 주변 환경이 변화하게 되면 성능이 저하되는 문제가 존재한다[1]. 드론 자율 비행의 성능을 높이기 위해서는 많은 기술들이 개발되어야 하지만 그 중 하나가 학습을 기반으로 하는 자율 비행 기술이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

강화학습을 이용한 1축 드론 수평 제어
Hovering Control of 1-Axial Drone with Reinforcement Learning 원문보기

Abstract ▼ AI-Helper

주제어