선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서도 고정된 타깃(i,e. QR code)과 손에 의해 움직이는 스마트폰에 대한 자세를 추정하기 위한 두 센서의 결합시 발생하는 추정 오차를 최소화하기 위한 방법에 중점을 두고 연구를 진행 하였다. 정확한 추정성능을 확보하기 위해 쿼터니언[11]을 이용한 확장 칼만필터(Extended Kalman Filter, EKF)를 기반[7]으로 IMU센서에서 획득한 데이터와 영상으로 획득된 Modelviewmatrix를 결합 한다.
- 본 논문은, 스마트폰의 IMU 센서와 비전 센서를 결합하여 타깃의 자세를 추정하기 위한 개선된 센서 결합방법에 대해서 제안하였다. 제안하는 방법은 IMU 센서의 값 및 비전 센서 값에 오차가 발생하여도 이를 보정하여 자세 추정에 대한 정확도를 높이며, 모바일 환경에서도 실시간으로 동작하도록 확장 칼만 필터기반으로 설계 되었다.
- Navigation frame {n} 카메라와 IMU 센서의 자세를 정의하기 위한 타깃 마커의 코너 포인트를 기준으로 하는 좌표계이다. 센서 융합 방법의 목표는 Navigation frame에서의 카메라와 IMU 센서의 자세를 추정하는 것이다.
제안 방법
- 이를 해결하기 위해 본 논문에서는 EKF 필터의 출력 값과 비교하여 측정되는 IMU 센서의 쿼터니언에 대한 에러 값을 식 (17)을 이용하여 보정하여 새로운 입력 쿼터니언을 생성 하였다. 그리고 카메라를 통해 입력받은 자세 값에 대한 측정 에러 공분산 값을 높이고, IMU 센서에 대한 측정 에러 공분산을 낮춰 타깃에 대한 자세를 추정 할 때 IMU 센서를 통해 입력받은 쿼터니언의 영향을 더 많이 받도록 설정 하였다.
- 그림 5에서 GN기법을 이용하여 획득한 자세 쿼터니언에 대한 결과(빨간색 점선)를 표시 하였다. 데이터를 획득하기 위해, 다양한 실험환경에서 실험을 수행 하였으며, 본 논문에서는 주변 자기장의 영향을 받아 지자기 센서에 외부 간섭이 포함되어 자세 쿼터니언의 결과에 에러가 누적되었다고 판단된 데이터그룹을 활용하였다.
- 따라서 타깃에 대한 가려짐이 발생하지 않은 경우에 IMU 센서에 대한 자세 측정 에러 공분산 값을 영상 자세 값에 대한 공분산 보다 높게 설정하여 자세 추정에 영향을 덜 미치도록 조정 하였다. 그림 5는 이에 대한 결과를 보여준다.
- 이 방법은 IMU 센서를 이용할 수 있는 모바일 디바이스 에서 Body frame과 Navigation frame의 관계를 계산하기 위해 사용한다. 변환 관계를 표현하기 위한 회전 행렬은 가속센서와 지자기센서를 이용하여 쿼터니언을 생성하고 DCM(Direction Cosine Matrix)변환을 통해 획득하며, 자세 표현을 위한 쿼터니언은 자이로센서와 함께 EKF에 적용하여 오차를 보정한다. 그림 2에 IMU 센서를 이용한 방법에 대한 시스템 구성을 표시하였다.
- 본 논문에서 타깃에 대한 자세 추정 성능을 테스트하기 위해 두 가지 환경을 고려하였는데, 첫 번째는 스마트폰의 움직임과 타깃에 대한 가려짐이 없을 경우이고,다른 한 가지 경우는 타깃에 대한 가려짐이 발생한 경우이다.
- 제안하는 방법은 IMU 센서의 값 및 비전 센서 값에 오차가 발생하여도 이를 보정하여 자세 추정에 대한 정확도를 높이며, 모바일 환경에서도 실시간으로 동작하도록 확장 칼만 필터기반으로 설계 되었다. 설계된 필터는 센서로 부터 획득한 데이터를 이용한 시뮬레이션을 통해 그 내용을 검증하였다. 그 결과 다양한 환경(가려짐 발생, 센서 오차 발생 등)에서도 높은 정확도를 보이며 타깃에 대한 자세를 추정하는 것을 확인 하였다.
- 에러 값에 대한 결과 누적으로 추정 자세 값에 대한 급격한 변화가 출력되는 것을 방지하고 보다 안정적인 출력 값을 얻기 위해 저역 통과 필터를 출력 단에 추가하였다. 획득된 신호 x[k]와 저역 통과 필터로 생성되는 신호 y[k]가 주어졌을 때, 저역 통과 필터의 설계는 다음과 같이 간단한 모델로 표현 가능 하다.
- 영상과 IMU 센서에 대해 EKF를 통한 결합을 수행하기 위해 앞 절(2.2)에서 소개한 내용에 카메라 포지션에 대한 constant velocity model[13]를 추가하였다. 식(22)의 상태 벡터 xQV는 기존 각속도 w와 쿼터니언 q에 위치 t와 속도 v가 추가되어 표현 된다.
- ) 로 계산되며 i∈[1,2,3] 으로 쿼터니언 요소 중 벡터 파트에 해당되는 요소 범위를 나타낸다. 오차 값이 크면 이전 EKF의 결과를 새로운 쿼터니언 값에 포함하여 오차를 보정 하였다. 에러 값에 대한 검출 결과는 다음 3장에 설명 하였다.
- GN[12]에 따라 센서에 대한 에러값이 수렴이 되지 않거나 외부적인 요인에 의해 IMU센서로 부터 획득한 쿼터니언 값에 에러 값이 포함된 경우가 있다. 이를 방지하기 위해 본 논문에서는 현재 획득한 IMU 센서 값과 EKF 이후 IIR 필터를 통과한 쿼터니언 값을 비교하여 각 채널별 에러 값을 판단하며, 계산된 에러 값에 따라 그 채널에 대한 쿼터니언 값을 수정한다.
- 카메라를 이용하는 방법은 타깃에 대한 가려짐 현상이 발생 했을 때 현재 프레임과 이전 프레임에 대한 자세(쿼터니언)값에 많은 변화가 나타남을 그림 4(a)에서 확인 하였고,또한 GN를 통해 IMU 센서의 자세 값을 추정 하였을 때, 출력 값에 대한 오차가 발생하여 (그림 5(c)의 yaw 각 확인) 정확한 자세 추정을 할 수 없는 것을 확인 하였다. 이를 해결하기 위해 본 논문에서는 EKF 필터의 출력 값과 비교하여 측정되는 IMU 센서의 쿼터니언에 대한 에러 값을 식 (17)을 이용하여 보정하여 새로운 입력 쿼터니언을 생성 하였다. 그리고 카메라를 통해 입력받은 자세 값에 대한 측정 에러 공분산 값을 높이고, IMU 센서에 대한 측정 에러 공분산을 낮춰 타깃에 대한 자세를 추정 할 때 IMU 센서를 통해 입력받은 쿼터니언의 영향을 더 많이 받도록 설정 하였다.
- 이를 활용하여 본 논문에서는 a = 0.4로 설정하여 필터 출력의 지연시간을 1 샘플 이내로 제한하도록 설계 하였다.
- 또한, 가려짐 현상이 발생하면 자세 추정 루프로 들어가지 않도록 설정 되어 있어 자세 값은 0값을 리턴한다. 자세 값이 0으로 연속적으로 나오게 되면 가려짐 현상을 측정하기 위한 이전 프레임과의 차이를 계산 할 수 없어 실험을 위해 랜덤 변수를 통해 임의의 자세 쿼터니언을 리턴 하도록 프로그램을 수정 하였다. 실험에 사용된 스마트폰은 Samsung Galaxy S6 edge+ 이며,실험 검증은 Matlab을 통해서 확인 하였다.
- QR code)과 손에 의해 움직이는 스마트폰에 대한 자세를 추정하기 위한 두 센서의 결합시 발생하는 추정 오차를 최소화하기 위한 방법에 중점을 두고 연구를 진행 하였다. 정확한 추정성능을 확보하기 위해 쿼터니언[11]을 이용한 확장 칼만필터(Extended Kalman Filter, EKF)를 기반[7]으로 IMU센서에서 획득한 데이터와 영상으로 획득된 Modelviewmatrix를 결합 한다. 물체의 자세를 표현하기 위해 오일러 각을 이용 하면[10] 3개의 변수(Roll, Pitch, Yaw)로만 자세를 표현할 수 있는 장점도 있지만, 특이점이 발생 했을 경우 비선형 미분 방정식을 풀어야하는 문제점이 있다.
- 본 논문은, 스마트폰의 IMU 센서와 비전 센서를 결합하여 타깃의 자세를 추정하기 위한 개선된 센서 결합방법에 대해서 제안하였다. 제안하는 방법은 IMU 센서의 값 및 비전 센서 값에 오차가 발생하여도 이를 보정하여 자세 추정에 대한 정확도를 높이며, 모바일 환경에서도 실시간으로 동작하도록 확장 칼만 필터기반으로 설계 되었다. 설계된 필터는 센서로 부터 획득한 데이터를 이용한 시뮬레이션을 통해 그 내용을 검증하였다.
- 제안하는 필터 결합 방법은 타깃에 대한 가려짐이 발생하여도 효과적으로 자세를 추정할 수 있다. 카메라를 이용하는 방법은 타깃에 대한 가려짐 현상이 발생 했을 때 현재 프레임과 이전 프레임에 대한 자세(쿼터니언)값에 많은 변화가 나타남을 그림 4(a)에서 확인 하였고,또한 GN를 통해 IMU 센서의 자세 값을 추정 하였을 때, 출력 값에 대한 오차가 발생하여 (그림 5(c)의 yaw 각 확인) 정확한 자세 추정을 할 수 없는 것을 확인 하였다.
- 쿼터니언에 대한 자세한 설명은 2장에 설명 하였다. 하지만 쿼터니언은 직관적인 의미 해석에는 용이하지 않아 일부 실험 과정 중 결과 확인을 위해서 오일러 각으로 변환하여 표현 하였다.
대상 데이터
- 실험에 사용된 스마트폰은 Samsung Galaxy S6 edge+ 이며,실험 검증은 Matlab을 통해서 확인 하였다. 스마트폰에 내장된 IMU 센서로부터 획득한 데이터의 샘플링 주기는 영상을 통해 획득하는 회전 행렬과 위치 벡터와의 시간 동기화를 위해 영상에서 데이터를 획득할 때마다IMU 센서에서의 데이터를 획득 하였는데, 평균적으로 해상도 640x360영상에서 40ms정도 소요 되었다.
- 자세 값이 0으로 연속적으로 나오게 되면 가려짐 현상을 측정하기 위한 이전 프레임과의 차이를 계산 할 수 없어 실험을 위해 랜덤 변수를 통해 임의의 자세 쿼터니언을 리턴 하도록 프로그램을 수정 하였다. 실험에 사용된 스마트폰은 Samsung Galaxy S6 edge+ 이며,실험 검증은 Matlab을 통해서 확인 하였다. 스마트폰에 내장된 IMU 센서로부터 획득한 데이터의 샘플링 주기는 영상을 통해 획득하는 회전 행렬과 위치 벡터와의 시간 동기화를 위해 영상에서 데이터를 획득할 때마다IMU 센서에서의 데이터를 획득 하였는데, 평균적으로 해상도 640x360영상에서 40ms정도 소요 되었다.
- 제안하는 센서 결합 필터의 성능을 확인하기 위해 ㈜로터스에코의 ARVR_SDK[5]를 이용하여 센서데이터와 Modelview Matrix 데이터를 획득하였다. ARVR_SDK에서는 자세 추정을 위한 modelview matrix를 획득하기 위해 검출 하고자 하는 특징 마커를 내부 프로그램에 등록하면 코너 점을 기반으로 하여 마커에 대한 특징 점을 분석하고 영상에서의 특징 점의 위치와 카메라 캘리브레이션 파라미터를 활용하여 자세를 추정하게 된다.
이론/모형
- 가속센서와 지자기센서를 이용하여 쿼터니언 qnb를생성하기 위해 Gauss-Newton (GN) 방법[12]을 적용하였으며, 계산 과정은 다음과 같다.
- 본 논문에서 쿼터니언은 칼만 필터를 사용하여 센서융합의 결과에 대한 자세를 표현하기 위해 사용하였다.쿼터니언은 짐 볼락 (gimbol lock) 현상을 방지하여 강체의 자세를 표현하는데 많이 사용된다.
성능/효과
- 가려짐 검출 이후 카메라에 의한 자세 값의 측정 오차 에러 값을 높여 필터에 적용되는 영향력을 감소 시켰다. IMU 센서의 자세 추정 값에 대한 오차가 roll각과 pitch각에서는 거의 발생 하지 않아 원래의 타깃에 대한 자세와 유사하게 예측 되었지만, yaw값에 대해서는 오차가 보정 되지 않아 IMU센서 에러 값이 그대로 반영 되어 추정되는 오차 값이 커진 것을 확인 할 수 있다.
- 설계된 필터는 센서로 부터 획득한 데이터를 이용한 시뮬레이션을 통해 그 내용을 검증하였다. 그 결과 다양한 환경(가려짐 발생, 센서 오차 발생 등)에서도 높은 정확도를 보이며 타깃에 대한 자세를 추정하는 것을 확인 하였다.
- 좀 더 자세한 비교를 위해, 본 논문에서는 각 단계별 RMSE(Root Mean Square Error)의 변화를 그림 7에 표시 하였다. 비교 결과 제안하는 방법으로 자세를 추정 하였을 때 평균 2.11˚로 가장 낮은 오차를 보이는 것을 확인 할 수 있다.
- 다른 결과와 마찬가지로 yaw값에서 에러 값이 존재 하기는 하지만 IMU센서에 대한 오차 값을 보정하기 때문에 출력되는 자세값에 대한 에러가 줄어든 것을 확인 할 수 있다. 이를 통해 제안하는 방법으로 타깃에 대한 자세를 추정할 때 가려짐 현상이 발생하여 타깃에 대한 정보를 잃고, 또한IMU 센서에서 추정하는 자세 값에 오차를 포함하고 있어도 추가 보정 과정을 수행함으로써 효과적으로 타깃에 대한 자세를 추정 할 수 있는 것을 확인 할 수 있다. 또한, 가려짐이 발생하고 센서를 통해 획득한 자세 값에 대한 오류로 인해 오차가 어느 정도 누적된 상황에서 영상에서 다시 마커를 검출하고 추적이 가능하게 되면 영상을 통한 자세 추정 결과에 가중치를 높이도록 되어있어 안정적으로 오차가 줄어든 자세 추정 결과를 획득하는 것을 가려짐 현상 이후의 자세 추정 결과를 통해 확인 할 수 있다.
- 제안하는 필터 결합 방법은 타깃에 대한 가려짐이 발생하여도 효과적으로 자세를 추정할 수 있다. 카메라를 이용하는 방법은 타깃에 대한 가려짐 현상이 발생 했을 때 현재 프레임과 이전 프레임에 대한 자세(쿼터니언)값에 많은 변화가 나타남을 그림 4(a)에서 확인 하였고,또한 GN를 통해 IMU 센서의 자세 값을 추정 하였을 때, 출력 값에 대한 오차가 발생하여 (그림 5(c)의 yaw 각 확인) 정확한 자세 추정을 할 수 없는 것을 확인 하였다. 이를 해결하기 위해 본 논문에서는 EKF 필터의 출력 값과 비교하여 측정되는 IMU 센서의 쿼터니언에 대한 에러 값을 식 (17)을 이용하여 보정하여 새로운 입력 쿼터니언을 생성 하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.