선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 추후 연구로는 향상된 네트워크 구조를 학습하여 조명, 날씨 등 다양한 환경 변화가 존재하는 환경에서도 동작 가능한 위치 재인식 방법에 대한 연구를 수행하고자 한다. 또한, 네트워크 학습에 필요한 파라미터를 검색하는 방식을 도입하여 위치인식 성능을 높이고, 파티클 필터를 통한 위치인식이 심하게 실패한 경우 오차를 극복하는 연구를 진행하고자 한다.
- 본 논문에서는 3차원 레이저 스캐너와 비전 센서를 융합한 센서 시스템을 통해 심층 컨벌루션 신경망의 학습 및 파티클 필터 기반 위치인식 방법을 제안하였다. 심층 컨벌루션 신경망의 학습에는 카메라 영상의 RGB 정보뿐만 아니라 주변 환경의 거리 정보도 포함한다.
가설 설정
- Motion 모델은 control 입력 ut이 주어졌을 때, 현재 상태 x1의 확률을 이전 스 텝의 상태 xt-1로부터 표현한다. Motion 모델에서 사용되는 ut는 constant velocity motion으로 가정했다. 파티클 필터에서 상태 xt는 파티클 xt = <xt, wt>, j = 1, .
제안 방법
- Li et al.[1]은 RGBD 센서로부터 depth를 인코딩한 이미지도 함께 dual-stream CNN 학습에 사용하였다. RGB와 depth 입력이 각각의 CNN에 입력되며 출력된 feature를 concatenate 시켜서 최종 regression에 사용한다.
- 분류를 하는 Fully-connected 레이어를 regression을 수행하는 레이어로 수정한다. 기존 GoogLeNet에 존재하는 3개의 softmax 분류기를 affine regressor로 대체한다. 학습 단계에서 이런 중간 단계의 affine regressor에 대한 loss를 포함하며 테스트 단계에서는 제일 마지막의 regressor만 사용한다.
- 카메라 이미지를 Sobel operator를 통해 edge만 남아있는 이미지로 변환하고 Inverse Distance Transform (IDT)를 적용하여 각픽셀별로 가 장 가까운 edge와의 거리에 따라 값을 정한다. 또한 투영된 3차원 레이저 스캐너의 포인트에서 인접한 두 포인트와의 최대 거리를 각 픽셀 값으로 갖는 이미지를 만들고 두 이미지의 비교를 통해 유사도를 판단한다. [Fig.
- 심층 컨벌루션 신경망의 학습에는 카메라 영상의 RGB 정보뿐만 아니라 주변 환경의 거리 정보도 함께 입력으로 사용한다. 또한, 이동 로봇이 주행하면서 얻는 연속적인 센서 입력으로부터 CNN 결과를 얻고 이를 측정값으로 사용하는 파티클 필터(Particle Filter)를 통해 더욱 정밀한 위치인식을 수행한다. 제안된 방법은 로봇 플랫폼을 이용해서 실외에서 취득한 데이터셋을 통해 기존 학습 기반 위치 재인식 방법과 비교되었다.
- 또한, 이동 로봇이 주행하면서 얻는 연속적인 센서 입력을 모두 사용하는 파티클 필터(Particle Filter)를 통해 더욱 정밀한 위치인식을 수행한다.
- 본 연구에서는 3차원 레이저 스캐너 한 대와 스테레오 카메 라가 설치된 센서 융합 시스템을 사용한다. 다만, 스테레오 카 메라에서 왼쪽 카메라만 알고리즘에 이용한다.
- GoogLeNet은 영상 인식과 같은 분류(Classification) 작업 수행에 많이 사용되는데 위치 재인식을 수행하기 위해 다음과 같은 변화가 존재한다. 분류를 하는 Fully-connected 레이어를 regression을 수행하는 레이어로 수정한다. 기존 GoogLeNet에 존재하는 3개의 softmax 분류기를 affine regressor로 대체한다.
- 외형 기반 방법은 SIFT, SURF, BRIEF, ORB와 같은 Hand-crafted 특징점을 영상으로부터 추출하는 것을 기본으로 한다.
- 이러한 두 방법의 단점을 극복하기 위해 본 논문에서는 실시간 위치 재인식을 위해 센서 정보의 융합과 알고리즘의 융합이라는 두 가지 측면을 모두 고려한다. 즉, 3차원 레이저 스캐너와 비전 센서를 융합한 센서 시스템을 통한 센서 정보 보완과 학습 기반 및 파티클 필터 기반 위치인식이 동시에 사용되는 방법을 제안한다.
- [Algorithm 1]은 본 논문에서 제안된 위치 재인식 알고리즘이며 라인 1을 통해 학습된 CNN에 입력될 영상을 생성한다. 입력 영상을 이용하여 CNN 결과값을 얻고 파티클 필터의 measurement로 사용하여 업데이트 한다.
- 이종 센서 간의 캘리브레이션[13]은 coarseto-fine 전략을 사용한다. 정해진 모양과 크기의 인공 특징점을 이종 센서에서 동시에 검출하고 정합시켜 정합 오차를 적게 만드는 TSL을 반복을 통해 도출한다. 이 방법은 sparse한 포인트 클라우드를 취득하는 레이저 스캐너일수록 부정확하기 때문에 앞선 방법을 사용한 뒤 수동으로 회전 행렬을 보정하여 정밀한 TSL을 얻는다.
- 또한, 이동 로봇이 주행하면서 얻는 연속적인 센서 입력을 모두 사용하는 파티클 필터(Particle Filter)를 통해 더욱 정밀한 위치인식을 수행한다. 제안된 방법은 실외 환경에서 로봇 플랫폼으로부터 취득된 데이터셋으로 검증하였다.
- 이러한 두 방법의 단점을 극복하기 위해 본 논문에서는 실시간 위치 재인식을 위해 센서 정보의 융합과 알고리즘의 융합이라는 두 가지 측면을 모두 고려한다. 즉, 3차원 레이저 스캐너와 비전 센서를 융합한 센서 시스템을 통한 센서 정보 보완과 학습 기반 및 파티클 필터 기반 위치인식이 동시에 사용되는 방법을 제안한다. 심층 컨벌루션 신경망의 학습에는 카메라 영상의 RGB 정보뿐만 아니라 주변 환경의 거리 정보도 함께 입력으로 사용한다.
- [13]에 서 제안한 edge 기반의 cost 함수를 이용한다. 카메라 이미지를 Sobel operator를 통해 edge만 남아있는 이미지로 변환하고 Inverse Distance Transform (IDT)를 적용하여 각픽셀별로 가 장 가까운 edge와의 거리에 따라 값을 정한다. 또한 투영된 3차원 레이저 스캐너의 포인트에서 인접한 두 포인트와의 최대 거리를 각 픽셀 값으로 갖는 이미지를 만들고 두 이미지의 비교를 통해 유사도를 판단한다.
대상 데이터
- ZED stereo 카메라의 경우 1280 x 720 해상도와 30 fps 모드로 사용하였다.
- 첫번째테스트에 사용된 영상은 총4912프레임이고 두 번째테스트에 사용된 영상은 총4621 프레임이며 시험공간의 크기는 약40 m x 160 m이다. 두 번째데이터셋은 연세대학교 공학관(Eng. Bldg.)에서 취득하였고 비교적 동적 객체가 적은 환경이다. 학습에는 총5329 프레임이 사용되었으며 첫번째테스트는 3432 프레임, 두 번째테스트는 3679 프레임이 사용되었다.
- 실험에 사용된 데이터셋은 서로 다른 두 환경에서 취득하였다. 두 환경 모두 연세대학교 캠퍼스 내 실외 환경에서 로봇 플랫폼을 이용하여 취득하였으며 사용된 3차원 레이저 스캐너는 Velodyne VLP-16, 이미지는 ZED stereo 카메라의 왼쪽 영상을 사용하였다. Velodyne VLP-16 센서는 초당 약300,000 points를 측정하며 측정 최대 거리는 약100 m이다.
- 본 장에서는 제안한 위치인식 기술의 성능 평가를 위해 실외용 로봇 플랫폼에서 다양한 환경의 데이터를 취득하였다. 본 논문에서 사용된 GoogLeNet 기반 심층 신경망과 제안된 알고리즘은 텐서플로우(Tensorflow)로 구현되었다.
- 본 논문에서 사용된 GoogLeNet 기반 심층 신경망과 제안된 알고리즘은 텐서플로우(Tensorflow)로 구현되었다. 실험에 사용된 컴퓨팅 환경은 Intel Core i7-7700HQ @2.8Ghz의 CPU와 NVIDIA Geforce GTX 1070 8G의 GPU가 탑재된 노트북이다.
- 첫 번째 데이터셋은 연세대학교 백양로(Baekyang)에서 취득하였으며 보행자가 다수 존재하는 환경이다. 학습에 사용된 영상은 총5526 프레임이다.
- 테스트에 사용된 데이터셋은 총2개이며 환경변화에 강인한 특성을 확인하기 위해 각각가을과 여름에 취득했다. 첫번째테스트에 사용된 영상은 총4912프레임이고 두 번째테스트에 사용된 영상은 총4621 프레임이며 시험공간의 크기는 약40 m x 160 m이다. 두 번째데이터셋은 연세대학교 공학관(Eng.
- 학습에 사용된 영상은 총5526 프레임이다. 테스트에 사용된 데이터셋은 총2개이며 환경변화에 강인한 특성을 확인하기 위해 각각가을과 여름에 취득했다. 첫번째테스트에 사용된 영상은 총4912프레임이고 두 번째테스트에 사용된 영상은 총4621 프레임이며 시험공간의 크기는 약40 m x 160 m이다.
- 첫 번째 데이터셋은 연세대학교 백양로(Baekyang)에서 취득하였으며 보행자가 다수 존재하는 환경이다. 학습에 사용된 영상은 총5526 프레임이다. 테스트에 사용된 데이터셋은 총2개이며 환경변화에 강인한 특성을 확인하기 위해 각각가을과 여름에 취득했다.
- )에서 취득하였고 비교적 동적 객체가 적은 환경이다. 학습에는 총5329 프레임이 사용되었으며 첫번째테스트는 3432 프레임, 두 번째테스트는 3679 프레임이 사용되었다. 첫번째테스트 데이터셋은 가을, 두 번째테 스트 데이터셋은 겨울에 취득하였다.
데이터처리
- 또한, 이동 로봇이 주행하면서 얻는 연속적인 센서 입력으로부터 CNN 결과를 얻고 이를 측정값으로 사용하는 파티클 필터(Particle Filter)를 통해 더욱 정밀한 위치인식을 수행한다. 제안된 방법은 로봇 플랫폼을 이용해서 실외에서 취득한 데이터셋을 통해 기존 학습 기반 위치 재인식 방법과 비교되었다.
- 파티클 필터에서 상태 xt는 파티클 xt = <xt, wt>, j = 1, ... , Np 로 표현 되며 앞서 설명한 pose regression 결과를 measurement로 사용한다.
이론/모형
- 본 장에서는 제안한 위치인식 기술의 성능 평가를 위해 실외용 로봇 플랫폼에서 다양한 환경의 데이터를 취득하였다. 본 논문에서 사용된 GoogLeNet 기반 심층 신경망과 제안된 알고리즘은 텐서플로우(Tensorflow)로 구현되었다. 실험에 사용된 컴퓨팅 환경은 Intel Core i7-7700HQ @2.
- 본 연구에서 기본적으로 사용되는 심층 컨벌루션 신경망의 구조는 GoogLeNet[15]이다. GoogLeNet은 PoseNet[4]에서 자세 추정에 사용되는 pre-trained 네트워크 모델이며 22개의 컨벌루션 레이어와 9개의 inception module로 구성된다.
- 4(d)] 는 같은 위치에서의 샘플 테스트 이미지를 보여준다. 학습에 사용된 데이터셋의 ground truth는 고정밀 IMU, wheel odometry, 3차원 레이저스캐너와 고정밀 지도 기반의 위치추정 알고리즘을 사용하여 얻는다. 학습에 사용된 식 (3)의 β는 500, 파티클 필터에서 사용된 σ는 0.
성능/효과
- 각 알고리즘 모두 동적 객체(보행자)가 많은 환경(Baekyang)에서 위치인식 오차가 3.08 m로 매우 큰 것을 알 수 있다. 반면, PoseNet 보다 제안된 방법이 위치인식 오차가 적으며 특히 방향 성분보다 위치 성분의 오차 감소 비율이 더 크다.
- 08 m로 매우 큰 것을 알 수 있다. 반면, PoseNet 보다 제안된 방법이 위치인식 오차가 적으며 특히 방향 성분보다 위치 성분의 오차 감소 비율이 더 크다. 이는 앞서 언급된 반복되는 지형에 대한 위치인식 오차를 거리 센서 데이터를 이용하여 상쇄시킬수 있기 때문이다.
- 위치 재인식을 위한 학습 기반 방법 중 RGBD 센서를 이용 하여 각 픽셀의 위치 정보인 Scene coordinate을 추정할 때 Regression Forest를 사용한 Scene Coordinate Regression Forest (SCoRF)[8]와 이를 발전시켜CNN으로 각픽셀의 Scene coordinate를 추정하고 Scoring function에 CNN을 사용한 DSAC[9]이 정확한 위치인식 성능을 보여주었다. R.
후속연구
- 또한, 데이터셋 별로 위치인식 결과를 보면 학습 데이터와 다른 계절에 취득 한 데이터의 경우(Test 2) 전체적으로 오차가 크다. RGB 영상을 사용하는 visual relocalization 방식을 사용하면서 이를 보완하기 위해 추후 연구에 효율적인 depth 정보 encoding 방법을 사용하려 한다.
- 추후 연구로는 향상된 네트워크 구조를 학습하여 조명, 날씨 등 다양한 환경 변화가 존재하는 환경에서도 동작 가능한 위치 재인식 방법에 대한 연구를 수행하고자 한다. 또한, 네트워크 학습에 필요한 파라미터를 검색하는 방식을 도입하여 위치인식 성능을 높이고, 파티클 필터를 통한 위치인식이 심하게 실패한 경우 오차를 극복하는 연구를 진행하고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.