선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서 레이저 슬릿 빔을 이용한 능동 스테레오 정합 기법과 모자이크 기법을 결합한 3차원 형상 복원 기법을 제안하였다. 기존의 능동형 3차원 복원 방법이 우수한 복원 정밀도에도 불구하고 카메라와 기준평면과의 거리에 따라 레이저 슬릿 빔 각도를 일일이 수정해야 하는 거리적 제한성의 문제점을 안고 있었다.
- 본 연구에서는 레이저 슬릿 빔 투영법을 개선한 능동 스테레오 정합기법과 모자이크 기법을 결합하여 3차원 형상을 재구성하는 방법을 제안한다. 기존 단일 카메라와 다중레이저를 이용한 3차원 형상 복원 기술은 일정한 각도와 거리에 따른 카메라 초점 거리 제한이 있었다.
가설 설정
- 이용하여 이루어진다. 영상의 깊이 값들은 시간에 따라 변화하는 시간적 특성을 가진다’ 영상 간 상이한 깊이 정보를 이용하여 3차원 점군으로 매핑하기 전에 슬릿 밤사이의 깊이 정보는 선형적으로 나타난다고 가정하고 깊이 정보를 가지는 영역에 선형 보간 과정을 거친다.
제안 방법
- step Z각각 /번째 레이저 라인에서 ±;개의 라인에 대한 X좌표값 빈도의 히스토그램(histogram)을 구한다.
- 깊이 검줄 과정에서 레이저 슬릿 빔이 조사된 좌, 우 영상을 획득하고, 가우시안- 라플라시 안 (laplacian of gaussian, LoG) 에지 주출 연산자와 국부 극점 검출법(local peak detection)으로 레이저 라인의 중심 후보 영역을 검출한다. 검출된 영역에서 좌, 우영상의 색상과 밝기 변화를 분석하고 레이저 라인 색상 반응이 나타나는 곳과 겹치는 부분을 레이저 라인 후보로 결정한다. 레이저 라인 후보 영역은 라벨링 과정을 통하여 최종 레이저 라인으로 검출된다.
- 2. 계산한 히스토그램을 참고로 하여 각 레이저 라인의 기준값을 구한다.
- 기존 단일 카메라와 다중레이저를 이용한 3차원 형상 복원 기술은 일정한 각도와 거리에 따른 카메라 초점 거리 제한이 있었다. 기존 방법대신에 좌, 우 스테레오 카메라 중앙에 레이저 빔을 초점 방향과 같은 방향으로 위치시켜 거리 제한 문제를 해결하였다. 능동 스테레오 정합 기법은 레이저 슬릿 빔이 조사된 좌, 우 영상에서 색상과 밝기 변화를 분석하여 레이저 라인의 위치정보를 검줄하고, 등극선(epipolar line)에서 이를 비교하여 깊이 정보를 획득하는 방법이다.
- 가우시안 필터의 크기가 적정 크기를 초과할 때에는 스텝 에지를 라인에지로 오판할 가능성이 있으며, 반대의 경우에는 폭을 가지는 레이저 라인의 정확한 영교차 지점을 판단하기가 어려운 단점이 제시되었다 [16]. 기존 연구에서 나타난 문제점들을 보완하고 강인한 레이저 라인 중심 에지를 검출하기 위하여 Marr-Hildreth [1 기의 LoG 에지 검출 방법과 국부 극점 검출 방법을 결합한 새로운 레이저 라인 추출 기법을 제안한다. 그림 3.
- 시스템은 크게 능동 스테레오 정합기법의 깊이 검출 (depth detection) 과정, 모자이크 기법의 영상 간 동기화 과정 (frame synchronization), 그리고 동차행렬 (homography matrix) 추정의 깊이 보간 (depth interpolation)과정으로 구분된다. 깊이 검줄 과정에서 레이저 슬릿 빔이 조사된 좌, 우 영상을 획득하고, 가우시안- 라플라시 안 (laplacian of gaussian, LoG) 에지 주출 연산자와 국부 극점 검출법(local peak detection)으로 레이저 라인의 중심 후보 영역을 검출한다. 검출된 영역에서 좌, 우영상의 색상과 밝기 변화를 분석하고 레이저 라인 색상 반응이 나타나는 곳과 겹치는 부분을 레이저 라인 후보로 결정한다.
- 레이저 슬릿 빔이 조사된 좌, 우측 영상에서 레이저의 위치를 검출하고 라벨링 과정을 거친 후, 삼각분할법을 이용하여 레이저 슬릿 빔의 깊이 정보를 계산하였다. 영상마다 레이저가 조사된 좌, 우측 영상을 스테레오 정합을 하여 깊이 정보를 획득하면 조사된 레이저 슬릿 빔에 관한 3 차원 정보만 가지고 있다.
- 특징점 기술자 색인 분류법은 검줄된 같은 특징점의 대응쌍을 찾고 상호 변환 관계를 추정하여 동기화 정보를 계산한다. 마지막 깊이 보간 과정에서 3 차원 깊이 정보와 동기화 정보를 병합하여 전체 깊이 정보를 계산한다. 획득한 전체 깊이 정보는 3차원 점군으로 연결하고 3차원 동차행렬을 추정한다.
- step 4. 선택된 호모그래피를 사용하여 step 2를 적용하여 inlier들을 추출하고, 그 inlier들을 모두 이용하여 호모그래피를 갱신한다.
- 시스템 블록도에서 입력 영상을 R, G, B 채널별로 분리하고 R채널의 영상을 LoG 연산자를 이용하여 레이저 라인 폭을 검출한다. 그림 3.
- 해리스 코너를 이용한 특징점 검출은 코너 포인터 (comer pointer)를 찾는 방법이다 [19], 코너 포인터는 영상이 회전하여도 같은 위치가 찾아지는 장점이 있다. 제안하는 연구에서 사용하는 입력영상은 크기 변환을 고려하지 않는다. 스테레오 카메라를 설치한 고정밀도의 기구 장치가 측정 물체와 일정한 거리를 유지하기 때문이다.
- 이와 같은 방법으로 획득한 연속 영상의 깊이 정보를 영상의 색상, 질감 정보와 융합(blending)하여 최종 3차원 형상으로 복원하였다. 제안한 복원기법은 레이저 슬릿 빔과 스테레오 카메라를 사용함으로써 장소와 거리등의 제약 조건을 극복하고 용이하면서도 강인한 3차원 거리 정보를 획득하였다.
- 개별 프레임을 하나로 연결하는 동기화 정보 획득이 특징점 매칭을 이용한 영상 정합 기법으로 가능함을 보였다. 호모그래피 추정에 기반한 깊이 보간 과정에서 례이저가 조사된 좌, 우 영상을 스테레오 정합을 하여 깊이 정보를 획득하고 선형 보간된 연속 화면의 3차원 깊이 정보를 가지는 영역 내의 임의의 점들을 추출하여 정합 포인터를 생성하여 3차원 호모그래피를 추정함으로써 전체 3차원 형상으로 복원하였다.
대상 데이터
- 본 연구에서는 Point Grey 사의 Blumbee stereo camera를 이용하여 영상을 획득하였고 레이저 슬릿 빔 센서는 RayNix 사의 650 nm 파장 대역을 가지는 센서를 사용하였다. 그림.
- 결국은 15X15 윈도는 3X3개의 5X5 윈도로 분할하여 3X3개의 8방향 히스토그램을 형성할 수 있다. 즉, 15X15 윈도로부터 3X3X8=72차원의 특징 점 기술자를 생성하였다.
이론/모형
- 레이저 라인 후보 영역은 라벨링 과정을 통하여 최종 레이저 라인으로 검출된다. 검출된 레이저 라인에서 등극 선의 삼각분할법을 이용하여 깊이 정보를 계산하고 3 차원 정보를 획득한다. 이렇게 획득된 3차원 정보는 단일영상의 레이저 슬릿 빔에 관한 깊이 정보만을 알 수 있다.
- 기존 연구에서 Lowe의 SIFT 알고리즘을 이용하여 특징점을 검출하였다 [18]. SIFT를 이용한 특징점 검출은 영상의 이동, 회전 그리고 크기 변화에 대하여 강인한 특성을 요구하기 때문에 특징점 검출 단계에 많은 계산량이 요구되었다.
- 모자이크 기법은 해리스 코너 검줄 방법(harris comer detection)을이용하여 영상의 특징점을 검출하고, 특징점 기술자 (keypoint descriptor) 색인 분류 방법으로 연속 영상 간 특징점의 대응쌍을 찾아 상호 변환 관계를 추정하는 방법이다. 능동 스테레오 정합기법과 모자이크 기법을 이용하여 전체 연속 영상의 깊이 정보를 계산하였다. 이와 같은 방법으로 획득한 연속 영상의 깊이 정보를 영상의 색상, 질감 정보와 융합(blending)하여 최종 3차원 형상으로 복원하였다.
- 8방향에 대한 기울기 크기값, 즉 72차원의 유클라디안 거리 (euclidean distance)를 이용하여 최소거리를 갖는 2개의 특징점들을 하나의 대응쌍으로 결정한다. 대응쌍을 찾기 위해 모든 특징점들을 검색하는데 많은 시간이 소요되므로 k-d tree(k-dimension tree)를 이용하여 전체 검색 시간을 효율적으로 단축시켰다.
- 레이저 라인의 깊이 정보는 라벨링 과정을 거친 레이저슬릿 빔의 정보로부터 삼각 분할법을 이용하여 계산한다. 식(4)는 삼각분할법을 나타낸 식이다.
- 2. 레이저 슬릿 빔 삼각분할법. (a) 기존 조사방법, (b) 제안하는 조사방법.
- nX9, (n>4) 행렬이다. 식10)은 SVDCsingular value decomposition)를 통해 최소의 고유치를 가지는 고유벡터를 h로 설정하였다’ 제안하는 연구에서는 RANSAC (random sample consensus) [21] 방법을 이용하여 다음과 같은 방법으로 최적의 호모그래피를 추정하였다.
성능/효과
- 기존 레이저 라인 추출 기법은 6M)nm의 파장을 가지는 붉은 레이저 라인이 투영된 R 채널 영상에서 라인의 밝기가 크게 증가하는 문제점이 있었다. R채널 영상에서 가우시안 필터링을 적용하면 잡음이 제거되고 레이저 라인 밝기가 가우시안 형태의 밝기 변화로 나타나는 것을 실험으로 확인 하였다. 이 때, 레이저 라인의 중심은 레이저 라인과 수직한 방향으로의 1차 미분 함수가 영교차(zero-crossing) 하는 지점으로 결정하였다.
- 모자이크 기법의 영상 간의 동기화 과정에서 영상 정합은 단순 특징점 을 비 교하지 않고, 특징점 주위 의 기 울기 방향값과 크기값을 나타내는 특징점 기술자를 검 색하여 영상 간의 같은 특징점을 쌍으로 하는 대응쌍을 정확하게 매칭하였다. 개별 프레임을 하나로 연결하는 동기화 정보 획득이 특징점 매칭을 이용한 영상 정합 기법으로 가능함을 보였다. 호모그래피 추정에 기반한 깊이 보간 과정에서 례이저가 조사된 좌, 우 영상을 스테레오 정합을 하여 깊이 정보를 획득하고 선형 보간된 연속 화면의 3차원 깊이 정보를 가지는 영역 내의 임의의 점들을 추출하여 정합 포인터를 생성하여 3차원 호모그래피를 추정함으로써 전체 3차원 형상으로 복원하였다.
- 표면의 재질과 반사 특성이 다른 표면에서는 위의 식과는 다소 다른 관계식을 얻을 수도 있을 것이다. 결론적으로 레이저가 투영된 영상의 화소값 영역이 R-G 평면과 R-B 평면에서 식(2) 와 (3)으로 결정되는 직선 라인 아래쪽에 위치할 때 레이저의 색반응을 보이는 지점이라고 판단할 수 있다. 또 한라인 에지로 판단한 에지 영역이 레이저 색반응을 보이는 지점과 겹칠 때 그 지점을 최종적으로 레이저 라인 후보로 결정한다.
- 2의 (c), (d)는 LoG 연산과 국부 극점 검출 방법을 결합하여 레이저 라인 중심 후보 영역을 검출하고 색상 반응 분석과 라벨링을 통하여 최종 레이저 라인을 검출한 영상이다. 레이저 슬릿 빔이 포함된 입력 영상에서 제안한 방법에 따라 정확하게 레이저 라인이 검출된 것을 확인할 수 있다.
- 4 (f) 는깊이 정보를 가지는 영역 내의 임의의 점들을 추출하여 정합 포인터를 생성하고 3차원 호모그래피를 추정함으로써 전체 3차원 형상 복원 결과 영상을 나타낸 그림이다. 복원 결과 영상에서 돌출된 부분은 주변에 비해 밝은 색으로 나타나고 있으며 시각적으로 굴곡 형상을 쉽게 인지할 수 있는 것을 확인하였다. 그림 4.
- 기존의 능동형 3차원 복원 방법이 우수한 복원 정밀도에도 불구하고 카메라와 기준평면과의 거리에 따라 레이저 슬릿 빔 각도를 일일이 수정해야 하는 거리적 제한성의 문제점을 안고 있었다. 이를 해결하기 위하여 스테레오 카메라의 초점과 같은 방향으로 레이저 슬릿빔이 조사되는 방법을 제시하였고, 카메라와 기준 평면과의 거리가 다르더라도 빔의 조사 방향 각도를 수정할 필요 없이 영상을 획득할 수 있음을 확인하였다. 레이저 라인검출단계에서 기존의 능동형 3차원 복원 방법은 가우 시안 필터링을 적용한 레이저 라인과 수직한 방향으로의 1차 미분 함수가 영교차(zero-corssing) 하는 지점에 레이저 라인의 중심으로 결정하였다.
- 3 (c)는 검출된 특징점을 중심으로 특징점 기술자를 생성하고 72차원의 유클라디안 거리 계산을 이용하여 정합한 결과를 보여주고 있다. 특징점 주위의 일정 크기 행렬 요소의 기울기 방향값과 크기값을 대상으로 대응쌍을 찾기 때문에 outher가 없는 정확하게 정합이 되는 것을 확인하였다.
후속연구
- 본 논문에서 제안한 3차원 복원 기법을 실험을 통하여 성능을 검증하였으며 앞으로 실내 환경의 3차원 형상을 재구성하는데 효율적으로 이용될 것을 기대한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.