[논문]깊이 영상 기반 실내 공간 인식

김수경; 최형일

doi:10.9708/jksci.2014.19.11.053

깊이 영상 기반 실내 공간 인식
Indoor environment recognition based on depth image 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.19 no.11, 2014년, pp.53 - 61

초록
AI-Helper

본 논문에서는 실내 환경의 3차원 공간에서 벽면을 분리해내기 위해 깊이 카메라로 받아들인 영상을 이용한 방법을 제안한다. 논문의 실험 결과에서 얻을 수 있는 정보를 이용하면 실내 공간을 인식하거나 그에 따른 인접한 물체의 탐색 또는 벽면에 프로젝터를 투사하는 등 3차원 공간 활용에 용이하다. 논문에서 제안하는 방법은 먼저 3차원 입력 영상에서의 좌표 점들을 이용하여 법선 벡터를 검출하고, 검출 된 법선 벡터를 비슷한 벡터들끼리의 그룹으로 나눈다. 나누어진 그룹들을 RANSAC을 이용하여 평면 단위로 분리한 후, 분리된 평면들은 실내 환경에서 알 수 있는 도메인 지식들에 기반 하여 벽면으로 구분 된다. 마지막으로 본 논문에서 제안하는 방법은 다양한 실험 환경을 통해 성능을 입증한다.

Abstract ▼ AI-Helper

In this paper, we propose a method using an image received by the depth camera in order to separate the wall in a three-dimensional space indoor environment. Results of the paper may be used to provide valuable information on the three-dimensional space. For example, they may be used to recognize the indoor space, to detect adjacent objects, or to project a projector on the wall. The proposed method first detects a normal vector at each point by using the three dimensional coordinates of points. The normal vectors are then clustered into several groups according to similarity. The RANSAC algorithm is applied to separate out planes. The domain knowledge helps to determine the wall among planes in an indoor environment. This paper concludes with experimental results that show performance of the proposed method in various experimental environment.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 깊이 카메라로 받아들인 3차원 깊이 영상을 이용하여 검출된 평면들을 도메인 지식을 이용하여 물체를 제외한 벽면만을 검출하는 방법을 제안하였다. 향후 제안한 방법으로 검출된 벽면은 벽면의 위치를 찾아내어 프로젝터를 투사하거나 실내 환경 복원 등의 다양한 방법으로 활용 될 수있을 것이다.
본 논문에서는 속도 개선과 성능 향상을 위해 법선 벡터를 이용한 평면 검출 방법과 검출 된 평면으로부터 벽면을 분리시키는 방법을 제안한다. 법선 벡터를 이용하여 인접 영역을 그룹화 한 뒤 RANSAC 알고리즘을 사용하게 될 경우 전체 데이터에 대한 계산이 필요하지 않고 그룹으로 나누어진 데이터에 대한 부분적인 계산만 필요하기 때문에 처리 시간이 감소된다.
또한 평면 영역의 검출은 파라미터 모델과 입력 데이터 간의 거리를 임계값으로 비용을 측정하기 때문에 모델에 가까운 다른 평면 영역의 데이터 역시 동일한 평면으로 인식하여 포함한다. 본 논문에서는 이러한 문제점을 개선하기 위해 앞서 언급한 레이블링 과정을 거친 후 RANSAC을 실행한다.
기존의 물체 인식 방법들은 먼저 전경과 배경을 분리한 뒤에 전경을 검출하여 이용하는 것을 주로 목적으로 한다. 하지만 본 논문에서는 기존의 방법과는 다르게 입력된 3차원 실내 영상에서의 벽면만을 분리한 뒤 분리된 벽면 즉, 배경을 이용하는 것을 목적으로 한다.

가설 설정

벽면과 벽면 사이는 90°의 각도로 이루어져 있다는 가정 하에 90°를 만족하는 평면을 검출한다.

제안 방법

3차원 공간상에서 법선 벡터를 계산하기 위해 먼저 깊이 카메라에서 제공하는 영상의 좌표 점 정보들을 이용하여 법선 벡터를 구한다. 그림 3에서와 같이 하나의 3차원 좌표 점을 기준으로 하여 주위의 좌표 점들을 이용하여 계산한다.
그룹 내의 데이터들 중에서 평면의 방정식을 이용하기 위해 임의의 3점을 샘플로 선택한다. 겹치지 않게 선택 된 3점의 샘플을 이용하여 평면 모델을 예측한 뒤 평면 성분을 검출한다. 검출 된 평면의 비용 값을 측정하고 비교하여 가장 높은 수치의 비용 값을 가진 모델을 선택한다.
벽면과 같은 실내 환경은 일반적으로 평면으로 구성되기 때문에 평면 검출을 이용한 방법으로 진행된다. 그러므로 본 논문에서 제안하는 방법은 전경과 배경의 구분 없이 전체 영상에서 평면들을 먼저 검출한 뒤 배경 벽면을 분리해 내는 작업으로 이루어진다.
다음으로는 장애물이 없는 일반 벽면과, 장애물을 포함한 벽면에 그림 11, 12와 같이 본 논문에서 제안한 방법들을 순차적으로 적용시켜보았다.
레이블링과 그룹화를 통해 정렬 된 그룹들 내의 좌표 점의 개수들을 차례대로 합해 나가다가 구해진 합이 전체 영상 좌표 점 개수의 80% 이상이 되는 지점에서 멈춤 조건을 주고, 멈춤이 이루어지기 이전의 그룹들만을 이용하여 평면을 검출 한다.
마지막으로 벽면을 분리해 내는 과정에서 오류를 확인하기 위해 여러 방식으로 벽면을 가려보았다. 벽면의 좌 상단 좌표점이 영상의 상단부에 있다는 가정 하에 인식이 이루어지기 때문에 벽면의 상단 절반 이상이 가려져 평면의 좌 상단 좌표점이 하단을 가리키는 경우 그림 11의 (b)에서와 같이 검출이 되지 않도록 하였다.
본 논문에서의 레이블링 기준은 두 법선 벡터 간의 각도 차이를 이용한다. 두 법선 벡터 사이의 각도는 내적을 이용하여 구한다.
본론의 1절에서 설명했듯이 카메라로부터 가장 먼 곳은 벽면이기 때문에 우선적으로 평면들의 최고 깊이 값들을 비교하여 가장 큰 깊이 값을 가진 평면의 좌 상단 좌표가 영상의 중심을 기준으로 상단에 위치하는지 확인한다. 기준에 적합하지 않은 경우 두 번째 깊이 값을 가진 평면을 탐색하며 적합하다면 평면의 크기가 전체 영상 크기의 30% 이상인지 확인하고 맞을 경우 기준 벽면으로 인식한다.
주변 데이터 값을 바꿔 나가다가 유사한 데이터가 없을 경우 새로운 레이블을 생성하여 반복적으로 수행하며 더 이상 레이블을 할당 할 데이터가 없을 경우 종료 된다. 일반적으로 재귀함수를 이용하는 방법과 스택을 이용한 방법이 있는데 본 논문에서는 속도 개선을 위해 스택을 이용한 방식으로 구현하였다.

대상 데이터

본 논문에서의 영상 사이즈는 320*240으로 멈춤 조건이 발생하는 지점은 표 1에서의 8번째 그룹까지이며 따라서 총 8개의 평면을 검출하게 된다.
본 논문에서 제안한 방법의 결과 확인을 위한 실험 환경은 다음과 같다. 실험에 사용 된 영상 크기는 320x240 사이즈로 정규화 되었으며, 실험결과에 나오는 컬러영상과 깊이영상 모두 Microsoft사의 Kinect를 이용하여 실내 환경에서 촬영하였다.

이론/모형

2절의 과정에서 구해진 법선 벡터를 레이블링 하기위해 그림 5와 같은 Grassfire 알고리즘[5]을 이용한다. Grassfire 알고리즘은 기준이 되는 데이터와 값이 같거나 유사한 주변 데이터의 값을 바꾸는 방식으로 이루어진다.
법선 벡터를 기준으로 이루어진 그룹들이기 때문에 평행한 여러 평면이 겹쳐져 있을 가능성이 있다. 또한 앞의 레이블링 과정에서 언급 된 잡음으로 분류 되는 그룹들 역시 제거하기 위해 평면들은 RANSAC plane fitting[2]을 이용하여 구분 한다.

성능/효과

그림에서 보이는 것과 같이 벽면 앞의 물체영역은 하나의 평면으로 인식 되었고, 물체 중 일부는 바닥평면 기준과 더 가까워 바닥평면으로 인식 되었다. 반면 레이블링 과정을 거친 (c)영상에서는 가장 많은 데이터를 가진 두 벽면들이 깔끔하게 분리되어 검출 된 것을 볼 수 있고, 그 다음으로 평면성분 데이터가 많은 직육면체 물체의 3면과 바닥면 그리고 책장 부분의 평면 역시 잘 구분되어 검출되었음을 볼 수 있다.
전체 데이터를 이용하는 작업이기 때문에 실행속도 면에서 큰 개선이 이루어졌다. 또한 그룹 내의 데이터만을 이용하기 때문에 인접해 있는 다른 데이터에 영향을 미치지 않아 평면과 평면과의 사이 또는 평면과 물체와의 사이에서 나타나는 오류율 역시 감소하였다.

후속연구

향후 제안한 방법으로 검출된 벽면은 벽면의 위치를 찾아내어 프로젝터를 투사하거나 실내 환경 복원 등의 다양한 방법으로 활용 될 수있을 것이다. 또는 벽면을 인식한다는 사실을 역으로 이용하여, 검출 된 벽면을 기준으로 벽면에 인접해 있는 물체들의 검출에도 응용 가능 할 것이다.
본 논문에서는 깊이 카메라로 받아들인 3차원 깊이 영상을 이용하여 검출된 평면들을 도메인 지식을 이용하여 물체를 제외한 벽면만을 검출하는 방법을 제안하였다. 향후 제안한 방법으로 검출된 벽면은 벽면의 위치를 찾아내어 프로젝터를 투사하거나 실내 환경 복원 등의 다양한 방법으로 활용 될 수있을 것이다. 또는 벽면을 인식한다는 사실을 역으로 이용하여, 검출 된 벽면을 기준으로 벽면에 인접해 있는 물체들의 검출에도 응용 가능 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	기존의 물체 인식 방법들의 주목적은 무엇인가?	기존의 물체 인식 방법들은 먼저 전경과 배경을 분리한 뒤에 전경을 검출하여 이용하는 것을 주로 목적으로 한다. 하지만 본 논문에서는 기존의 방법과는 다르게 입력된 3차원 실내 영상에서의 벽면만을 분리한 뒤 분리된 벽면 즉, 배경을 이용하는 것을 목적으로 한다.
	물체 인식 방법에서 벽면과 같은 실내 환경은 평면 검출을 이용한 방법으로 진행되는 이유는?	벽면과 같은 실내 환경은 일반적으로 평면으로 구성되기 때문에 평면 검출을 이용한 방법으로 진행된다. 그러므로 본 논문에서 제안하는 방법은 전경과 배경의 구분 없이 전체 영상에서 평면들을 먼저 검출한 뒤 배경 벽면을 분리해 내는 작업으로 이루어진다.
	Hough 변환을 이용한 평면 검출 방법의 단점은 무엇인가?	Hough 변환을 이용한 평면 검출 방법은 3차원 데이터를 이용하여 (x, y, z)좌표를 Hough 변환 식에 의해서 (ρ, θ, φ)좌표로 변환한 후 생성된 공간상에 나타나는 곡면들의 교점이 겹치는 부분을 찾아 평면을 검출하는 방법이다. 이 방법의 경우 모든 3차원 데이터에 대해 계산하기 때문에 처리속도가 느리고 메모리를 많이 차지한다는 단점이 있다.

참고문헌 (9)

Illingworth, John, and Josef Kittler. "A survey of the Hough transform." Computer vision, graphics, and image processing, Vol. 44, No. 1, pp. 87-116, Oct. 1988.

상세보기
Fischler, Martin A., and Robert C. Bolles. "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography." Communications of the ACM, Vol. 24, No. 6, pp. 381-395, Jun, 1981.

상세보기
Borrmann, D., Elseberg, J., Lingemann, K., & Nuchter, A. "The 3D Hough Transform for plane detection in point clouds: A review and a new accumulator design", 3D Research, Vol. 2, No. 2, pp. 1-13, Jan. 2011.
Dong-joong Kang, "A Stereo Camera Based Method of Plane Detection for Path Finding of Walking Robot", Journal of institute of control robotics and systems, Vol. 14, No. 3, pp. 236-241, Mar. 2008.

원문보기 상세보기
Pitas, I. "Digital Image Processing Algorithms", Prentice Hall, 1993.
Atid Shamaie and Alistair Sutherland, "A Dynamic Model for Real-Time Tracking of Hands in Bimanual Movements" GW2003, LNAI 2915, pp. 172-179, 2004.
RANSAC algorithm, http://www.mrpt.org/tutorials/programming/maths-and-geometry/ransac-c-examples/
Holz, D., Holzer, S., Rusu, R. B., & Behnke, S. "Real-time plane segmentation using RGB-D cameras" In RoboCup 2011: Robot Soccer World Cup XV, pp. 306-317, 2012.
Sung-il Joo, Sun-hee Weon, Hyung-il Choi, "3D Pointing for Effective Hand Mouse in Depth Image", Journal of The Korea Society of Computer and Information, Vol. 19, No. 8, pp. 35-44, Aug. 2014.

원문보기 상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증