최근 들어 영상처리는 여러 분야에서 사용되어지고 있다. 영상처리에서 많이 연구되어지고 있는 기술은 실시간으로 객체를 추적하는 기술이다. 객체를 추적하는 방법은 보행자를 추적하는 HOG(Histogram of Oriented Gradients), 전경과 배경 분리 방법을 사용하는 Codebook 같은 방법 들이 많이 알려져 있다. 그러나 객체가 움직이거나 동적인 배경, 조명변화가 심할 경우 객체 추출이 어려워진다. 본 논문에서는 ROI(Region of Interest)기반 깊이영상과 컬러영상의 특징을 이용해 객체를 추출하는 방법을 제안한다. 첫 번째, 깊이 영상에서 배경분리를 통해 객체의 위치를 찾아 ROI로 설정해준다. 두 번째, 컬러영상을 이용하여 영상의 특징점을 찾는다. 세 번째, 특징점과 객체의 볼록헐(convex hull) 구성점들을 이용하여 새로운 윤곽을 만들어 더 정확한 객체를 추출하도록 한다. 마지막으로 본 논문에서 제안한 방법과 기존 방법과의 비교를 통해 제안한 방법의 결과가 좀 더 정확한 객체를 추출하고 있음을 검증하였다.
최근 들어 영상처리는 여러 분야에서 사용되어지고 있다. 영상처리에서 많이 연구되어지고 있는 기술은 실시간으로 객체를 추적하는 기술이다. 객체를 추적하는 방법은 보행자를 추적하는 HOG(Histogram of Oriented Gradients), 전경과 배경 분리 방법을 사용하는 Codebook 같은 방법 들이 많이 알려져 있다. 그러나 객체가 움직이거나 동적인 배경, 조명변화가 심할 경우 객체 추출이 어려워진다. 본 논문에서는 ROI(Region of Interest)기반 깊이영상과 컬러영상의 특징을 이용해 객체를 추출하는 방법을 제안한다. 첫 번째, 깊이 영상에서 배경분리를 통해 객체의 위치를 찾아 ROI로 설정해준다. 두 번째, 컬러영상을 이용하여 영상의 특징점을 찾는다. 세 번째, 특징점과 객체의 볼록헐(convex hull) 구성점들을 이용하여 새로운 윤곽을 만들어 더 정확한 객체를 추출하도록 한다. 마지막으로 본 논문에서 제안한 방법과 기존 방법과의 비교를 통해 제안한 방법의 결과가 좀 더 정확한 객체를 추출하고 있음을 검증하였다.
Recently, Image processing has been used in many areas. In the image processing techniques that a lot of research is tracking of moving object in real time. There are a number of popular methods for tracking an object such as HOG(Histogram of Oriented Gradients) to track pedestrians, and Codebook to...
Recently, Image processing has been used in many areas. In the image processing techniques that a lot of research is tracking of moving object in real time. There are a number of popular methods for tracking an object such as HOG(Histogram of Oriented Gradients) to track pedestrians, and Codebook to subtract background. However, object extraction has difficulty because that a moving object has dynamic background in the image, and occurs severe lighting changes. In this paper, we propose a method of object extraction using depth image and color image features based on ROI(Region of Interest). First of all, we look for the feature points using the color image after setting the ROI a range to find the location of object in depth image. And we are extracting an object by creating a new contour using the convex hull point of object and the feature points. Finally, we compare the proposed method with the existing methods to find out how accurate extracting the object is.
Recently, Image processing has been used in many areas. In the image processing techniques that a lot of research is tracking of moving object in real time. There are a number of popular methods for tracking an object such as HOG(Histogram of Oriented Gradients) to track pedestrians, and Codebook to subtract background. However, object extraction has difficulty because that a moving object has dynamic background in the image, and occurs severe lighting changes. In this paper, we propose a method of object extraction using depth image and color image features based on ROI(Region of Interest). First of all, we look for the feature points using the color image after setting the ROI a range to find the location of object in depth image. And we are extracting an object by creating a new contour using the convex hull point of object and the feature points. Finally, we compare the proposed method with the existing methods to find out how accurate extracting the object is.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 깊이와 컬러 영상의 특징을 사용한 ROI 기반 객체를 추출하여 실루엣을 찾는 방법을 제안한다. 기존의 많은 객체 추출 기법이 알려져 있지만 본 논문에서는 [그림 4]와 같이 입력 영상 중 갑작스러운 조명 변화, 동적인 배경과 추출해야 하는 객체와 배경 물체가 서로 인접해 있을 경우에 초점을 맞추어 객체를 정확하게 추출하는 방법에 대해 설명한다. 위의 입력 영상을 만들기 위해 실내의 요트 시뮬레이션 환경에서 키넥트로 촬영하였고 OpenNI를 이용해 영상을 녹화하였다.
본 논문에서 깊이와 칼라 영상의 특징을 이용한 ROI기반 객체 추출 방법에 대해 설명하였다. 이 방법은 깊이 영상에서 객체의 위치를 찾아 ROI영역으로 지정하여 컬러영상에서 영상의 특징점을 찾아 객체의 실루엣을 찾는 것을 목적으로 하였다.
본 논문에서는 깊이 값과 칼라영상의 특징을 사용한 ROI 기반 객체 추출 방법을 설명한다. 입력 영상은 실내의 요트 시뮬레이션 환경에서 키넥트를 이용하여 촬영하였다.
본 논문에서는 깊이와 컬러 영상의 특징을 사용한 ROI 기반 객체를 추출하여 실루엣을 찾는 방법을 제안한다. 기존의 많은 객체 추출 기법이 알려져 있지만 본 논문에서는 [그림 4]와 같이 입력 영상 중 갑작스러운 조명 변화, 동적인 배경과 추출해야 하는 객체와 배경 물체가 서로 인접해 있을 경우에 초점을 맞추어 객체를 정확하게 추출하는 방법에 대해 설명한다.
본 논문에서 깊이와 칼라 영상의 특징을 이용한 ROI기반 객체 추출 방법에 대해 설명하였다. 이 방법은 깊이 영상에서 객체의 위치를 찾아 ROI영역으로 지정하여 컬러영상에서 영상의 특징점을 찾아 객체의 실루엣을 찾는 것을 목적으로 하였다. 제안한 방법은 실험 결과에서 본 것과 같이 Codebook방법, 제안한 방법을 비교하였을 때 제안한 방법이 더 정확하게 찾아 지는 결과를 볼 수 있다.
제안 방법
이를 증명하기 위해 Contour들을 두가지 방법을 통해 이상적인 Contour와의 유사도를 구한다. [그림 10]에서 보는 것과 같이 HOG알고리즘을 사용하여 찾은 Contour점들의 집합은 사람이 앉아 있을 경우 요트의 러더부분을 객체로 판단하여 범위가 너무 벗어나기 때문에 비교 대상에서는 제외하고 [그림 11]에서 보는 것과 같이 초록색이 가장 이상적인 Contour, 빨간색 점선이 Codebook, 그리고 파란색 방법이 제안한 방법으로 영상에서 객체가 자세를 바꾸는 시점의 프레임을 기준으로 Contour들을 두가지 방법을 통해 이상적인 Contour와의 유사도를 구한다.
두 번째 방법으로는 이상적인 Contour의 점집합인 B를 모델링하여 Codebook 알고리즘을 사용하여 찾은 Contour의 점집합 C와 제안한 방법의 Contour 점집합 S를 비교한다. 이 때 모델링 방법은 신경망과 회귀 노드 중 하나를 사용하는데 점집합 B의 검증용 데이터에서 SSE(Sum of Square Error)가 적은 모델을 구한다.
하지만 깊이영상에서의 전경을 추출하였을 때 객체와 요트가 인접해 있는 부분을 제대로 추출할 수 없다. 따라서 우리가 제안한 방법은 [그림 5]와 같이 객체를 추출하기 위해 깊이 영상을 사용하여 코드북 알고리즘을 적용해 전경과 배경을 분리한다. 이 후 깊이 영상에서는 객체의 위치를 찾아 ROI를 지정한 후 컬러영상의 특징점을 이용하여 객체를 추출하는 방법을 제안한다.
기존의 많은 객체 추출 기법이 알려져 있지만 본 논문에서는 [그림 4]와 같이 입력 영상 중 갑작스러운 조명 변화, 동적인 배경과 추출해야 하는 객체와 배경 물체가 서로 인접해 있을 경우에 초점을 맞추어 객체를 정확하게 추출하는 방법에 대해 설명한다. 위의 입력 영상을 만들기 위해 실내의 요트 시뮬레이션 환경에서 키넥트로 촬영하였고 OpenNI를 이용해 영상을 녹화하였다. 촬영된 영상은 콘텐츠 영상이 계속 움직이는 동적 배경과 실내에서 배경 물체가 계속 움직일 때마다 생기는 조명 변화 그리고 객체가 요트 위에서 포즈를 바꾸면서 시뮬레이션을 한다.
따라서 우리가 제안한 방법은 [그림 5]와 같이 객체를 추출하기 위해 깊이 영상을 사용하여 코드북 알고리즘을 적용해 전경과 배경을 분리한다. 이 후 깊이 영상에서는 객체의 위치를 찾아 ROI를 지정한 후 컬러영상의 특징점을 이용하여 객체를 추출하는 방법을 제안한다.
제안한 방법으로 객체를 추출하는 방법은 [그림 10]의 초록색으로 표시된 부분에서 보는 것과 같이 객체의 실루엣을 다른 방법들보다 정확하게 표시하는 것을 볼 수 있다. 이를 증명하기 위해 Contour들을 두가지 방법을 통해 이상적인 Contour와의 유사도를 구한다. [그림 10]에서 보는 것과 같이 HOG알고리즘을 사용하여 찾은 Contour점들의 집합은 사람이 앉아 있을 경우 요트의 러더부분을 객체로 판단하여 범위가 너무 벗어나기 때문에 비교 대상에서는 제외하고 [그림 11]에서 보는 것과 같이 초록색이 가장 이상적인 Contour, 빨간색 점선이 Codebook, 그리고 파란색 방법이 제안한 방법으로 영상에서 객체가 자세를 바꾸는 시점의 프레임을 기준으로 Contour들을 두가지 방법을 통해 이상적인 Contour와의 유사도를 구한다.
배경 영상은 요트 시뮬레이션 환경에서 사용자가 타고 있지 않은 영상을 사용하였다. 전경과 배경 분리는 코드북 알고리즘을 사용하여 배경 영상을 이용하여 만든 코드북의 코드워드들과 입력영상의 픽셀들을 비교하여 분리하였다. 코드북을 이용하여 찾은 깊이 영상의 전경 영상의 마스크 영상을 이용하여 픽셀 값이 255인 경우에 같은 label값을 부여해 주는 blob labeling을 수행한다.
따라서 두 개의 고유값이 모두 비슷하게 큰 경우에만 코너라고 식별하여 코너와 엣지를 정확히 판별할 수 있는 Harris Corner방법을 사용한다. 정확한 특징점을 찾기 위해서 컬러 영상의 ROI 영역에서 차 영상을 이용하여 컬러 영상의 전경영상을 얻어 깊이 영상의 전경 영상과 ADD 연산을 수행한다. ADD 연산을 수행한 영상의 결과에서 침식과 팽창을 해준다.
촬영된 영상에서는 실내에서 촬영하였지만 콘텐츠의 영상이 계속 움직이는 동적인 배경, 갑작스런 조명변화, 객체의 포즈 변화와 같은 객체 추출에 있어 어려운 문제점들을 포함하고 있다. 제안하는 방법은 깊이 영상에 배경제거를 한 후 얻어지는 객체에 대한 위치를 찾고 이 객체의 위치를 기준으로 관심영역을 지정해 컬러영상에서는 관심영역을 기반으로 객체에 대한 특징점을 추출하여 앞서 찾았던 객체보다 더 정확한 객체를 찾는 방법이다.
첫 번째는 유클리디안 거리를 이용하여 이상적인 Contour점과 비교할 방법의 Contour 점의 거리 차이를 구해 비교하고 두 번째는 이상적인 Contour의 집합을 모델링하여 비교할 Contour와의 오차제곱합을 구해 비교한다. 유클리디안 거리를 사용하여 최단 거리를 구하는 방법은 이상적인 Contour점들의 집합이 B =(b1,b2,b3,…,bn)이라 하고 비교할 Codebook으로 찾은 Contour점들의 집합을 C= (C1,C2,C3,…,Cn)라 할 때, b1과 C집합의 점들을 비교하여 가장 가까이 있는 점을 찾아 식1과 같이 거리를 구한다.
위의 입력 영상을 만들기 위해 실내의 요트 시뮬레이션 환경에서 키넥트로 촬영하였고 OpenNI를 이용해 영상을 녹화하였다. 촬영된 영상은 콘텐츠 영상이 계속 움직이는 동적 배경과 실내에서 배경 물체가 계속 움직일 때마다 생기는 조명 변화 그리고 객체가 요트 위에서 포즈를 바꾸면서 시뮬레이션을 한다.
대상 데이터
[그림 5]의 가장 상단에 설명된 바와 같이 객체의 ROI를 구하기 위해 깊이 영상에서의 전경과 배경을 분리한다. 배경 영상은 요트 시뮬레이션 환경에서 사용자가 타고 있지 않은 영상을 사용하였다. 전경과 배경 분리는 코드북 알고리즘을 사용하여 배경 영상을 이용하여 만든 코드북의 코드워드들과 입력영상의 픽셀들을 비교하여 분리하였다.
본 논문에서 제안한 기법을 실험하기 위한 영상으로는 [그림 9]와 같은 요트 시뮬레이션 환경에서 촬영한 비디오 영상을 사용하였다. 본 논문에서는 객체 포즈가 변하기도 하고 배경이 움직이기도 하는 총 16개 촬영 영상을 사용하였다.
본 논문에서 제안한 기법을 실험하기 위한 영상으로는 [그림 9]와 같은 요트 시뮬레이션 환경에서 촬영한 비디오 영상을 사용하였다. 본 논문에서는 객체 포즈가 변하기도 하고 배경이 움직이기도 하는 총 16개 촬영 영상을 사용하였다. 이러한 16개의 영상에 대해 제안 방법의 결과와 대표적인 기본 방법인 HOG과 코드북 기법 결과와 비교하였다.
본 논문에서는 깊이 값과 칼라영상의 특징을 사용한 ROI 기반 객체 추출 방법을 설명한다. 입력 영상은 실내의 요트 시뮬레이션 환경에서 키넥트를 이용하여 촬영하였다. 촬영된 영상에서는 실내에서 촬영하였지만 콘텐츠의 영상이 계속 움직이는 동적인 배경, 갑작스런 조명변화, 객체의 포즈 변화와 같은 객체 추출에 있어 어려운 문제점들을 포함하고 있다.
데이터처리
비교 대상은 HOG 알고리즘을 사용하여 찾은 contour, Codebook을 사용해 전배경을 분리하여 찾은 contour 그리고 제안한 방법의 contour를 비교한다. 비교 영상은 입력 영상에 대해 4프레임의 이미지를 가지고 비교한다.
그 결과 Codebook알고리즘으로 찾은 C의 점집합과 제안한 방법인 S점집합을 비교한 결과 제안한 방법이 89개의 차이로 제안한 방법이 점집합 B와 더 유사한 것을 볼 수 있었다. 위와 같은 방법으로 객체가 자세를 바꾸는 프레임들을 기점으로 이상적인 Contour와 Codebook, 제안한 방법을 비교하였고 비교한 결과는 [그림 12]과 같다.
본 논문에서는 객체 포즈가 변하기도 하고 배경이 움직이기도 하는 총 16개 촬영 영상을 사용하였다. 이러한 16개의 영상에 대해 제안 방법의 결과와 대표적인 기본 방법인 HOG과 코드북 기법 결과와 비교하였다. 객체 추출 비교 방법은 이상적인 Contour의 점들을 찾아 비교할 Contour 점들과 거리를 이용하는 방법과, 모델링을 통해 비교하는 방법을 사용한다.
이론/모형
객체의 실루엣은 객체의 Contour를 찾아 그려주는 방법을 사용한다. [그림 5]의 하단에 설명된 바와 같이 이 방법은 컬러영상에서 찾은 객체의 Convex hull을 이용해 Convex hull의 점들과 Contour점들 그리고 앞서 찾았던 특징점들을 비교하여 새로운 Contour점들의 집합을 만들어 준다.
두 방법 모두 많이 코너점을 찾을 때 많이 사용하지만 Shi-Tomasi 방법의 경우 두 개의 고유값 중 최소값만 임계치보다 클 경우 특징점을 식별하는데 이럴 경우 최소값이 임계치보다 크다고 하더라도 다른 한 값이 월등히 더 클 경우 엣지일 가능성이 더 높기 때문에 코너와 엣지를 같이 판별하는 결과를 볼 수 있다. 따라서 두 개의 고유값이 모두 비슷하게 큰 경우에만 코너라고 식별하여 코너와 엣지를 정확히 판별할 수 있는 Harris Corner방법을 사용한다. 정확한 특징점을 찾기 위해서 컬러 영상의 ROI 영역에서 차 영상을 이용하여 컬러 영상의 전경영상을 얻어 깊이 영상의 전경 영상과 ADD 연산을 수행한다.
ADD 연산을 수행한 영상의 결과에서 침식과 팽창을 해준다. 이 후의 결과 영상에서 객체의 특징점을 찾기 위해 Harris corner 방식을 적용하여 특징점을 찾는다[그림 7].
성능/효과
[그림 13]은 위에서 비교하였던 결과를 포즈가 변하는 프레임을 기점의 Contour점집합을 비교해 이상적인 Contour에 대해 SSE를 판별한 그래프이다. 구한 SSE의 값에 log를 시켜 그래프에서 보는 것과 같이 제안한 방법의 SSE가 가장 적은 것을 보아 이상적인 Contour와 가장 유사한 것을 볼 수 있다.
식 2와 같이 이상적인 Contour점들과 제안한 방법의 Contour점들을 비교한다. 그 결과 Codebook알고리즘으로 찾은 C의 점집합과 제안한 방법인 S점집합을 비교한 결과 제안한 방법이 89개의 차이로 제안한 방법이 점집합 B와 더 유사한 것을 볼 수 있었다. 위와 같은 방법으로 객체가 자세를 바꾸는 프레임들을 기점으로 이상적인 Contour와 Codebook, 제안한 방법을 비교하였고 비교한 결과는 [그림 12]과 같다.
Codebook 알고리즘의 방법과 비교했을 때도 마찬가지로 요트와 객체가 인접해 있는 부분에서 객체의 정확한 실루엣을 추출하지 못하는 결과를 볼 수 있다. 제안한 방법으로 객체를 추출하는 방법은 [그림 10]의 초록색으로 표시된 부분에서 보는 것과 같이 객체의 실루엣을 다른 방법들보다 정확하게 표시하는 것을 볼 수 있다. 이를 증명하기 위해 Contour들을 두가지 방법을 통해 이상적인 Contour와의 유사도를 구한다.
이 방법은 깊이 영상에서 객체의 위치를 찾아 ROI영역으로 지정하여 컬러영상에서 영상의 특징점을 찾아 객체의 실루엣을 찾는 것을 목적으로 하였다. 제안한 방법은 실험 결과에서 본 것과 같이 Codebook방법, 제안한 방법을 비교하였을 때 제안한 방법이 더 정확하게 찾아 지는 결과를 볼 수 있다. 제안한 방법은 CCTV나 배경이 복잡하여 객체가 찾기 어려운 환경에서 활용이 가능할 것이라고 생각되고 향후 병렬처리를 이용하여 계산 속도를 더 빠르게 하여 성능이 좋으면서 더 정확한 객체를 찾을 수 있는 방법을 연구하고자 한다.
후속연구
제안한 방법은 실험 결과에서 본 것과 같이 Codebook방법, 제안한 방법을 비교하였을 때 제안한 방법이 더 정확하게 찾아 지는 결과를 볼 수 있다. 제안한 방법은 CCTV나 배경이 복잡하여 객체가 찾기 어려운 환경에서 활용이 가능할 것이라고 생각되고 향후 병렬처리를 이용하여 계산 속도를 더 빠르게 하여 성능이 좋으면서 더 정확한 객체를 찾을 수 있는 방법을 연구하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
Harris Corner방법과 Shi-Tomasi 방법의 공통점과 차이점은 무엇인가?
특징점은 영상에서의 코너점을 이야기 하는데 특징점을 찾는 방법은 Harris 와 Stephens[5]가 제안한 Harris Corner방법과 Shi와 Tomasi[6]가 제안한 Shi-Tomasi 방법들이 있다. 두 방법 모두 많이 코너점을 찾을 때 많이 사용하지만 Shi-Tomasi방법의 경우 두 개의 고유값 중 최소값만 임계치보다 클 경우 특징점을 식별하는데 이럴 경우 최소값이 임계치보다 크다고 하더라도 다른 한 값이 월등히 더 클 경우 엣지일 가능성이 더 높기 때문에 코너와 엣지를 같이 판별하는 결과를 볼 수 있다. 따라서 두 개의 고유값이 모두 비슷하게 큰 경우에만 코너라고 식별하여 코너와 엣지를 정확히 판별할 수 있는 Harris Corner방법을 사용한다.
HOG 알고리즘이란 무엇인가?
객체를 추출하는 기술 중에서 보행자 검출 기술인 HOG(Histogram of Oriented Gradients) 알고리즘이나 객체 추출을 위한 전배경분리 방법들이 많이 알려져 있다. Danal과 Triggs이[1] 제안한 HOG 알고리즘은 히스토그램의 분포에 따라 보행자의 객체를 추출하는 방법으로 보행자 객체 검출에 있어서 가장 잘 알려진 객체 추출 방법이다. 하지만 HOG 알고리즘의 경우 단일 물체를 기반으로 객체를 추출하기 때문에 객체가 포즈를 바꿀 경우 객체를 제대로 추출하기 어렵다는 단점이 있다.
HOG 알고리즘의 단점은 무엇인가?
Danal과 Triggs이[1] 제안한 HOG 알고리즘은 히스토그램의 분포에 따라 보행자의 객체를 추출하는 방법으로 보행자 객체 검출에 있어서 가장 잘 알려진 객체 추출 방법이다. 하지만 HOG 알고리즘의 경우 단일 물체를 기반으로 객체를 추출하기 때문에 객체가 포즈를 바꿀 경우 객체를 제대로 추출하기 어렵다는 단점이 있다. 전배경 분리를 이용한 객체를 추출방법은 가장 간단한 배경영상과 입력영상에 대한 차영상을 이용하거나 GMM(Gaussian Mixture Model)[2], 코드북[3] 등 여러가지 방법이 있다.
참고문헌 (9)
N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection," In Proc. Of CVPR, Vol.1, pp.886-893, 2005.
D. S Lee, "Effective Gaussian Mixture Learning for Video Background Subtraction," IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol.27, Issue.5, pp.827-832, 2005.
Jeonghyun Baek, Jisu Kim, Changyong Yoon, and Euntai Kim, "Part-based Hand Detection Using HOG," Journal of Korean istitute of intelligent System, Vol.23, No.6, pp.551-557, 2013.
C. Harris and M. Stephens, "A combined corner and edge detector," Alvey Vision conference, 1988.
J. Shi and C. Tomasi, "Good features to track," in CVPR, 1994.
Su-Yeol Lim, Jang-Sun Beak, and Min-Soo Kim, "Video character recognition improvement by support vector machines and regularized discriminant analysis," Journal of the Korean Data and Information Science Society, Vol.21, Issue.4, pp.689-697, 2010.
T. B Nguyen and S. T Chung, "A real-time Motion Object Detection based on Neighbor Foreground Pixel Propagation Algorithm," The Institute of Electronics Engineers of Korea, Vol.47, No.1, pp.9-16, 2010.
P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D. Ramanan, "Object Detection with Discriminatively Trained Part Based models," IEEE Trasns. On PAMI, Vol.32, No.9, pp.1627-1645, 2014.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.