[논문]픽셀단위 상대적 신뢰도와 일치상관계수를 이용한 영상의 깊이 추정 알고리즘

김연우; 이칠우

doi:10.9717/kmms.2018.21.2.138

문제 정의

특히 물체의 경계영역은 깊이 값이 급격히 변하므로 물체 경계영역에서 정확한 깊이 정보를 얻는 것이 이 분야연구의 목적이라고 할 수 있다. 본 논문도 이러한 목표를 달성하기 위해 픽셀단위의 상대적 신뢰성과 일치상관계수(CCC: Concordance Correlation Coefficient)에 이용한 깊이 추정 알고리즘에 대해 기술한다.
본 논문에서는 영상의 에지(edge) 부분에서 발생하는 오류를 최소화하여 추정된 깊이정보의 정확도를 높이는 알고리즘에 대해 기술한다. 이를 위해서 영상의 픽셀단위로 깊이를 추정하면서 한 픽셀이 갖는 상대적 신뢰도를 고려하여 학습을 진행시켰다.
즉 불연속 경계부분에서 추정치의 미분값을 구해보면 그 값이 크게 되고 반대로 평면부분에서는 적은 미분값을 갖게 되는데 이는 추정치의 신뢰도와 연관이 있다. 본 논문에서는 이런 속성을 이용하여 신뢰도가 높은 평면부분으로부터 깊이 정보를 추정하고 이를 경계영역, 즉 에지부분으로 전파하여 학습하는 방법으로 깊이추정의 정확도를 높이는 알고리즘을 제안한다.
본 논문에서는 입력 영상의 정확한 깊이 값을 추정하기 위해 새로운 컨볼루션 신경망 구조와 픽셀별 신뢰도를 이용하는 알고리즘을 제안하였다. 이 알고리즘은 물체간의 경계부분에서 깊이 값이 갑자기 변하기 때문에 신뢰도가 낮다는 점에 착안하여 안정된 부분으로부터 먼저 정확한 값을 구하고 단계적으로 경계부분으로 확산되는 결과를 갖게 된다.
또한 평평한 부분에서는 깊이 값이 거의 변화가 없거나 서서히 변하기 때문에 이 부분에서는 손실을 많이 발생시키지 않는다는 특성을 갖고 있다. 본 논문은 깊이 추정 영상을 생성하기 위해 이러한 특성을 이용하여 경계부분에서는 손실을 발생하지 않도록 유도하는 알고리즘을 보인다. 이를 위해 해당 영상속의 구조적 제약에 픽셀단위의 상대적 신뢰성을 구하여 활용한다.
그러나 딥러닝기법을 이용한 방법으로는 아무리 빅데이터, 즉 수 많은 형상을 이용하여 학습을 한다고 하더라도 3차원 스캐너를 사용하여 얻어진 값과 같이 정확한 값을 얻을 수 없는 것이 현실이다. 특히 물체의 경계영역은 깊이 값이 급격히 변하므로 물체 경계영역에서 정확한 깊이 정보를 얻는 것이 이 분야연구의 목적이라고 할 수 있다. 본 논문도 이러한 목표를 달성하기 위해 픽셀단위의 상대적 신뢰성과 일치상관계수(CCC: Concordance Correlation Coefficient)에 이용한 깊이 추정 알고리즘에 대해 기술한다.

제안 방법

실제 깊이 추정 실험에서는 α를 1로 놓고 학습을 하였을 때와 C-Map 정보를 이용하지 않고 L만 가지고 학습한 결과가 동일함을 확인할 수 있었다. C-Map의 값은 네트워크의 마지막 레이어의 출력을 선형으로 결합하여 구하고 제곱한 다음 평균으로 나누어 제약조건을 만족할 수 있도록 하였다.
이와 유사한 연구로 Park et al.[3]은 [2]와 비슷한 3단계 스케일의 컨볼루션 신경망을 이용하였지만 원영상의 크기에 의존하는 완전연결 레이어(Fully Connected Layer)를 제거함으로써 임의 크기의 영상을 입력받을 수 있도록 하였고, 더 정확한 깊이 영상 추정을 위해 정규화 상호상관(Normalized Cross Correlation)을 이용한 제약조건을 제안하였다. 이 방법은 임의 크기의 영상에는 대응을 할 수 있지만 기존의 방법에 비해 성능이 우수한 것은 아니다.
이 영상 데이터는 RGB-D 값이 하나의 단위로 되어 총 795개의 학습 데이터와 654개의 테스트 데이터로 구성되어있다. 그러나 이 데이터는 본 논문에서 제안한 네트워크를 학습하기에 그 규모가 작기 때문에 영역을 임으로 자르거나 좌우 또는 상하로의 반전, 색, 명암, 채도 등을 변형하여 보다 큰 규모의 데이터로 확장하여 실험을 하였다. 첫 단계의 VGG-16 layers은 미리 학습되어진 값을 사용하였고, 깊이 영상 추정을 위한 학습 중에는 파라메타의 값을 고정시켰다.
첫번째 단계에서는 완전연결 레이어(fully connected layer)를 제거한 VGG-16 네트워크[5]를 그대로 사용하였다. 따라서 제안한 방법은 임의 크기의 영상을 입력으로 사용할 수 있다. 첫번째 단계에서 구해진 C-Map 두번째 단계의 입력으로 사용되고 마지막 단계에서는 예측한 깊이 값을 추가로 구하게 된다.
이 알고리즘은 물체간의 경계부분에서 깊이 값이 갑자기 변하기 때문에 신뢰도가 낮다는 점에 착안하여 안정된 부분으로부터 먼저 정확한 값을 구하고 단계적으로 경계부분으로 확산되는 결과를 갖게 된다. 또 추정된 값이 국소 최소값에 쏠리지 않고 전체적으로 원활한 수렴을 위해 일치상관계수를 제약조건으로 학습하였다.
2단계 단계와 3단계 단계는 다운 스케일링(down scaling)된 입력영상과 이전 스케일의 업 스케일링(up scaling)된 특징값(feature)을 입력으로 받는다. 마지막으로 우리는 안정적인 학습을 위해 배치 정규화(batch normalization)[4]를 모든 컨볼루션 레이어에 적용하였다.
식(2)와 (3)으로 정의된 제약을 만족하면서 네트워크가 안정적으로 학습을 하기 위해서는 최적의 손실함수를 정의하여 사용하여야 한다. 본 논문에서 제안하는 방법은 식(3)에서 제시한 신뢰도 목적함수인 L[ i] (1+C[ i] ) 대신 L[ i]C[ i] 을 사용하여더 강한 제약이 네트워크 전반에 신속히 작용하도록 하였다. 즉, 인접픽셀 간에 깊이가 급격하게 변하는 부분에서는 결과적으로 손실이 거의 발생하지 않게 하면서 네트워크를 학습할 수 있게 하였다.
즉 물체의 경계부분에서 추정된 깊이 값은 신뢰도가 낮고 평평한 부분에서 구해진 깊이 값은 안정적이고 신뢰도가 높다고 볼 수 있다. 본 연구에서는 픽셀단위로 신뢰도를 구하기 위해 2종류의 정보를 동시에 얻을 수 있는 네트워크 구조를 사용한다. 첫번째 정보는 학습과정을 통해 추정된 깊이를 나타내는 깊이 영상이고 다른 하나는 픽셀단위의 상대적 신뢰를 나타내는 영상이다.
이어서 계속된 연구[2]에서 Eigen et al. 은 표면 법선의 추정(surface normals estimation), 영상의 의미 레이블링(semantic labeling) 및 깊이추정(depth estimation)이 가능한 3단계 스케일의 컨볼루션 신경망 구조를 제안하였다. 이 구조는 [1]의 연구내용과 비슷하지만, 더 깊은 네트워크 레이어를 사용함으로써 정확도를 한 층 높일 수 있었다.
하지만 이것만으로는 학습을 할 경우 학습하는 모델의 입장에서는 학습하기 쉬운 형태로 수렴이 일어나 과적합(over fitting)의 문제에 빠질 가능성이 많다(예를 들어 한 픽셀의 C-Map 값이 N이 되고 그 외 모든 픽셀의 C-Map 값은 0이 되는 경우). 이를 방지하기 위해 일정 상수(알파계수: alpha parameter)를 곱하여 글로벌한 해에 수렴되도록 하였다. 실제 깊이 추정 실험에서는 α를 1로 놓고 학습을 하였을 때와 C-Map 정보를 이용하지 않고 L만 가지고 학습한 결과가 동일함을 확인할 수 있었다.
그러나 영상은 스케일변화에 유일하지 않는 속성이 있어서 두 값의 절대치를 일치시키기는 어렵기 때문에 깊이의 절대값이 같지 않더라도 영상 속 물체들 간의 상대적 거리가 같게 된다면 이 또한 정확한 값을 추정하였다고 볼 수 있다. 이를 위해 논문[1]에서는 스케일 불변인 손실 함수를 제안하였고, 논문[2]는 보다 정확한 값을 얻기 위해 깊이 영상의 미분값을 활용한 목적함수를 사용하였다. 이를 수식으로 표현하면 다음과 같다:
본 논문에서는 영상의 에지(edge) 부분에서 발생하는 오류를 최소화하여 추정된 깊이정보의 정확도를 높이는 알고리즘에 대해 기술한다. 이를 위해서 영상의 픽셀단위로 깊이를 추정하면서 한 픽셀이 갖는 상대적 신뢰도를 고려하여 학습을 진행시켰다. 좀 더 상세히 설명을 하면, 영상의 에지부분은 실세계물체들의 경계부분 즉 3차원 세계에서 불연속성을 지닌 부분에 속할 가능성이 높으므로 추정결과의 신뢰도가 낮을 수밖에 없다.
본 논문에서 제안하는 방법은 식(3)에서 제시한 신뢰도 목적함수인 L[ i] (1+C[ i] ) 대신 L[ i]C[ i] 을 사용하여더 강한 제약이 네트워크 전반에 신속히 작용하도록 하였다. 즉, 인접픽셀 간에 깊이가 급격하게 변하는 부분에서는 결과적으로 손실이 거의 발생하지 않게 하면서 네트워크를 학습할 수 있게 하였다. 제안한 네트워크 구조는 단계별로 C-Map을 출력하기 때문에 각 단계의 C-Map을 활용한 손실함수를 고려해야 하면 이를 L_Gk로 나타낸다.

대상 데이터

제안한 알고리즘의 성능을 평가하기 위해 NYU DepthV2 dataset [6]를 사용하여 실험을 실시하였다. 이 영상 데이터는 RGB-D 값이 하나의 단위로 되어 총 795개의 학습 데이터와 654개의 테스트 데이터로 구성되어있다. 그러나 이 데이터는 본 논문에서 제안한 네트워크를 학습하기에 그 규모가 작기 때문에 영역을 임으로 자르거나 좌우 또는 상하로의 반전, 색, 명암, 채도 등을 변형하여 보다 큰 규모의 데이터로 확장하여 실험을 하였다.
제안한 알고리즘의 성능을 평가하기 위해 NYU DepthV2 dataset [6]를 사용하여 실험을 실시하였다. 이 영상 데이터는 RGB-D 값이 하나의 단위로 되어 총 795개의 학습 데이터와 654개의 테스트 데이터로 구성되어있다.
제안한 네트워크는 기존의 [2]와 동일하게 크게 3개의 계단식 단계(triple step)로 이루어진다. 첫번째 단계에서는 완전연결 레이어(fully connected layer)를 제거한 VGG-16 네트워크[5]를 그대로 사용하였다. 따라서 제안한 방법은 임의 크기의 영상을 입력으로 사용할 수 있다.

이론/모형

선행된 연구 [1], [2], [3]에서는 수렴을 위해 네트워크를 각 단계별로 따로 학습시켰지만, 우리는 한꺼번에 학습이 가능하므로 전 단계를 한번에 학습시켰다. 네트워크 최적화를 위해서는 모멘텀(momentum)요소를 포함한 확률적 경사 하강(stochastic gradient descent) 방식을 사용하였고 그외 자세한 파라메타 값은 Table 2에 보인 바와 같다. 모든 프로그래밍은 텐서플로 라이브러리[7] 환경 하에서 구현되었다.
첫번째 정보는 학습과정을 통해 추정된 깊이를 나타내는 깊이 영상이고 다른 하나는 픽셀단위의 상대적 신뢰를 나타내는 영상이다. 두번째 정보인 상대적 신뢰도는 하나의 영상처럼 생각할 수 있는데 본 논문에서는 이를 C-Map(confidence-map)이라고 명명하여 사용한다.
Table 2는 앞서 설명한 영상 데이터베이스를 이용하여 실험한 결과를 보인다. 평가 방법은 선행연구[1]에서 사용한 방식을 따른다. 결과를 살펴보면 본 논문에서 제안된 알고리즘의 성능은 정량적 평가 면에서 [2]에 비해 다소 떨어지지만 사용된 파라미터의 개수가 훨씬 적다는 점에서, 즉 완전연결레이어(fully connected layer)를 제거한 소규모 네트워크로 구성이 가능하기 때문에 학습시간이 짧고 임의의 입력 영상의 크기를 입력받을 수 있다는 장점이 있다.

성능/효과

평가 방법은 선행연구[1]에서 사용한 방식을 따른다. 결과를 살펴보면 본 논문에서 제안된 알고리즘의 성능은 정량적 평가 면에서 [2]에 비해 다소 떨어지지만 사용된 파라미터의 개수가 훨씬 적다는 점에서, 즉 완전연결레이어(fully connected layer)를 제거한 소규모 네트워크로 구성이 가능하기 때문에 학습시간이 짧고 임의의 입력 영상의 크기를 입력받을 수 있다는 장점이 있다.
이 구조는 [1]의 연구내용과 비슷하지만, 더 깊은 네트워크 레이어를 사용함으로써 정확도를 한 층 높일 수 있었다. 또 크기 변화에 영향을 받지 않는 손실함수와 영상의 미분값을 이용하여 기존의 방식보다 정확한 3차원 깊이정보를 얻을 수 있었다.
때문에 대부분 대량의 파라메터를 가지고 학습해야하는 것, 마지막으로 학습을 스케일 단위로 분할하여 학습해야했다는 한계점을 가지고 있었다. 이와 비교하여 본 논문에서 제시한 알고리즘은 임의 크기의 영상을 입력으로 사용할 수 있고 또 소수의 파라메타로 한번에 학습을 할 수 있으므로 기존의 방법에 비해 많은 장점을 지니고 있다.

후속연구

이러한 문제점을 극복하기 위해 우리 알고리즘 역시 파라메타를 더 늘리거나 레이어를 더 깊게 두는 방법을 취할 수 있을 것이다. 또한 RGB 영상 이외에도 의미적으로 분할된 영상(semantic segmentation image) 같은 더 많은 입력을 받는 것도 하나의 방법이 될 수 있을 것이다. 향후 이런 점을 고려하여 한 층 개선된 결과를 얻을 수 있도록 네트워크 구조를 개선할 계획이다.
이 현상은 전체적인 제약조건과 경계부분에서의 변화를 억제하기 때문에 발생하는 자연스런 현상이다. 이러한 문제점을 극복하기 위해 우리 알고리즘 역시 파라메타를 더 늘리거나 레이어를 더 깊게 두는 방법을 취할 수 있을 것이다. 또한 RGB 영상 이외에도 의미적으로 분할된 영상(semantic segmentation image) 같은 더 많은 입력을 받는 것도 하나의 방법이 될 수 있을 것이다.
또한 RGB 영상 이외에도 의미적으로 분할된 영상(semantic segmentation image) 같은 더 많은 입력을 받는 것도 하나의 방법이 될 수 있을 것이다. 향후 이런 점을 고려하여 한 층 개선된 결과를 얻을 수 있도록 네트워크 구조를 개선할 계획이다.

핵심어	질문	논문에서 추출한 답변
	슈퍼픽셀(superpixel)을 이용하여 깊이를 구하는 연구에서 필요한 정보는 무엇인가?	하지만 이런 간단한 기하학 모델로는 복잡한 영상에서 정확한 깊이 정보를 얻는다는 것은 불가능하다. 다른 방법으로 슈퍼픽셀(superpixel)을 이용하여 깊이를 구하는 연구가 있지만 이 경우에는 의미 레이블(semantic label)과 같은 추가적인 정보가 필요하다[13]. 이와 관련된 연구가 발전하면서 마르코브 임의 필드(Markov Random Fields)[10] 또는 조건적 임의 필드(Conditional Random Fields)[11]를 이용하여 추가적인 입력정보 없이 단안 영상으로부터 깊이 값을 직접 구하는 방법들이 제안되었다.
	카메라를 통해 얻어진 영상을 이용해 응용이 가능한 분야는 무엇이 있는가?	카메라를 통해 얻어진 영상으로부터 깊이정보, 즉 카메라로부터 대상물체까지의 거리를 정확히 추정할 수 있다면 자율주행 자동차, 지능형 로봇, 3차원 영화제작 등 다양한 방면에 유용한 응용이 가능하다. 일반적으로 깊이정보는 스테레오 기하학에 근거하여 두개 이상의 대응점으로부터 구해진다.
	스테레오 기하학에 근거하여 두개 이상의 대응점으로 구해지는 깊이정보의 단점은 무엇인가?	일반적으로 깊이정보는 스테레오 기하학에 근거하여 두개 이상의 대응점으로부터 구해진다. 그러나 이 방법은 계산량이 많을 뿐만 아니라 대응점을 정확하게 찾지 못할 경우 오류를 발생하게 된다. 또 특별한 경우, 예를 들어 초소형 카메라를 이용한 내시경과같이 물리적으로 두 대의 카메라 간의 충분한 거리를 가질 수 없는 경우나 카메라가 하나 장착된 스마트폰과 같은 경우는 스테레오 기법을 적용하기 힘들다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

픽셀단위 상대적 신뢰도와 일치상관계수를 이용한 영상의 깊이 추정 알고리즘
An Image Depth Estimation Algorithm based on Pixel-wise Confidence and Concordance Correlation Coefficient 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

픽셀단위 상대적 신뢰도와 일치상관계수를 이용한 영상의 깊이 추정 알고리즘 An Image Depth Estimation Algorithm based on Pixel-wise Confidence and Concordance Correlation Coefficient 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

이칠우 (58)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

픽셀단위 상대적 신뢰도와 일치상관계수를 이용한 영상의 깊이 추정 알고리즘
An Image Depth Estimation Algorithm based on Pixel-wise Confidence and Concordance Correlation Coefficient 원문보기

AI 본문요약
AI-Helper