[논문]객체 기반 3D 업체 영상 변환 기법

이왕로; 강근호; 유지상

doi:10.7840/kics.2011.36c.9.555

문제 정의

그러나 RGB 색상계는 단순히 색상만을 이용하므로 채도와 명도에 대한 분석이 어렵다는 문제점을 가지고 있다冋. 따라서 본 논문에서는 RGB 색상계가 가지고 있는 한계를 보완하기 위하여 HSI 색상계를 이용한다.
느낀다. 따라서 본 논문은 객체의 움직임 방향에 영향을 받지 않고 객체를 구분하여 깊이감을 부여함으로써 입체 변환 시 부자연스러움을 최대한으로 줄여주는 변환 기법을 제안한다. 이를 위해 먼저 주어 진영상에서 객체를 분리하여 각각의 객체에 깊이감을 따로 부여하게 된다.
이것은 해당화소가 값을 가지지 않기 때문에 검은색으로 표현되어 잡음처럼 보이기도 하며, 이 영역이 커지면 영상에서 객체의 형태가 일그러져 부자연스럽게 보이게 된다. 따라서 우 영상을 생성한 후 이러한 채워지지 않은 홀을 채우기 위한.후 처리 과정이 반드시 필요하다 Non-local mean 필터는 잡음 제거에 많이 사용되는 기법 중 하나이다.
처리에 적합한 조건은 탐색 영역을 원의 형태를 띤 범위로 설정하는 것이다. 탐색창의 반지름을 크게 할수록 참조하는 화소 수가 많아져 연산 속도가 느려지기 때문에 본 논문에서는 실험 결과 적절한 값을 선택한다. 식 (3)은 색상이 다른 영역의 경계 부근에서 탐색영역 안에 포함되는 화소를 결정하는 기준이다.

가설 설정

첫째 방법은 현재 영상이 좌, 우 영상 중 하나가 되면, 다른 하나는 지연 영상들 중에서 1개를 선택하는 것이다. 둘째, 현재 영상은 좌, 우 영상 중 하나를 선택하고 다른 영상은 합성된 영상으로 구현하는 것이다. 마지막으로 좌 영상과 우 영상을 모두 합성 영상으로 구성하는 경우이다.

제안 방법

보였다. 2x2 크기의 블록으로 움직임 추정을 하면 크기가 큰 블록의 경우보다 움직임 정보에 잡음이 많아지지만 더 세밀한 움직임 정보를 추출할 수 있다는 장점이 있다 또한 본 논문에서는 움직임 추정 시 앞 뒤 각각 9개 프레임, 총 18 프레임을 참조하여 움직임 정보를 획득한다. 앞 뒤 각각 9개씩 총 18 프레임에 대하여 움직임 추정을 하면 잡음의 분포는 분산적이기 때문에 비교적 객체부분을 잘 추출할 수 있다
따라서 본 논문에서는 계산 시간을 단축하기 위하여 우 영상 생성 시 생기는 흘 영역의 화소에서만 필터링을 수행한다. 그림 11은 그림 10(b)의 영상에 Non-local mean 필터를 적용한 결과 영상이다.
이를 위해 먼저 주어 진영상에서 객체를 분리하여 각각의 객체에 깊이감을 따로 부여하게 된다. 객체를 분리하는 과정에서 앞 뒤 프레임들로부터 효과적인 움직임 정보를 추출하고 컬러 라벨링 전처리 과정을 통하여 효율적으로 객체를 검출한다. 또한 주어진 2D 영상을 좌 영상으로 하고우 영상 생성 시 발생하는 가려짐 영역을 Non-local mean 필터를 이용하여 효과적으로 보상한다.
추출한 객체를 입체 영상으로 보기 위해서는 동일점이 좌 영상과 우 영상에 투시되어야 한다. 두 눈으로 영상을 바라 볼 때 투시되는 영상에 미묘한 차이가 있어 입체감을 느낄 수 있는 것과 같은 원리이다电 앞서 입체 영상을 생성할 때 언급한 세 가지 구현 방법 중에서 제안하는 기법은 현재 영상은 좌, 우 영상 중 하나를 선택하고 나머지 영상은 합성 영상으로 구현한다. 제안하는 방법은 현재 영상을 좌 영상으로 선택하고 추출된 객체에 실험결과 일정한 값을 부여하고 이 값에 따라 객체를 오른쪽으로 이동시켜 우 영상을 생성한다.
임계값을 작게 할수록 영상의 경계는 유지되어 mean-shift 필터의 결과로 생기는 blurring 효과를 줄일 수 있다. 본 논문에서는 임계값을 적절하게 선택하여 컬러 라벨링의 전 처리 .과정으로 사용한다.
본 논문에서는 컬러 라벨링의 방법으로 널리 알려진 Rosenfeld의 방법을 사용한다'叫1 객체 추출을 위한 효율적인 컬러 라벨링 전처리 과정으로 RGB 색상계를 사람이 사물을 바라보고 해석 할 때 가장 유사하다는 HSI 색상계로 변환 후 mean-shift 필터를 적용한 후 컬러 라벨링 작업을 수행한다.
앞에서 획득한 움직 임 추정 결과와 컬러 라벨링 결과를 동시에 이용하여 영상내의 객체를 정밀하게 추출한다. 주어진 영상을 좌 영상으로 하고 추출된 객체중심으로 좌 영상의 해당 영역을 이동하여 우 영상을 생성한다.
두 눈으로 영상을 바라 볼 때 투시되는 영상에 미묘한 차이가 있어 입체감을 느낄 수 있는 것과 같은 원리이다电 앞서 입체 영상을 생성할 때 언급한 세 가지 구현 방법 중에서 제안하는 기법은 현재 영상은 좌, 우 영상 중 하나를 선택하고 나머지 영상은 합성 영상으로 구현한다. 제안하는 방법은 현재 영상을 좌 영상으로 선택하고 추출된 객체에 실험결과 일정한 값을 부여하고 이 값에 따라 객체를 오른쪽으로 이동시켜 우 영상을 생성한다. 이때 시각적으로 객체만 튀어나와 보이는 부자연스러운 부분을 없애기 위해서 배경도 같은 방법으로 이동시킨다.
총 18프레임의 움직임 추정 결과에 가중치를 다르게 적용하여 움직임 정보를 확률적으로 찾도록 하고, 현재 프레임과 가까운 프레임일수록 가중치 값을 크게 부여한다. 가중치를 다르게 적용한 18개의 결과 프레임들의 각 화소 값에서 움직임 정보가 검출되는지 비교한다.
또한 주어진 2D 영상을 좌 영상으로 하고우 영상 생성 시 발생하는 가려짐 영역을 Non-local mean 필터를 이용하여 효과적으로 보상한다. 최종적으로 생성된 우 영상과 원본 영상인 좌 영상을 비월 주사하여 3D 영상을 재현한다. 실험결과 재현된 3D입체 영상은 기존의 프레임 차이를 이용한 객체기반입체 변환 방법보다 정교한 객체 추출 결과를 보였으며 가려짐 영역의 보상도 기존의 방법들보다 Non-local mean 필터를 이용한 방법이 뛰어남을 실험을 통해 확인할 수 있었다.

대상 데이터

본 실험에서는 ASU(Arizona State University) 홈페이지에서 제공되는 그림 12(a)의 CIF format (352x288)의 “Paris”와 “Silent” 영상과 그림 13의 QCIF format (* 176 144)의 "Akiyo", "Claire" 영상을 실험 영상으로 사용하였다.
앞서 언급했듯이 ASU 홈페이지에서 제공 되는 QCIF format (352x288)의 “Akiyo”, “Claire” 영상을 실험 영상으로 사용하였으며 좌 영상을 원 영상으로 하고 객체 추출을 통해 생성된 영상을 우 영상 생성하였다.

데이터처리

부여한다. 가중치를 다르게 적용한 18개의 결과 프레임들의 각 화소 값에서 움직임 정보가 검출되는지 비교한다. 움직임 정보가 검출되면 확률적으로 중복되는 것만 움직임으로 선택하고 그렇지 않은 경우는 움직임이 없다고 판정하며 그 결과 움직임의 정보를 갖지만 확률적으로는 움직임이 아닐 가능성이 큰 경우를 제거하는 효과가 있다.
앞 절에서 구한 움직임 추정 결과와 컬러 라벨링결과를 비교 분석하여 객체를 추출한다. 컬러 라벨링결과 각 라벨 영역안의 화소들이 일정 비율 이상 움직임 정보를 갖지 않으면 비 관심 객체로 판단하여 제거한다.
제안한 기법의 성능을 비교 검증하기 위한 실험도 수행하였다. 앞서 언급했듯이 ASU 홈페이지에서 제공 되는 QCIF format (352x288)의 “Akiyo”, “Claire” 영상을 실험 영상으로 사용하였으며 좌 영상을 원 영상으로 하고 객체 추출을 통해 생성된 영상을 우 영상 생성하였다.

이론/모형

제안된 변환 기법의 성능을 객관적으로 비교하는것은 매우 어렵다. 따라서 본 논문에서는 ITU-R 권고이중자격 연속품질척도법 인 DSCQS(double-stimulus continuous quality-scale) 방법을 가지고 주관적 화질평가를 수행하였다 표 1은 10명의 평가자가 직접 영상을 보고 평가하는 방법으로 평가 기준은 입체감, 화면 떨림 현상, 눈의 피로도 3 가지로 구분되어 나타내었다. 비교 검증은 기존에 제안된 방법으로 프레임간의 차이를 이용한 객체 기반의 입체변환 기법刖을 이용하였다.
객체를 분리하는 과정에서 앞 뒤 프레임들로부터 효과적인 움직임 정보를 추출하고 컬러 라벨링 전처리 과정을 통하여 효율적으로 객체를 검출한다. 또한 주어진 2D 영상을 좌 영상으로 하고우 영상 생성 시 발생하는 가려짐 영역을 Non-local mean 필터를 이용하여 효과적으로 보상한다. 최종적으로 생성된 우 영상과 원본 영상인 좌 영상을 비월 주사하여 3D 영상을 재현한다.
보였다. 먼저 블록 기반의 움직임 추정(motion estimation, ME) 방법을 이용하여 프레임 간의 움직임 정보를 추출한다. 다음은 영상의 색상(hue) 성분을 이용한 라벨링(labeling) 작업을 두 차례 수행하여 일정 크기 이하의 영역은 잡음으로 판단하여 제거하며 영상을 분리하게 된다이°〕.
따라서 본 논문에서는 ITU-R 권고이중자격 연속품질척도법 인 DSCQS(double-stimulus continuous quality-scale) 방법을 가지고 주관적 화질평가를 수행하였다 표 1은 10명의 평가자가 직접 영상을 보고 평가하는 방법으로 평가 기준은 입체감, 화면 떨림 현상, 눈의 피로도 3 가지로 구분되어 나타내었다. 비교 검증은 기존에 제안된 방법으로 프레임간의 차이를 이용한 객체 기반의 입체변환 기법刖을 이용하였다.
영상의 움직임 정보는 블록 기반의 움직임 추정 방법을 이용하여 추출한다. 움직임 정보의 유사성을 평가하는 기준으로는 뺄셈과 덧셈 연산만을 사용하기 때문에 곱셈 연산에 비해 계산양이 적고 연산 속도가 빠른 식 (1)의 SAD (sum of absolute difference) *사용한다.
주어진 영상을 좌 영상으로 하고 추출된 객체중심으로 좌 영상의 해당 영역을 이동하여 우 영상을 생성한다. 우 영상을 생성하는 과정에서 빈 공간이 발생하게 되는데 본 논문에서는 Non-local mean 필터“门를 이용하여 보상한다. 최종적으로는 원 영상인 좌 영상과 생성된 우 영상의 행을 교차시켜 3D 입체 영상을 재현하게 된다.

성능/효과

본 논문에서 제안한 3D 입체 영상 변환 기법은 움직임 정보와 컬러 라벨링 작업을 이용하여 영상내의 객체를 먼저 추출하고 추출된 객체를 이동시킴으로써 양안시차를 객체별로 분리하여 부여함으로써 자연스러운 입체감을 구현할 수 있다는 장점이 있다. 양쪽 눈에 맺히는 영상은 서로 다른 시차를 가져야 입체감을 느낄 수 있다.
본 논문에서는 움직임 정보와 색상정보를 이용하여 효과적으로 객체를 분리함으로써 정확한 객체 추출이 가능하기 때문에 입체적인 효과 면에서 자연스러움을 잘 구현할 수 있었다 또한 Non-local mean 필터를 人]용하여 우 영상 생성 시 발생하는 흘 영역을 보상함으로써 매우 성능이 우수한 변환 기법을 구현할 수 있었다.
최종적으로 생성된 우 영상과 원본 영상인 좌 영상을 비월 주사하여 3D 영상을 재현한다. 실험결과 재현된 3D입체 영상은 기존의 프레임 차이를 이용한 객체기반입체 변환 방법보다 정교한 객체 추출 결과를 보였으며 가려짐 영역의 보상도 기존의 방법들보다 Non-local mean 필터를 이용한 방법이 뛰어남을 실험을 통해 확인할 수 있었다.
입체 영상이다. 전반적으로 기존의 기법보다가려짐 영역에 대한 보상이 자연스럽게 처리 되었으며 객체만 이동하여 우 영상을 생성한 기존의 방법보다 객체위주의 이동과 함께 배경도 함께 이동시켜 우영상을 생성한 제안한 기법의 입체 영상이 보다 자연스러운 입체감을 느끼게 한다. 제안한 기법은 그림 13과 같이 배경과 객체가 잘 구분되어 뛰어난 입체 효과를 느낄 수 있고 특히 뉴스화면, 일기예보와 같이 배경은 멈추어 있고 객체인 사람만 움직이는 영상에서는 더욱 효과적인 성능을 보여 주었다.
전반적으로 기존의 기법보다가려짐 영역에 대한 보상이 자연스럽게 처리 되었으며 객체만 이동하여 우 영상을 생성한 기존의 방법보다 객체위주의 이동과 함께 배경도 함께 이동시켜 우영상을 생성한 제안한 기법의 입체 영상이 보다 자연스러운 입체감을 느끼게 한다. 제안한 기법은 그림 13과 같이 배경과 객체가 잘 구분되어 뛰어난 입체 효과를 느낄 수 있고 특히 뉴스화면, 일기예보와 같이 배경은 멈추어 있고 객체인 사람만 움직이는 영상에서는 더욱 효과적인 성능을 보여 주었다.
표 1의 결과에서도 보듯이 기존 기법에 비해 제안한 기법의 성능이 입체감, 화면 떨림 현상, 눈의 피로도 등의 3가지 항목에 대하여 전반적으로 우수하다는 것을 알 수 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

객체 기반 3D 업체 영상 변환 기법
Object-based Conversion of 2D Image to 3D 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

참고문헌 (19)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

객체 기반 3D 업체 영상 변환 기법 Object-based Conversion of 2D Image to 3D 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

참고문헌 (19)

이 논문을 인용한 문헌

저자의 다른 논문 :

이왕로 (1) 강근호 (2) 유지상 (126)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

객체 기반 3D 업체 영상 변환 기법
Object-based Conversion of 2D Image to 3D 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper