선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 DR와 CIF를 결합하여 무안경 3차원 디스플레이의 크로스톡을 효과적으로 저감하는 새로운 방법을 제안한다. 제안한 방법은 스테레오 영상으로부터 추출한 깊이 정보에 DR을 적용하여 재배치하고, 재배치한 깊이 정보를 기반으로 다시점 영상을 생성한다.
- 본 논문은 다시점 영상처리 기술을 이용하여 무안경 3차원 디스플레이의 크로스톡을 효율적으로 저감하는 방법을 제안하였다. 제안한 방법은 깊이 영상 특성에 따라 깊이 정보를 적응적으로 변경하고, 크로스톡 역보상 필터의 가중치를 효과적으로 조절하여 3차원 영상의 선명도를 회복하였다.
제안 방법
- 제안한 방법은 스테레오 영상으로부터 추출한 깊이 정보에 DR을 적용하여 재배치하고, 재배치한 깊이 정보를 기반으로 다시점 영상을 생성한다. 그런 다음, 제안한 방법은 시점 미분값 기반 CIF를 다시점 영상에 적용하여 크로스톡을 보상한 새로운 다시점 영상 정보를 계산한다. 제안한 시점 미분값 기반 CIF은 넘침과 아래 넘침 화소 발생을 최대한으로 줄이면서 크로스톡 문제를 효과적으로 해결한다.
- 001)을 할당하여 넘침 및 아래 넘침 화소가 제안한 양측 필터 결과에 영향을 주지 않게 한다. 마지막으로, 시점 미분값 기반 CIF와 EPI 화소 보간법을 이용하여 크로스톡 보상한 EPI 영상을 무안경 3차원 영상으로 변환한다. 무안경 3차원 영상 변환을 위해 무안경 3차원 디스플레이의 환경인수인 렌티큘라 경사각 및 폭을 입력으로 받는다.
- 그런 다음, 입력 다시점 영상 정보와 크로스톡 역행렬을 곱하여 새로운 입력 다시점 영상 정보를 계산한다. 사용자는 크로스톡을 역보상한 다시점 영상을 무안경 3차원 디스플레이를 통해 보게 되어 깨끗한 3차원 영상을 시청한다. 그러나, 필터링 과정에서 영상 곱셈 연산에 의한 넘침(overflow)와 아래 넘침(underflow) 화소가 빈번히 발생하여 무안경 3차원 영상이 왜곡된다.
- 그럼에도 불구하고, 큰 미분값를 갖는 화소의 경우 여전히 넘침 및 아래 넘침 화소로 나타날 경우가 있다. 이러한 왜곡 화소를 보정하기 위해, 본 논문은 EPI 화소 보간법을 제안한다. EPI 화소 보간법은 두 단계로 나눈다.
- 본 논문은 DR와 CIF를 결합하여 무안경 3차원 디스플레이의 크로스톡을 효과적으로 저감하는 새로운 방법을 제안한다. 제안한 방법은 스테레오 영상으로부터 추출한 깊이 정보에 DR을 적용하여 재배치하고, 재배치한 깊이 정보를 기반으로 다시점 영상을 생성한다. 그런 다음, 제안한 방법은 시점 미분값 기반 CIF를 다시점 영상에 적용하여 크로스톡을 보상한 새로운 다시점 영상 정보를 계산한다.
- 그런 다음, EPI 공간상에서 시점 미분값 기반 CIF 방법을 적용하여 크로스톡을 보상한다. 제안한 방법은 크로스톡 역행렬 X'로부터 획득한 CIF 필터 가중치를 시점간 미분값에 따라 적응적으로 조절한다. CIF 필터 가중치 A={a1, a2,⋯,aK}이고, EPI 수직 화소인 시점 화소 집합 P={p1, p2,⋯,pK}라 하자, 시점 미분값 집합 G={g1, g2,⋯,gK}는 식 (6)에 의해 구한다.
- 그런 다음, 제안한 방법은 시점 미분값 기반 CIF를 다시점 영상에 적용하여 크로스톡을 보상한 새로운 다시점 영상 정보를 계산한다. 제안한 시점 미분값 기반 CIF은 넘침과 아래 넘침 화소 발생을 최대한으로 줄이면서 크로스톡 문제를 효과적으로 해결한다.
대상 데이터
- 그림 6(a)는 원 2차원 입력 영상이고, 그림 6(b)는 크로스톡 저감 적용 전이며, 그림 6(c)는 Chang 방법, 그림 6(d)는 부호화 기반 Wang 방법, 그림 6(e)는 제안한 방법의 결과이다. 그림 6(b)부터 그림 6(e)는 무안경 3차원 디스플레이에 실험 영상을 3차원 재생 후 DSLR 카메라로 촬영하여 획득하였다. 그림 6(b)에서 보듯이, 크로스톡 저감 기술을 적용하지 않으면 영상 흐림이 발생한다.
- 여기서, BM2D는 입력 2차원 영상의 BM 측정치이고, BM3D 제안한 방법을 현상 실험하여 얻은 3차원 영상의 BM 측정치이다. BM 측정치가 100%에 가까우면 가까울수록 출력 3차원 영상의 선명도가 입력 2차원 영상의 선명도와 유사하다.
- 제안한 방법은 렌티큘라 렌즈 경사구조로 이루어진 광학 7시점 55인치 무안경 3차원 디스플레이 환경에서 실험하였다. 실험 무안경 3차원 디스플레이의 크로스톡 양은 86%이고 광학 프로파일 분석을 통해 측정하였다.
- 실험 무안경 3차원 디스플레이의 크로스톡 양은 86%이고 광학 프로파일 분석을 통해 측정하였다. 제안한 방법의 성능 평가를 위해 총 15개의 실험 동영상을 사용하였다. 모든 실험 동영상의 해상도는 1920x1080이고 스테레오 영상이다.
데이터처리
- 제안한 방법은 렌티큘라 렌즈 경사구조로 이루어진 광학 7시점 55인치 무안경 3차원 디스플레이 환경에서 실험하였다. 실험 무안경 3차원 디스플레이의 크로스톡 양은 86%이고 광학 프로파일 분석을 통해 측정하였다. 제안한 방법의 성능 평가를 위해 총 15개의 실험 동영상을 사용하였다.
- 스테레오 영상으로부터 깊이 정보를 추출하고 깊이 영상 기반 렌더링 기술을 적용하여 광학 7시점 영상으로 변환하였다. 제안한 방법은 기존의 광학 화소 기반 크로스톡 저감 방법[5,13] 및 부화소 기반 크로스톡 저감 방법[16,17]과 비교하였다. 부화소 기반 크로스톡 저감 방법은 광학 화소를 부화소 단위로 세부적으로 나눠 처리하는 방법이다.
이론/모형
- 3차원 영상 선명도를 객관적으로 평가하기 위해, 무참조 화질 평가인 블러 메트릭(blur metric, BM)[12]을 이용하였다. BM은 영상의 에지의 시작점과 끝점을 찾고, 그 폭을 측정하여 영상의 흐림 정도를 측정한다.
성능/효과
- 제안한 방법은 깊이 영상 특성에 따라 깊이 정보를 적응적으로 변경하고, 크로스톡 역보상 필터의 가중치를 효과적으로 조절하여 3차원 영상의 선명도를 회복하였다. 15개의 동영상을 이용한 실험 결과에서 보듯이, 기존 방법에 비해 제안한 방법은 3차원 영상의 화질 열화를 최소화하면서 크로스톡을 줄였다. 또한, 제안한 방법의 BM율은 90.
- 2%이였다. BM율의 수치적 향상은 크로스톡 저감 전보다 13.4%, Chang 방법 대비 9.7%이다. 현재 상용화된 안경식 3차원 기술의 경우 크로스톡이 5% 이내로 매우 낮아 BM율이 99.
- 15개의 동영상을 이용한 실험 결과에서 보듯이, 기존 방법에 비해 제안한 방법은 3차원 영상의 화질 열화를 최소화하면서 크로스톡을 줄였다. 또한, 제안한 방법의 BM율은 90.5%로 크로스톡 저감 전보다 약 13.4%, 기존 방법보다 약 9.7% 높았다.
- 그러나, 기존 방법들은 원으로 표시한 영역과 같이 넘침 및 아래 넘침 화소를 화소 표현 범위 최대값 및 최소값으로 클리핑하여 영상 왜곡을 발생시켰다. 반면에, 제안한 방법은 다시점 영상과 깊이 영상 특성에 따라 DR 적용과 CIF 필터 가중치를 조절하여 무안경 3차원 영상의 선명도를 증가하면서 넘침 및 아래 넘침 화소로 인한 영상 왜곡을 최소화하였다.
- 9%이다. 선명도 관점에서 제안한 무안경 3차원 기술은 안경식 3차원 기술에 비해 선명도가 여전히 떨어지지만 상당 부분 개선되었다.
- 본 논문은 다시점 영상처리 기술을 이용하여 무안경 3차원 디스플레이의 크로스톡을 효율적으로 저감하는 방법을 제안하였다. 제안한 방법은 깊이 영상 특성에 따라 깊이 정보를 적응적으로 변경하고, 크로스톡 역보상 필터의 가중치를 효과적으로 조절하여 3차원 영상의 선명도를 회복하였다. 15개의 동영상을 이용한 실험 결과에서 보듯이, 기존 방법에 비해 제안한 방법은 3차원 영상의 화질 열화를 최소화하면서 크로스톡을 줄였다.
- 표 1은 크로스톡 저감 전과 제안한 방법으로 크로스톡 저감 후의 결과에 대한 BM율을 보여준다. 표 1에서 보듯이, 크로스톡 저감 전의 평균 BM율은 76.8%, Chang 방법은 80.5%이었고, 제안한 방법의 평균 BM율은 90.2%이였다. BM율의 수치적 향상은 크로스톡 저감 전보다 13.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.