[논문]시차 분포 특성을 이용한 오토스테레오스코픽 3차원 디스플레이 시청 피로도 개선 방법

김동현; 손광훈

doi:10.5573/ieie.2016.53.3.107

[국내논문] 시차 분포 특성을 이용한 오토스테레오스코픽 3차원 디스플레이 시청 피로도 개선 방법
Visual Comfort Enhancement of Auto-stereoscopic 3D Display using the Characteristic of Disparity Distribution 원문보기

Journal of the Institute of Electronics and Information Engineers = 전자공학회논문지, v.53 no.3, 2016년, pp.107 - 113

김동현 (연세대학교 전기전자공학과) , 손광훈 (연세대학교 전기전자공학과)

초록
AI-Helper

시청 피로 정도는 3차원 디스플레이의 성능을 평가할 수 있는 여러 요소 중 하나이다. 3차원 디스플레이의 시청 피로도를 개선하기 위한 많은 연구 중 시차 조정 방법은 3차원 영상의 시차를 적절한 분포를 가지도록 하는 간단한 방법으로써 많은 연구가 진행되고 있다. 본 논문에서는 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이에서 시차 분포가 시청 피로에 미치는 영향을 기반으로 수평 영상 이동 방식을 이용하여 시차 조정하는 방법을 제안한다. 제안하는 방법은 Speeded-Up Robust Feature(SURF)를 이용하여 3차원 영상의 시차 분포를 구하고, 이전 연구를 통해 구한 시차 분포가 시청 피로에 미치는 영향을 토대로 시차 조정 정도를 결정하고 3차원 영상의 시차를 조정한다. 제안 방법의 성능을 평가하기 위하여, 우리는 실제 제작된 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이를 사용하여 최적 시청 거리에서 주관 평가를 실시한다. 실험 결과는 다양한 시차 분포를 가지는 3차원 영상에 대하여 제안 방법을 적용 한 후 시청 피로 정도가 감소함을 보여준다.

Abstract ▼ AI-Helper

Visual discomfort is a common problem in three-dimensional videos. Among the methods to overcome visual discomfort presented in current research, disparity adjustment methods provide little guidance in determining the condition for disparity control. We propose a diaprity adjustment based on the characteristics of disparity distribution on visual comfort, where the visual comfort level is used as the adjustment paramter, in parallax barrier type auto-stereoscopic 3D display. In this paper, we use the horizontal image shift method for disparity adjustment to enhance visual comfort. The speeded-up robust feature is used to estimate the disparity distribution of 3D sequences, and the required amount for disparity control is chosen based on the pre-defined characteristics of disparity distribution on visual comfort. To evaluate the performance of the proposed method, we used a 3D equipment. Subjective tests were conducted at the fixed optimal viewing distance. The results show that comfortable videos were generated based on the proposed disparity adjustment method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그림 3과 그림 4를 통해 알 수 있듯이 과도한 시차를 가지는 3차원 영상은 심각한 시청 피로를 유발하기 때문에, 제안 방법은 3차원 영상의 시차를 시청 피로도가 낮은 시차 분포 영역으로 조정 시켜 피로도를 개선하는 것을 목표로 한다. 수평 이동 방법을 이용하여 좌, 우 영상의 시차를 조정한다.
본 논문에서는 이전 연구에서 밝혀낸 3차원 영상의 시차 분포가 시청 피로도에 미치는 영향을 기반으로 이미 제작된 3차원 영상의 시차를 조정하여 오토스테레오 스코픽 3차원 디스플레이의 시청 피로도를 개선시키기로 한다. 시차 분포가 시청 피로도에 미치는 영향은 다양한 시차 분포 조건 아래 오토스테레오스코픽 3차원 디스플레이 시청시 사용자가 느끼는 주관적인 정도(Mean Opinion Score, MOS)를 측정하여 밝혔으며, 본 논문에서 시차 조정 정도는 이 영향을 기반으로 정의한다.
이전 연구에서는 오토스테레오스코픽 3차원 디스플레이에서 시차 분포의 특성이 인간 시각 체계에 미치는 영향에 대해 조사하였다. 본 논문에서는 이전 연구의 결과물을 토대로 실제 3차원 영상의 시차를 최적의 시차 분포를 갖도록 조정하여 시청 피로 정도를 개선하는 방법을 제안하였다. 주관 평가를 위해 최적 시청 거리가 정해져있는 실제 제작된 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이를 이용하였으며, 피험자에게 원본 3차원 영상과 조정된 3차원 영상을 비교 평가하도록 하였다.

제안 방법

그림 2은 랜덤 도트 패턴을 이용한 실험 환경을 보여준다. 12시점의 시차 장벽 방식 오토스테레오 스코픽 3차원 디스플레이^[17]를 이용하여 다양한 시차 분포 조건의 랜덤 도트 패턴을 10명의 피험자에게 보여 피험자의 주관적인 시청 피로도를 측정하였다. 표 1은 시차 분포 조건 및 사용 디스플레이의 사양을 나타낸다.
. 본 실험을 위하여 랜덤 도트 패턴을 다양한 시차 분포 조건 아래 제작하고, 사용자의 초점-수렴 반응간 불일치 정도를 측정하였다. 그림 2은 랜덤 도트 패턴을 이용한 실험 환경을 보여준다.
본 논문에서는 이전 연구에서 밝혀낸 3차원 영상의 시차 분포가 시청 피로도에 미치는 영향을 기반으로 이미 제작된 3차원 영상의 시차를 조정하여 오토스테레오 스코픽 3차원 디스플레이의 시청 피로도를 개선시키기로 한다. 시차 분포가 시청 피로도에 미치는 영향은 다양한 시차 분포 조건 아래 오토스테레오스코픽 3차원 디스플레이 시청시 사용자가 느끼는 주관적인 정도(Mean Opinion Score, MOS)를 측정하여 밝혔으며, 본 논문에서 시차 조정 정도는 이 영향을 기반으로 정의한다.
이 장에서는 2장에서 구한 오토스테레오스코픽 3차원 디스플레이에서의 시차 분포가 시청 피로도에 미치는 특성을 이용하여 실제 3차원 영상의 시청 피로도를 개선하는 방법을 제안한다. 그림 5는 제안하는 방식의 전체적인 흐름도를 나타낸다.
기존 안경식 스테레오스코픽 3차원 디스플레이의 불편함을 해소하기 위해 개발 중인 오토스테레오스코픽 3차원 디스플레이의 관심도가 증대함에도 불구하고, 아직까지 그에 걸맞는 초점-수렴 반응간 불일치 현상에 대한 연구는 미비하다. 이를 해결하기 위해, 이전 연구에서 3차원 영상의 시차 분포가 사용자의 AC 충돌 현상에 미치는 현상을 조사하여 오토스테레오스코픽 3차원 디스플레이의 시청 피로도에 미치는 영향을 조사하였다^[10].
본 논문에서는 이전 연구의 결과물을 토대로 실제 3차원 영상의 시차를 최적의 시차 분포를 갖도록 조정하여 시청 피로 정도를 개선하는 방법을 제안하였다. 주관 평가를 위해 최적 시청 거리가 정해져있는 실제 제작된 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이를 이용하였으며, 피험자에게 원본 3차원 영상과 조정된 3차원 영상을 비교 평가하도록 하였다. 제안하는 시차 조정 방법은 선형적인 수평 영상 이동 방법을 기반으로 하기 때문에, 시차 분포가 작은 영상에서 시차 분포가 큰 영상에 비해 시청 피로 정도 개선 효과가 우수함을 확인할 수 있었다.
그림 6은 본 논문에서 사용한 총 6개의 테스트 영상을 보인다. 피험자들은 6개의 적절하거나 과도한 시차를 가지고 있는 테스트 영상 원본을 보고 그 시청 피로 정도를 측정하고, 그 후 제안 방법으로 시차를 조정하여 수정된 영상을 보고 그 시청 피로 정도를 매우 좋음, 좋음, 보통, 피로함, 매우 피로함으로 5개의 등급을 나뉘어 측정하도록 하였다. 결과의 안정화를 위하여 3번의 반복 실험을 실시하였다.
현재 3차원 영상 제작자들은 현재 존재하는 연구들을 기반으로 상영하고자 하는 3차원 디스플레이에 맞게 촬영 조건 및 장면 구성 등을 구성하여 제작한다. 하지만, 사용자들의 시청 환경이 변화함에 따라 3차원 영상의 시차가 과도하게 변하는 등의 현상으로 인해 그들이 원하는 만큼 사용자에게 편안한 영상을 제공하지 못하고 있다.

대상 데이터

6인치 크기의 HP 노트북에 부착하여 제작하였다. 25세에서 34세로 구성된 10명의 비전문가인 피험자에게 제안 방법에 대한 주관 평가를 실시하였다. 피험자들은 MPEG 3DV^[19]와 3dtv.
에서 제안된 시청 피로도 개선 방법의 효과를 확인한다. 본 실험에서 사용된 디스플레이는 최적 시청거리 약 53.5cm를 갖는 12시점 시차 장벽 방식 패널을 15.6인치 크기의 HP 노트북에 부착하여 제작하였다. 25세에서 34세로 구성된 10명의 비전문가인 피험자에게 제안 방법에 대한 주관 평가를 실시하였다.
25세에서 34세로 구성된 10명의 비전문가인 피험자에게 제안 방법에 대한 주관 평가를 실시하였다. 피험자들은 MPEG 3DV^[19]와 3dtv.at^[20]에서 제공하는 스테레오스코픽 영상을 이용한다. 그림 6은 본 논문에서 사용한 총 6개의 테스트 영상을 보인다.

성능/효과

그림 7(b)는 제안 방법을 이용하여 시차 조정된 3차원 영상의 피로도 개선 효과를 나타낸다. 결과에 따르면, 제안 방법을 통해 대부분의 3차원 영상들은 시청 피로도가 개선됨을 확인 할 수 있다. 특히, 1, 3, 4, 5번 테스트 영상과 같이 작은 시차 분포를 가진 3차원 영상의 경우 시차 조정 한계치 내부로 쉽게 이동시킬 수 있기 때문에 그 효과가 더욱 부각된다.
주관 평가를 위해 최적 시청 거리가 정해져있는 실제 제작된 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이를 이용하였으며, 피험자에게 원본 3차원 영상과 조정된 3차원 영상을 비교 평가하도록 하였다. 제안하는 시차 조정 방법은 선형적인 수평 영상 이동 방법을 기반으로 하기 때문에, 시차 분포가 작은 영상에서 시차 분포가 큰 영상에 비해 시청 피로 정도 개선 효과가 우수함을 확인할 수 있었다. 하지만, 선형적인 조정 방법은 전경 시차와 후경 시차를 각각 세밀하게 조정할 수 없다는 단점이 있다.

후속연구

이를 보완하기 위하여 우리는 현재 비선형적 시차 조정 방법에 대해 연구를 진행중이다. 이에 그치지 않고 오토스테레오스코픽 3차원 디스플레이 시청 피로를 증감 시키는 중요한 요소인 크로스톡 등이 시청 피로도에 미치는 영향을 조사하여 보다 개선된 시청 환경을 만드는 연구가 수행되어져야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	초점- 수렴 반응간 불일치로 인해 어떤 문제점이 발생하는가?	특히, 인간 시각 체계의 초점과 수렴 반응(Accommodation and convergence, AC)간 불일치 현상은 스테레오스코픽 3차원 디스플레이 뿐만 아니라 오토스테레오스코픽 3차원 디스플레이의 시청 피로를 유발하는 가장 큰 문제라고 할 수 있다[6]. 그림 1과 같이, 사용자가 3차원 영상 시청 시 초점이 스크린에 고정되어 있는 동안 수렴 반응은 입체 물체의 위치에 따라 이동하기 때문에 초점- 수렴 반응간 불일치가 발생시켜 사용자에게 심각한 눈의 피로 및 두통을 유발한다.
	3차원 영상의 시청 피로도를 개선하는 방법 중 수평 이동 방법의 특징은 무엇인가?	시점 합성 방법은 중간 영상 합성 기술을 이용하여 3차원 영상의 과도한 시차를 줄여 시청 피로도를 개선시킬 수 있으나, 깊이 영상 추정 알고리즘의 성능과 합성 시 발생하는 결함 정도에 따라 개선 정도의 차이가 크다는 문제점이 있다. 그 반면에 수평 이동 방법은 수평 해상도면에서 손해를 보지만, 단순히 3차원 영상의 각 시점 영상을 서로 반대 방향으로 이동시켜 과도한 시차를 줄일 수 있기 때문에 시청 피로도를 개선하는데 널리 쓰이고 있다.
	본 논문에서 제안한 수평 영상 이동 방식을 이용하여 시차 조정하는 방법은 어떤 과정을 통해 오토스테레오스코픽 3차원 디스플레이의 시차 조정을 할 수 있는가?	본 논문에서는 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이에서 시차 분포가 시청 피로에 미치는 영향을 기반으로 수평 영상 이동 방식을 이용하여 시차 조정하는 방법을 제안한다. 제안하는 방법은 Speeded-Up Robust Feature(SURF)를 이용하여 3차원 영상의 시차 분포를 구하고, 이전 연구를 통해 구한 시차 분포가 시청 피로에 미치는 영향을 토대로 시차 조정 정도를 결정하고 3차원 영상의 시차를 조정한다. 제안 방법의 성능을 평가하기 위하여, 우리는 실제 제작된 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이를 사용하여 최적 시청 거리에서 주관 평가를 실시한다.

참고문헌 (20)

I. Sexton and P. Surman, "Stereoscopic and autostereoscopic display systems," IEEE Signal Processing Magazine, Vol. 16, no. 3, pp. 85-99, May 1999.

상세보기
T. Shibata, J. Kim, D. M. Hoffman, and M. S. Banks, "The zone of comfort: Predicting visual discomfort with stereo displays," Journal of Vision, Vol. 11, no. 8, pp. 1-29, July 2011.
A. Benoit, P. L. Callet, P. Campisi, and R. Cousseau, "Quality assessment of stereoscopic images," EURASIP Journal on Image and Video Processing, Vol. 659024, 2008.
H. Urey, K. V. Chellappan, E. Erden, and P. Surman, "State of the art in stereoscopic and autostereoscopic displays," Proceedings of the IEEE, Vol. 99, no. 4, pp. 540-555, April 2011.

상세보기
A. J. Woods, "Crosstalk in stereoscopic displays: a review," Journal of Electronic Imaging, Vol. 21, no. 4, pp. 040902, 2012.

상세보기
M. Lambooij, M. Fortuin, I. Heynderickx, and W. IJsselsteijn, "Visual discomfort and visual fatigue of stereoscopic displays: a review," Journal of Imaging Science and Technology, Vol. 53, no. 3, pp. 30201-1-30201-14, May 2009.

상세보기
K. Akeley, S. J. Watt, A. R. Girshick, and M. S. Banks, "A stereo display prototype with multiple focal distances," ACM Transactions on Graphics, Vol. 23, no. 3, pp. 804-813, August 2004.

상세보기
D. M. Hoffman, A. R. Girshick, K. Akeley, and M. S. Banks, "Vergence-accommodation conflicts hinder visual performance and cause visual fatigue," Journal of Vision, Vol. 8, no. 3, pp. 1-30, March 2008.
D. Kim, S. Choi, and K. Sohn, "Effect of vergence-accommodation conflict and parallax difference on binocular fusion for random dot stereogram," IEEE Transactions on Circuits and Systems for Video Technology, Vol. 22, no. 5, pp. 811-816, May 2012.

상세보기
D. Kim and K. Sohn, "Guideline for comfortable autostereoscopic 3D watching," Global 3D Forum, Oct. 2014.
J. Konrad, "Enhancement of viewer comfort in stereoscopic viewing: parallax adjustment," IS&T/SPIE Electronic Imaging, Vol. 3639, 1999.
F. Devernay, S. Duchene, and A. Ramos-Peon, "Adapting stereoscopic movies to the viewing conditions using depth-preserving and artifact-free novel view synthesis," IS&T/SPIE Electronic Imaging, Vol. 7863, 2011.
H. Pan, C. Yuan, and S. Daly, "3D video disparity scaling for preference and prevention of discomfort," IS&T/SPIE Electronic Imaging, Vol 7863, 2011.
D. K. Broberg, "Guidance for horizontal image translation (HIT) of high definition stereoscopic video production," IS&T/SPIE Electronic Imaging, Vol. 7863, 2011.
S. He, T. Zhang, and D. Doyen, "Visual discomfort prediction for stereo contents," IS&T/SPIE Electronic Imaging, Vol. 7863, 2011.
D. Kim, S. Choi, and K. Sohn, "Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics," IEEE Transactions on Circuits and System for Video Technology, Vol. 23, no. 3, pp. 482-487, March 2013.

상세보기
S. K. Kim and D. W. Kim, "Apparatus and method for displaying three-dimensional images," US Patent 8,994,791, Mar. 2015.
D. Min, S. Yea, Z. Arican, and A. Vetro, "Disparity search range estimation: enforcing termporal consistency," IEEE Int. Conf. on Acoustics Speech and Signal Processing, pp. 2366-2369, 2010.
H. Schwarz, D. Marpe, and T. Wiegand, "Description of exploration experiments in 3D video coding," ISO/IEC JTC1/SC29/WG11 MPEG2010/N11274, Dresden, Germany, Apr. 2010.
3DTV.at, http://www.3dtv.at

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증