선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 대부분의 연구들은 양안시차를 수작업으로 조절하는 기능만 제공하며 인지기능과 연동해서 실시간으로 자동 조절하지 않는다. 본 논문에서는 시각적 부작용의 해결방법으로 사람의 눈동자 움직임을 실시간으로 추적하여 사용자에 적합한 입체영상을 실시간을 생성하는 자동 피사계 심도 조절기법을 제안한다. 기존의 유사한 연구로는 eye-tracking을 대신해 마우스와 같은 기기를 이용하여 사용자가 바라보는 위치로 포인터를 이동시켜 피사계 심도를 적용하는 시스템이 있다[41 하지만이 것은 사용자가 화면의 어느 위치를 보고 있는지만 알 수 있을 뿐 생성된 장면에서 어느 깊이의 초점평면을 바라보고 있는지 계산하지 못한다.
- 기존의 유사한 연구로는 eye-tracking을 대신해 마우스와 같은 기기를 이용하여 사용자가 바라보는 위치로 포인터를 이동시켜 피사계 심도를 적용하는 시스템이 있다[41 하지만이 것은 사용자가 화면의 어느 위치를 보고 있는지만 알 수 있을 뿐 생성된 장면에서 어느 깊이의 초점평면을 바라보고 있는지 계산하지 못한다. 본 논문에서는 이런 문제점을 해결하고자 두 눈동자의 움직임을 동시 에 주적하여 양안시차를 계산하는 eye- tracking 시스템을 제작하였다. 피사계 심도는 양쪽 눈에 대해서 만들어진 각각의 단안영상을 착란원(circle of confusion)에 따라 적절히 몽롱화시킨 영상(blurred image)으로 대체하여 표현할 수 있기 때문에 실제 사람이 눈으로 보는 것과 같은 효과를 만들어 낼 수 있다.
- 또한 그림 11의 (b)와 유사한 화질을 보이며, 그림 11의 (a)보다 부드러운 영상이 나타나는 것을 확인할 수 있다. 본 논문에서는 입체영상 시청시의 부작용 저감과 몰입감 정도를 측정하기 위해 12명의 사용자그룹으로부터 일반 입체영상과 논문에서 제안한 시스템을 각각 체험하게 한 다음 설문조사를 통해 평가하였다. 평가방법은 주관적 평가방법인 ITU-R 권고안 BT.
- 본 논문에서는 입체영상을 피사계 심도와 eyetracking 시스템과 연동하여 사용자에게 입체영상시청 시 느끼는 부작용을 저감하는 기법을 제안하였다. 두 눈의 눈동자 움직임을 동시에 추적하여 양안시차를 계산하는 eye-tracking 시스템을 제작하여 해결하였고, 이를 피사계 심도와 연동하여 사용자 중심의 피사계 심도 조절이 가능한 실시간 렌더링 모듈을 개발하였다.
제안 방법
- 여기서 사용한 2차원 시선측정은 한쪽 눈을 사용하여 측정하는 대신 두 눈이 동공사이의 거리가 심도를 나타내기 때문에 두 눈을 모두 이용하여 심도측정을 하였다. Kwone 시선의 방향을 추적하기 위해 모니터 양쪽에 적외선 LED를 설치하고 적외선 카메라로 촬영하였다. 그리고 동공 반사점과 동공의 중심을 사용하여 시선의 방향과 깊이를 계산하였다.
- 받아 초점평면을 계산하고 피사계 심도를 조절한다. 거리에 따른 초점평면의 변환은 렌더링 엔진에서 자연스러운 영상 생성을 위해 점진적으로 변환하도록 설정하였다.
- 500T1 중 DSCQS (double stimulus continuous quality scale)에 근거하여 실시하였다[22]. 관찰자는 일반 입체영상과 본 논문에서 제안하는 영상을 무작위로 번갈아가며 연속으로 시청한 후, DSCQS의 화질 평가 방법에 따라 최우수(excellent) 에서 불량(bad)까지의 화질 평가 요청을 받는다. 관찰자는 순서대로 각 영상에 대한 평가를 독립적으로 평가표에 기입하고, 매 실험 과정은 5회 반복하였으며, 평균값을 계산하여 평가하였다.
- 표본점을 많이 선택할 경우 화질이 개선될 수는 있지만, 3Q加s로 동작하는 eye-tracking 시스템과의 연동이 불가능하게 된다. 그래서 본 논문에서는 적절한 화질을 유지할 수 있고, 대화식 속도를 보장하도록 수식에 의해 주변 반경 r+5 화소에 안에 있는 착란원들에 대해서만 표본화를 수행하였다. 즉, 지름 r로부터 증가분인 상수값은 표본화를 위한 범위가 되고 그에 해당하는 반지름에 대해 각각 24개점을 표본화하는 반복 횟수가 된다.
- 시선의 심도를 눈으로부터 물체가 떨어진 거리를 측정하며, 변화하는 동공 사이의 거리를 측정한 결과 약 10cm의 거리는 카메라로 눈의 심도에 따른 거리를 분리할 수 있는 분해능의 한계에 가까운 거리였다. 그래서 이번 실험에서는 입체영상의 가장 멀리 있는 부분, 중간 부부 그리고 가장 가까운 부분의 3단계로 거리를 구별하였다. 렌더링 모듈에서는 해당 값들을.
- Kwone 시선의 방향을 추적하기 위해 모니터 양쪽에 적외선 LED를 설치하고 적외선 카메라로 촬영하였다. 그리고 동공 반사점과 동공의 중심을 사용하여 시선의 방향과 깊이를 계산하였다. 하지만 사용자의 머리가 움직일 경우, 기준이 되는 거리나 방향 등이 계속 변하기 때문에 적외선 조명을 사용하여 시선의 방향이나 깊이를 추적하는 방법은 머리의 움직임에 매우 취약하다.
- 본 논문에서는 이를 해결하기 위해 사람의 머리가 항상 비슷한 곳에 위치할 수 있도록 교정 (calibration)과정을 두었다. 그리고 정확도를 높이기 위해 두 대의 카메라를 사용하여 양쪽 눈의 초점을 측정하였다. 이것은 한 대의 카메라를 사용할 경우 두 눈을 동시에 촬영해야 하기 때문에 카메라의 위치가 멀어지게 되어 동공이 움직이는 변화의 범위가 작아지는 문제점을 보완할 수 있고 보다 정확한 깊이 계산이 가능하도록 한다.
- 이러한 각막 반사점의 위치를 통해 눈의 위치를 찾을 수 있다. 눈의 위치를 찾은 후 이 중 임계치 방법으로 동공과 각막을 구분하고, labeling 방법을 통해 동공을 구역화한다. 보다 정확하게 동공의 위치를 추출하기 위해 평균 이동 방법을 통해 탐색 윈도우를 이동시키며 동공의 중심을 찾는다.
- 가까운 거리를 볼 때에는 두 눈동자 사이의 거리가 가까워지고, 먼 거리를 볼 때에는 두 눈동자 사이의 거리가 멀어지기 때문에 두 눈동자 사이의 거리를 통해 초점거리를 계산할 수 있다. 동공 사이의 거리와 실제 심도는 실험을 통해 측정하였다. 동공 영역과 동공의 중심을 추출하는 과정은 그림 3과 같다.
- 두 눈의 눈동자 움직임을 동시에 추적하여 양안시차를 계산하는 eye-tracking 시스템을 제작하여 해결하였고, 이를 피사계 심도와 연동하여 사용자 중심의 피사계 심도 조절이 가능한 실시간 렌더링 모듈을 개발하였다. 렌더링 모듈은 사용자와의 실시간 연동을 고려하여 대부분의 연산을 GPU에서 수행하도록 하였다.
- 이것은 카메라 주변에 outer ring과 inner ring의 두 개의 원으로 이루어진 적외선 조명을 설치하여 밝은 동공 반사 점과 어두운 동공 반사점을 구하고 이 두 반사 점들의 위치를 계산한 후, 서로의 위치에 따라 시선의 방향을 결정하는 방식이다. 또한, 추가적으로 신경망과 칼만 필터 (kalman filter)를 사용하여 보다 향상된 시선의 방향 추적하였다[6]. Kim 등은 longest line scanning 방법을 통해 홍채의 중심을 찾고, occluded circular edge matching 방법을 통해 홍채외곽의 원래 위치와 모양을 추정하였다[7].
- 착란원과 관련한 피사계 심도의 매핑영역은 Potmesil에 의해서 정의되었다[9]. 본 논문에서 사용한 렌즈 모델 역시 다음과 같은 수식을 이용하여 영상 평면에 미치는 착란원의 크기를 계산하였다. 여기서 사용된 상수 a는 다음 수식에 의해 계산된다 [9].
- 본 논문에서 제안하는 입체영상 가시화를 위한 자동 피사계 심도 조절기법은 대화식 속도를 보장하기 위해 단안영상 생성 속도를 최대한 향상시키는 기법을 사용하였다. 즉, 모델의 렌더링과 조명연산 및 피사계 심도 계산을 모두 GPU에서 수행하도록 설계하였다.
- 이를 해결하기 위해 본 논문에서는 영향을 주는 착란원들을 선별하기 위해 표본화 점을 기준으로 일정 거리「만큼 떨어진 곳에서 거리값에 비례하도록 60도, 30도 그리고 15도 나누어 표본점 위치를 계산하였다(그림 6). 본 논문에서는 거리에 따른 표본화 비율을 맞추기 위해 거리 r만큼 떨어진 곳에서 6개(60도 간격)의 표본점들을 선택하여 그 값을 누적하고, r+1 화소만큼 떨어진 곳에서는 12개(30도 간격)를, r+2 거리에서는 24개(15 도 간격)를 표본화 하도록 하였다. 이후, 반지름이 r+2보다 클 경우엔 표본화 개수를 24개로 고정하였다.
- 본 논문에서는 위와 같이 생성된 입체영상을 side-by-side 형식으로 출력한다. 이것은 엔진에 의해서 생성된 왼쪽과 오른쪽 영상을 수평으로 한 장으로 붙여서 LCD 스테레오 모니터로 보내면, 모니터는 각 영상을 수평 편광과 수직 편광으로 나누어 한 화면에 동시에 출력하는 방식이다.
- 매우 취약하다. 본 논문에서는 이를 해결하기 위해 사람의 머리가 항상 비슷한 곳에 위치할 수 있도록 교정 (calibration)과정을 두었다. 그리고 정확도를 높이기 위해 두 대의 카메라를 사용하여 양쪽 눈의 초점을 측정하였다.
- 렌더링 모듈은 사용자와의 실시간 연동을 고려하여 대부분의 연산을 GPU에서 수행하도록 하였다. 속도 향상을 위해 대화식 속도를 보장하는 한계까지 픽셀 셰이더에서 주변 착란원을 계산하는 루틴을 반복하도록 하였다. 이를 통해 우리는 입체영상 시청시에 발생하는 부작용을 저감할 수 있었고, 또한 해당 시스템을 사용하지 않은 입체영상을 시청할 때 보다 나은 몰입감을 느꼈다는 사실을 시스템을 체험한 사용자그룹으로부터 확인하였다.
- Kwon 등은 3차원 시선 방향과 심도를 측정하고 이를 응용하는 방법을 제안하였다 [8].여기서 사용한 2차원 시선측정은 한쪽 눈을 사용하여 측정하는 대신 두 눈이 동공사이의 거리가 심도를 나타내기 때문에 두 눈을 모두 이용하여 심도측정을 하였다. Kwone 시선의 방향을 추적하기 위해 모니터 양쪽에 적외선 LED를 설치하고 적외선 카메라로 촬영하였다.
- Kim 등은 longest line scanning 방법을 통해 홍채의 중심을 찾고, occluded circular edge matching 방법을 통해 홍채외곽의 원래 위치와 모양을 추정하였다[7]. 여기서는 두 눈 사이에 마커를 두어 머리의 위치 변화에 민감하지 않게 하였고, 마커를 통해 두 눈 사이의 중심을 측정한 후 시선의 방향은 동공 반사점과 눈의 기하학적인 형태를 통해 계산하였다. Kwon 등은 3차원 시선 방향과 심도를 측정하고 이를 응용하는 방법을 제안하였다 [8].
- Potmesil과 Chakravarty는 피사계 심도 구현 방법으로 광학적 렌즈 모델을 제안하였다[9]. 이 방법은 렌즈 모델을 모사하기 위해 핀홀(pinhole) 카메라로 찍는 일반적인 그래픽스 영상을 초점의 깊이에 따라각 화소의 뭉개짐 정도를 결정하고, 이들을 병합하여 렌더링하였다. 피사계 심도를 나타내기 위해서는 초점 평면보다 멀거나 가까운 지점들이 원모양으로 투영되도록 표현해야 하는데, 이것을 착란원이라고 부른다.
- 반대로 주변의 착란원을 고려하지 않을 경우, 화질이 떨어지고 결과영상에 심각한 color-bleeding이 발생한다. 이를 해결하기 위해 본 논문에서는 영향을 주는 착란원들을 선별하기 위해 표본화 점을 기준으로 일정 거리「만큼 떨어진 곳에서 거리값에 비례하도록 60도, 30도 그리고 15도 나누어 표본점 위치를 계산하였다(그림 6). 본 논문에서는 거리에 따른 표본화 비율을 맞추기 위해 거리 r만큼 떨어진 곳에서 6개(60도 간격)의 표본점들을 선택하여 그 값을 누적하고, r+1 화소만큼 떨어진 곳에서는 12개(30도 간격)를, r+2 거리에서는 24개(15 도 간격)를 표본화 하도록 하였다.
- 사용하였다. 즉, 모델의 렌더링과 조명연산 및 피사계 심도 계산을 모두 GPU에서 수행하도록 설계하였다. 또한, 피사계 심도 구현에 따른 렌더링 속도 저하를 피하기 위해 초당 30프레 임 (3Q拒s)의 속도를 유지할 수 있을 정도의 픽셀 셰이더에서의 명령어 수를 제한하였다.
- 그림 2는 추출한 동공의 영역과 동공 중심을 보여준다. 추출된 동공의 중심점을 이용하여 두 눈동자사이의 거리를 계산한다. 가까운 거리를 볼 때에는 두 눈동자 사이의 거리가 가까워지고, 먼 거리를 볼 때에는 두 눈동자 사이의 거리가 멀어지기 때문에 두 눈동자 사이의 거리를 통해 초점거리를 계산할 수 있다.
- 이후, 반지름이 r+2보다 클 경우엔 표본화 개수를 24개로 고정하였다. 한 번의 표본화에 대해서 주변에 영향을 주는 착란원을 찾아 누적하는 반복횟수는 厂+5까지 반복하도록 구현하였다. 厂+8은 픽셀 셰이더 3.
대상 데이터
- 두 눈의 동공 위치를 동시에 추적하기 위해 적외선 카메라와 적외선 LED 조명을 두 세트 사용하였다. 적외선 LED 조명을 사람의 눈에 비추면 각막에 적외선 조명이 반사된다.
- 본 논문에서는 GPU기반의 피사계 심도를 구현하기 위해 nVIDIA GeForce7600GS™ 그래픽카드를 장착한 3.0GHz 인텔 펜티엄N PC에서 실험하였다. 뷰포트의 크기는 입체영상을 기준으로 13&W768의 해상도를 갖는다.
- 않는다. 본 논문에서는 그림 1과 같은 적외선 LED 조명과 적외선 카메라를 사용하였다. 조명은 동공 반사점을 잘 검출할 수 있도록 카메라와 평행하게 배치하였다.
- 뷰포트의 크기는 입체영상을 기준으로 13&W768의 해상도를 갖는다. 사용된 기하 데이터는 Utah teapot 과 Stanford dragon 모델이다. 그림 9는 본 논문에서 제안하는 통합 시스템의 실험환경이다.
데이터처리
- 관찰자는 일반 입체영상과 본 논문에서 제안하는 영상을 무작위로 번갈아가며 연속으로 시청한 후, DSCQS의 화질 평가 방법에 따라 최우수(excellent) 에서 불량(bad)까지의 화질 평가 요청을 받는다. 관찰자는 순서대로 각 영상에 대한 평가를 독립적으로 평가표에 기입하고, 매 실험 과정은 5회 반복하였으며, 평균값을 계산하여 평가하였다. 그림 12는 DSCQS에 의한 입체영상의 몰입감을 평가한 주관적 화질 평가이다.
이론/모형
- 반면, on-axis기법은 평행한 축으로 카메라의 시선방향을 계산하기 때문에 한 번의 평행이동 연산으로 카메라의 위치를 쉽게 계산할 수 있고, 카메라 위치 및 방향에 따라 입체영상의 효과가 달라지지 않는다. 그러므로 본 논문에서는 수행속도를 고려하여 연산이 비교적 단순한 on-axis 기법을 사용하였다.
- 본 논문에서는 입체영상 시청시의 부작용 저감과 몰입감 정도를 측정하기 위해 12명의 사용자그룹으로부터 일반 입체영상과 논문에서 제안한 시스템을 각각 체험하게 한 다음 설문조사를 통해 평가하였다. 평가방법은 주관적 평가방법인 ITU-R 권고안 BT.500T1 중 DSCQS (double stimulus continuous quality scale)에 근거하여 실시하였다[22]. 관찰자는 일반 입체영상과 본 논문에서 제안하는 영상을 무작위로 번갈아가며 연속으로 시청한 후, DSCQS의 화질 평가 방법에 따라 최우수(excellent) 에서 불량(bad)까지의 화질 평가 요청을 받는다.
성능/효과
- 위의 두 가지 실험을 통해 대부분의 실험자들은 입체영상 시청 시 eye-tracking을 사용했을 때보다 사용하지 않았을 때 더 많은 어지러움을 느끼는 것을 알 수 있다. 또한, 일반 입체영상 보다 본 논문에서 제안한 방법이 더 큰 몰입감을 느낄 수 있다는 것을 실험 결과를 통해 알 수 있다.
- 피사계 심도는 양쪽 눈에 대해서 만들어진 각각의 단안영상을 착란원(circle of confusion)에 따라 적절히 몽롱화시킨 영상(blurred image)으로 대체하여 표현할 수 있기 때문에 실제 사람이 눈으로 보는 것과 같은 효과를 만들어 낼 수 있다. 본 논문에서 제안하는 기법은 위의 두 가지 방법을 통합하여 입체영상의 현실감을 높이고, 입체영상시청 시에 발생하는 부작용을 줄일 수 있다.
- 속도 향상을 위해 대화식 속도를 보장하는 한계까지 픽셀 셰이더에서 주변 착란원을 계산하는 루틴을 반복하도록 하였다. 이를 통해 우리는 입체영상 시청시에 발생하는 부작용을 저감할 수 있었고, 또한 해당 시스템을 사용하지 않은 입체영상을 시청할 때 보다 나은 몰입감을 느꼈다는 사실을 시스템을 체험한 사용자그룹으로부터 확인하였다.
후속연구
- 사용한 적외선 카메라의 해상도가 낮아서 세 단계의 초점거리로 실험하였지만, 향후 1024x768 정도의 고해상도의 카메라를 사용한다면 동공의 움직임을 두 배 정도 정밀한 수치적 분석이 가능해 질 것이고, 최종적으로 2048x1024의 카메라를 사용할 경우 현재의 3배 이상의 분해능을 가지기 때문에 더 세밀한 단계의 초점거리를 선별하는 것이 가능할 것이다. 이것은 현재 동공의 움직임에 따른 계산을 4화소 정도로 측정할 수 있었던 것에 비해 12화소로 측정 및 계산 가능하기 때문에 6단계 이상의 피사계 심도를 정확하게 계산할 수 있을 것이다.
- 이것은 현재 동공의 움직임에 따른 계산을 4화소 정도로 측정할 수 있었던 것에 비해 12화소로 측정 및 계산 가능하기 때문에 6단계 이상의 피사계 심도를 정확하게 계산할 수 있을 것이다. 이것은 동공의 움직임에 따라 보다 정밀하고 부드러운 피사계 심도를 표현할 수 있으며, 더욱 향상된 부작용 저감 및 사용자 중심의 몰입감있는 입체영상 생성을 가능하게 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.