선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 증강현실 환경에서 발생하는 이러한 손 가림 문제를 해결하기 위해 손에 대한 피부 색상 정보가 유용하게 이용되어 왔다. 본 논문에서는 AR 상호작용 환경에 적합한 피부(손 영역의 피부) 색상 정보를 쉽고 효과적으로 획득하는 방안을 제시한다. 손 영역의 피부 색상 정보 생성을 위한 기본 아이디어는 AR 상호작용 환경에서 획득된 손이 존재하는 영상과 그렇지 않은 배경 영상에 대해 YCbCr 색상 공간으로 변환된 두 영상 간의 임계치 기반 차이 영상을 얻어 초기 피부 색상 영역을 획득한다.
- 본 논문에서는 감각형 AR 환경에서 증강된 가상 객체가 사용자의 손을 가리는 손 가림 현상을 해결하기 위해 피부 색상 정보 획득 방안 및 손 가림 해법을 제시하였다. 제시된 방안은 다양한 자세 및 환경(조명)에서 검출이 어려운 피부 색상 영역을 쉽고 효과적으로 획득할 수 있으며, 이를 활용하여 증강현실 환경에서 손 가림이 해결된 영상을 제공할 수 있음을 확인하였다.
- 이러한 손 영역 검출 및 추적 방법들의 장단점을 고려하여 본 논문에서는 YCbCr 칼라 기반 및 차이 영상 기반을 토대로 간단한 사용자 개입을 통해 적용 시점의 환경이 반영된 손 영역 검출 방안을 제시한다.
제안 방법
- AR 환경에서 손 가림 해결을 위해 먼저, 실 세계 이미지로부터 가상 객체의 최소사각형 검출 및 이진화를 거쳐 가상 객체 이미지를 얻는다. 그런 다음, 제안된 손 영역의 피부 색상 정보 획득 방안을 통해 획득한 피부 색상 정보 맵을 이용하여 앞서 얻어진 최소포함 사각형(minimum enclosing rectangle) 영역 내에서 손 영역을 추출한 후, 손 영역 이미지와 이진화된 가상객체 이미지로부터 손 영역이 제외된 가상 객체 이미지를 생성한다. 이를 통해 수정된 가상 객체 이미지를 실 세계 이미지에 오버레이(overlay) 하여 손 가림 현상이 해결된 현실감과 몰입감 있는 영상을 제공할 수 있다.
- NORM은 수작업 방식을 통해 얻은 초기 손 영역 이미지로서, 2절에서 언급된 차이 영상 기반 피부 색상 영역 획득 방안을 통해 얻어지며, MER은 Park 등[4]에서 제시된 최소포함 사각형 맵 기반 방법을 통해 얻어진 손 영역 이미지를 나타내며, CVH는 본 논문에서 제시한 볼록 다각형 맵 기반 방법을 통해 얻어진 손 영역 이미지를 나타낸다. 또한, 손 가림 현상이 가상객체 영역에서만 발생한다는 특성을 고려해서 가상객체 영역에 포함된 손 영역만을 추출하였고, 동일한 평활화 과정을 거쳤다.
- 본 논문에서 제시된 피부 색상 정보 획득 방안을 토대로AR 환경에서 손 가림 현상 해법을 구현하였다. 또한, 제시된 피부 색상 정보 획득 방안에 대한 유용성과 품질을 검증하기 위해 AR 환경에서 휴대용 전자제품의 설계품평에 적용하여 실험을 수행하였다.
- 먼저, 실험을 통해 제시된 피부 색상 정보 획득 방안을 적용한 손 영역 추출 성능을 확인하였다. 실험에서는 Fig.
- 본 논문에서 제시된 피부 색상 정보 획득 방안을 토대로AR 환경에서 손 가림 현상 해법을 구현하였다. 또한, 제시된 피부 색상 정보 획득 방안에 대한 유용성과 품질을 검증하기 위해 AR 환경에서 휴대용 전자제품의 설계품평에 적용하여 실험을 수행하였다.
- 본 논문에서는 Park 등[4]이 제시한 방식에 따라 손 가림 현상이 실 세계(real world) 이미지 위에 증강되는 가상객체 렌더링 영역에서만 발생한다는 점에 착안하여 증강된 가상객체 이미지를 포함하는 최소 포함 사각형 영역만을 피부 색상 검출 영역으로 고려하였으며, 피부 색상과 대비가 잘 되는 감각형 오브젝트를 이용하여 손 가림 현상을 해결하는 방식을 채택하였다. 논문에서 제시하는 손 가림 현상 해결을 위한 전반적인 과정이 Fig.
- 색상은 그 색의 원색을 나타내고, 채도는 색의 순수도를 나타내는 것으로 원색에 어느 정도의 흰색이 혼합되었는지를 나타내며, 명도는 색깔의 밝은 정도를 나타낸다. 본 논문에서는 피부 색상 검출을 위한 상당수의 기존 연구에서 활용되고 있는 비교적 제어가 쉬운 YCbCr 색상 모델을 채택하였으며, 영상 픽셀 간 차이를 토대로 피부 색상을 검출하는 방안을 적용하였다.
- 본 연구에서는 누적 맵으로부터 얻어진 최소포함 사각형 영역을 UI를 통해 제어함으로써 적용시점의 조명 환경 및 잡음을 반영하여 노이즈가 제거된 수정된 사각형 영역을 얻은 후, 이를 볼록다각형으로 섬세하게 표현하여 손에 대한 피부 색상 영역을 정보화하는 방식을 적용하였다.
- 본 논문에서는 사각형 맵 기반 방법과의 비교를 통해 제안하는 방법이 간단한 사용자 개입을 통해 수행성능 및 강건성 측면에서 장점이 있음을 보인다. 비교를 위한 기준으로 수작업 방식을 통해 얻은 손 영역 이미지를 활용하였다. 즉, 한 사례당 3가지 이미지(NORM, MER, CVH)를 추출하여 비교 분석을 실시하였다.
- 이를 해결하기 위해 본 논문에서는 픽셀(pixel) 간의 차이 오차를 어느 정도 허용하여 피부(손) 색상 영역을 유연하게 검출하는 방식을 취한다. 오차 허용 범위는 픽셀 간의 차이에 대한 임계 값으로 지정하고, 사용자가 임계값을 UI를 통해 직접 제어함으로써 정확한 피부 색상 영역을 검출하도록 하였다.
- 이를 해결하기 위해 본 논문에서는 픽셀(pixel) 간의 차이 오차를 어느 정도 허용하여 피부(손) 색상 영역을 유연하게 검출하는 방식을 취한다.
- 제시하는 방안은 YCbCr 색상 공간으로 변환된 손이 존재하는 영상과 그렇지 않은 배경 영상으로부터 차이 영상을 획득하고, 이를 통해 피부(손) 색상 영역을 검출한 후, 노이즈 제거를 위해 검출된 영역을 조절한다. 그런 다음, 볼록 다각형으로 표현하여 피부 색상 영역을 정보화하는 것이다.
- 비교를 위한 기준으로 수작업 방식을 통해 얻은 손 영역 이미지를 활용하였다. 즉, 한 사례당 3가지 이미지(NORM, MER, CVH)를 추출하여 비교 분석을 실시하였다. NORM은 수작업 방식을 통해 얻은 초기 손 영역 이미지로서, 2절에서 언급된 차이 영상 기반 피부 색상 영역 획득 방안을 통해 얻어지며, MER은 Park 등[4]에서 제시된 최소포함 사각형 맵 기반 방법을 통해 얻어진 손 영역 이미지를 나타내며, CVH는 본 논문에서 제시한 볼록 다각형 맵 기반 방법을 통해 얻어진 손 영역 이미지를 나타낸다.
- , 대부분의 연구들에서 제시된 손 영역 검출 및 추적 방법은 칼라 기반, 차이영상 기반, 모델 기반, 그리고 이들을 복합적으로 사용하는 방법 등으로 구분된다. 첫 번째 방법은 칼라 영상을 이용하는 방법[5]으로, HIS, YCbCr, RGB 칼라 색상 모델 등을 이용하여 손의 색상인 살색과 유사한 색을 영상에서 찾아 손 영역을 검출하는 것이다. 그러나 이러한 방법은 보통의 그레이 영상보다 3배 이상의 데이터가 필요하므로 처리량이 많아지게 되며, 환경요소(밝기)에 매우 민감하다.
대상 데이터
- 먼저, 실험을 통해 제시된 피부 색상 정보 획득 방안을 적용한 손 영역 추출 성능을 확인하였다. 실험에서는 Fig. 8에서와 같이 감각형 오브젝트와 함께 손이 포함된 20가지 입력 영상들이 이용되었다. 이러한 입력 영상들은 적용 시점의 환경(조명 및 잡음)이 반영된 입력 영상들로서 Fig.
이론/모형
- 따라서, 이미지 평활화 과정을 통해 손 영역을 개선시킨다. 본 논문에서는 Park 등[4]의 손 영역 평활화 과정을 적용하였으며, 평활화된 이미지는 입력 영상 위에 가상객체를 오버레이할 때 최종적으로 이용된다. Fig.
- 볼록 다각형 근사는 OpenCV[17] 라이브러리를 활용하였다.
- 손 가림 현상 해결을 위한 가상객체 영역 추출과 손 영역 평활화 과정은 Park 등[4]의 손 가림 현상 해결 방안을 응용하였다. AR 환경에서 손 가림 해결을 위해 먼저, 실 세계 이미지로부터 가상 객체의 최소사각형 검출 및 이진화를 거쳐 가상 객체 이미지를 얻는다.
- 아울러, 제시된 피부 색상 정보 획득 방안을 토대로 구현된 손 가림 현상 해법을 AR 기반 휴대용 전자제품 품평 시스템[2,16]에 적용하였다. Fig.
성능/효과
- Fig. 11에서와 같이 손 가림이 해결된 영상이 보다 쉽게 손의 위치를 파악할 수 있으며, 본 논문에서 제안하는 방식이 최소포함 사각형을 이용하는 방식보다 손 영역을 잘 추출하여 보다 사실적인 이미지를 사용자에게 제공해줌을 확인할 수 있다.
- 그러나, 제시된 방안에서는 피부 색상 영역을 획득하기 위해 사용자 개입이 필요하며, 종종 환경(조명)에 따라서 손과 그림자 사이의 경계가 부정확하게 검출되는 경우가 발생됨을 확인하였다. 추후 연구에서는 이러한 단점을 해결할 수 있는 주변 환경에 적절하게 대응하면서 사용자 개입이 없는 자동화된 방안을 개발하고자 한다.
- 제시된 방안은 다양한 자세 및 환경(조명)에서 검출이 어려운 피부 색상 영역을 쉽고 효과적으로 획득할 수 있으며, 이를 활용하여 증강현실 환경에서 손 가림이 해결된 영상을 제공할 수 있음을 확인하였다. 그리고, 제시된 방안이 상호작용의 용이성 및 몰입감 향상에 도움이 됨을 실험을 통해 확인하였다. 또한, 제시된 피부 색상 정보 획득 방식은 손 색상만이 아닌 다양한 관심 색상 영역을 획득하여 사용할 수 있어 폭 넓은 사용이 가능하리라 판단된다.
- 실험 결과를 통해 제안된 방식(CVH)이 최소포함 사각형으로 표현된 맵을 이용한 방식(MMB)에 비해 손 영역 검출 성능이 우수함을 확인하였다. 또한, 최소포함 사각형을 활용한 경우, 다양한 자세 변화로 인한 조명변화에 매우 민감한 반면, 제안된 방식은 환경변화에 훨씬 덜 민감하여 안정적인 검출 성능을 보여줌을 확인하였다.
- 본 논문에서는 볼록 다각형 맵(map)을 이용하여 손 영역의 피부 색상 정보를 표현하고, 이를 이용한 손 가림 현상 해법을 구현하여 휴대용 전자제품의 AR 상호작용에 적용함으로써 제시된 방안이 손 영역을 적절하게 검출함을 보이고, 이를 통해 상호작용의 용이성 및 몰입감을 향상시키는 역할을 할 수 있음을 보인다.
- 본 논문에서는 사각형 맵 기반 방법과의 비교를 통해 제안하는 방법이 간단한 사용자 개입을 통해 수행성능 및 강건성 측면에서 장점이 있음을 보인다. 비교를 위한 기준으로 수작업 방식을 통해 얻은 손 영역 이미지를 활용하였다.
- MER/NORM은 수작업 방식을 통해 얻은 손 영역(NORM)과 최소포함 사각형으로 표현된 맵을 이용하여 얻은 손 영역(MER) 간에 겹치는 비율을 나타내며, CVH/NORM은 수작업 방식을 통해 얻은 손 영역(NORM)과 볼록 다각형으로 표현된 맵을 이용하여 얻은 손 영역(CVH) 간의 겹치는 비율을 나타낸다. 실험 결과를 통해 제안된 방식(CVH)이 최소포함 사각형으로 표현된 맵을 이용한 방식(MMB)에 비해 손 영역 검출 성능이 우수함을 확인하였다. 또한, 최소포함 사각형을 활용한 경우, 다양한 자세 변화로 인한 조명변화에 매우 민감한 반면, 제안된 방식은 환경변화에 훨씬 덜 민감하여 안정적인 검출 성능을 보여줌을 확인하였다.
- 본 논문에서는 감각형 AR 환경에서 증강된 가상 객체가 사용자의 손을 가리는 손 가림 현상을 해결하기 위해 피부 색상 정보 획득 방안 및 손 가림 해법을 제시하였다. 제시된 방안은 다양한 자세 및 환경(조명)에서 검출이 어려운 피부 색상 영역을 쉽고 효과적으로 획득할 수 있으며, 이를 활용하여 증강현실 환경에서 손 가림이 해결된 영상을 제공할 수 있음을 확인하였다. 그리고, 제시된 방안이 상호작용의 용이성 및 몰입감 향상에 도움이 됨을 실험을 통해 확인하였다.
후속연구
- 그리고, 제시된 방안이 상호작용의 용이성 및 몰입감 향상에 도움이 됨을 실험을 통해 확인하였다. 또한, 제시된 피부 색상 정보 획득 방식은 손 색상만이 아닌 다양한 관심 색상 영역을 획득하여 사용할 수 있어 폭 넓은 사용이 가능하리라 판단된다.
- 추후 연구에서는 이러한 단점을 해결할 수 있는 주변 환경에 적절하게 대응하면서 사용자 개입이 없는 자동화된 방안을 개발하고자 한다. 이를 통해 제시된 방안이 좀더 다양한 제품 및 폭넓은 응용 분야에 적용될 수 있으리라 사료된다.
- 그러나, 제시된 방안에서는 피부 색상 영역을 획득하기 위해 사용자 개입이 필요하며, 종종 환경(조명)에 따라서 손과 그림자 사이의 경계가 부정확하게 검출되는 경우가 발생됨을 확인하였다. 추후 연구에서는 이러한 단점을 해결할 수 있는 주변 환경에 적절하게 대응하면서 사용자 개입이 없는 자동화된 방안을 개발하고자 한다. 이를 통해 제시된 방안이 좀더 다양한 제품 및 폭넓은 응용 분야에 적용될 수 있으리라 사료된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.