선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 또한 일상적인 환경의 배경 모델은 매우 정적이라는 점에서 특별한 배경 모델을 가정한 [5-기의 연구와도 차이가 있으며 이들이 RI$A에서 요구하는 그림자 노이즈를 제거하는데 문제점 이 있으므로 본 연구에서는 네가지의 노이즈 제거 알고리즘을 사용하였다. 기존의 몸동작 탐지 연구는 몸의 모든 영역을 탐지하며 분리 과정의 포함이라는 문제가 있기 때문에 본 연구에서는 앞에서 기술한 바와 같이 새로운 탐지 알고리즘을 제안하였다.
- 본 논문에서는 간단하지만 인터넷 상에서 몸동작기반 상호작용의 도구로 매우 유용하게 사용할 수 있는 실시간 반응형 그림자 아바타인 RISA (Real-time Interactive Shadow AvatarX 제안한다. RISA는 기존의 아바타들과는 다음과 같은 면에서 차이가 있다.
- 많은 아바타들이 소개되었지만 아직 사용자의 움직임에 따라 감정 표현이 애니메이션으로 나타나는 아바타에 대한 연구는 없었다. 본 논문에서는 일상적인 PC 환경에서 사용자의 손동작에 따라 표정이 실시간으로 변하는 실시간 반응형 그림자 아바타인 RISA를 제안하였다.
제안 방법
- RISA 구현의 두 번째 단계를 위해서 머리와 손의 위치를 추적하고 손동작의 유형을 판별하기 위한 휴리스틱 알고리즘을 고안하여 적용한다. 이 알고리즘에서는 머리와 손 등 동작을 이루는 요소들이 볼록 형태라는 점에 착안하여 몸을 이루는 각 픽셀들에 대해 인접 픽셀들을 검사하여 머리와 손의 중심 위치를.
- RISA의 사용 환경은 일상적인 PC 사용 환경을 전제로 하므로 본 연구에서는 기존 방법의 제 약점을 해결하기 위해 그림 1의(3와 같이 3D 오브젝트 영상을 직접 카메라에 담아 영상을 이진화 시켜 오브젝트를 2D 그림자로 추출하였다. 이 같은 기법은 작은 공간에서도 가능하며 특별한 조명 없이 형광등이나 백열등을 사용하여 가능하지만 산란광이나 반사광에 의한 노이즈가 발생할 수 있다.
- 감정 표현을 나타내는 애니메이션을 구현하기 위해 이미지 저작도구를 사용하여 각 애니메이션 당 다섯 개의 연속되는 이미지를 작성하였다. 즉 각 애니메이션은 다섯 개의 프레임들로 구성되어있다.
- 구현된 RISA 시스템의 유용성과 탐지 알고리즘의 정확도를 알아보기 위해 몇 가지 다른 조건 하에서 실험을 수행하였다. 실험 대상은 남 1명, 여 1명이며 모두 단발머리 형태이다.
- 이의 문제점은 추적 컴퓨팅 시간이 너무 많이 걸려본 연구의 환경인 일상적인 PCt- 사용하는 실시간 환경에는 부적합하다는 것이다. 그러므로 본 연구에서는 일상적인 환경에 적합하도록 새로운 경험적 부 특징 기반 추적 알고리즘을 작성하였다. 제안 알고리즘은 컴퓨팅 시간을 빠르게 하기 위하여 머리와 팔에 대한 분리 과정을 수행하지 않고 사용자 몸의 볼록 영역을 탐색하는 볼록 영역 검출 아이디어를 사용하였다.
- RISA의 사용은 사무실이나 가정의 방과 같은 곳에서 웹캠을 사용하는 일상적인 환경에서 이루어지므로 [3, 4]에서와 같이 물리적인 장치를 이용하지 않는다. 또한 일상적인 환경의 배경 모델은 매우 정적이라는 점에서 특별한 배경 모델을 가정한 [5-기의 연구와도 차이가 있으며 이들이 RI$A에서 요구하는 그림자 노이즈를 제거하는데 문제점 이 있으므로 본 연구에서는 네가지의 노이즈 제거 알고리즘을 사용하였다. 기존의 몸동작 탐지 연구는 몸의 모든 영역을 탐지하며 분리 과정의 포함이라는 문제가 있기 때문에 본 연구에서는 앞에서 기술한 바와 같이 새로운 탐지 알고리즘을 제안하였다.
- , [2] 이 중 특징 기반 추적은 객체 전체를 추적하는 대신 두드러진 점이나 선 등의 부특징(sub-feature) 들을 사용한다는 점에서 다른 기법들과 구분된다[9]. 본 연구에서는 수정된 특징 기반 추적 기법을 사용한다. -
- 이기 법에서는 동작이 일어난 정확한 영역을 추출하기 위해 현재 이미지와 배경 이미지의 차이를 픽셀 단위로 구한다. 이 과정에서 빛의 산란과 실제 그림자로 인해 노이즈가 발생할 수 있는데 이들을 해결하기 위해 본 논문에서는 네가지의 새로운 이미지 처리 기법을 적용하였다.
- 알고리즘을 고안하여 적용한다. 이 알고리즘에서는 머리와 손 등 동작을 이루는 요소들이 볼록 형태라는 점에 착안하여 몸을 이루는 각 픽셀들에 대해 인접 픽셀들을 검사하여 머리와 손의 중심 위치를. 추적하는 방식을 택한다.
- 이 과정의 목적은 가상 그림자 내부의 구멍을 메우는 것이다. 이미지의 각 행마다 인접한 검정 픽셀들 이후에 나타나는 흰색 픽셀들에 대하여 색상을 검게 변환하는 스위핑을 수행한다. 이러한 스위핑은 수행 시간이 매우 작다는 장점이 있으나 잘못된 스위핑은 그림자 외부에 노이즈가 많은 검은 선들을 만들 수 있다.
- 둘째 RISA의 얼굴 표정은 사용자의 손동작에 따라 실시간으로 변화한다. 이의구현을 위해 사용자의 동작에 따라, 실시간 애니메이션 기법에 의해 미리 만들어진 표정 이미지들을 그림자와 결합하였다. 셋째 사용자의 움직임에 따라 생성된 RISA 정보들은 네트워크를 통해 커뮤니케이션하는 상대자에게 키보드나 마우스 같은 입력장치 없이 자연스럽게 보내진다는 것이다.
- 사용하였다. 인간의 여러 감정을 표현하기 위해 감정별로 애니메이션을 구현하였으며 이를 사용자의 손동작에 맞게 실시간으로 사용자 얼굴 부분에적용시켰다.
- 그러므로 본 연구에서는 일상적인 환경에 적합하도록 새로운 경험적 부 특징 기반 추적 알고리즘을 작성하였다. 제안 알고리즘은 컴퓨팅 시간을 빠르게 하기 위하여 머리와 팔에 대한 분리 과정을 수행하지 않고 사용자 몸의 볼록 영역을 탐색하는 볼록 영역 검출 아이디어를 사용하였다.
- 제안 알고리즘의 기본 아이디어는 프레임을 구성하는 각 픽셀에 대해 해당 픽셀을 가까운 거리에서 둘러싸고 있는 몇 개의 픽셀들만을 분석함으로써 머리와 손의 중심 위치를 찾는 것이다. 동작 인식을 위해서는 손을 들거나 팔을 오른쪽 또는 왼쪽으로 뻗는 것과 같이 미리 정의된 몇 가지 동작들만을 인식하고자 하므로, 머리나 손과 같이 탐지하고자 하는 영역들은 볼록(convex) 형태라고 가정할 수 있다.
- 추적하는 방식을 택한다. 즉 사람의 몸을 큰 덩어리로 보고 돌출 부분(볼록 부분)을 머리와 팔로 구분하여 추적한다. 이로 인해 사람의 몸을 머리, 몸통, 팔, 다리 등으로 분리한 후 각 부분을 추적하는 기존의 알고리즘들에 비해 분리 과정을 없앰으로써 빠른 속도로 위치를 추적할 수 있으며, 또한 위치의 추적과 동시에 손의 방향이 탐지됨으로써 동작 탐지를 위한 별도의 알고리즘을 요구하지 않는다.
대상 데이터
- 실험 대상은 남 1명, 여 1명이며 모두 단발머리 형태이다. 웹캠은 일반적으로 많이 사용되는 저가격의 640X480의 해상도 캠을 사용하였으며 서로 다른 조명 조건을 갖는 가정방과 사무실 방에서 실험을 수행하였다.
이론/모형
- 가상 그림자를 얻기 위해 배경 차분화 기법과 몇 가지 노이즈 제거 기법들을 사용하였으며 머리와 손동작의 탐지를 위해 새롭게 고안된 휴리스틱 알고리즘들을 사용하였다. 인간의 여러 감정을 표현하기 위해 감정별로 애니메이션을 구현하였으며 이를 사용자의 손동작에 맞게 실시간으로 사용자 얼굴 부분에적용시켰다.
- 가상그림자를 얻는 첫 번째 단계와 사용자의 얼굴 위치와 손동작을 추적 판별하여 적당한 표정 애니메이션를가상 그림자에 결합하는 두 번째 단계이다. 가상 그림자를 얻는 첫 번째 단계를 위해서는 정적 배경에서 동작 분할 기법으로 많이 사용하는 배경 차분화 기법 (background subtraction method)을 사용하였다. 이기 법에서는 동작이 일어난 정확한 영역을 추출하기 위해 현재 이미지와 배경 이미지의 차이를 픽셀 단위로 구한다.
- 요구한다. 그러므로 기존의 배경 차분화 기법을 기반으로 차 영상을 구한 후 보다 개선된 가상 그림자를 얻기 위해 몇 가지 노이즈 축소 기법을 적용한다.
- 사용자의 그림자 모양 추출을 위해 배경 차분화 (background subtraction) 기법을 사용한다. °] 기법의 기본적인 아이디어는 사용자가 포함된 이미지와 사용자가 배제된 초기 배경 이미지의 차이를 구하는 것이다.
- 이 기법은 사용자의 몸에 해당하는 픽셀들은 몸의 중심부에 집중되어 있다는 것, 즉 몸은 연결되어 있다는 특성을 이용한다. 이를 위해, 동일 색상의 인접 픽셀들로 구성된 영역들을 식별하고 식별된 각 영역의 크기를 계산하는 알고리즘을 사용한다[12]. 식별된 영역 중 가장 큰 영역은 그림자 영역이므로 이외의 모든 영역을 배경색인 횐색으로 변환한다.
- 잘못된 점들로 나타나는 가우시안 노이즈를 제거하기 위해 마스크를 이용하는 회선 기법을 사용한다. 각각의 픽셀은 픽셀을 둘러싸고 있는 마스크에 포함된 전체 픽셀들의 평균값으로 대체된다.
- 즉 사용자가 포함된 이미지와 대표 배경 이미지의 차이를 각 픽셀별로 구하여 차이가 임계치를 넘게 되면 해당 픽셀은 차영상에 속하게 되는 것이다. 최소 중앙값 자승법 (least median squares method)⑹을 비롯한 몇 가지 기법들이 제안되었지만, 본 연구에서는 제한된 정적인 환경을 가정하고 있으므로 상대적으로 간단한 단일 임계치(u- niform threshold) 방식을 사용한다.
성능/효과
- 구현된 RISA 시스템은 미디어 아트 전시같이 카메라와 사용자의 거리가 어느 정도 되는 환경에서는 매우 잘 작동하지만 가정의 방에서 이루어지는 PC 채팅과 같이 카메라와 사용자의 거리가 가까운 경우에는 실햇의 정확도가 어느 정도 떨어진다는 문제점을 가지고 있음을 알 수 있었다.
- 0m인 경우만 나타내었다. 두 경우 모두 당연히 일반적인 경우보다 좋은 결과를 보였지만 조명 효과보다는 단순 배경이 오류를 더 줄이는 효과를 보였다.
- 이의구현을 위해 사용자의 동작에 따라, 실시간 애니메이션 기법에 의해 미리 만들어진 표정 이미지들을 그림자와 결합하였다. 셋째 사용자의 움직임에 따라 생성된 RISA 정보들은 네트워크를 통해 커뮤니케이션하는 상대자에게 키보드나 마우스 같은 입력장치 없이 자연스럽게 보내진다는 것이다. 이로써 보다 자연스러운 커뮤니케이션이 가능해진다.
- 카메라와 사용자의 거리, 조명환경이 다른 방들, 탐지 알고리즘에 사용한 s 값과 같은 파라미터들을 변화해가며 실험한 결과 모든 경우에서 머리의 탐지는 올바르게 수행되었으나 파라미터 값에 따라 손동작 탐지의 정확도는 차이가 있었다. 이들 중 다른 파라미터는 적절한 변경으로 좋은 결과를 얻을 수 있었지만 카메라와 사용자의 거리가 일상 PC 환경과 같이 가까운 경우는 거리를 두는 경우보다 정확도가 떨어지는 결과를 보였다. 하지만 RISA를 간단한 온라인 채팅 환경과 개인적인 PC 놀이 환경에서 사용해본 결과 유용하게 사용할 수, 있었다.
- 결과에 의존한다. 카메라와 사용자의 거리, 조명환경이 다른 방들, 탐지 알고리즘에 사용한 s 값과 같은 파라미터들을 변화해가며 실험한 결과 모든 경우에서 머리의 탐지는 올바르게 수행되었으나 파라미터 값에 따라 손동작 탐지의 정확도는 차이가 있었다. 이들 중 다른 파라미터는 적절한 변경으로 좋은 결과를 얻을 수 있었지만 카메라와 사용자의 거리가 일상 PC 환경과 같이 가까운 경우는 거리를 두는 경우보다 정확도가 떨어지는 결과를 보였다.
후속연구
- 이를 이용한 채팅은 사용자의 실제 형태를 이용함으로써 기존의 아바타보다 훨씬 동적이고 친숙하게 느껴지며, 실제 영상을 추상화한 동적 아바타의 형태를 띰으로써 실제 영상에 없는 감정이나 아트적 인 요소가 가미되어 있다는 장점 이 있다. 그러므로 RISA는 기존의 인터넷 채팅 프로그램에 감정 채팅의 기법으로 접목될 수 있으며, 연구에서 제안한 탐지 알고리즘들은 실시간 미디어 아트 분야에 적용될 수 있다.
- 본 연구에서는 사용자의 몸에서 머리 부분, 손 부분과 손동작의 탐지가 필요하다. 인간의 몸동작의 추적 및 탐지에 관해서는 다양한 연구들이 수행되어왔다.
- 향후 연구로는 사용자와 카메라의 거리가 가까울 때 산란광 등에 의해 생기는 부정확성 해결, 사용자의 의도를 표현하는 보다 많은 종류의 손동작 탐지를 위한 탐지 알고리즘의 개선, 시스템의 성능에 영향을 미치는 s와 같은 파라미터들을 유전자 알고리즘과 같은 기계학습 기법으로 자동 최적화시키는 것 등이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.