선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 FTIR (Frustrated Total Internal Reflection)이라는 센싱 원리를 이용하여 기존의 터치 스크린이 한번에 단일 접촉점만을 인식하는 것과는 달리, 여러 접촉점을 동시에 인식하게 하는 멀티터치 탐지 기술과 테이블-탑 디스플레이 시스템에 대하여 기술한다. 사용자는 양손을 이용한 멀티터치를 통해 Google-earth 제어가 가능하며 이는 인간과 컴퓨터의 상호작용을 이해하는데 많은 이점을 제공할 수 있다.
- 본 논문에서는 FTIR 센싱 기술을 이용한 테이블-탑 디스 플레이 시스템과 Google-earth를 제어하기 위한 알고리즘에 대해 기술하였다. 시스템에서는 스크린에 접촉된 손가락 영역의 개수와 위치의 변화를 이용하여 명령어를 규정하였으며 이를 이용하여 실시간으로 손 제스처 인식 및 구현이 가능하다.
제안 방법
- 이 명령어는 건물이나 풍경을 3차원 입체로 볼 수 있도록 해준다. Tilt-Up, Tilt-Down 명령어를 수행하기 위해서 입력된 영상을 통해 계산된 손 영역 정보를 미리 정의해둔손 제스처 모델과 계속 비교한다. 마지막으로 유적지와 미리 지정해둔 장소를 여행하는데 사용되는 Play-Tour명령어가 있다.
- 스크린에맨 처음 접촉된 손가락들의 중심 좌표 값은 버퍼에 저장한다. 그리고 나서 스크린에 터치된 손가락 각각의 현재 좌표 값을 버퍼에 저장한 값과 계속적으로 비교한다. 또한 맨 처음 터치된 포인트 간의 유클리디언 거리 및 각도를 계산하여 손 제스처 인식을 위한 평가수단으로 삼는다.
- 이러한 명령어들을 실행하기 위해서 사용할 제스처를 규정하기 위해서 테이블-탑 디스플레이에서 상호작용 하기 위해 사용되는 제스처들을 분류하였다. 또한 입력과 출력의 자유도 및 편리함 의사소통의 정도를 체계적으로 분석하여 시스템 제어를 위한 손 제스처 모델을 규정하였다. 손 제스처는 한 손을 사용하는 경우와 양손을 사용하는 경우로 나뉠 수 있으며 각각의 경우에 4명의 사용자가 자유스럽게 명령어를 실행하도록 하여 제스처의 성능을 평가하였다.
- 또한 카메라의 촬영 범위가 스크린의 크기에 정확히 맞도록 카메라 칼리브레이션 하였다. 여기서 카메라가 획득한 영상의 크기는 320× 240 이고 윈도우 내의 디스플레이 화면해상도는 1024×768 이다.
- 1A 의 전원을 각 라인으로 공급해준다. 또한빔 프로젝터로 영상을 투영시키기 위해 아크릴 아래에 확산제(diffuser) 역할을 하는 특별한 필름을 부착하였다. 확산제 필름과 아크릴 사이에는 아주 작은 틈을 두어 빛이 스크린에서 번지는 현상을 감소시켰다.
- 본 논문에서 제안한 인식 알고리즘의 흐름은 그림7과 같이 크게 적외선 카메라로부터 영상을 입력 받는 부분, 세그 먼테이션 하는 부분, 터치된 손가락의 개수를 세는 부분, 각 손가락들의 위치를 추적하는 부분, 그리고 마지막으로 위치정보와 개수 정보를 혼합하여 손 제스처를 인식하는 부분으로 나누어진다.
- 즉, Zoom명령어와 Rotation명령어의 차이는 맨 처음 접촉된 두 손가락의 각도와 유클리디언 거리 및 초기 접촉 위치이다. 세부적으로는 접촉된 두 점 사이의 각도와 유클리디언 거리를 계산하여 미리 정의해 둔 모델 정보와 비교함으로써 수행 된다. 또한 초기에 접촉된 손가락들의 위치는 버퍼에 저장되며 연속적으로 현재 손가락의 위치와 비교가 수행된다.
- 또한 입력과 출력의 자유도 및 편리함 의사소통의 정도를 체계적으로 분석하여 시스템 제어를 위한 손 제스처 모델을 규정하였다. 손 제스처는 한 손을 사용하는 경우와 양손을 사용하는 경우로 나뉠 수 있으며 각각의 경우에 4명의 사용자가 자유스럽게 명령어를 실행하도록 하여 제스처의 성능을 평가하였다.
- 시스템은 배경으로부터 잡음제거 및 모폴로지 기법을 통해 접촉된 손가락 영역만을 추출한다. 여기서 오직 요구되는 카메라 교정은 X(660mm)축과 Y(550mm)축의 스크린 사이즈에 해당하는 픽셀 수이다.
- Google-earth를 제어하는데 사용되는 명령어는 Pointing, Move, Left-Rotation, Right-Rotation, Zoom-In, Zoom-Out, Tilt-Up, Tilt-Down 들이다. 이러한 명령어들을 실행하기 위해서 사용할 제스처를 규정하기 위해서 테이블-탑 디스플레이에서 상호작용 하기 위해 사용되는 제스처들을 분류하였다. 또한 입력과 출력의 자유도 및 편리함 의사소통의 정도를 체계적으로 분석하여 시스템 제어를 위한 손 제스처 모델을 규정하였다.
- 팽창(Dilation)연산은 영상 내에서 구조 요소의 값 중 하나라도 영역 내에 존재하면 현재 그 지점의 값을 0으로 설정한다(그림13). 이와 같은 기본적인 연산을 사용하여 잡음 제거에 의한 전처리 과정을 수행하였다.
- 공기와 아크릴에서의 굴절계 수가 다르기 때문에 번지는 현상이 감소된다. 이와 더불어 적외선LED가 장착된 위와 아래에는 빛이 탈출하는 것을 방지하기 위하여 스테인레스 반사경을 부착하여 아크릴 안에서 빛의 산란이 잘 일어나도록 하였다. 적외선 통과 필터가 부착된 적외선 카메라는 스크린 중앙에 수직으로 장착되어 있어 Total Internal Reflection (TIR)이 좌절되어 발산된 빛을 초당 30프레임의 속도로 320*240의 이미지 입력을 받아들인다.
- 원본 영상의 밝기값이 0~255사이의 값이므로 임의의 상수 기준값을 하나 잡아서 이 값보다 밝기값이 작은 것은 0으로, 큰 것은 255로 바꾸어주는 처리를 하는 것이 필요하다. 적절한 임계치의 값을 선정하기 위하여 영상 히스토그램을 사용한다. 그림 10의 경우 잘못된 임계치의 선정으로 스크린에 접촉된 손가락의 영역이 제대로 추출되지 못한 경우를 보여주고 있다.
대상 데이터
- 우리가 제작한 시제품은 가로(660mm) 세로(510mm) 두께(8mm) 크기의 아크릴 시트와 적외선 카메라 및 필터, 빔프로젝터로 이루어진 후방투영(rear projection) 방식이다(그림6). 아크릴 시트는 네 모서리부분이 빛이 잘 투과하도록 투명하게 잘 닦여져 있으며 Total Internal Reflection (TIR) 이 잘 일어날 수 있도록 적외선 LED가 밀착되어 부착되어 있다(그림6).
이론/모형
- 이러한 과정을 거쳐 획득한 이진 영상 내에는 터치된 손가락 영역뿐만 아니라 노이즈 성분도 같이 포함되어 있다. 따라서 잡음 성분을 제거하기 위하여 간단한 모폴로지 기법을 수행한다. 먼저 식(4)와 같이 침식(erosion)연산을 수행 후 팽창(dilation)연산을 수행하였다.
- 스크린에 접촉된 손가락의 개수를 카운팅하기 위해서 4- connected neighbors 알고리즘을 수행한다. 스크린에 터치된 각 손가락을 구분하기 위하여 화소들이 서로 연결되어 있는가, 또는 떨어져 있는가를 알아야 한다.
성능/효과
- 그러나 컴퓨터 H/W 및 S/W, 그리고 센싱 기술의 발달에 따라서 이제는 멀티유저, 멀티터치를 지원하는 협력적인 상호작용 및 작업 공간으로 그 응용이 확대 되고 있다. 그 결과 기존의 단순 가구로서의 테이블은 이 기술과 결합하여 입력 신호를 감지하는 센서표면과 출력 신호를 재현하는 디스플레이 기능을 겸한 종합적인 지능형 인터페이스 장치로 활용하는 것이 가능하게 되었다. 따라서 그림 1과 같이 멀티유저, 멀티터치를 바탕으로 사용자 의도를 분석하고 인지하여 인간을 중심으로 computer, physical objects, displayed objects의 상호작용을 도와주는 디스플레이 장치를 테이블-탑 디스플레이 시스템이라고 한다.
- 일반적으로, 테이블-탑 디스플레이 시스템 제작에 있어서는 다음의 다섯 가지 측면을 고려하여야 한다. 첫째, 맨손을 사용한 멀티-터치 상호작용으로 자연스럽게 직접적인 조작이 가능하다는 것과 여러 개의 손가락을 사용하여 정교한 상호작용을 할 수 있다는 것, 둘째, 협력적인 작업의 구현, 동시에 일어나는 사용자 상호작용으로 다른 사람의 작업에 영향을 끼치는 것 없이 스크린에 한 명 이상의 사용자가 접촉하는 것을 가능하게 한다는 것, 셋째, 직접적인 터치 상호작용으로서 테이블-탑 디스플레이 사용자는 원하는 위치에 간단히 터치하는 것만으로 스크린의 어느 점이라도 랜덤하게 접속하여 정보를 조작할 수 있다는 것, 넷째, 상호작용의 도구로서 물리적 객체를 사용하여 augmented reality를 실현할수 있다는 것, 그리고 마지막으로 테이블-탑 디스플레이 시스템은 제작 비용이 저렴하여야 한다는 것 등이다.
- 한 손 또는 양손의 제스처를 이용하여 구글어스를 제어하는 경우 한 손의 Zoom-In 제스처를 제외하고는 매우 우수한 성능을 보였다. 그 원인은 한 손을 사용할 때 Zoom-In 제스처의 경우는 엄지와 집게를 스크린에 접촉한 후 벌리는 모션을 취하게 되는데 이때 엄지손가락이 스크린에 접촉하는 면이 작아지거나 떨어지는 경우가 발생하였기 때문으로 해석된다.
후속연구
- 부가적으로 현재는 여러 명의 사용자 가운데 테이블과 상호작용하고 있는 사용자를 식별하지 못한다. 따라서 상황 인지(context awareness)적 측면을 가미하여 활성화된 사용자(active user)를 인식하는 방향으로 점차 연구를 진행할 것이다.
- 앞으로는 멀티터치 탐지 기술에 대한 관심이 점점 높아 지고, 이를 이용한 응용 프로그램들이 점차 개발됨에 따라 멀티 터치 스크린은 컴퓨터 사용에 대한 기존의 인식을 뛰어넘는 유용한 입력 수단으로 부상하게 될 것이다. 따라서 향후 연구에서는 스크린에 압력을 가하지 않고 가볍게 터치하는 tap 제스처도 인식할 수 있는 방안을 강구할 것이며 테이블 탑 디스플레이와 벽면 형 디스플레이를 연계한 새로운 상호작용 시스템을 선보일 것이다. 또한 테이블-탑 디스플레이의 가장 큰 장점인 협력적인 상호작용의 구현을 위해 대형 탁자 형태의 디스플레이를 제작할 계획이다.
- 따라서 향후 연구에서는 스크린에 압력을 가하지 않고 가볍게 터치하는 tap 제스처도 인식할 수 있는 방안을 강구할 것이며 테이블 탑 디스플레이와 벽면 형 디스플레이를 연계한 새로운 상호작용 시스템을 선보일 것이다. 또한 테이블-탑 디스플레이의 가장 큰 장점인 협력적인 상호작용의 구현을 위해 대형 탁자 형태의 디스플레이를 제작할 계획이다. 이 디스플레이는 physical objects 사용을 통해 증강 현실을 구현하는데 사용될 것이다.
- 시스템에서는 스크린에 접촉된 손가락 영역의 개수와 위치의 변화를 이용하여 명령어를 규정하였으며 이를 이용하여 실시간으로 손 제스처 인식 및 구현이 가능하다. 앞으로는 멀티터치 탐지 기술에 대한 관심이 점점 높아 지고, 이를 이용한 응용 프로그램들이 점차 개발됨에 따라 멀티 터치 스크린은 컴퓨터 사용에 대한 기존의 인식을 뛰어넘는 유용한 입력 수단으로 부상하게 될 것이다. 따라서 향후 연구에서는 스크린에 압력을 가하지 않고 가볍게 터치하는 tap 제스처도 인식할 수 있는 방안을 강구할 것이며 테이블 탑 디스플레이와 벽면 형 디스플레이를 연계한 새로운 상호작용 시스템을 선보일 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.