최근의 많은 컴퓨터 기술의 발전과 센서 기술의 발전의 결합으로 매우 다양한 형태의 사용자 경험에 기반한 사용자 인터페이스(User interface) 기술들이 출현하고 있다. 본 연구에서는 적외선 영상을 이용한 스마트 터치 프로젝터 시스템 기술에 관한 연구와 그 결과를 소개한다. 제안된 시스템에서는 사용자가 빔 프로젝터를 사용할 때 적외선 펜을 이용하여 이벤트를 발생시키면 적외선 영상센서를 통하여 그 이벤트를 인식하여 마우스 이벤트를 발생시키는 기법을 제안한다. 입력되는 펜의 움직임 추출과 추적을 기반으로 움직임 이벤트 패턴을 설계하였으며, 입력 영상 화면과 실제 사용하는 하드웨어의 해상도에 차이가 있기 때문에 이 오차를 최소화 하기 위해서 화면 좌표보정 알고리즘을 제안한다. 이러한 기술은 빔 프로젝터에 간단한 프로세서만 장착이 된다면 다른 이동식 노트북 등이 필요 없이 언제든지 회의나 발표 등을 진행할 수 있는 차세대 휴먼-컴퓨터 상호작용(Human-Computer Interaction) 기술이다.
최근의 많은 컴퓨터 기술의 발전과 센서 기술의 발전의 결합으로 매우 다양한 형태의 사용자 경험에 기반한 사용자 인터페이스(User interface) 기술들이 출현하고 있다. 본 연구에서는 적외선 영상을 이용한 스마트 터치 프로젝터 시스템 기술에 관한 연구와 그 결과를 소개한다. 제안된 시스템에서는 사용자가 빔 프로젝터를 사용할 때 적외선 펜을 이용하여 이벤트를 발생시키면 적외선 영상센서를 통하여 그 이벤트를 인식하여 마우스 이벤트를 발생시키는 기법을 제안한다. 입력되는 펜의 움직임 추출과 추적을 기반으로 움직임 이벤트 패턴을 설계하였으며, 입력 영상 화면과 실제 사용하는 하드웨어의 해상도에 차이가 있기 때문에 이 오차를 최소화 하기 위해서 화면 좌표보정 알고리즘을 제안한다. 이러한 기술은 빔 프로젝터에 간단한 프로세서만 장착이 된다면 다른 이동식 노트북 등이 필요 없이 언제든지 회의나 발표 등을 진행할 수 있는 차세대 휴먼-컴퓨터 상호작용(Human-Computer Interaction) 기술이다.
Recently, very rapid development of computer and sensor technologies induces various kinds of user interface (UI) technologies based on user experience (UX). In this study, we investigate and develop a smart touch projector system technology on the basis of IR sensor and image processing. In the pro...
Recently, very rapid development of computer and sensor technologies induces various kinds of user interface (UI) technologies based on user experience (UX). In this study, we investigate and develop a smart touch projector system technology on the basis of IR sensor and image processing. In the proposed system, a user can control computer by understanding the control events based on gesture of IR pen as an input device. In the IR image, we extract the movement (or gesture) of the devised pen and track it for recognizing gesture pattern. Also, to correct the error between the coordinate of input image sensor and display device (projector), we propose a coordinate correction algorithm to improve the accuracy of operation. Through this system technology as the next generation human-computer interaction, we can control the events of the equipped computer on the projected image screen without manipulating the computer directly.
Recently, very rapid development of computer and sensor technologies induces various kinds of user interface (UI) technologies based on user experience (UX). In this study, we investigate and develop a smart touch projector system technology on the basis of IR sensor and image processing. In the proposed system, a user can control computer by understanding the control events based on gesture of IR pen as an input device. In the IR image, we extract the movement (or gesture) of the devised pen and track it for recognizing gesture pattern. Also, to correct the error between the coordinate of input image sensor and display device (projector), we propose a coordinate correction algorithm to improve the accuracy of operation. Through this system technology as the next generation human-computer interaction, we can control the events of the equipped computer on the projected image screen without manipulating the computer directly.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 기존의 빔프로젝터의 기능을 사용자 측면에서 향상시킨 스마트 터치 프로젝터(smart touch projector) 기술에 대해서 소개하고 이에 요구되는 구조와 기술을 제안하였다. 적외선 펜을 사용하여 신호를 발생시키고 이를 기반으로 다양한 처리를 통하여 제어 기능을 구현하였으며 실제 다양한 실제 동작을 통하여 검증하였다.
열은 직진성이 없고 특히 열이 많이 발생하는 빔프로젝터를 사용할 경우 그 효율이 크게 저하될 수도 있다. 본 연구에서는 기본적으로 원거리에서 측정이 가능한 고품질 적외선 센서보다는 기본적으로 근 적외선 파장을 추출하는 기술을 구현하여 발열에 의한 잡음 영향을 많이 줄이는 방향으로 설계하였다.
본 연구에서는 터치 패널의 한계를 뛰어넘어 평면이 존재하는 모든 공간에서 제어가 가능한 스마트 터치 프로젝터 기술을 제안하고 시스템 기술에 대하여 논하고자 한다. 빔 프로젝터의 스크린 위에서 적외선 펜으로 적외선을 발생시키고 적외선 신호를 직접 적외선 카메라로 인식하여 좌표 값을 계산한 후, 그 결과 값을 스크린으로 다시 출력하여 스마트 터치 프로젝터의 기능을 구현한다.
제안 방법
우선 사이드버튼 전면에 IR Power LED(940nm)를 부착 시킨 후 측면에 건전지를 부착하여 전력을 공급받는 다. 그리고 마우스 회로 기판을 통하여 버튼을 클릭 하면 적외선을 방출하도록 제작했다. 실제 본 연구에서 제작된 적외선 펜 (IR Pen)의 구조는 그림 12와 같다.
다양한 컴퓨터를 제어하는 실험은 일반적인 환경에서 별도로 훈련되지 않은 일반 사용자 6명을 통하여 클릭이나 더블 클릭, 드래그 등의 동작을 일정 수만큼 반복하게 하고 이에 대한 정확한 성공률을 인식률로 측정하였다. 표 1은 다양한 제어 동작에 대한 인식률을 보여 주고 있다.
또한 제안된 기술의 정확도를 분석하기 위해 두 가지 단순 작업(원 그리기, 직선 긋기)에 의한 적외선 처리에 의한 화면 상의 터치 지점에 대한 정밀도를 측정하였다. 원 그리기와 직선 긋기 각각 10회 씩 반복하여 각각의 회 차에 대한 화소 단위의 오차를 평균하여 측정하였으며 그 결과를 표 2에 나타내었다.
본 연구에서는 다양한 영상처리 기술을 이용하여 적외선 카메라의 연속된 프레임에서 적외선의 좌표를 점(point)형태로 추출 후 추적하고 이를 이동보정, 회전보정, 비율 보정의 3단계 보정을 통해 이벤트 신호를 인식하고 하드웨어를 제어하게 된다.
본 연구에서는 터치 패널의 한계를 뛰어넘어 평면이 존재하는 모든 공간에서 제어가 가능한 스마트 터치 프로젝터 기술을 제안하고 시스템 기술에 대하여 논하고자 한다. 빔 프로젝터의 스크린 위에서 적외선 펜으로 적외선을 발생시키고 적외선 신호를 직접 적외선 카메라로 인식하여 좌표 값을 계산한 후, 그 결과 값을 스크린으로 다시 출력하여 스마트 터치 프로젝터의 기능을 구현한다. 이 동작의 반복은 평면이 존재하는 모든 공간에서 터치스크린을 사용 할 수 있게 한다.
또한 제안된 기술의 정확도를 분석하기 위해 두 가지 단순 작업(원 그리기, 직선 긋기)에 의한 적외선 처리에 의한 화면 상의 터치 지점에 대한 정밀도를 측정하였다. 원 그리기와 직선 긋기 각각 10회 씩 반복하여 각각의 회 차에 대한 화소 단위의 오차를 평균하여 측정하였으며 그 결과를 표 2에 나타내었다.
본 논문에서는 기존의 빔프로젝터의 기능을 사용자 측면에서 향상시킨 스마트 터치 프로젝터(smart touch projector) 기술에 대해서 소개하고 이에 요구되는 구조와 기술을 제안하였다. 적외선 펜을 사용하여 신호를 발생시키고 이를 기반으로 다양한 처리를 통하여 제어 기능을 구현하였으며 실제 다양한 실제 동작을 통하여 검증하였다.
제안된 시스템 기술 및 알고리즘은 하드웨어 제작과 영상 신호처리, 화면 좌표보정으로 이루어진다. 하드웨어 제작은 적외선 차단 필터를 가시광 차단 필터로 대체하여 적외선 카메라를 제작하고 고출력 적외선(IR) LED 를 사용하여 적외선 펜을 제작한다.
컴퓨터 제어는 마우스의 기본동작인 클릭, 더블클릭, 드래그를 이용하여 그림판, 파워포인터 프로그램 등에서 동작 테스트를 하였다. 그림 15는 프로젝터 화면에서 적외선 펜을 이용하여 창 크기 조절, 그림 16은 파워포인터 프로그램을 이용한 발표 자료에 대한 동작 이벤트 실험, 그림 17은 그림판에서 정밀도 실험을 하는 장면이다.
제안된 시스템 기술 및 알고리즘은 하드웨어 제작과 영상 신호처리, 화면 좌표보정으로 이루어진다. 하드웨어 제작은 적외선 차단 필터를 가시광 차단 필터로 대체하여 적외선 카메라를 제작하고 고출력 적외선(IR) LED 를 사용하여 적외선 펜을 제작한다. 제반 영상처리 과정은 임계값 설정을 통해 이진화를 한 후 그 영상을 레이블링하여 좌표를 추출한다 [5].
대상 데이터
본 연구에서 스마트 터치 프로젝터 시스템을 구현하기 위해 본 연구에서는 IR Power LED (940nm)와 적외선(IR) 카메라를 사용하였다. 사용자가 적외선펜(IR Pen)을 사용해 적외선을 방출하면 이를 적외선 카메라에서 입력받은 후 서버 측 영상처리 및 제어 신호 생성부에서 인지 후 서버에서 동작 제어를 하게 된다.
그림 18에서 나타난 바와 같이 실제 게임을 할 때도 오차가 거의 발생하지 않아 이 기술의 활용 폭이 넓을 것이라 생각된다. 본 연구에서 실험용으로 사용된 게임은 Angry Birds Rio이다[6]. 현재는 기본 마우스 버튼 이벤트에 기반한 제어 기술을 설계하였으나 적외선 펜의 다양한 동작 패턴을 추가 하면 매우 다양한 동작이나 섬세한 제어 이벤트를 발생시킬 수 있을 것이라 기대된다.
적외선 펜 (IR Pen)은 IR Power LED (940nm)와 Microsoft의 마우스 사이드버튼을 활용하였다. 우선 사이드버튼 전면에 IR Power LED(940nm)를 부착 시킨 후 측면에 건전지를 부착하여 전력을 공급받는 다. 그리고 마우스 회로 기판을 통하여 버튼을 클릭 하면 적외선을 방출하도록 제작했다.
적외선 펜 (IR Pen)은 IR Power LED (940nm)와 Microsoft의 마우스 사이드버튼을 활용하였다. 우선 사이드버튼 전면에 IR Power LED(940nm)를 부착 시킨 후 측면에 건전지를 부착하여 전력을 공급받는 다.
하드웨어 구성에서 사용되는 적외선 카메라는 PS3 Eye라는 웹캠을 개조하여 제작하였다. 제작과정은 웹캠에 있는 적외선 차단 필터를 제거한 후 적외선 필터(가시광선 차단 필터)를 사용하였으며, 구성은 그림 11과 같이 제작된다.
성능/효과
그림 15는 프로젝터 화면에서 적외선 펜을 이용하여 창 크기 조절, 그림 16은 파워포인터 프로그램을 이용한 발표 자료에 대한 동작 이벤트 실험, 그림 17은 그림판에서 정밀도 실험을 하는 장면이다. 각각의 결과에서 볼 수 있듯이 기본 제어 이벤트가 매우 양호하게 동작함을 알 수 있으며, 실제 프로젝터에 연결된 컴퓨터를 원격으로 제어할 수 있음을 알 수 있다.
두 번째로 자연광에 섞여 있는 적외선에 의해서 야외 또는 자연광이 들어 올 수 있는 공간에서는 사용에 제약이 발생한다는 점이다. 세 번째로 컴퓨터와 적외선 카메라의 처리 및 데이터 전송속도 문제로 인해서 발생하는 반응오차이다.
표 2에서 볼 수 있듯이 원 그리기는 평균 15%정도의 오차 화소가 발생하였으며 직선 긋기는 원 그리기 보다는 좀 더 나은 정확도를 나타내었다. 이는 곡선 부분에서 앞에서 언급한 획득된 적외선 터치지점(touch point)의 정밀도가 곡선 부분에서 오류로 반영이 많이 됨을 알 수 있다.
후속연구
위의 표에서 발생한 오류 부분은 정확한 실제 위치와 오차 범위가 단위 화소 정도로 측정 되었다. 그러나 실제 시스템을 사용하기에는 충분히 안정된 성능을 보여 주고 있으며, 좀 더 정밀한 작업을 요구하는 경우에는 언급한 적외선 터치지점 (touch point) 획득의 정밀도를 학습 알고리즘 등을 통하여서 개선해 주어야 할 것이다.
이 기술의 한계점은 첫 번째로 적외선 카메라와 프로젝터 설치구조에 따른 오차가 발생 할 수 있다는 점이지만 이 문제는 프로젝터와 카메라가 일체화 될 경우 해결될 것이라 생각된다. 만약 일체화되지 않은 경우는 설치 구조에 따라서 실제 동작과의 오차가 정확도 측면에서 조금 증가할 수 있다.
추후 과제로는 여러 가지 예외 처리(제어 객체가 이미지의 영역을 벗어났다가 다시 들어오는 경우, 카메라가 움직임과 동시에 객체도 움직이는 경우 등)를 해결하여 동작의 정확도를 높여야 하며, 일체형 시스템 설계에 대한 부분도 더욱 연구가 진행되어야 할 것이다.
본 연구에서 실험용으로 사용된 게임은 Angry Birds Rio이다[6]. 현재는 기본 마우스 버튼 이벤트에 기반한 제어 기술을 설계하였으나 적외선 펜의 다양한 동작 패턴을 추가 하면 매우 다양한 동작이나 섬세한 제어 이벤트를 발생시킬 수 있을 것이라 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
유비쿼터스 환경이란 무엇인가?
현대사회는 컴퓨터 하드웨어와 네트워크 인프라의 급격한 발전으로 인해 사용자가 컴퓨터를 의식하지 않아도 언제 어디서나 네트워크에 접속하여 업무를 처리할 수 있는 유비쿼터스 환경이 도래하게 되었다. 그러나 이러한 급격한 하드웨어의 발전과는 달리 이와 상호작용하는 인터페이스 장치는 기계적인 장치인 마우스와 키보드에서 크게 벗어나지 못하고 있는 실정이다.
진정한 유비쿼터스 시대로 가기 위해서는 무엇이 필요한가?
그러나 이러한 급격한 하드웨어의 발전과는 달리 이와 상호작용하는 인터페이스 장치는 기계적인 장치인 마우스와 키보드에서 크게 벗어나지 못하고 있는 실정이다. 진정한 유비쿼터스 시대로 가기 위해서는 인터페이스 장치 또한 유비쿼터스 환경에 걸맞은 사용자 경험(UX: User eXperience)을 제공할 수 있어야 한다.
터치스크린은 어디에서 많이 사용되고 있는가?
이러한 기술은 접촉한 위치에 따라 발생하는 결과를 즉시 화면으로 확인할 수 있기 때문에 누구나 쉽게 사용 할 수 있다. 따라서 지하철, 박물관, 은행 등의 많은 장소에서 안내용 소프트웨어로 사용되고 있다. 최근에는 ipad같은 소형 태블릿 PC를 통해 터치스크린을 쉽게 접할 수 있다.
참고문헌 (11)
Sang Hyuck Bae, Integrating Multi-Touch Function with a Large-Sized LCD, SID Symposium Digest of Technical Papers, Vol. 37, No.1, pp. 178-181, May, 2008.
김효성, 정현기, 김병규, "적외선 카메라를 이용한 에어 인터페이스 시스템 (AIS) 연구," 한국정보처리학회 논문지 B, 제18-B권, 3호, 2011.
Asanterabi Malima, "A Fast Algorithm for Vision-based Hand Gesture Recognition for Robot Control," Signal Processing and Communications Applications, Vol.1, No.1, pp. 1-4, 2006.
Michael Donoser and Horst Bischof, "Real Time Appearance Based Hand Tracking," IEEE International Conference on Pattern Recognition, pp. 1-4, 2008.
김동근, Open CV programming - 개정판, 가메출판사, 대한민국 서울, 2011.
R.C. Gonzalez and R.E. Woods, Digital Image Processing, The 3rd Edition, Pearson, New Jersey USA, 2010.
Wei Liu, Qing He, Ning Wei, Chenxi Wang, Tingfang Yan, Chao Hu, and Meng, M.Q.-H., "The Design of Infrared Touch Screen Based on MCU," IEEE International Conference on Information and Automation (ICIA), pp. 485-489, 2011.
A.K.B. Mahmood and S. Sulaiman, "Design and Implementation of Multi-Touch System using FTIR Technique for Optimization of Finger Touch Detection," International Symposium in Information Technology, Vol. 1, pp. 1-7, 2010.
이성일, 민현석, 신호철, 임을균, 황대환, 노용만, "인접 프레임의 시간적 상관 관계를 이용한 회전에 강인한 손 모양 인식," 멀티미디어학회 논문지 제13권, 제11호, pp. 1630-1642, 2010.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.