본 논문은 마커 기반의 증강현실 시스템을 이용하여 사용자의 지능 개발을 위한 게임형 인지 재활 시스템을 제안한다. 기존의 인지 재활은 타인의 도움을 받거나 키보드나, 마우스 조작을 필요로 하는 불편을 해소 하고자, 마커 카드 제어만을 통해 진행 되는 방식을 적용하였다. 이를 위해 카메라를 통해 얻은 영상의 보정을 위한 영상처리 과정과 마커 검출 및 증강 표현이 가능하도록 하였다. 제시된 완성 모형의 회전을 통해 전체 형태를 확인하고, 멀티 마커의 조합을 통해서 원하는 오브젝트 완성이 가능하며, 대화형 방식으로 처리되어 사용자에게 흥미와 치료에 대한 집중도를 증진할 수 있도록 하였다.
본 논문은 마커 기반의 증강현실 시스템을 이용하여 사용자의 지능 개발을 위한 게임형 인지 재활 시스템을 제안한다. 기존의 인지 재활은 타인의 도움을 받거나 키보드나, 마우스 조작을 필요로 하는 불편을 해소 하고자, 마커 카드 제어만을 통해 진행 되는 방식을 적용하였다. 이를 위해 카메라를 통해 얻은 영상의 보정을 위한 영상처리 과정과 마커 검출 및 증강 표현이 가능하도록 하였다. 제시된 완성 모형의 회전을 통해 전체 형태를 확인하고, 멀티 마커의 조합을 통해서 원하는 오브젝트 완성이 가능하며, 대화형 방식으로 처리되어 사용자에게 흥미와 치료에 대한 집중도를 증진할 수 있도록 하였다.
In this paper, we propose a game type cognitive rehabilitation system using marker-based augmented reality system for intelligence development of user. Existing cognitive rehabilitation with the help of others, or a keyboard or mouse operation required to relieve the discomfort, the marker card only...
In this paper, we propose a game type cognitive rehabilitation system using marker-based augmented reality system for intelligence development of user. Existing cognitive rehabilitation with the help of others, or a keyboard or mouse operation required to relieve the discomfort, the marker card only control it led and is advanced the method which it applied. As a result, obtained through the camera calibration for image processing, and a Augmented Reality as well as mark detection. In this paper we presented a complete rotation of the model after checking through the whole form, through a combination of multiple markers by completing the interactive objects proceed with the rehabilitation process in a manner required by the target of interest to human rehabilitation and treatment.
In this paper, we propose a game type cognitive rehabilitation system using marker-based augmented reality system for intelligence development of user. Existing cognitive rehabilitation with the help of others, or a keyboard or mouse operation required to relieve the discomfort, the marker card only control it led and is advanced the method which it applied. As a result, obtained through the camera calibration for image processing, and a Augmented Reality as well as mark detection. In this paper we presented a complete rotation of the model after checking through the whole form, through a combination of multiple markers by completing the interactive objects proceed with the rehabilitation process in a manner required by the target of interest to human rehabilitation and treatment.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
시스템 플랫폼 안에서 별도의 컨트롤러 없이 예시된 형태와 색상을 인지하고, 증강현실의 툴을 통해서 흥미 유발과 몰입감을 증대하는 것을 목적으로 한다.
본 논문에서는 인지재활 환자들의 저하된 인지기능 향상에 도움을 줄 수 있도록 웹캠과 마커를 사용하여 증강현실 기반의 인터페이스를 개발하였다. 인지 대상을 완성해 가는 과정에서 예시의 전체적인 물체의 형태와 색상을 인지하고, 마커를 통해 이를 완성하는 대화형 처리 방식을 사용했다.
본 논문에서는 인지재활이 필요한 사용자를 대상으로 게임형 인지시스템을 제안하였다. 따라서 기존의 HMD를 착용하는 방식이 아닌 웹캠 카메라를 이용하고, 증강 현실 기반 대화형 인터페이스를 통해 사용자의 몰입감 증대 및 사물의 형태 및 색상을 인지할 수 있도록 하였다.
이후에 이를 완성하기 위해 현실 상황에서 마커의 순서와 표시된 도구 상자 각각의 마커 기능을 조합함으로써 그림 10과 같이 제시된 예시를 완성해 간다. 이를 통해 사물에 대한 형태와 색깔을 인지하는 반복적인 과정에서 인지 기능의 치료 및 재활이 가능하도록 한다.
제안 방법
구현된 증강 현실 기반하에 사용자는 우측 상단의 최종으로 완성해야하는 예시를 보고, 회전 버튼을 사용하여 완성 예시 형태에 대한 전체적인 모습을 확인한다.
본 논문에서는 인지재활이 필요한 사용자를 대상으로 게임형 인지시스템을 제안하였다. 따라서 기존의 HMD를 착용하는 방식이 아닌 웹캠 카메라를 이용하고, 증강 현실 기반 대화형 인터페이스를 통해 사용자의 몰입감 증대 및 사물의 형태 및 색상을 인지할 수 있도록 하였다.
입력 장치(웹캠)를 통하여 제공되는 영상에 대해 크게 두 가지 정보들을 관리하게 된다. 먼저 첫 번째로는 마커의 크기 및 패턴 정보, 두 번째로는 각각 정의 되어 있는 마커에 적용시킬 가상의 오브젝트를 OpenGL라이브러리를 통해 디자인되어 있는 정보를 저장한다. 마커 트래킹 과정과 함께 기준 좌표계의 방향 결정을 위해서 흑백으로 구성된 2차원 행렬 마커나 템플릿이 사용된다.
본 프로토타입에서는 촬영을 통해 얻은 영상을 전체 영상 처리 과정과 마커 추출을 위해 CVA(Computer Vision Algorithm)을 통한 처리 과정을 진행하게 된다., 각각의 마커를 검출하여서 도구 상자에 표시되어 있는 해당 마커에 각각 정의 되어있는 가상 오브젝트와 색상을 통해 증강 현실로 나타나도록 구성되어 있다.
현재 제안한 시스템의 사례는 간단한 모형을 기준으로 컨텐츠를 제시하고 있다. 사용자에게 복잡하지 않은 단순한 물체의 형태와 색상을 인지하여서 이를 재조합함에 따라 인지 기능의 향상과, 별도의 컨트롤러나 기기를 사용하지 않고, 웹캠과 마커를 사용하여 손쉽고 간편하게 제어할 수 있도록 했다.
본 논문에서는 인지재활 환자들의 저하된 인지기능 향상에 도움을 줄 수 있도록 웹캠과 마커를 사용하여 증강현실 기반의 인터페이스를 개발하였다. 인지 대상을 완성해 가는 과정에서 예시의 전체적인 물체의 형태와 색상을 인지하고, 마커를 통해 이를 완성하는 대화형 처리 방식을 사용했다.
제어 모듈로 부터 전송 받은 사용자의 재활 훈련 과정을 통해서 사용자가 현재 얼마나 제시된 예시에 대해서 얼마나 정확하게 인지하고 반응하여 인지 재활 훈련을 진행하고 있는지를 분석한다. 그 결과와 사용자의 기본적인 정보를 관리하여 사용자의 인지 재활 치료 과정에 따른 분석 결과를 저장, 관리한다.
처리 모듈의 Computer Vision Algorithm에 의한 영상 속의 마커 트래킹 처리 과정을 통한 영상에서 마커에 대한 위치 영역을 추출 한 후 마커의 각각의 Edge의 코너 부분에 가상 오브젝트를 생성하게 되고, 이로 인해서 증강현실 기반을 구성하게 되어 사용자에게 보여 진다. 첫 화면에서 제시하는 하나의 완성된 예시를 보고 이를 회전 기능을 사용하여 전체적으로 제시된 예시의 형태 및 색상을 인지하고, 마커 각각의 오브젝트를 조함하여 완성함으로써 증강현실 기반의 인지 재활 과정을 실시간으로 디스플레이한다.
대상 데이터
본 시스템 개발 환경은 Visual Studio 2005상에서의 C++, 영상처리를 위한 OpenCV 1.1 라이브러리, 증강현실 기반의 개발 툴인 ARToolkit를 사용하였다. 첫 번째 전 처리 과정에서는 웹캠을 통하여 촬영된 영상을 이진화하기 위해 사용하는 OpenCV함수 중에 cvThreshold(), cvCvtColor() 함수를 이용하여 영상의 R, G, B 각각을 이진화 하기 전에 Gray로 영상을 이진화 하여 그림 6과 같이 처리하였다.
이론/모형
따라서 본 논문에서 제안한 인지 재활 시스템은 증강 현실 구현 방식 중 하나인 마커 인식을 기반으로 한다. 시스템 플랫폼 안에서 별도의 컨트롤러 없이 예시된 형태와 색상을 인지하고, 증강현실의 툴을 통해서 흥미 유발과 몰입감을 증대하는 것을 목적으로 한다.
실제 영상에 가상물체를 생성시키기 위해서는 가상물체와 실제 영상 사이의 마커라는 매개체가 필요하게 된다. 이 마커를 추적하기 위해 ARToolKit의 마커 위치 추적 알고리즘인 CVA알고리즘을 사용하여 마커의 좌표를 검출한다.
후속연구
추후 연구과제로는 반복적인 연습방식으로 인해서 흥미가 떨어질 우려가 있어 여기에 다양한 시나리오와 미디어를 제공할 수 있는 방안이 필요하다. 특히 등급 또는 난이도의 차별화 등이 포함될 필요가 있다고 사료된다.
질의응답
핵심어
질문
논문에서 추출한 답변
증강현실은 어떤 기술인가?
증강현실(Augmented Reality)은 가상현실(Virtual Reality)분야에서 파생된 기술로써, 현실세계의 영상과 부가정보를 갖는 가상세계를 영상으로 제공하여, 현실세계와 가상의 체험을 결합하는 기술이다. 사용자는 이러한 가상공간을 기반으로 인체의 감각(시각, 청각, 촉각)을 통해 몰입감을 갖게 된다[1].
증강현실 기술이 가지고 있는 제한점은 무엇인가?
위와 같은 증강현실 기술을 이용해 최근 국내에서는 의료, 교육, 치료 등 여러 분야에서 각기 다른 목적과 효과를 위해 사용되고 있다. 하지만 재활 환자나 노약자 등신체적인 장애를 가진 사용자에게는 직접 체험 하거나 경험할 수 있는 사용사례 및 인터페이스가 제한적이다. 또한 증강현실에서 자주 사용되고 있는 입력 장치로 HMD는 몰입감이 높다는 장점을 가지고 있지만, HMD 착용 시 사용자가 두통, 메스꺼움 등의 증상이 발생하는 문제점이 있다고 한다.
인지 기능은 무엇을 의미하며 그 기능은 무엇인가?
인지 기능은 사람의 가장 기본적인 기능으로써 어떤 상황에서 오는 전반적인 반응을 인식하는 것을 의미하며, 이를 통하여서 사물의 형태를 추출하고, 자신의 주변을 파악 할 수 있는 중요한 기능이다. 지능 저하 및 인지 기능 저하로 인한 기억력 장애가 있는 사람도 인지전략들을 잘 이용할 경우 기억력을 호전시킬 수 있는 것으로 밝혀져 있다.
참고문헌 (8)
증강현실 기술 연구 동향 및 전망, 이민경; 우운택/정보처리학회지, v.11, no.1, pp.29-40, 2004년
※ AI-Helper는 부적절한 답변을 할 수 있습니다.