본 논문에서는 다양한 장애를 가진 사용자들을 위한 지능형 휠체어의 인터페이스를 제안한다. 제안된 시스템의 주된 목적은 전동휠체어의 조이스틱을 사용하기 힘든 장애인들에게 효율적인 인터페이스를 제공함으로써 그들의 안전한 이동성을 보장하여 독립적인 삶을 이끌어 나갈 수 있도록 하는 것이다. 이를 위해 제안된 시스템은 사용자의 얼굴 기울기를 인식하여 휠체어의 회전을 수행하고 입 모양을 인식하여 휠체어의 전진과 정지를 수행 한다. 이러한 얼굴 특징을 인식하기 위해 제안된 시스템은 얼굴 특징 검출기, 얼굴 특징 인식기, 전환기로 구성된다. 얼굴 특징 검출기는 Adaboost를 이용하여 얼굴 영역을 먼저 검출한 후 에지 정보를 이용하여 입 영역을 검출한다. 검출된 결과들은 얼굴 특징 인식기에저 statistical analysis와 K-means clustering을 이용하여 얼굴 각도와 입 모양을 인식한다. 전환기는 인식된 결과들을 휠체어의 모터를 제어하기 위한 명령어로 변환하여 사용자의 얼굴 및 입의 움직임으로 휠체어를 제어할 수 있도록 한다. 제안된 지능형 휠체어의 효율성을 증명하기 위하여 34명의 사용자를 대상으로 다양한 환경에서 실험한 결과 제안된 시스템은 전동 휠체어의 조이스틱을 사용 할 수 없는 장애인들에게 편리한 이동성을 제공하며, 보다 편리하고 친숙한 인터페이스로 사용 될 수 있음을 보여 주었다.
본 논문에서는 다양한 장애를 가진 사용자들을 위한 지능형 휠체어의 인터페이스를 제안한다. 제안된 시스템의 주된 목적은 전동휠체어의 조이스틱을 사용하기 힘든 장애인들에게 효율적인 인터페이스를 제공함으로써 그들의 안전한 이동성을 보장하여 독립적인 삶을 이끌어 나갈 수 있도록 하는 것이다. 이를 위해 제안된 시스템은 사용자의 얼굴 기울기를 인식하여 휠체어의 회전을 수행하고 입 모양을 인식하여 휠체어의 전진과 정지를 수행 한다. 이러한 얼굴 특징을 인식하기 위해 제안된 시스템은 얼굴 특징 검출기, 얼굴 특징 인식기, 전환기로 구성된다. 얼굴 특징 검출기는 Adaboost를 이용하여 얼굴 영역을 먼저 검출한 후 에지 정보를 이용하여 입 영역을 검출한다. 검출된 결과들은 얼굴 특징 인식기에저 statistical analysis와 K-means clustering을 이용하여 얼굴 각도와 입 모양을 인식한다. 전환기는 인식된 결과들을 휠체어의 모터를 제어하기 위한 명령어로 변환하여 사용자의 얼굴 및 입의 움직임으로 휠체어를 제어할 수 있도록 한다. 제안된 지능형 휠체어의 효율성을 증명하기 위하여 34명의 사용자를 대상으로 다양한 환경에서 실험한 결과 제안된 시스템은 전동 휠체어의 조이스틱을 사용 할 수 없는 장애인들에게 편리한 이동성을 제공하며, 보다 편리하고 친숙한 인터페이스로 사용 될 수 있음을 보여 주었다.
In this paper, we develop an Intelligent Wheelchair(IW) control system for the people with various disabilities. The aim of the proposed system is to increase the mobility of severely handicapped people by providing an adaptable and effective interface for a power wheelchair. To facilitate a wide va...
In this paper, we develop an Intelligent Wheelchair(IW) control system for the people with various disabilities. The aim of the proposed system is to increase the mobility of severely handicapped people by providing an adaptable and effective interface for a power wheelchair. To facilitate a wide variety of user abilities, the proposed system involves the use of face-inclination and mouth-shape information, where the direction of an Intelligent Wheelchair(IW) is determined by the inclination of the user's face, while proceeding and stopping are determined by the shape of the user's mouth. To analyze these gestures, our system consists of facial feature detector, facial feature recognizer, and converter. In the stage of facial feature detector, the facial region of the intended user is first obtained using Adaboost, thereafter the mouth region detected based on edge information. The extracted features are sent to the facial feature recognizer, which recognize the face inclination and mouth shape using statistical analysis and K-means clustering, respectively. These recognition results are then delivered to a converter to control the wheelchair. When assessing the effectiveness of the proposed system with 34 users unable to utilize a standard joystick, the results showed that the proposed system provided a friendly and convenient interface.
In this paper, we develop an Intelligent Wheelchair(IW) control system for the people with various disabilities. The aim of the proposed system is to increase the mobility of severely handicapped people by providing an adaptable and effective interface for a power wheelchair. To facilitate a wide variety of user abilities, the proposed system involves the use of face-inclination and mouth-shape information, where the direction of an Intelligent Wheelchair(IW) is determined by the inclination of the user's face, while proceeding and stopping are determined by the shape of the user's mouth. To analyze these gestures, our system consists of facial feature detector, facial feature recognizer, and converter. In the stage of facial feature detector, the facial region of the intended user is first obtained using Adaboost, thereafter the mouth region detected based on edge information. The extracted features are sent to the facial feature recognizer, which recognize the face inclination and mouth shape using statistical analysis and K-means clustering, respectively. These recognition results are then delivered to a converter to control the wheelchair. When assessing the effectiveness of the proposed system with 34 users unable to utilize a standard joystick, the results showed that the proposed system provided a friendly and convenient interface.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한 현재까지 개발된 비전 기반의 인터페이스들은 시간에 따라 변화하는 조명에 민감하고, 휠체어를 제어 할 수 있는 명령어가 머리의 움직임으로 한정되어 있으며, 항상 정면을 향해야 한다는 한계가 있다. 따라서 본 논문에서는 다양한 장애를 가진 사용자에게도 적용이 가능하며, 보다 직관적이고 정확하게 사용자의 의도를 인식하는 적응적 인터페이스와 그들의 안전성을 위한 내비게이션을 갖춘 지능형 휠체어 시스템을 제안한다. 제안된 시스템은 카메라에서 실시간으로 얻어진 비디오로부터 사용자의 얼굴 기울기와 입 모양올 인식하여 휠체어의 좌/우, 전잔/ 정지를 수행한다.
대처하지 못해 위험에 빠질 수 있다. 따라서, 본 논문에서는 사용자의 안전성을 위해 초음파 센서와 적외선 센서를 이용하여 주행 중 자동으로 장애물을 검출하고, 주변 상황을 인지하여 주행 경로를 선정하는 내비게이션을 개발한다U3-1田.
본 논문에서는 얼굴의 기울기와 입 모양을 이용하여 휠체어를 제어하고, 센서를 이용하여 안전하게 휠체어가 주행할 수 있도록 돕는 새로운 지능형 휠체어 시스템을 개발 하였다. 제안된 지능형 훨체어 시스템의 효율성을 증명하기 위해 34명의 다양한 사용자를 대상으로 다양한 조명과 복잡한 환경에서 시스템을 실험하였다.
가설 설정
1) 입은 얼굴 아랫부분이며 중앙에 위치한다. 2) 입은 주변과 비교 하였을 때 고주파 성분을 갖는다. 정해진 범위에서 에지 검출기를 이용하여 나타난 결과는 연결 성분 분석을 통해 작은 영역들은 제거되고 최종적으로 입 영역이 검출된다.
제안 방법
이를 위해 인터페이스는 얼굴특징 검출기, 얼굴, 특징 인식기로 구성된다 얼굴 특징 검출기에서는 Adaboo成를 어용하여 얼굴 영역 올 먼저 검줄한 후 에지 정보를 이용하여 입 영역을 검출한다. 검출된 결과들은 얼굴 특징 인식기에서 stati stical analysis와 7<-means clustering을 이용하여 얼굴 각도와 입 모양을 인식한다. 그림 2는 제안된 인터페이스의 구조도를 나타낸다.
따라서, 사용자의 열굴움직임이나 센서의 값에 따라 휠체어를 제어하기 위해서는 조이스틱과 컨트롤러를 연결해 주는 커넥터가 필요하다. 따라서 제안된 시스템은 ADC와 DAC를 지원하는 데이타 수집보드(SDQ-DAOO坦X) 를 이용하였다. 데이타 수집 보드는 비전 시스템과 횔체어의 조이스틱 사이에 시리얼 통신으로 연결되어, 얼굴의 방향과 입 모양 인식 결과에 따른 신호를 휠체어의 모터로 보내 휠체어를 제어하며, 센서값에 따른 휠체어의 움직임을 수행한다.
이들은 신체의 장애로 인하여 대부분이 전동휠체어를 이용하고 있지만 전동휠체어의 조이스틱을 사용하는데 어려움을 갖는다. 실제 실험에서는 장애인 실험자들은 안전성을 위해 비전 기반의 인터페이스만 실험하였고, 비 장애인만 지능형 휠체어에 직접 앉아 인터페이스와 내비게이션을 실험하였다.
제안된 지능형 훨체어 시스템의 효율성을 증명하기 위해 34명의 다양한 사용자를 대상으로 다양한 조명과 복잡한 환경에서 시스템을 실험하였다. 실험 결과 제안된 시스템은 다음과 같은 장점이 있다는 것이 증명 되었디、1) 사용자의 최소의 얼굴 움직임만을 이용하기 때문에, 척추 장애 및 중증 장애인도 최소의 움직임만을 이용하여 편리하게 지능형 휠체어를 제어할 2수 있다. 2) 시간에 따라 변화하는 조명과 다양하고 복잡한 환경에서도 강건하게 작동한다.
얼굴을 좌, 우로 기울이면 전환기를 통해 휠체어가 좌, 우로 움직이며, 사용자의 “Uhm”와 “Go”를 수행하는 입 모양을 인식하면 전환기를 통해 휠체어의 전진과 정지가 수행된다. 얼굴의 기울기는 statistical analysis를 이용한다. 얼굴의 방향을 구하기 위한 Q는 식 (2) 에 의해 얻어진다.
사용자의 얼굴 기울기 인식을 통해 휠체어의 좌, 우 방향이 제어되며 입 모양의 “Uhm”와 “GS에 의해 휠체어의 정지, 전진이 수행된다. 이를 위해 인터페이스는 얼굴특징 검출기, 얼굴, 특징 인식기로 구성된다 얼굴 특징 검출기에서는 Adaboo成를 어용하여 얼굴 영역 올 먼저 검줄한 후 에지 정보를 이용하여 입 영역을 검출한다. 검출된 결과들은 얼굴 특징 인식기에서 stati stical analysis와 7<-means clustering을 이용하여 얼굴 각도와 입 모양을 인식한다.
자동으로 장애물 감지와 주행 경로 션정하기 위해서 2 개의 초음파 센서와 8개의 적외선 센서를 이용 하였다.
입 모양에 대한 표준 템플릿은 K~ means clustering에 의해 생성된다. 제안된 시스템은 114개의 입 이미지를 입력받아 6가지의 입 모양에 대한 표준 템플릿을 생성하며, 그림 6은 K-means e lust:ering에의해 생성된 6가지의 표준 입 모양 템플릿을 나타낸다.
따라서 본 논문에서는 다양한 장애를 가진 사용자에게도 적용이 가능하며, 보다 직관적이고 정확하게 사용자의 의도를 인식하는 적응적 인터페이스와 그들의 안전성을 위한 내비게이션을 갖춘 지능형 휠체어 시스템을 제안한다. 제안된 시스템은 카메라에서 실시간으로 얻어진 비디오로부터 사용자의 얼굴 기울기와 입 모양올 인식하여 휠체어의 좌/우, 전잔/ 정지를 수행한다. 비전 인터페이스를 사용하여 사용자의 의도대로 휠체어를 제어하는 중 갑작스러운 장애물이 나타나면 센서 기반의 내비게이션이 사용자가 안전하게 주행할 수 있도록 도와준다.
제안된 시스템은 크게 비전 기반의 인터페이스와 센서 기반.의 내비게이션으로 구성된 디비전 기반의 인터페이스는 얼굴 특징 검출기, 얼굴 특징 인식기 전환기로 구성된다.
제안된 지능형 휠체어 시스템은 카메라로부터 영상이 들어오면 먼저 사용자의 얼굴 영역을 검출한 후 에지 정보를 이용하여 입 영역을 검출한다. 검출된 영역들은 각각 statistical analysis와 template matching 에 의해 얼굴의 기울기와 입 모양이 인식된다.
대상 데이터
한다. 따라서 제안된 인터페이스의 효율성을 증명하기 위하여 34명의 다양한 사용자와 다양한 조명 환경을 가진 실/ 내외 환경에서 실험을 실시하였다.
하였다. 제안된 지능형 훨체어 시스템의 효율성을 증명하기 위해 34명의 다양한 사용자를 대상으로 다양한 조명과 복잡한 환경에서 시스템을 실험하였다. 실험 결과 제안된 시스템은 다음과 같은 장점이 있다는 것이 증명 되었디、1) 사용자의 최소의 얼굴 움직임만을 이용하기 때문에, 척추 장애 및 중증 장애인도 최소의 움직임만을 이용하여 편리하게 지능형 휠체어를 제어할 2수 있다.
제안된 지능형 휠체어에 사용된 초음파 센서는 SRF04 로 장애물 감지 거리는 최대 3m, 최소 3em이며 휠체어의 발판에 장착하였다 적외선 센서는 Sharp사의 GP2D12 로 장애물 감지 거리는 최대 Im, 최소 10cm이며, 휠체어의 양쪽 팔걸이 아래에 장착되어있다’
지능형 휠체어 시스템은 일반적인 전동 휠체어, 데이타수집보드(SDQ-DA04 EX), 초음파 센서(SRF04), 적외선센서(GP2 D12), 윈도우 XP기반의 펜티엄 4.3GHz을 사용하였다. PC 카메라는 Logitech 이며, USB포트로 컴퓨터에 연결되고 320x240 영상을 초당 30프레임 공급한다.
이론/모형
따라서* 기계학습에서 많이 사용되는 Ada boost 알고리즘을 이용하여 얼굴을 검출한다[9, 1이. Adaboost알고리즘은데이타들로부터 도출해 내기 쉬운 선택 기준들을 일반적으로 탠덤한 선택보다 더 쫗은 성능의 선택 기준을 합쳐 줌으로써 정확도가 높은 알고리즘을 만들어 주는가 장 보편적인 알고리즘이다.
의 내비게이션으로 구성된 디비전 기반의 인터페이스는 얼굴 특징 검출기, 얼굴 특징 인식기 전환기로 구성된다. 사용자는 휠체어에 앉아 그 앞에 있는 카메라를 통해 영상이 들어오면 먼저 얼굴 특징 검출기에서 Adaboost 알고리즘을 이용하여 얼굴영역을 획득한다. 그 후에 에지 정보를 기반으로 하여 입을 검출하게 된다.
이 템플릿은 탐색 창에서 반복적으로 이동하며 중요비교한다이미지와 비교 한다. 템플릿과 서브 이미지의 비교 결과는 매칭 점수로 표현되며, 매칭 점수는 hamming distance> 이용하여 계산한다. 검출된 입 영역은 모든 템플릿과의 매칭 점수를 계산하여 최적의 매칭 점수를 가지는 템플릿을 선택한다.
성능/효과
실험 결과 제안된 시스템은 다음과 같은 장점이 있다는 것이 증명 되었디、1) 사용자의 최소의 얼굴 움직임만을 이용하기 때문에, 척추 장애 및 중증 장애인도 최소의 움직임만을 이용하여 편리하게 지능형 휠체어를 제어할 2수 있다. 2) 시간에 따라 변화하는 조명과 다양하고 복잡한 환경에서도 강건하게 작동한다. 3) 사용자의 의도적인 행동과 비 의도적인 행동을 구분함으로써, 휠체어를 제어하고자 하는 사용자의 정확한 행동만을 인식한다.
1) 사용자의 의도를 인식하기 위하여 정의된 제스처를 정확하고 크게 수행해야 하므로 중증장애인에게 적용되기 어렵다. 2) 중증장애인을 위한 인터페이스로서 많이 사용되는 EOG, EMG는 척추 장애인이 가지는 잦은 근육의 떨림, 눈의 깜빡임 등에도 미세하게 반응한다. 3) 사용자의 생체 신호를 측정하는 장치로 '인해 사용자에게 불쾌감을 준다.
2) 시간에 따라 변화하는 조명과 다양하고 복잡한 환경에서도 강건하게 작동한다. 3) 사용자의 의도적인 행동과 비 의도적인 행동을 구분함으로써, 휠체어를 제어하고자 하는 사용자의 정확한 행동만을 인식한다. 4) 센서를 이용한 자동 장애물 감지 및 주행경로 설정으로 휠체어 주행 중 발생할 수 있는 위험한 상황으로부터 사용자를 안전하게 지켜준다.
제안된 지능형 휠체어 시스템은 노인 및 다양한 장애를 가지고 있는 장애인에게 충분한 이동성을 제공할 수 있다는 것을 보여 주었다.
참고문헌 (18)
Y.-L.CHEN, S.-C.CHEN, W.-L.CHEN and J.-F.LIN, 'A head orientated wheelchair for people with disabilities,' DISABILITY AND REHABILITATION, Vol.25, No.6, pp. 249-253. 2003
Rafael Barea, Luciano boquete, Elenalopez, Manuel Mazo. 'SIAMO Project(CICYT). Electronics Department. University of Alcala.Madrid.Spain
H.A.Yanco, 'Shared user-computer control of a robotic wheelchair system,' Ph.D. dissertation, Department of Electrical Engineering and Computer Science, MIT, 2008
Gabriel Pires, Rui Araujo, Urbano Nunes, A.T.de Almeida, 'ROBCHAIR A semi autonomouse wheelchair for disabled people,' 3rd IFAC Symposium on Intelligent Autonomous Vehicles(IAV'98), Madrid, pp. 648-652. 1998
Simon P. Levine, David A. Bell, Lincoln A. Jaros, Richard C. Simpson, Yoram Koren, 'The Nav-Chair Assistive Wheelchair Navigation System,' IEEE Transaction on rehabilitation engineering, Vol.7, No.4.1999
Tao Lu, Kui Yuan, Haibing Zhu, Huosheng Hu, 'An Embedded Control system for Intelligent Wheelchair,' IEEE engineering in Medicine & Biology Society. Proceedings of 27th pp. 1-4, 2005
Pei JIA and Huosheng HU, 'Head gesture recognition for hands-free control of an Intelligent Wheelchair,' Industrial robot Vol.34, No.1, pp.60-68, 2007
Yoshinori Kuno, Nobutaka Shimada, And Yoshiaki Shirai, 'A robotic wheelchair based on the integration of human and environmental observations,' IEEE robotic & Automation Magazine, 2003
Paul viola, Micheal Jones, 'Rapid Object Detection using a Boosted Cascade of Simple Features,' Conference on Computer Vision and Pattern Recognition, 2001
Paul Viola, Michael J.Jones, Robust real-time face detection, International Journal of Computer Vision, pp.137-154, 2004
Jin Sun Ju, Yunhee Shin, Eun Yi Kim, 'Intelligent Wheelchair using face and mouth shape recognition,' International Conference on Consumer Electronics. 2008
Eun Yi Kim, Sin Kuk Kang.: Eye Tracking using Neural Network and Mean-shift. LNCS, volume 3982, pp. 1200-1209 (2006)
R.Simpson, E.LoPresti S.Hayashi, I. Nourbakhsh and D.Miller, 'The smart wheelchair component system,' Journal of Rehabilitation Research and Development (JRRD), Vol.41, No.3B, pp.429-442, 2004
H.Mori, T. Nakata and Y.kamiyama, 'Next-Generation Intellignet wheelchair asdevelopmed by ROTA,' Proc. of 36th Int. Symposium on Robotics (ISR2005), pp.39, 2005
A. Lankenau and T. Rofer, 'Smart Wheelchairs state o the art in an Emerging Market,' Kunstliche Intelligenz, Vol.14, No.4, pp. 37-39, 2000
Y.Morere and A.Pruski, 'A multi-agent control structure for intelligent wheelchair and aided navigation for disabled people,' First French-Spanish Workshop on Assistive Technology, pp. 35-46, 2003
Sarangi P.Parikh, Valdir Grassi Jr, Jun Okamoto Jr, 'Usability Study of a Control Framework for an Intelligent Wheelchair,' International Conference on Robotics and Automation Barcelona, 2005
J.M.Park, J.Song, Y.J. Cho and S.R.Oh, 'A hybrid control architecture using a reactive sequencing startegy for mobile robot navigation,' proc. IROS 99, Vol.3, pp. 1279-1284, 1999
※ AI-Helper는 부적절한 답변을 할 수 있습니다.