[논문]시선위치 추적기법 및 3차원 위치정보 획득이 가능한 사지장애인 보조용 웨어러블 로봇 시스템

서형규; 김준철; 정진형; 김동환

doi:10.3795/ksme-a.2013.37.10.1219

시선위치 추적기법 및 3차원 위치정보 획득이 가능한 사지장애인 보조용 웨어러블 로봇 시스템
Wearable Robot System Enabling Gaze Tracking and 3D Position Acquisition for Assisting a Disabled Person with Disabled Limbs 원문보기

大韓機械學會論文集. Transactions of the Korean Society of Mechanical Engineers. A. A, v.37 no.10, 2013년, pp.1219 - 1227

서형규 (서울과학기술대학교 기계시스템디자인공학과) , 김준철 (서울과학기술대학교 기계시스템디자인공학과) , 정진형 (서울과학기술대학교 기계시스템디자인공학과) , 김동환 (서울과학기술대학교 기계시스템디자인공학과)

초록
AI-Helper

눈 움직임만으로 물건을 집고자 하는 사지장애자를 위한 웨어러블 로봇을 소개한다. 이 로봇에서는 시선위치추적 알고리즘을 적용하여 파지하고자 하는 물체를 보는 동공의 움직임을 확인하여 물체의 2차원 정보를 구하고 물체까지의 깊이는 로봇 어깨위에 올려져 있는 Kinect라는 장치를 사용하여 구한다. 물체와 로봇, 그리고 카메라간의 좌표변환과 매칭을 통하여 최종 물체의 3차원 정보를 추출하고 이 정보는 로봇제어기인 DSP로 전송되어 물체를 잡을 수 있도록 제어하게 되어 궁극적으로 사용자가 물체를 정확히 잡을 수 있도록 한다.

Abstract ▼ AI-Helper

A new type of wearable robot is developed for a disabled person with disabled limbs, that is, a person who cannot intentionally move his/her legs and arms. This robot can enable the disabled person to grip an object using eye movements. A gaze tracking algorithm is employed to detect pupil movements by which the person observes the object to be gripped. By using this gaze tracking 2D information, the object is identified and the distance to the object is measured using a Kinect device installed on the robot shoulder. By using several coordinate transformations and a matching scheme, the final 3D information about the object from the base frame can be clearly identified, and the final position data is transmitted to the DSP-controlled robot controller, which enables the target object to be gripped successfully.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

Gaze tracking기법을 적용하였으며, 물체를 보는 사용자의 동공의 움직임을 정확히 측정하여 물체의 2차원 정보를 구하였다. 또한 물체 위치정보를 보다 명확히 하기 위하여 사용자가 모니터를 주시하게 하여 집고자 하는 물체를 가리키게 하였다.
본 연구에서 제안하는 로봇은 몸을 움직일 수 없는 사지마비환자들이 오직 눈만을 움직일 수 있다는 점에서부터 착안하였다. 환자 즉, 사용자는 로봇 팔을 입고 눈동자를 움직여 줌으로써 사용자가 원하는 방향으로 사용자의 팔에 부착된 기구를 움직이는 것이다.
본 연구에서는 사지를 사용하기 어려운 장애자를 위하여 고안된 웨어러블 로봇을 개발하였다. 사용자의 눈동자의 움직임만을 비전처리를 통하여 파지하고자 하는 물체를 정확하게 파악하고, 이를 로봇의 목표구동 명령으로 처리하여 사용자의 팔을 물체까지 움직여 물체를 집을 수 있도록 하였다.

가설 설정

둘째, 센서의 오차이다. Kinect의 경우 적외선 센서처럼 깊이 값을 측정하기 때문에 매번 일정 하지 않고 빛의 조건에 따라 1mm에서 2mm정도의 오차가 발생한다.

제안 방법

팔의 회전 중심과기어의 회전 중심이 일치하도록 설계되어 회전이 자연스럽다. C자 모형으로 한 이유는 앞에 달린 와이어 모터를 안정적으로 지지해주면서, 입고 벗기 편하기 위해 제작하였다. 왼쪽의 모터가 와이어를 감게 되면 옆에 달린 가이드가 올라가면서 팔이 자연스럽게 올라간다.
적외선센서를 사용하여 외부 빛에 의한 노이즈를 최소화하여 훨씬 신뢰성 있고 간단하게 구현하였고, 물체를 보는 사용자의 눈동자의 움직임을 파악하여 물체의 2차원 위치 정보를 구하고 Kinect를 사용하여 물체까지의 거리 정보를 구하여 최종적으로 파지하고자 하는 물체까지 로봇 팔을 이동시켜 사용자가 물체를 집을 수 있도록 제작하였다. Gaze tracking기법을 적용하였으며, 물체를 보는 사용자의 동공의 움직임을 정확히 측정하여 물체의 2차원 정보를 구하였다. 또한 물체 위치정보를 보다 명확히 하기 위하여 사용자가 모니터를 주시하게 하여 집고자 하는 물체를 가리키게 하였다.
각 축의 좌표변환행렬을 이용하여 어깨 축 좌표로부터 최종 End-effector 좌표간의 변환행렬이 주어지면 (sT3)이를 만족하는 각 좌표 간 변환행렬 T1(Θ1), T2(Θ2), T3(Θ3)로부터 회전각도 (Θ1, Θ2, Θ3)를 계산한다.
환자 즉, 사용자는 로봇 팔을 입고 눈동자를 움직여 줌으로써 사용자가 원하는 방향으로 사용자의 팔에 부착된 기구를 움직이는 것이다. 구체적으로는 Gaze Tracking^(6,9)알고리즘을 통해 카메라로 동공의 움직임을 추적하여 사용자가 응시하는 곳의 평면 좌표를 도출하고, 모션감지센서인 Kinect ⁽¹⁰⁾를 이용하여 응시 점에 대한 깊이를 측정하여 착용한 로봇팔로 환자가 물체를 집을 수 있도록 한다.
본 연구에서는 사지마비 장애인의 경우를 대상으로 하여 기구의 탈부착이 용이하게 하고 사용자의 편의를 위하여 등 쪽으로 액튜에이터를 배치하지 않는 방안 등을 강구하였으며 전체 무게를 줄여 사용자가 피로감을 느끼지 않도록 설계하였다. 근전도 신호(EMG)를 사용하지 않고 장애자가 원하는 물체를 로봇 팔을 통하여 집을 수 있게 하기 위하여 물체의 2차원 정보를 동공의 움직임을 추적하여 이용하는 Gaze Tracking 기법을 활용하여 구하고 Gaze tracking으로 얻은 화면상의 물체를 모션 감지센서인 Kinect를 통하여 물체까지의 거리를 측정한다. 이러한 방법을 통하여 원하는 물체의
지지대에 카메라 A를 고정하였고 카메라 내부에 가시광선필터를 부착하여 외부 빛에 의한 노이즈를 차단하여 영상처리 시 용이하도록 하였다. 또한 사람의 눈에 무해한 적외선 발광부 B를 이용하여 Fig. 6과 같이 가시광선 필터에 영향을 받지 않고 홍채와 동공영역을 구분할 수 있도록 하였다.
이러한 웨어러블 로봇에서 가장 중요한 부분은 사용자와의 호환성이다. 로봇의 외형을 인체공학적인 설계를 통하여 착용감과 동작 등을 개선하고, 신체의 구조를 자세히 연구하여 로봇과 신체의 결합력을 높였고 다양한 사용자가 착용할 수 있도록 신체구조에 따라 조정이 가능하도록 설계하였다. 웨어러블 로봇의 실험 결과 사용자의 흔들림으로 인한 물체 파지 및 물체위치 계산에 약간의 오차가 발생하였으며 이를 극복할 수 있는 기구의 보완과 물체 움직임을 기반한 제어 알고리즘의 도입이 필요하다.
먼저 머리에 달린 고글형태의 Gaze tracking 카메라가 안면부에 부착되어 응시점의 x-y좌표 값을 읽어 들이며, Kinect 센서는 z값(물체와의 거리)을 읽어 측정한다. 로봇팔은 어깨, 팔꿈치에 세 개의 모터를 사용하여 3 DOF 시스템으로 팔이 움직일 수 있도록 하였다. 우선, 어깨에 달린 모터가 팔 전체를 들 수 있도록 설치되어 있으며, 팔꿈치 바로 위에 달린 반원 형태의 고리가 팔의 회전을 돕는다.
본 연구에서는 사지마비 장애인의 경우를 대상으로 하여 기구의 탈부착이 용이하게 하고 사용자의 편의를 위하여 등 쪽으로 액튜에이터를 배치하지 않는 방안 등을 강구하였으며 전체 무게를 줄여 사용자가 피로감을 느끼지 않도록 설계하였다. 근전도 신호(EMG)를 사용하지 않고 장애자가 원하는 물체를 로봇 팔을 통하여 집을 수 있게 하기 위하여 물체의 2차원 정보를 동공의 움직임을 추적하여 이용하는 Gaze Tracking 기법을 활용하여 구하고 Gaze tracking으로 얻은 화면상의 물체를 모션 감지센서인 Kinect를 통하여 물체까지의 거리를 측정한다.
본 연구에서는 사지를 사용하기 어려운 장애자를 위하여 고안된 웨어러블 로봇을 개발하였다. 사용자의 눈동자의 움직임만을 비전처리를 통하여 파지하고자 하는 물체를 정확하게 파악하고, 이를 로봇의 목표구동 명령으로 처리하여 사용자의 팔을 물체까지 움직여 물체를 집을 수 있도록 하였다.
실제 물건을 집는 동작의 경우 일상적인 생활에서 사람이 물건을 집는 상황을 고려하여 테스트하였다. 집는 물체의 기준은 컵, 과일, 휴대폰 등과 같이 어느 정도의 크기를 가지는 것으로 정 하였고, 실제 테스트에선 80*80*80(mm)의 크기를 가진 물체를 기준으로 손바닥의 가운데 점이 물체에 얼마나 접근하는지 측정하였다.
실제 파지 동작과 함께 Gaze Tracking을 이용하여 모니터 상에서 실제 시선이 어느 정도로 정확 하게 mapping 되는지를 실험하였고, Kinect센서의 깊이와 그것을 통한 삼차원좌표를 반복 측정하여 Table 1에 실험결과를 정리하였다.
어깨부위에 달린 모터가 팔꿈치 위에 달린 링기어를 잡아당겨 팔을 들어 올리는 메커니즘을 구현하였다. 그리고 여러 사람들도 착용할 수 있게 길이 조정이 가능하도록 슬라이드 블록에 Hole을 일정한 간격으로 내서 핀을 삽입하면 1cm간격으로 길이 조정이 가능하다.
우선, 물체 위치 변화 실험은 어깨 축을 기준으로 y = 30cm, z = 0cm으로 구속하고 x좌표만을 변화시키면서 실행하였다. Table 2의 실험에서 물체의 위치가 멀어질수록 파지 성공률이 떨어지는 것을 볼 수 있는데 이러한 현상의 원인 또한 사용자 신체의 흔들림으로 인하여 나타나는 것이다.
하지만 실제 눈 영상에 동공의 중심점을 표시해 보면 그림 8과 같이 동공을 나타내는 원의 위치가 일치하지 않는 오차가 발생하는데 이는 영상처리과정 때문에 생기는 원 영상의 변형 때문이다. 이러한 문제를 해결하기 위해 별도의 보정 알고리즘을 구성하였다.
근전도 신호(EMG)를 사용하지 않고 장애자가 원하는 물체를 로봇 팔을 통하여 집을 수 있게 하기 위하여 물체의 2차원 정보를 동공의 움직임을 추적하여 이용하는 Gaze Tracking 기법을 활용하여 구하고 Gaze tracking으로 얻은 화면상의 물체를 모션 감지센서인 Kinect를 통하여 물체까지의 거리를 측정한다. 이러한 방법을 통하여 원하는 물체의
3차원 정보를 로봇에 입력하여 환자에 부착된 로봇을 원하는 물체까지 이동시켜 물체를 집을 수 있게 하였다.
비전처리를 이용한 사용자 의도를 파악하는 방법의 장점은 물체 정보처리가 비교적 간단하게 이루어질 수 있다는 것이다. 적외선센서를 사용하여 외부 빛에 의한 노이즈를 최소화하여 훨씬 신뢰성 있고 간단하게 구현하였고, 물체를 보는 사용자의 눈동자의 움직임을 파악하여 물체의 2차원 위치 정보를 구하고 Kinect를 사용하여 물체까지의 거리 정보를 구하여 최종적으로 파지하고자 하는 물체까지 로봇 팔을 이동시켜 사용자가 물체를 집을 수 있도록 제작하였다. Gaze tracking기법을 적용하였으며, 물체를 보는 사용자의 동공의 움직임을 정확히 측정하여 물체의 2차원 정보를 구하였다.
5와 같은 시선추적기를 설계하였다. 지지대에 카메라 A를 고정하였고 카메라 내부에 가시광선필터를 부착하여 외부 빛에 의한 노이즈를 차단하여 영상처리 시 용이하도록 하였다. 또한 사람의 눈에 무해한 적외선 발광부 B를 이용하여 Fig.
실제 물건을 집는 동작의 경우 일상적인 생활에서 사람이 물건을 집는 상황을 고려하여 테스트하였다. 집는 물체의 기준은 컵, 과일, 휴대폰 등과 같이 어느 정도의 크기를 가지는 것으로 정 하였고, 실제 테스트에선 80*80*80(mm)의 크기를 가진 물체를 기준으로 손바닥의 가운데 점이 물체에 얼마나 접근하는지 측정하였다. 실험에서는 사지를 사용하지 못하는 대상인을 찾기 어려워 정상적인 사람을 대상으로 실험을 수행하였고 장애자의 경우는 본 실험 결과가 약간의 차이가 발생할 가능성이 있다.
본 연구의 핵심은 Gaze Tracking을 이용하여 사지마비 장애인이 눈을 움직임으로 기준 축에서 물체의 좌표를 구하여 착용한 로봇 팔을 제어하여 원하는 물건을 집는 것이다. 카메라와 Kinect 센서를 통해 물체의 영상을 취득하고 영상처리를 하여 MCU(마이컴제어기)에 물체의 좌표를 전달하도록 시스템을 구성하였다. Fig.

대상 데이터

본 연구의 핵심은 Gaze Tracking을 이용하여 사지마비 장애인이 눈을 움직임으로 기준 축에서 물체의 좌표를 구하여 착용한 로봇 팔을 제어하여 원하는 물건을 집는 것이다. 카메라와 Kinect 센서를 통해 물체의 영상을 취득하고 영상처리를 하여 MCU(마이컴제어기)에 물체의 좌표를 전달하도록 시스템을 구성하였다.

성능/효과

장애자의 경우 실제 오차가 다소 커질 가능성이 있다고 판단된다. 이러한 오차의 발생에도 불구하고 실제 물체의 파지 동작에는 심각한 문제가 발생하지 않았으며 높은 파지 성공률을 가지는 것으로 확인되었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	현재 알려진 Gaze Tracking 기술로는 무엇이 있습니까?	Gaze Tracking은 사람의 시선을 추적하기 위한 방법이며, 사람의 심리를 연구하기 위한 방법으로 주로 사용되어왔다. 현재 알려진 Gaze Tracking 기술로는 시선의 3차원 위치를 모르는 상태에서 사용자의 머리 움직임이나 시선의 이동에 따른 상대적 방향만을 측정하는 2차원 추적기술과 모델기반의 3차원 추적 기술이 알려져 있다.(6) 2차원 추적기술의 예로는 전극을 눈 주위에 부착해 그 전위차를 이용한 EOG 방식(7)으로 눈의 신경근육을 이용하여 측정하는 방식이며, 신경근육이 약간의 움직임에도 민감하므로 오동작률이 높다.
	기존의 근력 지원형 로봇을 전신마비 장애인들에게 적용하기 어려운 이유는 무엇입니까?	하지만, 보통의 장애인과 달리 몸을 전혀 움직일수 없는 전신마비 장애인들에게는 기존의 근력 지원형 웨어러블 로봇을 사용하기에는 한계가 있다. 이들은 몸의 근육을 사용할 수 없어서 근전도 신호 (EMG)를 만들어 낼 수 없다. 또한 부분적인 신체의 움직임을 이용하지 못하는 문제 역시 기존 웨어러블 로봇을 사용하기에 어려운 점이 많다. 따라서 기존의 시스템과 다른 방법으로 재활 목적을 겸비한, 스스로의 의지에 따라 자신의 신체를 움직일 수 있는 웨어러블 로봇의 개발이 필요하다.
	기존에 개발되고 있는 많은 웨어 러블 로봇들의 방식이 지니는 문제점은 무엇입니까?	뿐만 아니라 기존에 개발되고 있는 많은 웨어 러블 로봇들의 방식에는 여러 가지 문제점이 발생한다. 우선, 근육에서 발생되는 생체 신호를 감지하기 위하여 OP-AMP를 이용한 신호 증폭 센서를 이용하는데 이때, 증폭 과정에서 생기는 수많은 노이즈를 처리하고 분석하데 많은 노력과 시간이 소요된다.(5) 또한 사지마비 장애인처럼 사용자에 따라 출력되는 신호의 정도가 다르기 때문에, 이를 처리 하는데 여러 어려움이 있었다. 따라서 카메라를 통한 비전방식을 이용하면 주변빛 밝기 이외에 별다른 외부 조건에 대해 제한을 받지 않고 영상처리를 통해서 밝기에 따른 노이즈 또한 처리할 수 있기 때문에 사용자의 의도대로 동작시키는데 용이한 면이 있다.

참고문헌 (12)

Nam, M. K., 2011, "An Analysis on the Design Development Status of Wearable Goos for Measuring the Physical Function and Position," Korean Society of Design Culture, Vol. 17, No. 2, pp. 161-171
Noritsugu, T., Daisuke, S. and TakaiwaM., 2009, "Development of Power Assist Wear Using Pneumatic Rubber Artificial Muscles," Robotics and Mechatronics, Vol. 21, No. 5, pp. 607-608
Kiguchi, K., Tanaka, T. and Fukuda, T., 2004, "Neuro-Fuzzy Control of a Robotic Exoskeleton With EMG Signals," IEEE Transactions on Fuzzy Systems, Vol. 12, No. 4, pp. 481-490

상세보기
Nalto, J., Obinata, G., Nakayama, A. and Hase, K., 2007, "Development of a Wearable Robot for Assisting Carpentry Workers," ARS, Vol. 4, No. 4, pp. 431-436
Kundu,A. S., Mazumder, O. and Bhaumik, S., 2011, "Design of Wearable, Low Power, Single Supply Surface EMG Extractor Unit for Wireless Monitoring," International Conference on Nanotechnology and Biosensors IPCBEE, Vol. 25, pp. 69-74
Park, J., Kwon, Y.-M. and Shon, K., 2006, "Gaze Tracking System Using Feature Points of Pupil and Glints Center," The Korean Society of Broadcast Engineers, Vol. 11, No. 1, pp. 80-90
Barea, R., Boquete, L., Mazo, M., Lopez, E., 2002, "Wheelchair Guidance Strategies Using EOG," Journal of Intelligent and Robotic System, Vol. 34, pp. 279-299
Park, K. R., 2004, "Gaze Detection System by IR-LED based Camera," KICS, Vol.29, No. 4C, pp. 494-504
Lee, W. O., Lee, E. C., Park, K. R., Lee, H. K., Park, M., Lee, H. K. and Hong, J. W., 2009, "A Study on Controlling IPTV Interface Baced on Tracking of Face and Eye Positions," KICS, Vol. 35, No. 6, pp. 930-939
http://en.wikipedia.org/wiki/Kinect
Saeed B. Niku, 2011, Introduction to Robotics, 2nd Ed, Prentice Hall, pp. 33-132
http://blogs.msdn.com/b/msroboticsstudio/archive/ 2011/11/29/kinect-for-robotics.aspx

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증