[논문]손동작 영상획득을 이용한 최소침습수술로봇 무구속 마스터 인터페이스

장익규

doi:10.9718/jber.2016.37.3.105

[국내논문] 손동작 영상획득을 이용한 최소침습수술로봇 무구속 마스터 인터페이스
Non-restraint Master Interface of Minimally Invasive Surgical Robot Using Hand Motion Capture 원문보기

Journal of biomedical engineering research : the official journal of the Korean Society of Medical & Biological Engineering, v.37 no.3, 2016년, pp.105 - 111

장익규 (구미전자정보기술원 전자의료기술연구본부)

Abstract ▼ AI-Helper

Introduction: Surgical robot is the alternative instrument that substitutes the difficult and precise surgical operation; should have intuitiveness operationally to transfer natural motions. There are limitations of hand motion derived from contacting mechanical handle in the surgical robot master interface such as mechanical singularity, isotropy, coupling problems. In this paper, we will confirm and verify the feasibility of intuitive Non-restraint master interface which tracking the hand motion using infra-red camera and only 3 reflective markers without the hardware handle for the surgical robot master interface. Materials & methods: We configured S/W and H/W system; arranged 6 infra-red cameras and attached 3 reflective markers on hands for measuring 3 dimensional coordinate then we find the 7 motions of grasp, yaw, pitch, roll, px, py, pz. And we connected Virtual-Master to the slave surgical robot(Laparobot) and observed the feasibility. To verify the result of motion, we compare the result of Non-restraint master and that of clinometer (and protractor) through measuring 0~180 degree, 10degree interval, 1000 samples and recorded standard deviation stands for error rate of the value. Results: We confirmed that the average angle values of Non-restraint master interface is accurately corresponds to the result of clinometer (and protractor) and have low error rates during motion. Investigation & Conclusion: In this paper, we confirmed the feasibility and accuracy of 3D Non-restraint master interface that can offer the intuitive motion of non-contact hardware handle. As a result, we can expect the high intuitiveness, dexterousness of surgical robot.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 논문에서는 마스터에서 수술동작에 필요한 손동작을 적외선 카메라로 위치를 검출, 공간상 동작정보를 계산, 실시간 전달하여 슬레이브 수술도구를 제어하는 무구속 마스터 인터페이스가 가능함을 확인, 검증한다. 이를 통해 수술 수행 시 동작이 좀 더 직관적(intuitive)인 움직임을 구현할 수 있다.
이 논문에서는 무구속 마스터 인터페이스의 성능을 검증하기 위해서 roll, pitch, yaw 동작을 취할 수 있는 삼각대(Manfrotto; 161MK2; Italy)를 이용하여 roll동작만 취했을 때, pitch 동작만 취했을 때, yaw 동작만 취했을 때 세 개의 동작의 자유도를 동시 측정하여 살펴보았다. Roll, pitch, yaw 동작은 나머지 px, py, pz 좌표와 Grasp을 구하기 위한 두 개의 벡터를 모두 포함하고 있는 값이므로 이 RPY 동작을 검증하면 된다.

제안 방법

S/W는 그림 3과 같이 객체지향적 모델 설계 도구 (Unified Modeling Language-UML; Object Modeling technique OMG, USA)를 이용하여 설계하였으며 최상위에 한 개의 클래스를 두어 사용자가 activation과 deactivation만 동작할 수 있도록 사용자 인터페이스를 단순화하였다. 내부적으로 최대 240 frame/sec의 실시간 영상을 처리를 지원하고, 추후 슬레이브로의 송신 작업 우선순위를 부여하여 송신 작업 스케줄링을 위해서 실시간 운영체제(windows xpRTX MP dedicated; Interval Zero, MA, US)를 사용하며 Virtual Master 클래스에서는 이러한 기능을 지원하고 반복적으로 실시간 동작 데이터를 처리하도록 하기 위해서 쓰레드(Thread)를 사용한다.
자연스러운 동작이 가능한지 여부를 확인하기 위해서 수술동작 시 대표적인 동작인 직선동작, 원동작, 8자 동자를 국립암센터 전문의가 취하고 각 10회를 기록하여 분석하였다. 기계식 마스터와 무구속 마스터를 비교한 세 가지 모션의 병진동작의 궤적을 3차원 좌표로 표현하였다. 기계식 마스터는 Phantom Premium(Sensable Raleigh, NC, USA)를 사용하였고 집게동작을 제외한 6자유도 모션을 취할 수 있다.
기계식 마스터는 Phantom Premium(Sensable Raleigh, NC, USA)를 사용하였고 집게동작을 제외한 6자유도 모션을 취할 수 있다. 무구속 마스터와 기계식 마스터를 스레이브 로봇이 피봇(Pivot)된 상태에서 동작하였고 궤적을 mm단위로 기록하였다.
6대의 카메라(MX3+^TM Model; Vicon Motion Systems, Oxford, UK)를 사용하여 측정된 적외선 영상 데이터는 그림 2와 같이 적외선 영상 데이터 획득 서버(MXULTRANET^TM; Vicon Motion Systems, Oxford, UK)에 연결되어 전달된다. 서버와 연결된 마스터 프로세서(xw4400 workstation; Hewlett-Packard, CA, US) (Windows RTX; Interval Zero; US)에서 카메라 제어 소프트웨어(Vicon Nexus^TM; Vicon Motion Systems, Oxford, UK) 프로그램과 calibration wand (14 mm L-frame 5 marker wand; Vicon Motion Systems, Oxford, UK) 를 사용하여 3차원 좌표계를 설정한다. 손동작이 촬영되기 시작하면 영상데이터가 적외선 카메라, 데이터 수집서버, 마스터 프로세서, 슬레이브 프로세서를 따라 수술도구 컨트롤러를 통해서 수술도구를 제어하게 된다.
자연스러운 동작이 가능한지 여부를 확인하기 위해서 수술동작 시 대표적인 동작인 직선동작, 원동작, 8자 동자를 국립암센터 전문의가 취하고 각 10회를 기록하여 분석하였다. 기계식 마스터와 무구속 마스터를 비교한 세 가지 모션의 병진동작의 궤적을 3차원 좌표로 표현하였다.

대상 데이터

정확성을 검증하기 위해서 Roll, pitch는 수평계(Clinometer; DL-155V, Japan)를 이용한 측정 각도와 무구속 마스터 계산 결과 평균값을 비교하고, Yaw은 삼각대의 각도기(Manfrotto; 161MK2; Italy)를 이용하여 측정한 결과와 무구속 마스터 결과 평균값을 비교하여 사용 가능성을 살펴본 후 표준편차를 구하고 신뢰구간, 오차를 분석하였다. 결과는 각도 당 1000개 샘플을 사용하였다.
기계식 마스터와 무구속 마스터를 비교한 세 가지 모션의 병진동작의 궤적을 3차원 좌표로 표현하였다. 기계식 마스터는 Phantom Premium(Sensable Raleigh, NC, USA)를 사용하였고 집게동작을 제외한 6자유도 모션을 취할 수 있다. 무구속 마스터와 기계식 마스터를 스레이브 로봇이 피봇(Pivot)된 상태에서 동작하였고 궤적을 mm단위로 기록하였다.

데이터처리

정확성을 검증하기 위해서 Roll, pitch는 수평계(Clinometer; DL-155V, Japan)를 이용한 측정 각도와 무구속 마스터 계산 결과 평균값을 비교하고, Yaw은 삼각대의 각도기(Manfrotto; 161MK2; Italy)를 이용하여 측정한 결과와 무구속 마스터 결과 평균값을 비교하여 사용 가능성을 살펴본 후 표준편차를 구하고 신뢰구간, 오차를 분석하였다. 결과는 각도 당 1000개 샘플을 사용하였다.
측정후 정확성을 살펴보기 위해 x축-수평계 및 각도기 측정 값과 y축-무구속 마스터 결과와의 비교값을 표현하였고, 각도 당 1000회 sampling 된 값의 평균과 표준편차를 표기하였다. 각 동작은 10도 간격으로 0도에서 180도까지 측정하였다.

성능/효과

무구속 마스터와 기울기 센서의 값을 비교해 본 결과 그림 6와 같이 0~180 도까지 표준편차 0.003~0.47도를 보이므로 정밀하다는 사실을 확인할 수 있다.
087도를 보이고 있다. 이 논문에서 우리는 손동작을 제한하는 하드웨어 핸들을 사용하지 않고 높은 시공간 해상도(spatio-temporal resolution)의 적외선 카메라로 포셉과 결속한 손 동작을 분석하여 결과를 확인함으로써 자연스러운 움직임을 구현할 수 있었고 측정결과를 통해 사용가능성과 정확성이 확인되었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	모션 측정방법에는 어떠한 방법이 있는가?	이런 다양한 마스터 방법 중에서 모션 측정방법이 있는데, 영상을 이용한 방법, 초흠파를 이용한 방법, 자기식 모션센서를 이용한 방법 등이 있었다. 영상을 이용한 동작 분석방법[13]은 다양한 환경에 대해서 포인트의 위치가 가변적이고 연산량이 많으므로 엄격하게 실시간으로 정확한 결과를 얻기 힘들었다.
	상용 수술 로봇 구조의 장점은?	상용 수술 로봇은 크게 수술을 수행하는 수술도구(Slave)부분과 수술자가 손동작을 입력하는 조종간(Master) 부분으로 나뉜다. 이러한 구조는 조종간(Master)에서 입력하는 손동작의 자유도와 수술도구(Slave) 동작의 자유도사이의 인터페이스를 연결하는 과정에서 상대적으로 크기가 큰 움직임을 작고 정밀한 수술도구 동작으로 변환해 주고 복잡한 복강경 수술 동작을 기구학적으로 직관적 움직임이 가능하게 하여 사용 시 최소 침습적 수술을 가능하게 하였다[1]. 이 방법은 Da vinci[2]와 같은 기존의 수술로봇에 적용되어 직관적 수술 수행에 크게 기여하였지만 복잡한 기계식 핸들로 구성된 조정간(Master)이 손에 접촉되어 있어 조작시 사람과 기계 간 및 링크 간 물리적 간섭[2], 기계적 특이점[3-6], 등방성[7-10] 등의 문제가 발생하여 직관적인 수술동작 수행에 제약이 있었고 마스터 인터페이스에서 자연스러운 움직임을 구현하기 위한 마스터에 대한 연구들이 여러 분야에서 이루어 졌다[6,11-14].
	상용 수술 로봇은 어떻게 나누어지는가?	상용 수술 로봇은 크게 수술을 수행하는 수술도구(Slave)부분과 수술자가 손동작을 입력하는 조종간(Master) 부분으로 나뉜다. 이러한 구조는 조종간(Master)에서 입력하는 손동작의 자유도와 수술도구(Slave) 동작의 자유도사이의 인터페이스를 연결하는 과정에서 상대적으로 크기가 큰 움직임을 작고 정밀한 수술도구 동작으로 변환해 주고 복잡한 복강경 수술 동작을 기구학적으로 직관적 움직임이 가능하게 하여 사용 시 최소 침습적 수술을 가능하게 하였다[1].

참고문헌 (20)

Mitsuishi M., "Medical Robot and Master Slave System for Minimally Invasive Surgery," in Complex Medical Engineering, 2007. IEEE/ICME International Conference on, 2007, pp. 8-13.
Y. Komoguchi, et al., "Redundancy resolution of a 7DOF haptic interface considering colloision and singularity avoidance," in International Conference on Intelligent Robots and Systems Acropolis Convention Center, Nice, France, 2008, pp. 3513-3518.
GAV Christiansson and E. Fritz, "A novel planar 3-DOF hard-soft haptic teleoperator," in Sencond Joint EuroHaptics Conference and Symposium on Haptic Interface for Virtual Environment and Teleoperator Systems, 2007, pp. 361-366.
HW Kim, et al., "Singularity-free load distribution algorithms for a 6DOF parallel haptic device," in Proceedings of the 2004 IEEE International Conference on Robotics & Automation, New Orleans, 2004, pp. 298-304.
K Nagase and S. Katsura, "Bilateral control considering singularity based on observation of torque error," in The 11th IEEE International Workshop on Advanced Motion Control, Nagaoka, 2010, pp. 744-749.
T. Molet, et al., "A Real Time Anatomical Converter For Human Motion Capture," in In Eurographics Workshop on Computer Animation and Simulation 1996, pp.79-94.
JH Chung, et al., "Implementation of foldable 3DOF master device to handle a large glass plate," in International Conference on Intelligent Robot and Systems Louis, 2009, pp. 741-747.
LJ Socco, et al., "On the use of scaling matrices for task specific robot design," IEEE transactions on Robotics and Automation, vol. 15, pp. 958-965, 1999.

상세보기
MJH Lum, et al., "Optimization of a spherical mechanism for a minimally invasive surgical robot: Theoretical and experimental approaches," IEEE transactions on Biomedical Engineering, vol. 53, pp. 1440-1445, 2006.

상세보기
T Huang, et al., "Optimal kinematic design of 2 DOF parallel manipulators with well shaped workspace bounded by a specified conditioning index," IEEE transactions on Robotics and Automation, vol. 20, pp. 538-543, 2004.

상세보기
A.G. Kirk, et al., "Skeletal Parameter Estimation from Optical Motion Capture Data," in CVPR 2005, 2004, pp. 782-788.
J. Borenstein and L. Feng, "Gyrodometry: A New Method for Combining Data from Gyros and Odometry in Mobile Robots," in Proceedings of the 1996 IEEE International Conference on Robotics and Automation, Minneapolis, 1996, pp. 423-428.
J. Deutscher, et al., "Articulated body motion capture by annealed particle filtering," in Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference on, SC, USA, 2000, pp. 126-133.
Y. Nishida and K. Kitamura, "Quick Realization of Function for Detecting Human Activity Events by Ultrasonic 3D Tag and Stereo Vision," in IEEE International Conference on Pervasive Computing and Communications, 2004, pp. 43-54.
T.L. Grigorie and D.G. Sandu, "The influences of the gyro sensors' errors on the attitude calculus," in 49th International Symposium ELMAR 2007, Zadar, 2007, p. 85.
F. Wang, et al., "Gait analysis and validation using voxel data," in 31st Annual International Conference of the IEEE EMBS, Minneapolis, Minnesota, 2009, p. 6127.
H.M. Je, et al., "Hand gesture recognition to understand musical conducting action," in IEEE International Conference on Robot & Human Interactive Communication, Jeju, Korea, 2007, p. 163.
J.E. McNamara, et al., "Motion capture of chest and abdominal markers using a flexible multi-camera motion-tracking system for correcting motion-induced artifacts in cardiac SPECT," in Nuclear science symposium conference record, 2007., Honolulu, HI, 2007, p. 4289.
W. Tian, et al., "Spatio-temporal characteristics of human gaits based on joint angle analysis," in 3rd IEEE International Conference on, Chengdu, 2010, p. 439.
S.B. Niku, "Robot kinematics: position analysis," in Introduction to robotics analysis, systems, applications, ed CA: Prentice hall, 2002, pp. 68-72.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증