[논문]증강현실 기반의 최소침습수술용 인터페이스의 개발

문진기; 박신석; 김유진; 김진욱

문제 정의

본 논문에서는 영상좌표와 물리좌표의 좌표변환을 위하여 3차원 크기변수를 포함하는 반복적인 레지스트레이션(registration) 방법을 제안한다. 일반적으로 레지스트레이션 문제는 가상의 환자모델에 부착된 마커와 복원된 3차원 마커 모델의 버텍스(vertex) 사이에 강체변환(rigid transformation) 관계를 찾는 것이다.
본 논문에서는 조이스틱을 이용하여 복강경 움직임 모듈을 조종함으로써 물리좌표에서 복강경 시야의 방향을 바꿀 수 있었다. 복강경 움직임 모듈과 직관적으로 맵핑된 조이스틱을 이용하여 물리좌표에서 복강경의 피치(pitch)와 요(yaw) 움직임을 조종할 수 있었다.
본 논문에서는 최소침습수술과정 중 의사가 환자 몸 안의 수술도구를 직관적으로 조종할 수 있도록 돕는 최소침습수술을 위한 증강현실 기반의 몰입형 인터페이스의 개발에 대하여 표현하였다. 복강경의 영상정보는 대형 스크린(concave screen) 중앙에 고정되고 그 주변에는 수술작업 전 진단의학영상 자료를 기반으로 복원된 3D 환자모델이 표현된다.
본 논문은 최소침습수술 과정 중 의사가 환자 몸 안의 수술도구를 직관적으로 조종할 수 있도록 돕는 증강현실 기반의 최소침습수술 인터페이스의 개발에 대하여 표현하였다. CT, MRI와 같은 진단의학 영상자료를 기반으로 복원된 3차원 환자모델과 실제 수술영상을 혼합한 증강현실 인터페이스는 제한된 복강경의 시각정보를 훨씬 더 개선하였다.

가설 설정

1. 유사성을 바탕으로 정렬될 두 구조물에 특징들의 관련성을 설립한다.
2. 수렴할 때까지 다음을 반복한다.
또한, 가상환자 모델의 마커들의 위치 값을 측정할 때 발생할 수 있는 에러를 고려하여 복원된 3차원 환자모델의 각 마커들로부터 관련된 버텍스 9개의 값을 선택하였다. 둘째는 3차원 환자모델의 복원과정과 측정시스템 사이에 단위 크기의 불일치에 의해 발생하는 크기조정 요소를 알 수 없다는 것이다. 이 것은 회전행렬을 찾는 문제와 결합되어 매우 비선형적인 목적 함수를 만드는 결과를 초래하고 찾아야 할 변수를 증가시키기 때문에 매우 해결하기 어렵다.

제안 방법

2. 첫 번째 조건을 가장 잘 맵핑시키는 강체 변환을 평가한다.
복강경으로부터 획득된 영상신호는 디지털 비디오 변환기를 통해 디지털 비디오 형식으로 변환된 후, DVTS 라이브러리를 이용하는 nvmStreaming 모듈에 의하여 전송되어 비디오 보드에 텍스쳐 된다. DVTS의 실시간 전송프로토콜(RTP)은 이더넷을 통해 실시간으로 스트리밍 데이터를 전송하도록 설계되었다. 이러한 이유로 DVTS는 텔레-메디신(tele-medicine) 시스템에서 자주 이용된다^{[16, 17]}.
가상의 환자모델과 복원된 3차원 환자모델의 관계를 계산하기 위해 CT 촬영 전 가상의 환자모델에 5개의 마커(marker)를 부착하였고 물리좌표와 영상좌표의 마커들의 관계를 이용하여 좌표변환 행렬을 계산하였다.
첫째, 우리는 이미 가상 환자 모델의 마커들과 복원된 3차원 환자모델의 버텍스들 사이의 관련성을 알고 있기 때문에 문제는 매우 간단해 질 수 있다. 또한, 가상환자 모델의 마커들의 위치 값을 측정할 때 발생할 수 있는 에러를 고려하여 복원된 3차원 환자모델의 각 마커들로부터 관련된 버텍스 9개의 값을 선택하였다. 둘째는 3차원 환자모델의 복원과정과 측정시스템 사이에 단위 크기의 불일치에 의해 발생하는 크기조정 요소를 알 수 없다는 것이다.
반복적 계산을 위해 요구되는 초기의 회전행렬과 크기요소를 단위행렬(identity matrix)과 단위 크기요소(1 1 1)을 이용하였다. 각 x, y, z축에 대하여 크기요소가 큰 비율을 가질 때 상대적으로 느린 수렴이 발생하였다.
본 논문에서 이용된 GPU기반 왜곡 수정과정의 기본적인 개념은 버텍스(vertex) 좌표가 맵핑(mapping)된 평면 메쉬(mesh)를 도입하고 왜곡 영상의 텍스쳐(texture) 좌표를 기본 메쉬의 버텍스 좌표와 일치하도록 조정하여 왜곡된 영상을 보정하였다 [그림 4]. 우선, 사각 평면의 메쉬를 정의하고 메쉬의 버텍스 좌표에 준비된 사각격자의 이미지를 맵핑한다.
이러한 이유로 DVTS는 텔레-메디신(tele-medicine) 시스템에서 자주 이용된다^{[16, 17]}. 본 논문에서 제안된 증강현실 시스템도 DVTS의 실시간 전송 프로토콜을 이용하여 실시간으로 복강경 영상을 전송하였다.
본 논문에서 제안하는 알고리즘의 주된 아이디어는 우선 크기요소와 관련된 목적함수를 최소화 시키는 회전행렬을 계산하고 다음으로 크기요소와 관련된 회전행렬에 대하여 최소화를 시키는 것이다. 이 두 단계는 수렴조건을 만족시킬 때까지 반복된다.
본 논문에서 제안하는 증강현실 인터페이스는 복강경, 복강경 움직임 모듈, 디지털 비디오 변환기 (Digital Video converter), 조이스틱, 워크스테이션, 3개의 프로젝터 그리고 대형 스크린 등을 이용하여 개발되었다. 증강현실 인터페이스에서 복강경 화면은 대형 스크린의 중앙에 고정되고 진단의학 영상자료를 기반으로 복원된 3차원 환자모델은 복강경 화면의 외곽에 표현된다 [그림 1].
증강현실 시스템을 구성하기 위해서는 실제영상과 가상의 3D 모델이 필요하다. 본 연구에서는 복강경을 이용하여 실제영상을 획득하였고, 환자모형의 CT자료를 기반으로 3D Slicer(Surgical Planning Laboratory, Brigham and Women's Hospital)를 이용하여 가상의 3차원 환자모델은 복원하였다 [그림 2]. 증강현실 시스템에서 복강경 영상과 복원된 3차원 환자모델을 일치시키기 위해서는 물리좌표와 영상 좌표 사이의 좌표변환이 필요하다.
영상좌표에서 복원된 3차원 환자모델에 표시된 마커들(5개 핀)의 위치정보를 획득하기 위해 3차원 편집 프로그램을 이용하였고, 물리좌표에서 가상 환자모델에 부착된 마커들(5개 핀)의 위치와 복강경 좌표의 정보를 획득하기 위해 로봇 팔(BIOLOID, ROBOTIS, Inc.)을 이용하였다 [그림 3]. 이렇게 획득된 마커들의 위치 벡터를 이용하여 여러 개의 레지스트레이션 벡터(registration vector)를 생성하였고, 이 벡터들의 연산을 통해 좌표변환 행렬을 구할 수 있었다.
또한, 복강경 영상의 왜곡문제를 해결하는 과정은 관련된 시스템과의 안정된 상호작용을 위하여 CPU의 부하를 최소로 하여 시스템의 실시간성을 유지해야 한다^[14]. 이러한 요구에 부합하기 위하여 우리는 GPU 기반의 실시간 이미지 복원을 이용하였다.
)을 이용하였다 [그림 3]. 이렇게 획득된 마커들의 위치 벡터를 이용하여 여러 개의 레지스트레이션 벡터(registration vector)를 생성하였고, 이 벡터들의 연산을 통해 좌표변환 행렬을 구할 수 있었다.

대상 데이터

또한 복원된 3차원 환자모델이 정확하면 정확할수록 영상좌표에서 더 정확한 마커의 위치정보를 획득할 수 있기 때문에 더 정확한 물리좌표와 영상좌표의 좌표변환이 가능하다. 본 연구에서는 분해능이 0.75mm 인 CT자료를 기반으로 정밀하게 복원된 3차원 환자모델을 이용하였다.
수술영상을 획득하기 위한 장비는 복강경, 비디오 신호증폭기, 비디오, 모니터 및 광원으로 구성된다. 복강경 렌즈를 통하여 들어온 환부의 이미지는 CCD 센서가 장착된 면에 원형의 영상을 만든다.

이론/모형

왜곡된 이미지의 텍스쳐 좌표에서 추출된 격자점의 위치를 기본 메쉬에 정의된 버텍스 좌표의 격자 점 위치로 이동시킴으로써 왜곡된 격자 점이 원래의 위치로 돌아가게 된다. 또한 격자 점들 사이에 존재하는 이미지 픽셀들은 격자 점들 사이의 선형 보간법(linear interpolation)을 이용하여 원래의 위치로 복원된다. 그러나 광각렌즈는 렌즈의 특성에 따라 입력영상을 비선형적으로 왜곡시킨다.
이와 같은 마스터-슬레이브(master-slave) 시스템의 통신을 위해 NAVERLib의 nvmDeviceManager 모듈이 이용되었다. 또한, 증강 현실 시스템의 주변장치(조이스틱, 복강경 움직임 모듈)와 연결된 서버(server)와 클라이언트(client)의 통신을 위해 nvmDeviceManager 모듈은 VRPN을 이용하였다^[18].
카메라 영상의 왜곡 수정에 대한 평가는 수정된 영역의 넓이오차에 대한 평가와 영상중심에서부터의 표준거리 오차에 대한 평가 크게 두 가지로 나누어진다. 본 논문에서는 표준거리 오차에 대한 방법을 이용하였다. 영상의 중심을 P0으로 하고 영상의 끝점을 P8으로 하여 P0과 P1 사이의 거리를 기준 거리로 이용하였다.
복강경 움직임 모듈과 직관적으로 맵핑된 조이스틱을 이용하여 물리좌표에서 복강경의 피치(pitch)와 요(yaw) 움직임을 조종할 수 있었다. 이와 같은 마스터-슬레이브(master-slave) 시스템의 통신을 위해 NAVERLib의 nvmDeviceManager 모듈이 이용되었다. 또한, 증강 현실 시스템의 주변장치(조이스틱, 복강경 움직임 모듈)와 연결된 서버(server)와 클라이언트(client)의 통신을 위해 nvmDeviceManager 모듈은 VRPN을 이용하였다^[18].
증강현실 시스템을 구현하기 위한 네트워크 시스템으로 NAVERLib이 사용되었다. NAVERLib의 여러 모듈은 (nvmLoader, nvmDisplay, nvmDeviceManager, nvmStreaming) 증강현실 시스템의 사용자 환경과 상호작용을 위해 다양한 라이브러리를 제공한다.

성능/효과

본 논문은 최소침습수술 과정 중 의사가 환자 몸 안의 수술도구를 직관적으로 조종할 수 있도록 돕는 증강현실 기반의 최소침습수술 인터페이스의 개발에 대하여 표현하였다. CT, MRI와 같은 진단의학 영상자료를 기반으로 복원된 3차원 환자모델과 실제 수술영상을 혼합한 증강현실 인터페이스는 제한된 복강경의 시각정보를 훨씬 더 개선하였다. 복원된 3차원 환자모델을 이용하여 복강경 시야 밖의 보이지 않는 환자 몸의 구조들을 표현할 수 있었고 넓은 시야각의 대형 스크린(concave screen)은 몰입적 환경을 제공함으로써 의사에게 환자의 몸 안에서 수술하는 것과 같은 느낌을 전달해 주었다.
결과적으로 획득된 좌표변환 행렬을 이용하여 물 리좌표의 복강경 좌표를 영상좌표로 좌표변환하여 뷰(view) 좌표를 생성함으로써 복강경 영상과 복원된 3차원 환자모델을 일치 시킬 수 있었다.
이로 인하여 의사는 복강경을 움직이지 않고도 환자 몸의 내부구조에 대한 깊이 정보 및 수술도구의 위치정보를 쉽게 인식하여 보다 빠르고 정확하게 수술도구를 조종할 수 있었다. 또한 필요에 따라서 의사는 조이스틱을 이용하여 복강경의 방향 및 그래픽 공간에서 시야의 방향을 동시에 바꿈으로써 수술을 더욱 원활하게 수행할 수 있었다.
본 논문에서는 조이스틱을 이용하여 복강경 움직임 모듈을 조종함으로써 물리좌표에서 복강경 시야의 방향을 바꿀 수 있었다. 복강경 움직임 모듈과 직관적으로 맵핑된 조이스틱을 이용하여 물리좌표에서 복강경의 피치(pitch)와 요(yaw) 움직임을 조종할 수 있었다. 이와 같은 마스터-슬레이브(master-slave) 시스템의 통신을 위해 NAVERLib의 nvmDeviceManager 모듈이 이용되었다.
CT, MRI 등의 진단의학 영상 자료를 기반으로 복원된 3차원 환자모델과 실제 수술영상을 혼합한 증강현실 기반의 몰입형 인터페이스는 제한된 복강경의 시각정보를 훨씬 더 개선하였다. 복원된 3차원 환자모델을 이용하여 복강경 시야 밖의 보이지 않는 환자 몸의 구조들을 표현할 수 있었고 수술부위에 대한 깊이 정보 및 수술도구의 위치 정보를 쉽게 인식하여 보다 빠르고 정확하게 수술도구를 조종할 수 있었다. 또한, 넓은 시야각의 대형 스크린은 몰입적 환경을 제공하여 의사에게 마치 환자의 몸 안에서 수술하는 것과 같은 느낌을 전달해 주었다.
본 논문에서 제안한 텍스쳐 맵핑(texture mapping) 방법은 격자 점 사이에 존재하는 이미지 픽셀(pixel)들을 선형적인 방법으로 변환시켰지만 원하는 정확도를 얻을 때까지 격자의 크기 및 형태를 변경시킴으로써 훌륭한 이미지 복원결과를 얻을수 있었다. 또한 GPU 기반의 선형적 계산법을 이용함으로써 기존의 pixel by pixel 변환방법 보다 CPU의 계산 부하를 크게 줄임으로써 주변 시스템과 실시간으로 상호작용 할 수 있는 장점을 가진다^[15].
그러나 이처럼 단순하게 크기 조정이 된 경우에는 보다 적은 수의 반복을 통해 문제를 해결할 수 있었다. 위와 같은 알고리즘을 통하여 획득된 R , s , p 를 이용하여 T_{transformation} 을 구할 수 있었고 이를 이용하여 물리좌표에서 복강경 렌즈초점의 위치와 동일한 위치에 가상공간의 시점(view point)을 생성하고 업데이트 함으로써 복강경 영상과 복원된 환자모델을 일치시킬 수 있었다.
이로 인하여 의사는 복강경을 움직이지 않고도 환자 몸의 내부구조에 대한 깊이 정보 및 수술도구의 위치정보를 쉽게 인식하여 보다 빠르고 정확하게 수술도구를 조종할 수 있었다. 또한 필요에 따라서 의사는 조이스틱을 이용하여 복강경의 방향 및 그래픽 공간에서 시야의 방향을 동시에 바꿈으로써 수술을 더욱 원활하게 수행할 수 있었다.

후속연구

복원된 3차원 환자모델을 이용하여 복강경 시야 밖에 있는 환자의 해부학적 구조 및 중요부위에 대한 정보를 제공할 수 있다. 또한, 복강경 화면에서 수술도구와 수술부위의 거리 및 깊이 정보를 알려주어 수술도구의 네비게이션(navigation) 및 컨트롤(control)을 보다 빠르고 편리하게 도와줄 것이다.
따라서 의사는 복강경을 움직이지 않고도 수술부위의 깊이 정보 및 수술도구의 위치정보를 쉽게 인식할 수 있었고 보다 빠르고 정확하게 수술도구를 조종할 수 있었다. 본 논문에서 제안된 몰입형 증강현실 인터페이스는 최소침습수술이 보다 빠르고 정확하게 수행되도록 도와줄 것이고 의사의 육체적, 환경적 부담을 줄여주어 수술의 효과를 매우 향상시킬 것이다.

핵심어	질문	논문에서 추출한 답변
	의사들이 최소침습수술시 어려움을 겪는 원인은 무엇인가?	전통적인 외과수술과 비교하여 최소침습수술은 환자에게 여러 장점을 제공하지만 수술에 필요한 시각 및 촉감 정보의 부족, 환자 몸 속 수술도구의 움직임 제한, 의사의 손 움직임과 복강경 화면에서 수술도구의 움직임의 직관적이지 못한 관계 등으로 인하여 의사들은 능숙한 수술을 구현하기 위하여 많은 어려움을 겪는다. 또한 장시간 수술시 손목, 어깨 및 눈의 피로로 인하여 발생하는 손 떨림 및 집중력 감소와 같은 육체적 부담과 협소한 수술실에서 장시간 복강경 화면에 시야를 고정한 상태로 여러 명의 의사와 보조의사들이 작은 환부를 수술을 해야 하는 환경적 부담은 최소침습수술의 효율을 크게 감소시킨다.
	최소침습수술이란?	최소침습수술(Minimally Invasive Surgery)은 해부학적으로 우리 몸 속 깊숙이 접근 가능한 구멍을 이용하거나 혹은 수술 가능한 최소한의 피부절개(0.5~1.5cm 이내)를 통해 질병 및 손상 부위에 접근하여 수술하는 방법을 말한다. 몸에 있는 자연적인 구멍을 이용하는 경우에는 내과적 수술로 분류하고, 피부에 작은 구멍을 내어 환부에 접근하는 경우는 외과적 수술로 분류하지만 기술적인 측면에서 내과적, 외과적 최소침습수술의 큰 차이는 없다.
	최소침습수술시, 복강경 화면만으로 성공적 수술을 위해 필요한 정보를 표현할 수 없으므로, 어떤 영상자료가 이용되는가?	최소침습수술 시, 복강경 화면만으로는 성공적 수술을 위해 필요한 모든 정보를 표현할 수 없다. 이와 같은 이유로 Computed Tomography (CT), Magnetic Resonance Imaging (MRI) 등의 진단의학 영상자료가 이용되지만 의사들은 수술과정 중 복강경 화면과 진단의학영상 자료를 해석하고 혼합해야 하는 어려움을 겪는다. 이러한 어려움을 해결하기 위해 증강현실 시스템이 이용된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

증강현실 기반의 최소침습수술용 인터페이스의 개발
Development of Immersive Augmented Reality interface for Minimally Invasive Surgery 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

증강현실 기반의 최소침습수술용 인터페이스의 개발 Development of Immersive Augmented Reality interface for Minimally Invasive Surgery 원문보기

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

박신석 (17) 김유진 (12)

관련 콘텐츠

원문 보기

원문 URL 링크

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

증강현실 기반의 최소침습수술용 인터페이스의 개발
Development of Immersive Augmented Reality interface for Minimally Invasive Surgery 원문보기

AI 본문요약
AI-Helper