스테레오 비전을 이용한 마커리스 정합 : 특징점 추출 방법과 스테레오 비전의 위치에 따른 정합 정확도 평가 Markerless Image-to-Patient Registration Using Stereo Vision : Comparison of Registration Accuracy by Feature Selection Method and Location of Stereo Bision System원문보기
본 논문에서는 얼굴 영역 수술용 네비게이션을 위한 스테레오 비전과 CT 영상을 이용하여 환자-영상 간 정합(Image to patient registration) 알고리즘의 성능을 평가한다. 환자 영상 간 정합은 스테레오 비전 영상의 특징점 추출과 이를 통한 3차원 좌표 계산, 3차원 좌표와 3차원 CT 영상과의 정합 과정을 거친다. 스테레오 비전 영상에서 3가지 얼굴 특징점 추출 방법과 3가지 정합 방법을 사용하여 생성될 수 있는 5가지 조합 중 정합 정확도가 가장 높은 방법을 평가한다. 또한 머리의 회전에 따라 환자 영상 간 정합의 정확도를 비교한다. 실험을 통해 머리의 회전 각도가 약 20도의 범위 내에서 Active Appearance Model과 Pseudo Inverse Matching을 사용한 정합의 정확도가 가장 높았으며, 각도가 20도 이상일 경우 Speeded Up Robust Features와 Iterative Closest Point를 사용하였을 때 정합 정확도가 높았다. 이 결과를 통해 회전각도가 20도 범위 내에서는 Active Appearance Model과 Pseudo Inverse Matching 방법을 사용하고, 20도 이상의 경우 Speeded Up Robust Features와 Iterative Closest Point를 이용하는 것이 정합의 오차를 줄일 수 있다.
본 논문에서는 얼굴 영역 수술용 네비게이션을 위한 스테레오 비전과 CT 영상을 이용하여 환자-영상 간 정합(Image to patient registration) 알고리즘의 성능을 평가한다. 환자 영상 간 정합은 스테레오 비전 영상의 특징점 추출과 이를 통한 3차원 좌표 계산, 3차원 좌표와 3차원 CT 영상과의 정합 과정을 거친다. 스테레오 비전 영상에서 3가지 얼굴 특징점 추출 방법과 3가지 정합 방법을 사용하여 생성될 수 있는 5가지 조합 중 정합 정확도가 가장 높은 방법을 평가한다. 또한 머리의 회전에 따라 환자 영상 간 정합의 정확도를 비교한다. 실험을 통해 머리의 회전 각도가 약 20도의 범위 내에서 Active Appearance Model과 Pseudo Inverse Matching을 사용한 정합의 정확도가 가장 높았으며, 각도가 20도 이상일 경우 Speeded Up Robust Features와 Iterative Closest Point를 사용하였을 때 정합 정확도가 높았다. 이 결과를 통해 회전각도가 20도 범위 내에서는 Active Appearance Model과 Pseudo Inverse Matching 방법을 사용하고, 20도 이상의 경우 Speeded Up Robust Features와 Iterative Closest Point를 이용하는 것이 정합의 오차를 줄일 수 있다.
This study evaluates the performance of image to patient registration algorithm by using stereo vision and CT image for facial region surgical navigation. For the process of image to patient registration, feature extraction and 3D coordinate calculation are conducted, and then 3D CT image to 3D coor...
This study evaluates the performance of image to patient registration algorithm by using stereo vision and CT image for facial region surgical navigation. For the process of image to patient registration, feature extraction and 3D coordinate calculation are conducted, and then 3D CT image to 3D coordinate registration is conducted. Of the five combinations that can be generated by using three facial feature extraction methods and three registration methods on stereo vision image, this study evaluates the one with the highest registration accuracy. In addition, image to patient registration accuracy was compared by changing the facial rotation angle. As a result of the experiment, it turned out that when the facial rotation angle is within 20 degrees, registration using Active Appearance Model and Pseudo Inverse Matching has the highest accuracy, and when the facial rotation angle is over 20 degrees, registration using Speeded Up Robust Features and Iterative Closest Point has the highest accuracy. These results indicate that, Active Appearance Model and Pseudo Inverse Matching methods should be used in order to reduce registration error when the facial rotation angle is within 20 degrees, and Speeded Up Robust Features and Iterative Closest Point methods should be used when the facial rotation angle is over 20 degrees.
This study evaluates the performance of image to patient registration algorithm by using stereo vision and CT image for facial region surgical navigation. For the process of image to patient registration, feature extraction and 3D coordinate calculation are conducted, and then 3D CT image to 3D coordinate registration is conducted. Of the five combinations that can be generated by using three facial feature extraction methods and three registration methods on stereo vision image, this study evaluates the one with the highest registration accuracy. In addition, image to patient registration accuracy was compared by changing the facial rotation angle. As a result of the experiment, it turned out that when the facial rotation angle is within 20 degrees, registration using Active Appearance Model and Pseudo Inverse Matching has the highest accuracy, and when the facial rotation angle is over 20 degrees, registration using Speeded Up Robust Features and Iterative Closest Point has the highest accuracy. These results indicate that, Active Appearance Model and Pseudo Inverse Matching methods should be used in order to reduce registration error when the facial rotation angle is within 20 degrees, and Speeded Up Robust Features and Iterative Closest Point methods should be used when the facial rotation angle is over 20 degrees.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
기존 수술용 네비게이션 시스템은 영상 정합의 정확도를 높이기 위해 환자 머리의 움직임을 제한시켰지만, 수술의 자유도를 높이기 위해 환자의 머리가 회전된 경우에도 CT와 환자를 정합 할 수 있는 알고리즘 개발이 필요하다. 따라서 본 연구의 목적은 다양한 얼굴 특징점 추출알고리즘을 이용하여 환자의 머리를 좌우로 0도에서 30도가량 회전시켰을 때 영상 정합의 정확도를 높일 수 있는 알고리즘을 제안하는데 있다.
본 논문은 스테레오 비전의 다양한 촬영 각도에서 높은 정확도로 환자와 의료 영상을 정합시킬 수 있는 마커리스 수술용 네비게이션 시스템을 제안한다. 기존 수술용 네비게이션 시스템은 환자의 공간 좌표를 획득하기 위해 감염문제가 있는 마커나 자기장에 의한 오차가 발생하는 자기식 장비들을 사용하였다.
가설 설정
4) 서로 상응하는 포인트의 개수와 포인트 세트를 저장한다.
제안 방법
영상 정합을 위해서는 수술 전 환자의 얼굴에 마커를 부착한 뒤 추가적인 CT영상을 촬영하여, 마커가 부착된 환자의 3D CT 영상을 획득한다. 다음으로 네비게이션 시스템을 통해 계산된 마커의 3차원 좌표와 3D CT에서 획득된 마커의 좌표를 일치시키는 절차를 진행한다. 최근에는 마커와 같은 외부적인 장비와 추가적인 CT 촬영 없이 스테레오 비전 시스템으로 얼굴의 특징점을 추출하여 영상을 정합하는 기술들이 소개되고 있다[7～8].
스테레오 비전으로부터 획득된 두 개의 이미지는 먼저 카메라의 파라미터 값을 이용하여 카메라의 왜곡 값을 보정한 뒤, 이미지 간 수평방향 시차를 맞춰주기 위해 정류과정을 진행하였다[18]. 다음으로, 특징점 추출의 정확도와 계산 속도를 높이기 위해 이미지로부터 환자의 얼굴 영역을 검출한 다음 획득된 얼굴 이미지에 특징점 추출 알고리즘을 적용하였다. 두 개의 환자 얼굴 이미지에서 각각 추출된 특징점들은 서로 상응하는 점끼리 매칭 되었으며, 매칭으로 획득된 특징점은 삼각법을 사용하여 3차원 좌표로 복원되었다[19].
AAM은 해부학적인 특징점 추출이 가능하기 때문에 ICP 알고리즘 이외에 PIM, RANSAC 알고리즘의 사용이 가능하다. 따라서 본 연구에서는 표 1과 같이 총 5가지 알고리즘의 조합을 이용하여 환자-영상 간 정합을 수행하였다. 각 알고리즘 간의 정합 정확도를 비교하기 위해 6개의 검증용 포인트에서 TRE 값을 계산하였다.
특정 해부학적 지표만 추출하기 어려운 Harris 모서리 검출기와 SURF와는 다르게 AAM으로 획득된 포인트 세트의 정합에는 ICP알고리즘뿐만 아니라 대응 점간 정합을 위한 PIM, RANSAC 알고리즘도 사용되었다. 따라서 본 연구에선 환자-영상 간 정합을 위하여 Harris 모서리 검출기 + ICP, SURF + ICP, AAM + ICP, AAM + PIM 알고리즘의 조합과 AAM + RANSAC 조합을 이용한 총 5가지 방법의 정합을 수행하고 각 정합 방법들의 정확도를 비교하였다.
얼굴 영역 수술에서 환자의 얼굴 방향을 30˚까지 틀어서 수술하는 경우가 있기 때문에[10～11], 본 연구에서는 스테레오 비전의 위치를 약 30˚까지 변경하며 얼굴 표면 3차원 특징점을 추출하였다. 또한 얼굴이 좌우 대칭의 특성을 갖는다는 점을 고려하여 얼굴의 오른쪽 측면방향으로 카메라 각도를 변화시키며 실험을 진행하였다[20]. 실험의 진행을 위해 스테레오 비전은 그림 4와 같이 환자의 시선 방향으로부터 정면에 해당하는 position 1과, 약 10˚～30˚에 해당하는 position 2～4에 번갈아 가며 설치하였다.
05로 설정하였다[22]. 또한 카메라가 환자의 얼굴을 향하는 각도가 알고리즘에 미치는 영향을 분석하기 위해 촬영 각도별 정합 정확도를 계산하였다.
. 본 연구에서는 TRE를 이용하여 특징점 추출 알고리즘과 정합 알고리즘 조합에 따른 정합 정확도를 비교 검증 하였다. 본 연구에서는 총 4가지 정합 방법이 제안되었다.
본 연구에서는 스테레오 비전으로 찍힌 이미지 내의 환자 얼굴 방향이 환자-영상 간 정합 정확도에 영향을 미치는 영향을 조사하기 위해 그림 4와 같이 카메라가 환자를 바라보는 4가지 위치(position 1～4)에 설치한 뒤 실험을 진행하였다. 실험 결과는 그림 6과 같으며, position 1～3의 위치에서는 AAM + PIM방법이 가장 높은 정합 정확도를 보였고 (TRE : 2.
본 연구에서는 TRE를 이용하여 특징점 추출 알고리즘과 정합 알고리즘 조합에 따른 정합 정확도를 비교 검증 하였다. 본 연구에서는 총 4가지 정합 방법이 제안되었다. 제안된 방법 중 정확도가 가장 높은 알고리즘을 찾기 위한 통계적 처리 방법으로 반복측정 분산분석(repeated measure ANOVA)을 시행하였고, 통계적 유의수준은 0.
스테레오 비전은 환자의 얼굴을 촬영하기 전 준비 단계에서 7x10 체스판 무늬를 이용해 캘리브레이션 되었으며 환자 얼굴의 정면으로부터 50cm 떨어진 곳에 설치되어 피험자를 촬영하였다. 스테레오 비전으로부터 획득된 두 개의 이미지는 먼저 카메라의 파라미터 값을 이용하여 카메라의 왜곡 값을 보정한 뒤, 이미지 간 수평방향 시차를 맞춰주기 위해 정류과정을 진행하였다[18]. 다음으로, 특징점 추출의 정확도와 계산 속도를 높이기 위해 이미지로부터 환자의 얼굴 영역을 검출한 다음 획득된 얼굴 이미지에 특징점 추출 알고리즘을 적용하였다.
이 스테레오 비전은 알루미늄 바디로 구성되어있으며 두 개의 cam은 120mm 간격으로 떨어져 있다. 스테레오 비전은 환자의 얼굴을 촬영하기 전 준비 단계에서 7x10 체스판 무늬를 이용해 캘리브레이션 되었으며 환자 얼굴의 정면으로부터 50cm 떨어진 곳에 설치되어 피험자를 촬영하였다. 스테레오 비전으로부터 획득된 두 개의 이미지는 먼저 카메라의 파라미터 값을 이용하여 카메라의 왜곡 값을 보정한 뒤, 이미지 간 수평방향 시차를 맞춰주기 위해 정류과정을 진행하였다[18].
따라서 카메라가 환자를 바라보는 각도에 따른 정합 정확도가 조사되어야 한다. 얼굴 영역 수술에서 환자의 얼굴 방향을 30˚까지 틀어서 수술하는 경우가 있기 때문에[10～11], 본 연구에서는 스테레오 비전의 위치를 약 30˚까지 변경하며 얼굴 표면 3차원 특징점을 추출하였다. 또한 얼굴이 좌우 대칭의 특성을 갖는다는 점을 고려하여 얼굴의 오른쪽 측면방향으로 카메라 각도를 변화시키며 실험을 진행하였다[20].
영상 정합을 위해서는 수술 전 환자의 얼굴에 마커를 부착한 뒤 추가적인 CT영상을 촬영하여, 마커가 부착된 환자의 3D CT 영상을 획득한다. 다음으로 네비게이션 시스템을 통해 계산된 마커의 3차원 좌표와 3D CT에서 획득된 마커의 좌표를 일치시키는 절차를 진행한다.
기존 수술용 네비게이션 시스템은 환자의 공간 좌표를 획득하기 위해 감염문제가 있는 마커나 자기장에 의한 오차가 발생하는 자기식 장비들을 사용하였다. 이러한 문제 극복하기 위해 추가적인 장비가 필요 없는 마커리스 수술용 네비게이션 시스템을 제안하였다. 추가적으로, 특징점 추출 알고리즘의 종류와 스테레오 비전 시스템의 촬영 각도가 환자-영상 간 정합 정확도에 미치는 영향을 조사하였다.
두 개의 환자 얼굴 이미지에서 각각 추출된 특징점들은 서로 상응하는 점끼리 매칭 되었으며, 매칭으로 획득된 특징점은 삼각법을 사용하여 3차원 좌표로 복원되었다[19]. 이렇게 획득된 환자의 얼굴 표면의 포인트 세트는 정합 알고리즘을 이용하여 환자의 수술 전 CT에서 복원된 얼굴 영역의 포인트 세트와 정합 되었다(그림 2). 본 실험에서 사용된 CT 이미지는 총 240장이며, 각각 512 x 512개의 픽셀과 12 bits의 해상도를 갖는다.
이러한 문제 극복하기 위해 추가적인 장비가 필요 없는 마커리스 수술용 네비게이션 시스템을 제안하였다. 추가적으로, 특징점 추출 알고리즘의 종류와 스테레오 비전 시스템의 촬영 각도가 환자-영상 간 정합 정확도에 미치는 영향을 조사하였다.
환자-영상 간 정합의 정확도를 검증하기 위해서, 수술 전 CT에서 획득한 검증용 타겟 포인트 세트와, 스테레오 비전으로부터 획득된 검증용 타겟 포인트 세트 사이의 거리 오차를 계산 하였다. 본 연구에서는 정합의 검증을 위해 얼굴의 해부학적 지표를 검증용 타겟 포인트로 사용하였다.
대상 데이터
이렇게 획득된 환자의 얼굴 표면의 포인트 세트는 정합 알고리즘을 이용하여 환자의 수술 전 CT에서 복원된 얼굴 영역의 포인트 세트와 정합 되었다(그림 2). 본 실험에서 사용된 CT 이미지는 총 240장이며, 각각 512 x 512개의 픽셀과 12 bits의 해상도를 갖는다. 모든 알고리즘과 계산식은 MATLAB (Mathworks Inc.
본 실험에서는 환자의 얼굴 이미지를 획득하기 위해 스테레오 비전 (OjOcamStereo-M031, Withrobot Co., Ltd., Korea)을 사용하였다. 이 스테레오 비전은 알루미늄 바디로 구성되어있으며 두 개의 cam은 120mm 간격으로 떨어져 있다.
환자-영상 간 정합의 정확도를 검증하기 위해서, 수술 전 CT에서 획득한 검증용 타겟 포인트 세트와, 스테레오 비전으로부터 획득된 검증용 타겟 포인트 세트 사이의 거리 오차를 계산 하였다. 본 연구에서는 정합의 검증을 위해 얼굴의 해부학적 지표를 검증용 타겟 포인트로 사용하였다. 검증의 방법으로는 먼저 그림 5 (a)와 같이 수술 전 CT로부터 획득된 포인트 세트의 해부학적 지표를 target 1～6으로 정의하였다.
데이터처리
따라서 본 연구에서는 표 1과 같이 총 5가지 알고리즘의 조합을 이용하여 환자-영상 간 정합을 수행하였다. 각 알고리즘 간의 정합 정확도를 비교하기 위해 6개의 검증용 포인트에서 TRE 값을 계산하였다. 5개의 알고리즘 조합을 사용하여 환자-영상 간 정합을 수행한 결과, 정합의 오차는 AAM + PIM < SURF + ICP < AAM + ICP < Harris 모서리 검출기 + ICP < AAM + RANSAC 순으로 나타났으며, 반복측정 분산분석(repeated measure ANOVA)을 실시한 결과 AAM + PIM 정합 방법은 다른 알고리즘들과 유의한 차이를 보인다 (p<0.
본 실험에서 사용된 CT 이미지는 총 240장이며, 각각 512 x 512개의 픽셀과 12 bits의 해상도를 갖는다. 모든 알고리즘과 계산식은 MATLAB (Mathworks Inc., USA) 을 사용하여 구현 되었으며 전체 실험 절차는 그림 3과 같다.
본 연구에서는 총 4가지 정합 방법이 제안되었다. 제안된 방법 중 정확도가 가장 높은 알고리즘을 찾기 위한 통계적 처리 방법으로 반복측정 분산분석(repeated measure ANOVA)을 시행하였고, 통계적 유의수준은 0.05로 설정하였다[22]. 또한 카메라가 환자의 얼굴을 향하는 각도가 알고리즘에 미치는 영향을 분석하기 위해 촬영 각도별 정합 정확도를 계산하였다.
이론/모형
또한 본 연구에서는 환자의 얼굴 전역에 고르게 분포되어있는 포인트 세트를 뽑기 위해 active appearance model (AAM)을 사용하였다. AAM은 얼굴의 형태학적인 특징을 이용하여 눈썹, 눈, 코, 입 등의 특징을 추출하는 방법으로 본 연구에서는 G.
본 논문에서는 두 포인트 세트의 정합을 위해 추가적으로 Pseudo inverse matching (PIM) 알고리즘과 RANSAC 알고리즘을 사용하였다. 두 알고리즘 또한 소스 포인트 세트와 타겟 포인트 세트 사이의 거리를 최소로 만드는 변환행렬을 계산할 수 있으며 특히 양데이터 세트 사이에 1:1로 상응하는 점을 알고 있을 경우 빠르고 정확한 매칭이 가능하다[5,17].
본 논문에서는 마커리스 정합을 위한 특징점 추출 방법으로 Harris 모서리 검출기, SURF, AAM 총 3가지가 알고리즘이 사용되었다. AAM은 해부학적인 특징점 추출이 가능하기 때문에 ICP 알고리즘 이외에 PIM, RANSAC 알고리즘의 사용이 가능하다.
Tzimiropoulos 의 AAM DB가 사용되었다[15]. 스테레오 비전에서 획득된 두 이미지에 Harris 모서리 검출기, Speeded Up Robust Features (SURF), AAM 알고리즘을 적용하여 얼굴의 특징점을 추출한 뒤 Matlab - funtion matchFeature를 사용하여 두 이미지 사이에 서로 상응하는 점끼리 매칭하고, 매칭된 점들은 삼각법을 이용하여 3차원 좌표 값으로 복원 되었다 (그림 1).
다음으로 그림5 (b)와 같이 스테레오 비전과 탐침을 이용하여 환자 얼굴 중 그림 5 (a)의 포인트와 상응하는 해부학적 지표를 추출하였다[5]. 이렇게 추출된 해부학적 지표들 간의 오차 값은 target registration error (TRE) 을 이용하여 계산 되었으며 공식은 식 (3)과 같다.
AAM 알고리즘을 사용하여 획득된 3차원 특징점 세트의 경우 해부학적 지표 (anatomical landmarks : lateral and medial canthi of both eyes, subnasale, labiale superius)가 포함 되어 있기 때문에, 3D 의료 영상으로부터 획득된 동일한 위치의 특징점과 PIM, RAN, SAC 알고리즘을 이용한 대응 점간(paired-point)정합이 가능하다. 특정 해부학적 지표만 추출하기 어려운 Harris 모서리 검출기와 SURF와는 다르게 AAM으로 획득된 포인트 세트의 정합에는 ICP알고리즘뿐만 아니라 대응 점간 정합을 위한 PIM, RANSAC 알고리즘도 사용되었다. 따라서 본 연구에선 환자-영상 간 정합을 위하여 Harris 모서리 검출기 + ICP, SURF + ICP, AAM + ICP, AAM + PIM 알고리즘의 조합과 AAM + RANSAC 조합을 이용한 총 5가지 방법의 정합을 수행하고 각 정합 방법들의 정확도를 비교하였다.
성능/효과
5개의 알고리즘 조합을 사용하여 환자-영상 간 정합을 수행한 결과, 정합의 오차는 AAM + PIM < SURF + ICP < AAM + ICP < Harris 모서리 검출기 + ICP < AAM + RANSAC 순으로 나타났으며, 반복측정 분산분석(repeated measure ANOVA)을 실시한 결과 AAM + PIM 정합 방법은 다른 알고리즘들과 유의한 차이를 보인다 (p<0.05).
따라서 두 포인트 세트의 상응하는 점들끼리 매칭이 가능하며 높은 정확도로 환자-영상 간 정합이 가능하다. 결과적으로 AAM + PIM의 정합 방법은 TRE값이 2.03mm로 4가지 방법 중 가장 높은 정합 정확도를 보인다.
스테레오 비전 카메라가 환자의 정면에 위치한 경우 제안된 5개의 특징점 추출 알고리즘(AAM + PIM, AAM + ICP, AAM + RANSAC, SURF + ICP, Harris 모서리 검출기 + ICP) 중 AAM + PIM의 조합을 이용한 환자-영상 간 정합의 오차가 2.03mm로 가장 정확한 결과를 보이며, 기존 정합 연구들이 갖는 오차 0.6～3.83mm와 유사한 결과를 보인다[7～9]. 또한 카메라를 이용한 촬영 각도가 20도 이하인 경우에 AAM + PIM의 조합을 이용한 정합의 성능이 가장 우수하며 카메라의 각도가 20도를 넘어가는 경우 SURF + ICP의 알고리즘의 정합 성능이 우수하다.
본 연구에서는 스테레오 비전으로 찍힌 이미지 내의 환자 얼굴 방향이 환자-영상 간 정합 정확도에 영향을 미치는 영향을 조사하기 위해 그림 4와 같이 카메라가 환자를 바라보는 4가지 위치(position 1～4)에 설치한 뒤 실험을 진행하였다. 실험 결과는 그림 6과 같으며, position 1～3의 위치에서는 AAM + PIM방법이 가장 높은 정합 정확도를 보였고 (TRE : 2.03mm), position 4의 위치에는 SURF + ICP를 사용한 방법이 가장 높은 정확도를 보였다 (TRE : 3.44mm).
. 즉, AAM을 이용한 특징점 추출은 사전에 학습된 환경 및 얼굴과 유사한 이미지에선 뛰어난 성능을 보이기 때문에 그림 7 (a)와 같이 카메라가 환자의 얼굴을 정면으로 바라보는 상황일 때, 보다 정확한 특징점을 추출할 수 있다. 반면 그림 7 (c)와 같이 환자의 얼굴이 비스듬하게 찍히는 상황에선 추출된 특징점의 정확도가 정면인 경우에 비해 상대적으로 떨어진다.
환자 얼굴 이미지에 Harris 모서리 검출기, SURF, AAM 알고리즘과 스테레오 매칭을 적용하여 복원된 얼굴의 3차원 특징점은 ICP 알고리즘을 이용하여 수술전 CT로부터 획득된 3D 의료 영상과 정합되었다. AAM 알고리즘을 사용하여 획득된 3차원 특징점 세트의 경우 해부학적 지표 (anatomical landmarks : lateral and medial canthi of both eyes, subnasale, labiale superius)가 포함 되어 있기 때문에, 3D 의료 영상으로부터 획득된 동일한 위치의 특징점과 PIM, RAN, SAC 알고리즘을 이용한 대응 점간(paired-point)정합이 가능하다.
후속연구
본 연구에서 사용된 특징점 추출 알고리즘은 주변 조명 환경에 영향을 받을 수 있다는 문제와 AAM 알고리즘을 적용하기 위해 사전에 학습 데이터가 필요하다는 한계가 있으나, 제안된 기술을 이용하면 기존 수술용 네비게이션 시스템들보다 간단하고 빠른 수술준비가 가능해 질 것으로 기대된다. 또한 스테레오 카메라만을 사용하여 수술용 네비게이션 시스템 구축이 가능하기 때문에 전체 시스템의 비용도 감소되며, 수술실의 효율적인 공간 활용도 가능할 것이다.
본 연구에서 사용된 특징점 추출 알고리즘은 주변 조명 환경에 영향을 받을 수 있다는 문제와 AAM 알고리즘을 적용하기 위해 사전에 학습 데이터가 필요하다는 한계가 있으나, 제안된 기술을 이용하면 기존 수술용 네비게이션 시스템들보다 간단하고 빠른 수술준비가 가능해 질 것으로 기대된다. 또한 스테레오 카메라만을 사용하여 수술용 네비게이션 시스템 구축이 가능하기 때문에 전체 시스템의 비용도 감소되며, 수술실의 효율적인 공간 활용도 가능할 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
수술용 네비게이션 시스템을 이용한 수술의 특징은 무엇인가?
수술용 네비게이션 시스템을 이용한 수술은 환자의 CT 영상과 통합된 내시경 영상을 한 화면에서 동시에볼 수 있기 때문에 환부에 대한 관찰 및 환부의 해부학적 구조에 대한 정확한 정보를 획득할 수 있다. 이러한 수술용 네비게이션 시스템은 하드웨어적으로는 카메라 또는 자기장을 이용한 위치 정보 센싱 부분과 영상 정합을 위한 마커부분으로 나눌 수 있으며, 알고리즘 적으로는 센서 캘리브레이션 모듈, 3차원 좌표 복원 모듈, 영상 정합 모듈, 실시간 마커 트래킹 모듈 등으로 나눌수 있다.
active appearance model은 무엇인가?
또한 본 연구에서는 환자의 얼굴 전역에 고르게 분포되어있는 포인트 세트를 뽑기 위해 active appearance model (AAM)을 사용하였다. AAM은 얼굴의 형태학적인 특징을 이용하여 눈썹, 눈, 코, 입 등의 특징을 추출하는 방법으로 본 연구에서는 G. Tzimiropoulos 의 AAM DB가 사용되었다[15].
스테레오 비전으로부터 획득된 영상의 두 좌표 세트의 정합을 위해 Pseudo inverse matching (PIM) 알고리즘과 RANSAC 알고리즘을 사용할 수 있는 이유는 무엇인가?
본 논문에서는 두 포인트 세트의 정합을 위해 추가적으로 Pseudo inverse matching (PIM) 알고리즘과 RANSAC 알고리즘을 사용하였다. 두 알고리즘 또한 소스 포인트 세트와 타겟 포인트 세트 사이의 거리를 최소로 만드는 변환행렬을 계산할 수 있으며 특히 양데이터 세트 사이에 1:1로 상응하는 점을 알고 있을 경우 빠르고 정확한 매칭이 가능하다[5,17].
참고문헌 (23)
Seon-Tae Kim, "Medical Management of Chronic Rhinosinusitis," Korean Journal of Otorhinolaryngology, Vol. 54, no. 11, pp. 746-754, November 2011.
K. K. Min, J. H. Yoon, J. H. Jung, C. Y. Lim, I. G. Kang and S. T. Kim, "The Effect of Intensive Therapy Using Nebulized Antibiotics after Endoscpic Sinus Surgery," Korean Journal of Otorhinolaryngology, Vol. 51, no. 7, pp. 623-629, July 2008.
B. Kim, H. Lee, H. Song, T. Kim, M. Han and G. Oh, "Clinical Manifestations of Intracranial Complication Associated With Paranasal Sinus Infection," Journal of the Korean Neurological Association, Vol. 19, no. 5, pp. 457-463, 2001.
G. Strau, K. Koulechov, S. Rottger, J. Bahner, C. Trantakis, M. Hofer, W. Korb, O. Burgert, J. Meixensberger, D. Manzey, A. Dietz and T. Luth, "Evaluation of a navigation system for ENT with surgical efficiency criteria," The Laryngoscope, vol. 116, no. 4, pp. 564-572, April 2006.
M. Yin, X. Shen, Y. Hu, and X. Fang, "An Automatic Registration Method Based on Fiducial Marker for Image Guided Neurosurgery System," AsiaSim 2013. Springer Berlin Heidelberg, pp. 114-125, 2013.
이종원, 정완균, "차세대 척추수술 로봇 기술의 현황과 전망," 대한전자공학회, 제38권, 제11호, 55-60쪽, 2011년 11월.
J. Wang, H. Suenaga, K. Hoshi, L. Yang, E. Kobayashi, I. Sakuma, and H. Liao, "Augmented reality navigation with automatic marker-free image registration using 3-D image overlay for dental surgery," Biomedical Engineering, IEEE Transactions on, Vol. 61, no. 4, pp. 1295-1304, 2014.
J. D. Lee, C. H. Huang, T. C. Huang, H. Y. Hsieh, and S. T. Lee, "Medical augment reality using a markerless registration framework," Expert Systems with Applications, Vol. 39, no. 5, pp. 5286-5294, 2012.
O. Makiese, P. Pillai, A. Salma, S. Sammet, and M. Ammirati, "Accuracy validation in a cadaver model of cranial neuronavigation using a surface autoregistration mask." Neurosurgery, Vol. 67, no. 3, ons85-ons90, 2010.
Bilsky, M. H., Bentz, B., Vitaz, T., Shah, J., & Kraus, D. "Craniofacial resection for cranial base malignancies involving the infratemporal fossa," Neurosurgery, Vol. 57, (4 Suppl), pp. 339-347, 2005.
P. Cappabianca, L. Califano, and G. Iaconetta, "Cranial, craniofacial and skull base surgery," Springer, 2010.
C. Harris, and M. Stephens, "A combined corner and edge detector," In Alvey vision conference, Vol. 15, pp. 50, August 1988.
H. Bay, T. Tuytelaars, and L. Van Gool, "Surf: Speeded up robust features," In Computer vision-ECCV 2006 (pp. 404-417). Springer Berlin Heidelberg, 2006.
Y. Pang, W. Li, Y. Yuan, and J. Pan, "Fully affine invariant SURF for image matching," Neurocomputing, Vol. 85, pp. 6-10, 2012.
G. Tzimiropoulos, and M. Pantic, "Optimization problems for fast aam fitting in-the-wild," In Computer Vision (ICCV), 2013 IEEE International Conference on (pp. 593-600), IEEE, December 2013.
B. Lee, C. Kim and R. Park, "Derivation of a Confidence Matrix for Orientation Components in the ICP Algorithm," Journal of the Korean Institute of Telematics and Electronics S. S, Vol. 35, no. 12, pp. 69-76, September 1998.
M. Staroswiecki, "Fault tolerant control: the pseudo-inverse method revisited," In 23h IFAC World Congress (No. 2), July 2005.
K. Y. Shin, and J. H. Mun, "A multi-camera calibration method using a 3-axis frame and wand," International Journal of Precision Engineering and Manufacturing, Vol. 13, no. 2, pp. 283-289, 2012.
S. Lee, Y. Han and H. Hahn, "A New Stereo Matching Method based on Reliability Space," Journal of The Institute of Electronics Engineers of Korea SP, Vol. 6, pp. 82-90, November 2010.
Melfi, R., Kondra, S., & Petrosino, A. (2013). Human activity modeling by spatio temporal textural appearance. Pattern Recognition Letters, 34(15), 1990-1994.
A. Ahmadian, A. F. Kazerooni, S. Mohagheghi, K. A. Khoiy, and M. S. Hosseini, "A region-based anatomical landmark configuration for sinus surgery using image guided navigation system: A phantom-study," Journal of Cranio-Maxillofacial Surgery, Vol. 42, no. 6, pp. 816-824, 2014.
T. Sim, H. Kwon, S. E. Oh, S. B. Joo, A. Choi, H. M. Heo, K. Kisun, and J. H. Mun, "Predicting Complete Ground Reaction Forces and Moments During Gait With Insole Plantar Pressure Information Using a Wavelet Neural Network," Journal of biomechanical engineering, Vol. 137, no. 9, 2015.
T. F. Cootes, G. V. Wheeler, K. N. Walker, and C. J. Taylor, "View-based active appearance models," Image and vision computing, Vol. 20, no. 9, pp. 657-664, 2002.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.