선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 임플란트 시술의 심미성 향상을 위해 색 보정과 치아검출 및 군집화 방법을 활용한 임플란트 표본 선택 기법을 제안했다. 다양한 조명환경의 영향을 최소화하기 위해, 의료용 치아 색상 패치를 활용한 색 보정을 진행하였다.
- 이 때문에 시술 후 환자가 임플란트의 심미성에 불만을 나타내는 문제가 발생하기도 한다. 이러한 문제를 해결하기 위해 본 논문에서는 색 보정과 치아 검출 그리고 치아 영역 군집화를 통하여 가장 유사한 임플란트 표본을 추천하는 시스템을 제안한다.
제안 방법
- Hue Saturation Value(HSV) 색 공간으로 변환하고, 패치 이외의 영역을 최대한 제거하기 위해 H, S, V 채널 별로 이진화를 진행한다. 치아 부분을 배제하기 위해 영상의 높이 기준으로 30%~70%에 사이에 해당하는 부분만 사용한다.
- 이후 거리 변환, 정규화 그리고 이진화를 차례로 진행한다. 가장 넓은 영역의 윤곽선을 구하고 이에 대한 최소 외접사각형을 계산하여 패치 영역을 검출한다.
- 검출한 치아 영역을 바탕으로, 실제 치아의 색상을 분석한다. 분석 결과를 임플란트 표본의 데이터베이스와 비교하여 유사도 계산하여 가장 유사한 표본을 추천한다.
- 다양한 색이 존재하는 실제 치아 영역 내 색상 분포를 분석하고, 임플란트 표본과 비교하기 위해 군집화를 통한 치아 색의 분포를 단순화한다. 그림 8과 같이 RGB 값을 기준으로 5개의 영역으로 군집화한다.
- 다양한 조명환경의 영향을 최소화하기 위해, 의료용 치아 색상 패치를 활용한 색 보정을 진행하였다. 또한, 치아 영역 만을 검출하기 위해 치아 데이터 셋을 구축하고 Mask R-CNN 모델을 전이 학습시킨 모델을 활용하여, 치아 영역만을 검출했다.
- 다양한 조명환경의 영향을 최소화하기 위해, 의료용 치아 색상 패치를 활용한 색 보정을 진행하였다. 또한, 치아 영역 만을 검출하기 위해 치아 데이터 셋을 구축하고 Mask R-CNN 모델을 전이 학습시킨 모델을 활용하여, 치아 영역만을 검출했다. 최종적으로 다양한 색상을 지닌 치아를 분석하기 위해 군집화하여 색상을 단순화하고, 이를 임플란트 표본의 대표 색상 값과 비교하여 가장 유사한 표본을 추천받을 수 있었다.
- 또한, 치아의 불투명성에 따른 차이를 최소화하기 위해 의료용 검은 판을 두어 촬영하였다.
- 이후 치아 데이터 셋으로 전이 학습시킨 Mask R-CNN 모델을 기반으로 영상 속 치아를 검출한다[3]. 분석을 위해 검출된 치아를 군집화 (clustering)하여 색에 따라 영역을 나눈다. 최종적으로 임플란트 표본색상 값과 치아의 각 영역의 색상 값을 비교하여, 영역별로 가장 가까운 표본을 추천하게 된다.
- 원활한 검출을 위해 윗니 아랫니의 외형 차이를 반영하여 다른 클래스로 구분하여 모델을 학습시킨다. 치아 영상에서 치아 영역을 2D 다각형 형태로 라벨링 했다.
- 앱을 통해 촬영하게 되면 그림 8과 같이 카메라를 통해 비치는 전체 영상과 안내 선 내부의 치아 영상 총 2개의 영상을 각각 저장했다. 이 중 전체 영상에 포함된 패치를 검출하여 색 보정을 진행했고, 치아 중심의 영상에서는 딥러닝 모델을 활용해 치아 영역을 검출했다.
- 영역에 대한 마스크를 생성하는 딥러닝 모델이 필요하다. 이를 위해 마이크로소프트의 COCO 데이터 셋으로 사전 학습된 Mask R-CNN 모델을 치아 데이터 셋으로 전이 학습시켜 치아 영역을 검출할 수 있다.
- 촬영 환경 차이를 최소화하여 정확한 치아 색 추출을 할 수 있도록, 의료용 치아 색상 패치를 기준으로 색 보정을 진행한다. 이를 위해 영상 이진화(thresholding)와 거리 변환(distance transform)을 이용한 패치 검출 과정을 선행한다. 이후 최소 제곱 근사법(least square approximation) 기반 색 보정 과정을 수행한다[2].
- 촬영되어야 한다. 이를 위해 점선 형태로 안내 선이 제공되는 스마트폰 앱을 제작하여 이를 통해 촬영하였다. 앱을 통해 촬영하게 되면 그림 8과 같이 카메라를 통해 비치는 전체 영상과 안내 선 내부의 치아 영상 총 2개의 영상을 각각 저장했다.
- 치아 부분을 배제하기 위해 영상의 높이 기준으로 30%~70%에 사이에 해당하는 부분만 사용한다. 이후 거리 변환, 정규화 그리고 이진화를 차례로 진행한다. 가장 넓은 영역의 윤곽선을 구하고 이에 대한 최소 외접사각형을 계산하여 패치 영역을 검출한다.
- 이후 최소 제곱 근사법(least square approximation) 기반 색 보정 과정을 수행한다[2]. 이후 치아 데이터 셋으로 전이 학습시킨 Mask R-CNN 모델을 기반으로 영상 속 치아를 검출한다[3]. 분석을 위해 검출된 치아를 군집화 (clustering)하여 색에 따라 영역을 나눈다.
- 흐름도를 나타낸다. 촬영 환경 차이를 최소화하여 정확한 치아 색 추출을 할 수 있도록, 의료용 치아 색상 패치를 기준으로 색 보정을 진행한다. 이를 위해 영상 이진화(thresholding)와 거리 변환(distance transform)을 이용한 패치 검출 과정을 선행한다.
- 구분하여 모델을 학습시킨다. 치아 영상에서 치아 영역을 2D 다각형 형태로 라벨링 했다.
- 치아가 충분한 조명을 받도록 조정하고, 전치부 치아가 모두 드러나도록 치아를 촬영한 후 영상을 잘라 각각의 개별 치아에 대해 영상을 획득하였다. 이때, 주변 치아의 경계 일부와 잇몸 그리고 입속이 어느 정도 포함되도록 영상을 자른다.
- 치아에 대한 학습 데이터를 생성하기 위해, 치과 협조하에 환자들의 차이 사진과 모집된 실험 참가자들의 치아 사진을 활용하였다. 치아가 충분한 조명을 받도록 조정하고, 전치부 치아가 모두 드러나도록 치아를 촬영한 후 영상을 잘라 각각의 개별 치아에 대해 영상을 획득하였다.
대상 데이터
- 270개의 학습 데이터와 100개의 검증 데이터로 구성하여, 총 370개의 개별 치아 사진을 수집했다.
- 모델 학습과 실험에 사용한 데이터의 경우 학습 치과 협조하에 환자들의 치아를 수집했고 추가로 5명의 실험 참가자의 치아를 수집하였다. 270개의 학습 데이터와 100개의 검증 데이터로 구성하여, 총 370개의 개별 치아 사진을 수집했다.
- 실험에 사용한 영상의 경우 의료용 패치 9개와 함께 촬영하였다. 또한, 치아의 불투명성에 따른 차이를 최소화하기 위해 의료용 검은 판을 두어 촬영하였다.
- 그림 2와 같이 실제 치아와 색 보정을 위한 의료용 치아 패치를 함께 촬영한다. 치아 패치의 색상은 표 1의 내용과 같이 치아를 구성하는 대표적인 색상 9개를 선정하여 제작되었다. 색 보정의 기준이 되는 패치를 영상에서 검출한 뒤 색 보정을 진행한다.
데이터처리
- 패치 검출을 통해 영상에서 수집한 9개의 패치 평균 색상 정보 T(Target)를 계산한다. 이를 기준값 S(Standard)와 함께, 최소 제곱근 사법을 적용하여 식 1과 같이 두 영상의 색상 변환 관계를 표현하는의사 역행렬(pseudo inverse matrix) X를 계산한다.
성능/효과
- 분석 결과를 임플란트 표본의 데이터베이스와 비교하여 유사도 계산하여 가장 유사한 표본을 추천한다. 임플란트 표본의 데이터베이스를 구축하는 방법은 다음과 같다.
- 또한, 치아 영역 만을 검출하기 위해 치아 데이터 셋을 구축하고 Mask R-CNN 모델을 전이 학습시킨 모델을 활용하여, 치아 영역만을 검출했다. 최종적으로 다양한 색상을 지닌 치아를 분석하기 위해 군집화하여 색상을 단순화하고, 이를 임플란트 표본의 대표 색상 값과 비교하여 가장 유사한 표본을 추천받을 수 있었다.
후속연구
- 제안한 방법을 통해 기존 맨눈으로 진행하는 임플란트 표본 선택 방식에 정량적인 분석 및 제안을 덧붙일 수 있어 좀 더 만족도 높은 임플란트를 제작할 수 있을 것으로 기대된다. 향후 더 다양한 임플란트 표본을 확보하고, 유사도 계산 함수를 개선하여, 더욱 유사한 표본을 추천할 수 있도록 개선하고자 한다.
- 제작할 수 있을 것으로 기대된다. 향후 더 다양한 임플란트 표본을 확보하고, 유사도 계산 함수를 개선하여, 더욱 유사한 표본을 추천할 수 있도록 개선하고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.