선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 연구에서는 임상의가 골 전이 암을 진단 할 때 스크리닝 도구로서 사용할 수 있도록 골 전이 암 환자의 복부 CT 영상을 이용하여 학습한 완전 컨볼루션 신경망을 통하여 골 전이 암의 병변 부위를 검출하는 알고리즘을 개발하는 것을 목표로 하였다.
- 본 논문에서는 다양한 원발암에서 뼈로 전이된 경우의 환자 265명의 컴퓨터단층촬영 영상을 이용하여 전이된 암의 병변 부위를 픽셀 단위로 찾아내는 연구를 진행하였다. 2차원 완전 컨볼루션 신경망(Fully Convolutional Network)에 환자의 CT 영상과 영상의학과 전문의가 병변부위로 판독한 실측 영상을 입력으로 사용하였으며, 데이터의 부족을 극복하기 위하여 영상의 밝기를 조절하고 좌우를 뒤집어 학습하였다.
- 본 연구에서는 골 전이 환자의 3차원 복부 CT 영상 및 영상의학과 전문의가 병변 부위를 판독한 3차원 골 전이 실측 영상을 이용하였으며, 이를 바탕으로 골 전이 암 검출 알고리즘 개발을 진행하였다. 임상의가 복부 CT영상을 기반으로 3차원 골 전이 암 판독 영상을 작성하는 데에는 그림2의 프리웨어로 제공되는 ITK-snap[11]을 이용하였다.
- 본 연구에서는 완전 컨볼루션 신경망을 이용하여 환자의 CT 영상에서 골 전이 암 위치를 분할하여 검출 할 수 있도록 하였다. 또한 그림 3의 (a)와 같은 VGG19 신경망 모델의 network surgery를 통해 그림 3의 (b)와 같이 기존 입력 영상 크기가 224 × 224 × 3인 것을 512 × 512 × 1로 변경하였고, 15번째 컨볼루션 층까지의 기본 구조를 사용하고 이후로 3개의 컨볼루션 층을 추가하여 학습하였다.
제안 방법
- (b)와 같이 기존 입력 영상 크기가 224 × 224 × 3인 것을 512 × 512 × 1로 변경하였고, 15번째 컨볼루션 층까지의 기본 구조를 사용하고 이후로 3개의 컨볼루션 층을 추가하여 학습하였다.
- 본 논문에서는 다양한 원발암에서 뼈로 전이된 경우의 환자 265명의 컴퓨터단층촬영 영상을 이용하여 전이된 암의 병변 부위를 픽셀 단위로 찾아내는 연구를 진행하였다. 2차원 완전 컨볼루션 신경망(Fully Convolutional Network)에 환자의 CT 영상과 영상의학과 전문의가 병변부위로 판독한 실측 영상을 입력으로 사용하였으며, 데이터의 부족을 극복하기 위하여 영상의 밝기를 조절하고 좌우를 뒤집어 학습하였다. 전체 데이터의 10%를 평가 데이터로 구분하여 90%의 데이터를 기계학습에 이용하였고, augmentation 기법을 통해 실질적으로 학습에 사용된 데이터의 총 수를 10배 증가시켰다.
- 골 전이는 정상 뼈 조직을 파괴하는 골 융해성 전이와 새로운 뼈를 형성하는 골 형성 전이로 분류되는데, 대개 두 가지 증상이 혼합되어 있으므로[10] 환자의 골 전이 종류에 따른 분류 없이 복부 CT 영상을 수집하여 기계학습 알고리즘 개발을 진행하였다.
- 본 연구에서 개발한 기계학습 알고리즘은 컨볼루션 신경망(Convolutional Neural Network)을 토대로 개발하였다.
- 알고리즘 성능 평가 단계에서 사람이 3차원 영상을 트레이싱 하며 골 전이 암 병변 부위를 판독하였기 때문에 발생하는 문제점과 특이사항을 확인하였다. 먼저 그림 9와 같이 잘못 판별된 정답 영상들을 확인할 수 있었는데, 이는 골 전이 암 영상을 사람이 판별하여 정답 영상을 작성하는 과정에서 발생한 오류로 학습 영상 자료와 성능 평가 영상 자료에서 이러한 정답 영상의 오류를 확인하여 보완하는 것이 전체 알고리즘의 성능 향상에 도움이 될 것으로 보인다.
- 알고리즘의 학습과 정확도 확인을 위하여 전체 영상 데이터에서 기계학습에 이용되는 데이터와 정확도 확인을 위한 데이터를 분리하여 학습하는 Hold out test를 적용하였고 이에 따라 전체 환자 데이터 중 약 10%는 테 학습에서 제외시키고 나머지 환자의 영상을 학습에 이용하였다. 이 때 학습에 사용된 영상이 238명의 골 전이 암 환자에게서 촬영된 4547장, 결과 확인에 사용된 테스트 데이터 영상이 27명의 골 전이 암 환자에게서 촬영된 291장이다.
- 이 값을 다양한 신체 구성 물질에 대하여 정리한 Houns-field scale 값은 표 1와 같다. 이러한 CT의 특성을 고려하 여 본 연구에서 밝기 조절에 대한 부분을 설계하였다.
- 골 전이 암을 판독하는 알고리즘의 개발은 크게 두 가지방식을 고려할 수 있다. 첫번째는 기존 영상처리 알고리즘을 응용하여 골 전이 암의 영상특성을 분석해 병변 부위를 검출해 내는 알고리즘을 직접 개발하는 것이고, 두번째는 본 연구에서 채택한 방식으로써 최근 영상 분석 분야에서 활발하게 연구되고 효과적으로 이용되고 있는 기계학습 알고리즘을 이용하는 것이다.
- 최종단에는 3층의 디컨볼루션 학습 층을 추가하여 영상의 업샘플링(Up-sampling)이 이루어지게 하였고 이에 따라 입력 영상(512 × 512)과 동일한 크기의 확률 분포 출력을 얻었다.
- 기계학습과정에서 1배치(Batch) 당 2개의 영상을 사용하였고, 경사하강법(Stochastic gradient descent)에 사용된 최적화 방법으로는 Adam optimizer를 사용하였다[15]. 학습율은 1e-4로 1e5회 학습 후 1e-5로 변경하여 1e5회를 추가로 학습해 결과가 최대한 수렴할 수 있도록 하였다.
대상 데이터
- 개발에는 2009년부터 2017년까지 촬영된 277명의 골 전이 암 환자 CT영상을 사용하였으며, 이 중 전체 환자 수에서 약 5%를 차지하는 12명의 환자는 인공관절(Artificial joint)이나 허리뼈 유합(Lumbar fusion) 수술 등을 받은 환자로 CT 영상에서 극단적으로 밝은 영역을 생성하게 되어 기계학습에 영향을 줄 수 있으므로 아웃라이어(Outlier)로 정의하고 학습에서 제외하였다. 따라서 환자 277명 중 실제 사용한 환자의 수는 265명이다.
- 알고리즘 학습을 진행할 때에는 3차원 복부 CT 영상이 아닌 그림 1과 같이 골 전이 암이 존재하는 부위의 2차원 횡단면(Transeverse plane)영상과 의사가 직접 골 전이 암부분을 표시한 정답 영상(Ground Truth, GT)을 개별 입력으로 이용하여 265명의 환자로부터 촬영된 총 4838장의 2차원 영상이 사용되었다. 따라서 환자 1명 당 약 18~19장의 영상이 사용되었다.
- 개발에는 2009년부터 2017년까지 촬영된 277명의 골 전이 암 환자 CT영상을 사용하였으며, 이 중 전체 환자 수에서 약 5%를 차지하는 12명의 환자는 인공관절(Artificial joint)이나 허리뼈 유합(Lumbar fusion) 수술 등을 받은 환자로 CT 영상에서 극단적으로 밝은 영역을 생성하게 되어 기계학습에 영향을 줄 수 있으므로 아웃라이어(Outlier)로 정의하고 학습에서 제외하였다. 따라서 환자 277명 중 실제 사용한 환자의 수는 265명이다.
- 본 연구에서 개발된 기계학습 알고리즘 학습에 사용한 골전이 암 영상은 총 238명의 환자로부터 수집된 복부 CT 영상에서 골 전이 암이 존재하는 영상 4547장이다. 이는 복부 CT 한 장이 약 149장이고 이 범위에 포함되는 골격이 대퇴골, 무명골, 미골, 천골, 요추, 흉추, 늑골에 이르는 것을 고려할 때 결코 충분하지 않은 데이터이다.
- 알고리즘 학습을 진행할 때에는 3차원 복부 CT 영상이 아닌 그림 1과 같이 골 전이 암이 존재하는 부위의 2차원 횡단면(Transeverse plane)영상과 의사가 직접 골 전이 암부분을 표시한 정답 영상(Ground Truth, GT)을 개별 입력으로 이용하여 265명의 환자로부터 촬영된 총 4838장의 2차원 영상이 사용되었다. 따라서 환자 1명 당 약 18~19장의 영상이 사용되었다.
- 위 두가지 augmentation 기법을 이용하여 학습에 사용 된 영상은 총 4547장에서 10배 증가한 45470장과 같게 되었다.
- 알고리즘의 학습과 정확도 확인을 위하여 전체 영상 데이터에서 기계학습에 이용되는 데이터와 정확도 확인을 위한 데이터를 분리하여 학습하는 Hold out test를 적용하였고 이에 따라 전체 환자 데이터 중 약 10%는 테 학습에서 제외시키고 나머지 환자의 영상을 학습에 이용하였다. 이 때 학습에 사용된 영상이 238명의 골 전이 암 환자에게서 촬영된 4547장, 결과 확인에 사용된 테스트 데이터 영상이 27명의 골 전이 암 환자에게서 촬영된 291장이다.
데이터처리
- 개발된 알고리즘을 골 전이 암 진단을 위한 스크리닝 도구로 사용하기 위해 그림 7과 같은 2차원 결과 이미지를 환자에 따라 3차원 예측 영상과 정답 영상으로 구분하여 식(3)과 같이 IoU(Intersection over Union)값을 구하여 비교하였다.
이론/모형
- 최종단에는 3층의 디컨볼루션 학습 층을 추가하여 영상의 업샘플링(Up-sampling)이 이루어지게 하였고 이에 따라 입력 영상(512 × 512)과 동일한 크기의 확률 분포 출력을 얻었다. 기계학습과정에서 1배치(Batch) 당 2개의 영상을 사용하였고, 경사하강법(Stochastic gradient descent)에 사용된 최적화 방법으로는 Adam optimizer를 사용하였다[15]. 학습율은 1e-4로 1e5회 학습 후 1e-5로 변경하여 1e5회를 추가로 학습해 결과가 최대한 수렴할 수 있도록 하였다.
- 본 연구에서의 목적은 골 전이 암의 병변부위를 기계학습 알고리즘을 이용하여 찾아내는 것이고 골격은 좌우 대칭적인(Symmetric)한 특성을 가지기 때문에 기타 장기의 비대칭적인(Asymmetric)한 성질을 학습에서 고려하지 않아도 된다고 판단되어 기계학습 진행 시 그림 4의 (a)와 같이 임의로 좌우 반전된 영상을 이용하여 모델을 학습하였다. 또한 밝기를 이용한 augmentation도 진행하였는데, 이 경우 표 1의 Hounsfield scale을 고려하였다. Hounsfield scale 중 bone은 최소 700으로 가장 높은 값을 가지고 있고, bone보다 작은 값을 가지면서 가장 큰 값은 최대 300의 값을 가지는 soft tissue이므로 밝기를 조절 할 때 두 영역의 값이 같아지지 않도록(−200 200)내의 범위에서 밝기를 조절하였고, 본 결과에서는 그림 4의 (b)와 같이 겹치지 않는 범위의 [−100 −50 050 100]에서 임의로 선택하여 밝기를 조절하여 사용하였다.
- 21%로 기계학습 시 모든 영역을 골 전이 암이 아닌 것으로 판별하게 되는 데이터의 불균형 문제(Imbalance problem)가 존재한다. 이러한 문제를 해결하기 위하여 본 연구에서는 비용함수(Cost function)의 변형을 통한 클래스 별 가중치를 적용한 손실(Loss)의 연산과 학습에 사용되는 영상의 augmentation 기법을 사용하였다.
- 본 연구에서는 골 전이 환자의 3차원 복부 CT 영상 및 영상의학과 전문의가 병변 부위를 판독한 3차원 골 전이 실측 영상을 이용하였으며, 이를 바탕으로 골 전이 암 검출 알고리즘 개발을 진행하였다. 임상의가 복부 CT영상을 기반으로 3차원 골 전이 암 판독 영상을 작성하는 데에는 그림2의 프리웨어로 제공되는 ITK-snap[11]을 이용하였다.
성능/효과
- 또한 정밀도가 평균 이하인 판별 영상 중 그림 11과 같은 영상도 확인할 수 있었는데, 그림 11의 (b)에서 알고리즘을 이용하여 골 전이 암으로 검출되었지만 정답 영상에 판별되어 있지 않았던 초록색 영역이 검출된 영역이 육안으로 볼 때 골 전이 암 영역으로 판별되어 임상의의 재판독 결과 그림 11의 (c) 영역에 골 전이 암이 존재하는 것으로 확인하였고, 초기 판독에서 누락된 골 전이 암 병변 부위인 것으로 결론지었다. 이는 개발한 알고리즘의 성능을 보여 줄 수 있는 좋은 사례이다.
- 이는 복부 CT 한 장이 약 149장이고 이 범위에 포함되는 골격이 대퇴골, 무명골, 미골, 천골, 요추, 흉추, 늑골에 이르는 것을 고려할 때 결코 충분하지 않은 데이터이다. 또한 전체 영상에서 검출하고자 하는 병변 부위가 차지하는 비율이 픽셀 단위에서 0.21%로 만일 민감도가 0%로 수렴하여 영상의 모든 부분이 병변이 아니라고 판별하더라도 99.79%의 정확도를 도출 할 수 있음에도 픽셀 단위 민감도가 38.62%로 학습된 데에는 비용함수에 비율에 따른 가중치를 적용한 것이 유효하였던 것으로 분석하였다.
- 81%의 정확도를 보여주었다(표 3). 또한 환자의 수를 늘려 238명의 골 전이 병변 영상을 모두 이용하였을 때에는 픽셀단위에서 38.62%의 민감도와 99.94%의 특이도, 99.81의 정확도를 보여주었고(표 4), 이 때 학습의 반복(Epoch)에 따른 손실함수의 값과 민감도는 그림 5와 같이 나타났다. 그림 5의 (b)에서 초기 민감도가 0.
- 본 연구에서 기계학습에 사용된 환자 데이터는 복부 CT 영상이며 이 때 기계학습 알고리즘을 이용하여 구분해야 하는 골 전이 암의 병변이 전체 복부 CT 영상에서 차지하는 비율은 한 장의 영상 당 평균 약 0.21%로 기계학습 시 모든 영역을 골 전이 암이 아닌 것으로 판별하게 되는 데이터의 불균형 문제(Imbalance problem)가 존재한다. 이러한 문제를 해결하기 위하여 본 연구에서는 비용함수(Cost function)의 변형을 통한 클래스 별 가중치를 적용한 손실(Loss)의 연산과 학습에 사용되는 영상의 augmentation 기법을 사용하였다.
- 본 연구의 결과는 픽셀 단위에서 38.62%의 민감도를 가지고 있지만 실제 병변 별 검출 민감도는 88.89%로 나타났다. 하지만 임상의의 진단을 대신 하기 위해서는 오검출 사례가 존재하더라도 민감도가 100%에 도달해야 하기 때문에 여전히 진단의를 대신 할 수 있는 수준에 이르지 못한것으로 분석된다.
- 기계학습을 이용하여 얻은 골 전이 암 예측 결과는 그림 6과 같다. 얻은 예측 결과 중 픽셀단위로 골 전이 암을 가장 잘 예측한 경우는 99.33%의 민감도를 보였다.
- 80%의 정확도를 보였다(표 2). 여기에 좌우 반전과 밝기 조절을 통한 10배의 데이터 augmentation을 이용한 경우 30.65%의 민감도와 99.95%의 특이도, 99.81%의 정확도를 보여주었다(표 3). 또한 환자의 수를 늘려 238명의 골 전이 병변 영상을 모두 이용하였을 때에는 픽셀단위에서 38.
- 위 알고리즘을 이용해 각 환자에서 골 전이 암 병변 영역을 검출해 내는 최대 민감도를 IoU 값에 따라 확인했을 때 최대 88.89%로 나타났다. 이때 병변이 아닌 영역을 병변으로 판별한 건당 오검출 사례(False alarm per case)는 0.
- 전체 골 전이 암 환자 265명 중 테스트를 위해 27명의 영상을 제외하고 학습에 사용한 골 전이 암 환자 238명 중 약 70%에 해당하는 171명의 골 전이 병변 영상을 이용하여 제안한 알고리즘의 성능을 분석한 결과 데이터의 augmentation이 이루어지지 않았을 때 픽셀 단위에서 18.75%의 민감도와 99.97%의 특이도, 99.80%의 정확도를 보였다(표 2). 여기에 좌우 반전과 밝기 조절을 통한 10배의 데이터 augmentation을 이용한 경우 30.
- 2차원 완전 컨볼루션 신경망(Fully Convolutional Network)에 환자의 CT 영상과 영상의학과 전문의가 병변부위로 판독한 실측 영상을 입력으로 사용하였으며, 데이터의 부족을 극복하기 위하여 영상의 밝기를 조절하고 좌우를 뒤집어 학습하였다. 전체 데이터의 10%를 평가 데이터로 구분하여 90%의 데이터를 기계학습에 이용하였고, augmentation 기법을 통해 실질적으로 학습에 사용된 데이터의 총 수를 10배 증가시켰다. 평가 데이터로 개발한 알고리즘을 테스트한 결과는 픽셀 단위에서 평균 38.
- 전체 데이터의 10%를 평가 데이터로 구분하여 90%의 데이터를 기계학습에 이용하였고, augmentation 기법을 통해 실질적으로 학습에 사용된 데이터의 총 수를 10배 증가시켰다. 평가 데이터로 개발한 알고리즘을 테스트한 결과는 픽셀 단위에서 평균 38.62%의 민감도와 99.94%의 특이도, 99.81%의 정확도를 보여주었다.
후속연구
- 하지만 임상의의 진단을 대신 하기 위해서는 오검출 사례가 존재하더라도 민감도가 100%에 도달해야 하기 때문에 여전히 진단의를 대신 할 수 있는 수준에 이르지 못한것으로 분석된다. 결과에서 나타난 진단 민감도와 임상의의 진단에서 누락된 병변을 찾아낸 사례를 바탕으로 볼 때, 임상의의 진단 전후에 스크리닝 도구로 활용하여 환자 진단에 도움이 될 것으로 보인다.
- 임상의에게는 항상 정확하고 정밀한 판단이 요구되는데, 2012년 한국 소비자원 발표에 따르면 매년 암 진료에 대한 오진 중 31% 가량이 의사의 영상 판독 오류로 발생하며 그 예로 의사가 환자의 복부 CT 영상에서 다발성 골 전이 암을 판독하지 못해 환자가 사망하는 판독 오류 사례가 있었으며 2005년에는 반대로 흉추의 혈관종을 골 전이 암으로 오진하여 환자가 불필요한 치료를 받는 사례도 발생하였다. 따라서 임상의가 판독을 진행하기 이전이나 이후에 골 전이 암인 것으로 예상되는 부분을 확인 할 수 있도록 한다면 골 전이 암의 진단 효율은 물론 조기 검출율과 검출 정확도 향상을 꾀할 수 있을 것이다.
- 따라서 후속 연구에서는 한 환자의 3차원 CT 영상을 한꺼번에 입력으로 사용하는 기계학습 알고리즘을 개발하여 병변 부위의 검출 민감도를 향상하는 것이 필요할 것이다.
- 알고리즘 성능 평가 단계에서 사람이 3차원 영상을 트레이싱 하며 골 전이 암 병변 부위를 판독하였기 때문에 발생하는 문제점과 특이사항을 확인하였다. 먼저 그림 9와 같이 잘못 판별된 정답 영상들을 확인할 수 있었는데, 이는 골 전이 암 영상을 사람이 판별하여 정답 영상을 작성하는 과정에서 발생한 오류로 학습 영상 자료와 성능 평가 영상 자료에서 이러한 정답 영상의 오류를 확인하여 보완하는 것이 전체 알고리즘의 성능 향상에 도움이 될 것으로 보인다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.