ROC에 의한 의료영상을 평가하는 방법으로 지금까지는 5단계로 평가하는 평정확신도법이 일반적으로 사용되었다. 이 평정확신도법에서는 TPF나 FPF의 산출을 쉽게 구하는 것이 가능하나, 실험에 있어서 부드럽게 ROC곡선의 추정을 하기 위해서 관찰자에 대해 적당한 카테고리 배분이 요구되거나 또 짜여진 카테고리 배분을 위해 그 데이터가 무효해지는 경우가 많다. 이러한 문제를 해결하기 위해 또는 관찰실험 이외의 데이터에도 ROC해석의 응용이 가능해지도록 카테고리 분류가 되어 있지 않은 연속적으로 분포된 실험결과를 이용 ROC 해석을 행하는 방법인 연속확신도법이 보고 되었다. 하지만 국내에서는 의료영상의 평가에 연속확신도법을 적용한 예가 거의 없어서 흉부 디지털영상의 평가에 적용해 보았다. 그 결과 상용화된 프로그램에 의하여 부드러운 ROC곡선을 그릴 수 있었으며, 특성값을 쉽게 측정할 수 있어 디지털 의료영상의 평가에 적절히 사용될 수 있으리라 사료된다.
ROC에 의한 의료영상을 평가하는 방법으로 지금까지는 5단계로 평가하는 평정확신도법이 일반적으로 사용되었다. 이 평정확신도법에서는 TPF나 FPF의 산출을 쉽게 구하는 것이 가능하나, 실험에 있어서 부드럽게 ROC곡선의 추정을 하기 위해서 관찰자에 대해 적당한 카테고리 배분이 요구되거나 또 짜여진 카테고리 배분을 위해 그 데이터가 무효해지는 경우가 많다. 이러한 문제를 해결하기 위해 또는 관찰실험 이외의 데이터에도 ROC해석의 응용이 가능해지도록 카테고리 분류가 되어 있지 않은 연속적으로 분포된 실험결과를 이용 ROC 해석을 행하는 방법인 연속확신도법이 보고 되었다. 하지만 국내에서는 의료영상의 평가에 연속확신도법을 적용한 예가 거의 없어서 흉부 디지털영상의 평가에 적용해 보았다. 그 결과 상용화된 프로그램에 의하여 부드러운 ROC곡선을 그릴 수 있었으며, 특성값을 쉽게 측정할 수 있어 디지털 의료영상의 평가에 적절히 사용될 수 있으리라 사료된다.
In general, the discrete confidence judgments that use five-step assessment method have been used to assess the medical images by ROC. TPF or FPF can be computed easily with this independent reading test. However, during experiments, it happens frequently that adequate distribution for observers is ...
In general, the discrete confidence judgments that use five-step assessment method have been used to assess the medical images by ROC. TPF or FPF can be computed easily with this independent reading test. However, during experiments, it happens frequently that adequate distribution for observers is required to smoothly estimate the ROC curve. In addition, data becomes invalid for distribution of the created categories. To solve such problems or to apply the ROC interpretation to data that is not obtained from the experimental observation, the continuous confidence judgements (CCJ) has been proposed, which implements ROC interpretation using continuously-distributed experimental results without category classification has been used. As the use of CCJ to assess medical images was barely reported in Korea, we applied it to the assessment of chest digital images in this study. The results showed that a smooth ROC curve was obtained conveniently by the commercialized program and the characteristic value was measured easily. Therefore, it is recommended that this method can be applied to the assessment of digital medical images.
In general, the discrete confidence judgments that use five-step assessment method have been used to assess the medical images by ROC. TPF or FPF can be computed easily with this independent reading test. However, during experiments, it happens frequently that adequate distribution for observers is required to smoothly estimate the ROC curve. In addition, data becomes invalid for distribution of the created categories. To solve such problems or to apply the ROC interpretation to data that is not obtained from the experimental observation, the continuous confidence judgements (CCJ) has been proposed, which implements ROC interpretation using continuously-distributed experimental results without category classification has been used. As the use of CCJ to assess medical images was barely reported in Korea, we applied it to the assessment of chest digital images in this study. The results showed that a smooth ROC curve was obtained conveniently by the commercialized program and the characteristic value was measured easily. Therefore, it is recommended that this method can be applied to the assessment of digital medical images.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이에 저자는 디지털 X선영상의 평가에 연속확신도법을 적용하여 흉부촬영시 초점의 크기에 따른 화질을 평가해 보았다. 그 결과 소초점 사용시 ROC 곡선의 평가 및 AZ 값 모두가 좋은 결과를 나타내었으며, 일반적인 평정확신도법의 연구결과에서 나타나는 것보다 더욱 부드러운 ROC곡선의 형태를 얻을 수 있었고, 상용화된 프로그램의 사용으로 ROC 특성값을 손쉽게 구할 수 있는 장점이 있었다.
제안 방법
Contrast-detail 팬텀(model : 05041)을 이용한 시각적 화질을 평가하기 위해 흉부 팬텀으로 AAPM(American Association of Physicists in Medicine by the American Institute of Physics chest phantom)12)을 사용하였으며, 그림 2와 같이 배치한 후 초점크기변화에 대하여1) 과 동일한 관전압, 관전류로 촬영하였다. 이후 병소의 두께(depth)를 가로축으로 하고 병소의 지름(diameter)을 세로축으로 하여 contrast-detail 곡선을 작성하였다13).
chest 촬영시 검사조건은 관전압을 120 kVp로 고정한 후 mAs값은 각 초점에 대해 chest 팬텀(model :76-083, Nuclear Associates)을 투과한 후의 디텍터 표면입사선량이 1.25 mR이 되는 값으로 하였다8). ROC용 신호는 예비실험을 통하여 폐야부 및 심장음영부 두 가지 종류로 하였으며, 폐야부의 신호는 지름 3 mm, 두께 3 mm, 심장음영부의 신호는 지름 5 mm, 두께 5 mm의 아크릴디스크를 사용하였다.
각 영상의 판독은 각 영상당 30초씩 판독을 실시하여, 관찰값의 기록은 각 영상에서의 신호가 없을 경우와 있을 경우의 판단여부에 따라 자유 scale 응답용지(50 mm)에 값을 기록하였으며, 기록된 값을 자로 mm 단위로 측정하여 ROC값을 구하였다1,9). ROC곡선의 작도 및 특성값은 Kurt Rossmann 연구소의 ROCKIT[0.
1 beta] 프로그램10)을 사용하였고, 최종 ROC곡선은 총 5명 관찰자의 FPF에 따른 TPF의 평균값으로 작성하였다. 또한 AZ(곡선하 면적)값은 각 관찰자의 AZ값을 구한 후 5명의 평균 AZ를 구하였다2).
하지만 아직까지 국내에서는 연속 확신도법을 적용한 연구는 많지 않아 디지털 영상평가에 적용하였으며, 그 사용법에 대해서도 구체적으로 설명하여 보았다. 또한 CD팬텀을 이용한 화질평가 실험 결과와 비교해 보았다.
실험영상을 획득 후 별도의 영상 보정작업을 하지 않은 상태로 동일한 관찰조건하에서 신호유무를 모르는 상태에서 경력 10년 이상의 방사선과 교수 및 방사선사 5명이 사전 연습을 한 후 판독을 실시하였다.
실효초점을 측정하기 위해 pin hole camera(model :07-610, Nuclear associates inc)을 이용하였으며, 이때 실험조건은 KS A40177)의 기준에 의하여 관전압은 75 kVp로 관전류는 0.1초에서 최대허용 관전류의 50%인 값을 허용부하곡선에서 찾은 후 소초점에서는 150 mA로, 대초점에서는 300 mA로 실험하였으며, 확대율은 2배를 하였다.
1) 과 동일한 관전압, 관전류로 촬영하였다. 이후 병소의 두께(depth)를 가로축으로 하고 병소의 지름(diameter)을 세로축으로 하여 contrast-detail 곡선을 작성하였다13).
대상 데이터
25 mR이 되는 값으로 하였다8). ROC용 신호는 예비실험을 통하여 폐야부 및 심장음영부 두 가지 종류로 하였으며, 폐야부의 신호는 지름 3 mm, 두께 3 mm, 심장음영부의 신호는 지름 5 mm, 두께 5 mm의 아크릴디스크를 사용하였다. 화질평가를 위한 실험영상의 수는 소초점에서 신호가 있는 것 20매, 신호가 없는 것 20매, 대초점에서 신호가 있는 것 20매, 신호가 없는 것 20매씩 총 80매의 영상을 준비하였으며, 각 신호영상 20매에서의 신호의 위치는 심장음영 영역에 5매 및 폐야부위에 15매씩을 랜덤하게 위치하면서 촬영하였다.
X-선관은 LTN-25(Toshiba co., LTD)로 공칭초점이 1.0×1.0 mm2 (소초점), 2.0×2.0 mm2 (대초점)를 실험에 사용하였다.
또한 선량측정은 Radcal사의 2026C Reader 와 chamber는 20×6-60E(chamber volume - 60 cc) 전리조를 사용하였다.
실험에 사용한 DR장치는 DRS system(Listem co., Ltd.)을 사용하였으며, 장치의 총여과는 2.5 mmAl이었다. X-선관은 LTN-25(Toshiba co.
ROC용 신호는 예비실험을 통하여 폐야부 및 심장음영부 두 가지 종류로 하였으며, 폐야부의 신호는 지름 3 mm, 두께 3 mm, 심장음영부의 신호는 지름 5 mm, 두께 5 mm의 아크릴디스크를 사용하였다. 화질평가를 위한 실험영상의 수는 소초점에서 신호가 있는 것 20매, 신호가 없는 것 20매, 대초점에서 신호가 있는 것 20매, 신호가 없는 것 20매씩 총 80매의 영상을 준비하였으며, 각 신호영상 20매에서의 신호의 위치는 심장음영 영역에 5매 및 폐야부위에 15매씩을 랜덤하게 위치하면서 촬영하였다.
데이터처리
. ROC곡선의 작도 및 특성값은 Kurt Rossmann 연구소의 ROCKIT[0.9.1 beta] 프로그램10)을 사용하였고, 최종 ROC곡선은 총 5명 관찰자의 FPF에 따른 TPF의 평균값으로 작성하였다. 또한 AZ(곡선하 면적)값은 각 관찰자의 AZ값을 구한 후 5명의 평균 AZ를 구하였다2).
성능/효과
그 결과 소초점 사용시 ROC 곡선의 평가 및 AZ 값 모두가 좋은 결과를 나타내었으며, 일반적인 평정확신도법의 연구결과에서 나타나는 것보다 더욱 부드러운 ROC곡선의 형태를 얻을 수 있었고, 상용화된 프로그램의 사용으로 ROC 특성값을 손쉽게 구할 수 있는 장점이 있었다. CD 팬텀에 의한 시각적 평가에서는 큰 병소의 관찰에서는 비슷한 관찰결과를 나타냈지만 작은 병소에서는 소초점이 더 우수한 검출결과를 나타내고 있음을 알 수 있었다.
각 실험결과에서 소초점에서 AZ값은 관찰자별로 0.9045~0.9610이였으며, 평균 0.9327로 나타났고, 대초점에서는 0.8576~0.8984로 평균 0.8753의 값으로 나타나 소초 점에서 더욱 우수한 결과를 나타내었고, 관찰자간의 표준 편차에서도 양호하게 나타났다(Table 1, Fig. 1).
그 결과 ROC곡선은 그림 1과 같이 소초점이 대초점보다 좌상방향에 위치하여 더욱 우수한 화질값을 나타내었다. 또한 평정확신도법에 의한 실험결과3,4,6)에 비해 연속적이고 부드러운 곡선을 나타내었다.
그 결과 그림 3과 같이 소초점은 두께가 0.5 mm일 때 6.3 mm 지름의 병소까지 관찰 가능하였으며, 두께가 8 mm 일 때 0.5 mm 지름의 병소까지 판독 가능하였다. 대초점에서는 두께가 0.
이에 저자는 디지털 X선영상의 평가에 연속확신도법을 적용하여 흉부촬영시 초점의 크기에 따른 화질을 평가해 보았다. 그 결과 소초점 사용시 ROC 곡선의 평가 및 AZ 값 모두가 좋은 결과를 나타내었으며, 일반적인 평정확신도법의 연구결과에서 나타나는 것보다 더욱 부드러운 ROC곡선의 형태를 얻을 수 있었고, 상용화된 프로그램의 사용으로 ROC 특성값을 손쉽게 구할 수 있는 장점이 있었다. CD 팬텀에 의한 시각적 평가에서는 큰 병소의 관찰에서는 비슷한 관찰결과를 나타냈지만 작은 병소에서는 소초점이 더 우수한 검출결과를 나타내고 있음을 알 수 있었다.
5 mm 지름의 병소까지 판독 가능하였다. 대초점에서는 두께가 0.6 mm일 때 6.3 mm 지름의 병소까지, 또한 8.0 mm 두께에서는 0.6 mm 지름의 병소까지 구분할 수 있는 것으로 나타났으며, 두께 및 지름이 1.0~4.0 mm 사이의 병소에서는 거의 동일한 결과를 나타내어 소초점에서는 특히 작은 두께 및 작은 지름의 병소 관찰에 유리함을 알 수 있었다.
실효초점의 측정결과 소초점은 0.93×1.12 mm2 , 대초점은 1.95×2.20 mm2로 나타나 모두 KS 기준 허용차 범위 안에 포함되었다.
후속연구
본 연구를 통하여 디지털 X선 영상에서도 연속확신도 법을 이용한 평가방법이 적절하게 응용될 수 있으리라 사료된다.
질의응답
핵심어
질문
논문에서 추출한 답변
평정확신도법의 특징은 무엇인가?
ROC에 의한 의료영상을 평가하는 방법으로 지금까지는 5단계로 평가하는 평정확신도법이 일반적으로 사용되었다. 이 평정확신도법에서는 TPF나 FPF의 산출을 쉽게 구하는 것이 가능하나, 실험에 있어서 부드럽게 ROC곡선의 추정을 하기 위해서 관찰자에 대해 적당한 카테고리 배분이 요구되거나 또 짜여진 카테고리 배분을 위해 그 데이터가 무효해지는 경우가 많다. 이러한 문제를 해결하기 위해 또는 관찰실험 이외의 데이터에도 ROC해석의 응용이 가능해지도록 카테고리 분류가 되어 있지 않은 연속적으로 분포된 실험결과를 이용 ROC 해석을 행하는 방법인 연속확신도법이 보고 되었다.
ROC에 의한 의료영상을 평가하는 방법으로 무엇이 일반적으로 사용되고 있는가?
ROC에 의한 의료영상을 평가하는 방법으로 지금까지는 5단계로 평가하는 평정확신도법이 일반적으로 사용되었다. 이 평정확신도법에서는 TPF나 FPF의 산출을 쉽게 구하는 것이 가능하나, 실험에 있어서 부드럽게 ROC곡선의 추정을 하기 위해서 관찰자에 대해 적당한 카테고리 배분이 요구되거나 또 짜여진 카테고리 배분을 위해 그 데이터가 무효해지는 경우가 많다.
물리적인 평가와 심리적 평가의 차이는 무엇인가?
이와 같은 물리적인 평가는 실제로 시각에 의한 평가와 다를 경우가 생긴다. 물리적 평가는 대조도, 선예도, 입상성의 특징을 단일 평가하는 것에 불과하지만, 심리적 평가인 주관적 평가는 물리적 평가가 가지고 있는 특성 전부를 포함하면서 관찰자의 관찰능력 내지는 심리상태 등이나, 주위환경까지도 포함시킨 종합평가 시스템인 것이다. 이러한 심리적 평가의 대표적 방법이 ROC해석이다14).
Soon-A Hwang, Joon Beom Seo, Byeong-kyoo Choi et al. : Liquid-crystal Display Monitor and Cathode-ray Tube Monitor : A Comparison of Observer Performance in the Detection of Small Solitary Pulmonary Nodules, Korea J Radiol., 4, 153-156, 2003
Charles E. Metz, Xiaochuan Pan : “Proper” binomal ROC Curves : Theory and Maximumlikehood Estimation, Journal of Mathematical Phychology, 43, 1-33, 1999
Host aichinger, Joachim dierker, Sigrid joitebarfu ${\beta}$ , Manfred sabel : Radiation Exposure and Image Quality in X-ray Diagnostic Radiology, Springer, 78-79, 2004
권덕문, 김성수, 김영근 외 : Analog & digital.PACS 의료영상정보학, 대학서림, 188-189, 2002
Howard E. Rockette, David Gur, Charles E. Metz : The use of Continuous and Discrete Confidence Judgments in Receiver Operating Characteristic Studies of Diagnostic Imaging Techniques, Investigative radiology, 27(2), 169-172, 1992
※ AI-Helper는 부적절한 답변을 할 수 있습니다.