목적: 최근의 딥러닝은 의료 및 생명의학연구 분야에 대한 적용이 기하급수적으로 증가하고 있으며, 컨볼루션 신경망은 영상인식 분야에서 높은 정확도를 나타내어 의료영상처리 분야에서도 컨볼루션 신경망을 적용한 자동진단 기법을 도입하여 정확도를 개선하고 있다. 그러나 의료 및 생명 의학 분야는 인간의 생명을 다루기 때문에 진단이나 치료가 보수적이고 환자 개인정보 등의 연구 윤리적 측면으로 인하여 적극적인 의료데이터 수집을 기대하기는 어려운 여건이다. 성인의 대표적인 실명 원인으로 보고되고 있는 당뇨성 망막질환은 만성 당뇨병의 혈관 합병증으로 비가역적인 시력 상실을 초래한다. 이러한 이유로 당뇨성 망막질환에 대한 조기 진단 및 예방 목적의 ...
목적: 최근의 딥러닝은 의료 및 생명의학연구 분야에 대한 적용이 기하급수적으로 증가하고 있으며, 컨볼루션 신경망은 영상인식 분야에서 높은 정확도를 나타내어 의료영상처리 분야에서도 컨볼루션 신경망을 적용한 자동진단 기법을 도입하여 정확도를 개선하고 있다. 그러나 의료 및 생명 의학 분야는 인간의 생명을 다루기 때문에 진단이나 치료가 보수적이고 환자 개인정보 등의 연구 윤리적 측면으로 인하여 적극적인 의료데이터 수집을 기대하기는 어려운 여건이다. 성인의 대표적인 실명 원인으로 보고되고 있는 당뇨성 망막질환은 만성 당뇨병의 혈관 합병증으로 비가역적인 시력 상실을 초래한다. 이러한 이유로 당뇨성 망막질환에 대한 조기 진단 및 예방 목적의 안저검사에 대한 필요성이 강조되고 있다. 안저영상의 경우 미세한 병변을 정밀하게 판독하기 위해서는 고도의 숙련된 전문의가 필요하나 현재 국내의 경우 수요에 대비한 안저영상의 판독 전문의가 부족하여 검사 결과의 판독에 많은 어려움이 있다. 뿐만 아니라 충분한 전문성과 경험을 보유한 안과 전문의 사이에서도 안저영상의 판독 일치율에 차이가 있다는 보고도 있다. 이와 같이 숙련된 안과의사의 부족 및 주관적인 판독결과 등으로 인하여 판독결과에 대한 신뢰성의 확보에 대해 어려움 등이 있으며, 안저영상의 당뇨성 망막질환에 대한 자동진단의 딥러닝 연구는 국외의 경우 다양한 딥러닝 모델 및 알고리즘 등을 이용하여 연구가 진행되고 있으나 국내의 경우 상대적으로 아직 미진한 실정이다. 이러한 이유로 본 연구에서는 기존에 개발된 다양한 딥러닝 모델 및 알고리즘 등을 적용하여 정확하고 객관적인 당뇨성 망막질환 검출을 위한 안저영상의 자동진단에 대한 딥러닝 모델을 단계별로 구현하고자 한다. 그리고 딥러닝 모델에 따른 성능평가 및 자동진단을 수행하고자 한다. 이러한 연구를 통하여 본 연구의 최종 목적인 딥러닝을 이용한 안저영상의 당뇨성 망막질환에 대한 자동진단으로 실명의 조기 예방 및 조기 치료 등에 있어 유용한 정보를 제공하고자 하며, 안저영상 기반의 당뇨성 망막질환에 대한 자동진단의 관련 산업 및 연구에 있어 기초자료로 활용되고자 한다.
재료 및 방법: 본 연구에서는 기존에 개발된 7종류의 딥러닝 모델과 안저영상 데이터 세트를 적용하여 딥러닝 모델링을 구현하였다. 1차 딥러닝 모델링을 구현하여 7종류의 딥러닝 모델에 대한 성능지표 및 최적화된 커널을 획득하였다. 그리고 사전학습을 적용한 2차 딥러닝 모델링을 구현하여 성능지표를 획득하였으며 사전학습 전과 후의 성능을 비교 평가하였다. 성능평가는 코헨 카파계수, QWK, 2차 QWK, 정확도, 손실함수 값을 성능평가의 지표로 설정하여 사전학습 전과 후의 7종류의 딥러닝 모델링에 대한 성능을 비교 평가하였다. 그리고 사전학습을 적용한 테스트 모델링을 구현하여 획득한 7종류의 딥러닝 모델에 따른 자동진단결과는 무작위로 선정한 180장의 안저영상에 대한 안과 전문의 2인과의 판독결과에 대한 일치율로 평가하였다.
결과: 검증 모델링에 대한 7종류의 1차 딥러닝 모델과 사전학습을 적용한 2차 딥러닝 모델링의 최종 에포크에 대한 코헨 카파계수의 평가는 1차 딥러닝 모델링의 경우 7종류의 딥러닝 모델의 코헨 카파계수는 0.867, 0.815, 0.823, 0.783, 0.895, 0.883, -0.012의 결과를 나타내었다. 사전학습을 적용한 2차 딥러닝 모델링의 경우, 7종류의 딥러닝 모델의 코헨 카파계수는 0.895, 0.899, 0.906, 0.909, 0.891, 0.883, 0.909의 결과를 나타내었다. 그 결과 사전학습을 적용한 딥러닝 모델링은 학습 초기 모델과 비교하여 성능이 개선되었다. 그리고 QWK 값에서 학습 모델링 및 검증 모델링에 대한 QWK의 값은 7종류의 모든 2차 딥러닝 모델이 1차 딥러닝 모델보다 높게 나타났으며, 그 결과 사전학습을 적용한 2차 딥러닝 모델의 경우 이미지 분류에 대한 정확성이 개선되었음을 알 수 있었다. 2차 QWK 값의 평가는 검증 모델링에 대한 2차 QWK의 값의 경우 7종류의 모든 2차 딥러닝 모델이 1차 딥러닝 모델보다 높게 나타났으며, 그 결과 사전학습을 적용한 2차 딥러닝 모델의 경우, 이미지 분류에 대한 정확성이 개선되었음을 알 수 있었다. 그리고 1차 딥러닝 모델과 사전학습을 적용한 2차 딥러닝 모델 전체에 대한 정확도의 평가는 사전학습을 적용한 2차 딥러닝 모델이 1차 딥러닝 모델보다 전체적으로 정확도의 결과가 높게 나타나는 경향을 나타내었으며, 손실함수 값의 평가는 사전학습을 적용한 2차 딥러닝 모델이 1차 딥러닝 모델보다 전체적으로 손실함수 값의 결과가 낮게 나타나는 경향을 나타내었다. 무작위로 선정한 180장의 안저영상에 대한 안과 전문의 2의 판독결과와 사전학습을 적용한 7종류의 딥러닝 모델의 자동진단 결과에 대한 일치율은 Inception V3는 68.89%, VGGNet 19는 70.00%, ResNet 50은 76.11%, DenseNet 121은 72.78%, Xception은 70.00%, InceptionResNet V2는 70.56%, EfficientNet B5는 78.89%를 나타내었다. 그 결과 안과 전문의 2인과의 일치율 평가는 EfficientNet B5가 가장 높은 일치율을 나타내었으며, Inception V3는 가장 낮은 일치율을 나타내었다.
결론: 본 연구에서는 당뇨성 망막질환의 자동진단을 위하여 1차 딥러닝 모델링과 사전학습을 적용한 2차 딥러닝 모델링을 구현하였으며, 사전학습을 적용한 2차 모델링의 성능평가가 1차 모델링보다 우수한 성능을 나타내는 것을 확인할 수 있었다. 그 결과 향후 의료영상 데이터를 적용한 딥러닝 연구 시, 1차 모델링을 통하여 획득한 최적화된 커널을 재적용하여 2차 모델링을 구현한다면 이미지 데이터의 특징 추출 및 분류에 있어 성능이 개선된다고 사료 된다.
목적: 최근의 딥러닝은 의료 및 생명의학연구 분야에 대한 적용이 기하급수적으로 증가하고 있으며, 컨볼루션 신경망은 영상인식 분야에서 높은 정확도를 나타내어 의료영상처리 분야에서도 컨볼루션 신경망을 적용한 자동진단 기법을 도입하여 정확도를 개선하고 있다. 그러나 의료 및 생명 의학 분야는 인간의 생명을 다루기 때문에 진단이나 치료가 보수적이고 환자 개인정보 등의 연구 윤리적 측면으로 인하여 적극적인 의료데이터 수집을 기대하기는 어려운 여건이다. 성인의 대표적인 실명 원인으로 보고되고 있는 당뇨성 망막질환은 만성 당뇨병의 혈관 합병증으로 비가역적인 시력 상실을 초래한다. 이러한 이유로 당뇨성 망막질환에 대한 조기 진단 및 예방 목적의 안저검사에 대한 필요성이 강조되고 있다. 안저영상의 경우 미세한 병변을 정밀하게 판독하기 위해서는 고도의 숙련된 전문의가 필요하나 현재 국내의 경우 수요에 대비한 안저영상의 판독 전문의가 부족하여 검사 결과의 판독에 많은 어려움이 있다. 뿐만 아니라 충분한 전문성과 경험을 보유한 안과 전문의 사이에서도 안저영상의 판독 일치율에 차이가 있다는 보고도 있다. 이와 같이 숙련된 안과의사의 부족 및 주관적인 판독결과 등으로 인하여 판독결과에 대한 신뢰성의 확보에 대해 어려움 등이 있으며, 안저영상의 당뇨성 망막질환에 대한 자동진단의 딥러닝 연구는 국외의 경우 다양한 딥러닝 모델 및 알고리즘 등을 이용하여 연구가 진행되고 있으나 국내의 경우 상대적으로 아직 미진한 실정이다. 이러한 이유로 본 연구에서는 기존에 개발된 다양한 딥러닝 모델 및 알고리즘 등을 적용하여 정확하고 객관적인 당뇨성 망막질환 검출을 위한 안저영상의 자동진단에 대한 딥러닝 모델을 단계별로 구현하고자 한다. 그리고 딥러닝 모델에 따른 성능평가 및 자동진단을 수행하고자 한다. 이러한 연구를 통하여 본 연구의 최종 목적인 딥러닝을 이용한 안저영상의 당뇨성 망막질환에 대한 자동진단으로 실명의 조기 예방 및 조기 치료 등에 있어 유용한 정보를 제공하고자 하며, 안저영상 기반의 당뇨성 망막질환에 대한 자동진단의 관련 산업 및 연구에 있어 기초자료로 활용되고자 한다.
재료 및 방법: 본 연구에서는 기존에 개발된 7종류의 딥러닝 모델과 안저영상 데이터 세트를 적용하여 딥러닝 모델링을 구현하였다. 1차 딥러닝 모델링을 구현하여 7종류의 딥러닝 모델에 대한 성능지표 및 최적화된 커널을 획득하였다. 그리고 사전학습을 적용한 2차 딥러닝 모델링을 구현하여 성능지표를 획득하였으며 사전학습 전과 후의 성능을 비교 평가하였다. 성능평가는 코헨 카파계수, QWK, 2차 QWK, 정확도, 손실함수 값을 성능평가의 지표로 설정하여 사전학습 전과 후의 7종류의 딥러닝 모델링에 대한 성능을 비교 평가하였다. 그리고 사전학습을 적용한 테스트 모델링을 구현하여 획득한 7종류의 딥러닝 모델에 따른 자동진단결과는 무작위로 선정한 180장의 안저영상에 대한 안과 전문의 2인과의 판독결과에 대한 일치율로 평가하였다.
결과: 검증 모델링에 대한 7종류의 1차 딥러닝 모델과 사전학습을 적용한 2차 딥러닝 모델링의 최종 에포크에 대한 코헨 카파계수의 평가는 1차 딥러닝 모델링의 경우 7종류의 딥러닝 모델의 코헨 카파계수는 0.867, 0.815, 0.823, 0.783, 0.895, 0.883, -0.012의 결과를 나타내었다. 사전학습을 적용한 2차 딥러닝 모델링의 경우, 7종류의 딥러닝 모델의 코헨 카파계수는 0.895, 0.899, 0.906, 0.909, 0.891, 0.883, 0.909의 결과를 나타내었다. 그 결과 사전학습을 적용한 딥러닝 모델링은 학습 초기 모델과 비교하여 성능이 개선되었다. 그리고 QWK 값에서 학습 모델링 및 검증 모델링에 대한 QWK의 값은 7종류의 모든 2차 딥러닝 모델이 1차 딥러닝 모델보다 높게 나타났으며, 그 결과 사전학습을 적용한 2차 딥러닝 모델의 경우 이미지 분류에 대한 정확성이 개선되었음을 알 수 있었다. 2차 QWK 값의 평가는 검증 모델링에 대한 2차 QWK의 값의 경우 7종류의 모든 2차 딥러닝 모델이 1차 딥러닝 모델보다 높게 나타났으며, 그 결과 사전학습을 적용한 2차 딥러닝 모델의 경우, 이미지 분류에 대한 정확성이 개선되었음을 알 수 있었다. 그리고 1차 딥러닝 모델과 사전학습을 적용한 2차 딥러닝 모델 전체에 대한 정확도의 평가는 사전학습을 적용한 2차 딥러닝 모델이 1차 딥러닝 모델보다 전체적으로 정확도의 결과가 높게 나타나는 경향을 나타내었으며, 손실함수 값의 평가는 사전학습을 적용한 2차 딥러닝 모델이 1차 딥러닝 모델보다 전체적으로 손실함수 값의 결과가 낮게 나타나는 경향을 나타내었다. 무작위로 선정한 180장의 안저영상에 대한 안과 전문의 2의 판독결과와 사전학습을 적용한 7종류의 딥러닝 모델의 자동진단 결과에 대한 일치율은 Inception V3는 68.89%, VGGNet 19는 70.00%, ResNet 50은 76.11%, DenseNet 121은 72.78%, Xception은 70.00%, Inception ResNet V2는 70.56%, EfficientNet B5는 78.89%를 나타내었다. 그 결과 안과 전문의 2인과의 일치율 평가는 EfficientNet B5가 가장 높은 일치율을 나타내었으며, Inception V3는 가장 낮은 일치율을 나타내었다.
결론: 본 연구에서는 당뇨성 망막질환의 자동진단을 위하여 1차 딥러닝 모델링과 사전학습을 적용한 2차 딥러닝 모델링을 구현하였으며, 사전학습을 적용한 2차 모델링의 성능평가가 1차 모델링보다 우수한 성능을 나타내는 것을 확인할 수 있었다. 그 결과 향후 의료영상 데이터를 적용한 딥러닝 연구 시, 1차 모델링을 통하여 획득한 최적화된 커널을 재적용하여 2차 모델링을 구현한다면 이미지 데이터의 특징 추출 및 분류에 있어 성능이 개선된다고 사료 된다.
Purpose: In recent years, the application of deep learning to the medical and biomedical research fields is increasing exponentially. Convolutional neural networks have high accuracy in the field of image recognition. It is improving accuracy. However, since medical and biomedical fields deal with h...
Purpose: In recent years, the application of deep learning to the medical and biomedical research fields is increasing exponentially. Convolutional neural networks have high accuracy in the field of image recognition. It is improving accuracy. However, since medical and biomedical fields deal with human life, it is difficult to expect active medical data collection due to conservative diagnosis and treatment and research ethical aspects such as patient privacy. Diabetic retinal disease, which is reported as a leading cause of blindness in adults, causes irreversible vision loss due to vascular complications of chronic diabetes. For this reason, the necessity of fundus examination for the early diagnosis and prevention of diabetic retinopathy is emphasized. In the case of fundus images, highly skilled specialists are needed to precisely read minute lesions, but there are many difficulties in reading test results due to the lack of specialists for fundus image preparation for domestic demand. In addition, there is a report that there is a difference in the coincidence rate of fundus images among ophthalmologists with sufficient expertise and experience. Due to the lack of skilled ophthalmologists and subjective reading results, there is a difficulty in securing the reliability of reading results. Although research is being conducted using running models and algorithms, the situation in Korea is still relatively low. For this reason, this study aims to implement the deep learning model for the automatic diagnosis of fundus image for the accurate and objective detection of diabetic retinal disease by applying various deep learning models and algorithms developed previously. And we want to perform performance evaluation and automatic diagnosis according to deep learning model. The purpose of this study is to provide useful information on early prevention and early treatment of blindness as an automatic diagnosis of diabetic retinal disease of fundus images using deep learning, which is the final purpose of this study. It is intended to be used as basic data in related industries and research of automatic diagnosis of diseases.
Material and Methods: In this study, deep learning modeling was implemented by applying 7 types of deep learning models developed and fundus image dataset. By implementing the first deep learning modeling, we obtained performance indicators and optimized kernels for seven types of deep learning models. And, pre-trained deep learning modeling was implemented to obtain performance indicators and to compare and evaluate performance before and after pre-trained. For performance evaluation, the Cohen Kappa coefficient, QWK, 2-QWK, accuracy, and loss function were set as indicators of performance evaluation. In addition, the automatic diagnosis results based on the seven types of deep learning models obtained by implementing test modeling with pre-trained were evaluated by the agreement rate of two ophthalmologists with randomly selected 180 ocular fundus images.
Results: The evaluation of the validation modeling Cohen Kappa coefficients for the 7th primary deep learning model for the validation modeling and the final epoch of the second deep learning modeling with pre-trained is based on the Cohen kappa of the seven deep learning models. The coefficients were 0.867, 0.815, 0.823, 0.783, 0.895, 0.883, -0.012. In the second deep learning modeling with pre-trained, the Cohen kappa coefficients of the seven types of deep learning models showed 0.895, 0.899, 0.906, 0.909, 0.891, 0.883, and 0.909. As a result, deep learning modeling with pre-trained improved its performance compared to the first deep learning modeling. The QWK values for the training modeling and the validation modeling in the QWK values were higher for all seven types of pre-trained deep learning modeling than for the first deep learning modeling. It was found that the accuracy of the classification was improved. In the evaluation of the 2-QWK values, the pre-trained deep learning models of the 2-QWK values for the validation modeling were higher than the first deep learning modeling. In this case, it was found that the accuracy of image classification was improved. In addition, the evaluation of the accuracy of the first deep learning modeling and the pre-trained deep learning modeling applied with pre-trained showed higher accuracy than the first deep learning modeling. In the evaluation of the loss function, the pre-trained deep learning model with pre-trained tends to have lower overall loss function than the first deep learning model. The coincidence rate between the ophthalmologist 2's readings on 7 randomly selected fundus images and the auto diagnosis results of 7 types of deep learning models applied with pre-trained was 68.89% for Inception V3, 70.00% for VGGNet 19, and ResNet 50 for 76.11%, 72.78% for DenseNet 121, 70.00% for Xception, 70.56% for Inception ResNet V2, and 78.89% for EfficientNet B5. As a result, EfficientNet B5 showed the highest agreement rate and Inception V3 showed the lowest agreement rate.
Conclusion: In this study, we implemented first deep learning model with first deep learning modeling applied pre-trained for the automatic diagnosis of diabetic retinal disease, and performance evaluation of pre-trained deep learning model showed better performance than the first deep learning model. I could confirm that. As a result, it is considered that performance will be improved in the feature extraction and classification of the image data if the pre-trained deep learning modeling is implemented by reapplying the optimized kernel acquired through the first deep learning modeling in the deep learning study using the medical image as the data set.
Purpose: In recent years, the application of deep learning to the medical and biomedical research fields is increasing exponentially. Convolutional neural networks have high accuracy in the field of image recognition. It is improving accuracy. However, since medical and biomedical fields deal with human life, it is difficult to expect active medical data collection due to conservative diagnosis and treatment and research ethical aspects such as patient privacy. Diabetic retinal disease, which is reported as a leading cause of blindness in adults, causes irreversible vision loss due to vascular complications of chronic diabetes. For this reason, the necessity of fundus examination for the early diagnosis and prevention of diabetic retinopathy is emphasized. In the case of fundus images, highly skilled specialists are needed to precisely read minute lesions, but there are many difficulties in reading test results due to the lack of specialists for fundus image preparation for domestic demand. In addition, there is a report that there is a difference in the coincidence rate of fundus images among ophthalmologists with sufficient expertise and experience. Due to the lack of skilled ophthalmologists and subjective reading results, there is a difficulty in securing the reliability of reading results. Although research is being conducted using running models and algorithms, the situation in Korea is still relatively low. For this reason, this study aims to implement the deep learning model for the automatic diagnosis of fundus image for the accurate and objective detection of diabetic retinal disease by applying various deep learning models and algorithms developed previously. And we want to perform performance evaluation and automatic diagnosis according to deep learning model. The purpose of this study is to provide useful information on early prevention and early treatment of blindness as an automatic diagnosis of diabetic retinal disease of fundus images using deep learning, which is the final purpose of this study. It is intended to be used as basic data in related industries and research of automatic diagnosis of diseases.
Material and Methods: In this study, deep learning modeling was implemented by applying 7 types of deep learning models developed and fundus image dataset. By implementing the first deep learning modeling, we obtained performance indicators and optimized kernels for seven types of deep learning models. And, pre-trained deep learning modeling was implemented to obtain performance indicators and to compare and evaluate performance before and after pre-trained. For performance evaluation, the Cohen Kappa coefficient, QWK, 2-QWK, accuracy, and loss function were set as indicators of performance evaluation. In addition, the automatic diagnosis results based on the seven types of deep learning models obtained by implementing test modeling with pre-trained were evaluated by the agreement rate of two ophthalmologists with randomly selected 180 ocular fundus images.
Results: The evaluation of the validation modeling Cohen Kappa coefficients for the 7th primary deep learning model for the validation modeling and the final epoch of the second deep learning modeling with pre-trained is based on the Cohen kappa of the seven deep learning models. The coefficients were 0.867, 0.815, 0.823, 0.783, 0.895, 0.883, -0.012. In the second deep learning modeling with pre-trained, the Cohen kappa coefficients of the seven types of deep learning models showed 0.895, 0.899, 0.906, 0.909, 0.891, 0.883, and 0.909. As a result, deep learning modeling with pre-trained improved its performance compared to the first deep learning modeling. The QWK values for the training modeling and the validation modeling in the QWK values were higher for all seven types of pre-trained deep learning modeling than for the first deep learning modeling. It was found that the accuracy of the classification was improved. In the evaluation of the 2-QWK values, the pre-trained deep learning models of the 2-QWK values for the validation modeling were higher than the first deep learning modeling. In this case, it was found that the accuracy of image classification was improved. In addition, the evaluation of the accuracy of the first deep learning modeling and the pre-trained deep learning modeling applied with pre-trained showed higher accuracy than the first deep learning modeling. In the evaluation of the loss function, the pre-trained deep learning model with pre-trained tends to have lower overall loss function than the first deep learning model. The coincidence rate between the ophthalmologist 2's readings on 7 randomly selected fundus images and the auto diagnosis results of 7 types of deep learning models applied with pre-trained was 68.89% for Inception V3, 70.00% for VGGNet 19, and ResNet 50 for 76.11%, 72.78% for DenseNet 121, 70.00% for Xception, 70.56% for Inception ResNet V2, and 78.89% for EfficientNet B5. As a result, EfficientNet B5 showed the highest agreement rate and Inception V3 showed the lowest agreement rate.
Conclusion: In this study, we implemented first deep learning model with first deep learning modeling applied pre-trained for the automatic diagnosis of diabetic retinal disease, and performance evaluation of pre-trained deep learning model showed better performance than the first deep learning model. I could confirm that. As a result, it is considered that performance will be improved in the feature extraction and classification of the image data if the pre-trained deep learning modeling is implemented by reapplying the optimized kernel acquired through the first deep learning modeling in the deep learning study using the medical image as the data set.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.