[논문]Transfer Learning based DNN-SVM Hybrid Model for Breast Cancer Classification

Gui Rae Jo; Beomsu Baek; Young Soon Kim; Dong Hoon Lim

doi:10.9708/jksci.2023.28.11.001

[국내논문] Transfer Learning based DNN-SVM Hybrid Model for Breast Cancer Classification 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.11, 2023년, pp.1 - 11

Gui Rae Jo (Dept. of Information and Statistics, Gyeongsang National University) , Beomsu Baek (Dept. of Information and Statistics, Gyeongsang National University) , Young Soon Kim (Dept. of Information and Statistics, Dept. of Bio & Medical Bigdata (BK4 program), Gyeongsang National University) , Dong Hoon Lim (Dept. of Information and Statistics, RINS, Gyeongsang National University)

초록
AI-Helper

유방암은 전 세계적으로 여성들 대다수에게 가장 두려워하는 질환이다. 오늘날 데이터의 증가와 컴퓨팅 기술의 향상으로 머신러닝(machine learning)의 효율성이 증대되어 암 검출 및 진단 등에 중요한 역할을 하고 있다. 딥러닝(deep learning)은 인공신경망(artificial neural network, ANN)을 기반으로 하는 머신러닝 기술의 한 분야로 최근 여러 분야에서 성능이 급속도로 개선되어 활용 범위가 확대되고 있다. 본 연구에서는 유방암 분류를 위해 전이학습(transfer learning) 기반 DNN(Deep Neural Network)과 SVM(support vector machine)의 구조를 결합한 DNN-SVM Hybrid 모형을 제안한다. 전이학습 기반 제안된 모형은 적은 학습 데이터에도 효과적이고, 학습 속도도 빠르며, 단일모형, 즉 DNN과 SVM이 가지는 장점을 모두 활용 가능토록 결합함으로써 모형 성능이 개선되었다. 제안된 DNN-SVM Hybrid 모형의 성능평가를 위해 UCI 머신러닝 저장소에서 제공하는 WOBC와 WDBC 유방암 자료를 가지고 성능실험 결과, 제안된 모형은 여러 가지 성능 척도 면에서 단일모형인 로지스틱회귀 모형, DNN, SVM 그리고 앙상블 모형인 랜덤 포레스트보다 우수함을 보였다.

Abstract ▼ AI-Helper

Breast cancer is the disease that affects women the most worldwide. Due to the development of computer technology, the efficiency of machine learning has increased, and thus plays an important role in cancer detection and diagnosis. Deep learning is a field of machine learning technology based on an artificial neural network, and its performance has been rapidly improved in recent years, and its application range is expanding. In this paper, we propose a DNN-SVM hybrid model that combines the structure of a deep neural network (DNN) based on transfer learning and a support vector machine (SVM) for breast cancer classification. The transfer learning-based proposed model is effective for small training data, has a fast learning speed, and can improve model performance by combining all the advantages of a single model, that is, DNN and SVM. To evaluate the performance of the proposed DNN-SVM Hybrid model, the performance test results with WOBC and WDBC breast cancer data provided by the UCI machine learning repository showed that the proposed model is superior to single models such as logistic regression, DNN, and SVM, and ensemble models such as random forest in various performance measures.

Keyword

표/그림 (17)

그림 Fig. 2.1 Structure of DNN model
그림 Fig. 2.2 SVM optimal separating hyperplane
그림 Fig. 3.1 Deep transfer learning model
표 Table 2.1 Representative kernel functions
그림 Fig. 3.2 Structure of DNN-SVM Hybrid model
표 Table 4.1. WOBC data description
표 Table 4.2 WDBC data description
표 Table 4.3 5-Fold Cross-Validation
표 Table 4.4 DNN Transfer parameters for WOBC data
표 Table 4.5 SVM kernel and parameters for WOBC data
그림 Fig. 4.1 Model accuracy and loss curve in WOBC data
그림 Fig. 4.2 Model accuracy and loss curve in WDBC data
표 Table 4.6 DNN transfer parameters for WDBC data
표 Table 4.7 SVM kernel and parameters for WDBC data
표 Table 4.8 Confusion matrix for Classification
표 Table 4.9 Comparison of evaluation metrics with WOBC data
표 Table 4.10 Comparison of evaluation metrics with WDBC data

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 유방암 분류를 위해 전이학습(transfer learning) 기반 DNN과 SVM의 구조를 결합한 DNN-SVM Hybrid 모형을 제안하였다. 딥러닝에게 학습시킬 암 환자 관련 의료 빅데이터의 중요성이 날로 높아지고 있다.

제안 방법

STEP 4: 테스트 데이터셋과 학습된 DNN, SVM을 통해 STEP 2, STEP 3과 같은 방식으로 결합 모형의 예측을 진행하고 평가한다.
본 논문에서 유방암 자료인 WOBC와 WDBC 자료를 가지고 양성 종양과 악성 종양을 분류하기 위해 사용한 DNN 모형은 총 4개의 은닉층으로 구성되고 각각의 은닉층 노드는 16개, 16개, 16개, 4개로 구성된다. 본 논문에서는 Figure 3.
본 논문에서 유방암 자료인 WOBC와 WDBC 자료를 가지고 양성 종양과 악성 종양을 분류하기 위해 사용한 DNN 모형은 총 4개의 은닉층으로 구성되고 각각의 은닉층 노드는 16개, 16개, 16개, 4개로 구성된다. 본 논문에서는 Figure 3.2과 같이 두 번째 은닉층의 출력을 SVM의 입력으로 사용하는 DNN-SVM Hybrid 모형 즉, DNN[:2]+SVM을 포함하여, 첫 번째, 세 번째, 네 번째 은닉층의 출력을 SVM의 입력으로 사용하는 DNN-SVM Hybrid 모형 즉, DNN[:1]+SVM, DNN[:3]+SVM, DNN[:4]+SVM을 고려하였다.

대상 데이터

WOBC 데이터는 699명을 대상으로 조사되었고 Table 4.1과 같이 독립변수로는 FNA의 세포 특성을 나타내는 9개의 변수와 종속변수로는 이를 양성(benign)인지 악성(malignant)을 나타내는 클래스 변수로 구성되어 있다. 여기서 세포 특성값은 1부터 10까지 정수값을 가지고 그 값이 1에 가까울수록 양성일 확률이 높고 10에 가까울수록 악성일 확률이 높다는 것을 나타낸다.

이론/모형

우리는 DNN의 학습은 확률적 경사 하강법(stochastic gradient descent)을 이용하며, 이를 위해 사용되는 비용 함수(cost function)는 식 (2.1)과 같이 나타낼 수 있다.

성능/효과

9에서 각 평가지표에서 최대값은 굵은 글자로 표시하였다. DNN-SVM Hybrid 모형은 모든 성능 척도에서 단일모형인 로지스틱 회귀모형, SVM과 DNN보다 좋은 수치를 보였고, 랜덤 포레스트와는 재현율을 제외한 나머지 3개의 척도에서 좋은 수치를 보였다. 특히, DNN[:4]+SVM 모형이 가장 좋은 성능 수치를 보였다.
DNN-SVM Hybrid 모형은 모든 성능 척도에서 단일모형인 로지스틱 회귀모형, SVM과 DNN보다 좋은 수치를 보였고, 랜덤 포레스트와는 재현율을 제외한 나머지 3개의 척도에서 좋은 수치를 보였다. 특히, DNN[:4]+SVM 모형이 가장 좋은 성능 수치를 보였다.
DNN-SVM Hybrid 모형은 모든 성능 척도에서 단일모형인 로지스틱 회귀모형, SVM과 DNN보다 좋은 수치를 보였고, 랜덤 포레스트와는 재현율을 제외한 나머지 3개의 척도에서 좋은 수치를 보였다. 특히, DNN[:4]+SVM 모형이 가장 좋은 성능 수치를 보였다.
DNN-SVM Hybrid 모형은 단일모형, 즉 DNN과 SVM의 단점을 극복하고, 이들 장점을 모두 활용할 수 있도록 결합을 통해 모형의 성능을 개선하였다.
UCI 머신러닝 저장소에서 제공하는 WOBC와 WDBC 유방암 자료를 가지고 성능 실험 결과, 제안된 DNN-SVM Hybrid 모형은 단일모형인 로지스틱회귀분석, DNN, SVM 그리고 앙상블 모형인 랜덤 포레스트보다 여러 성능 척도 면에서 우수한 것으로 나타났다.

참고문헌 (42)

Statistics Korea, "Causes of Death Statistics in 2021", Korea National Statistical Office, September 2022.？
H. Sung, J. Ferlay, R. L. Siegel, M. Laversanne, I. Soerjomataram, A. Jemal, and F. Bray, "Global Cancer Statistics 2020: GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries", CA: A Cancer Journal for Clinicians, Vol. 71, No. 3, pp. 209-249, February 2021. DOI:10.3322/caac.21660.？

상세보기
I. Zemni, M. Kacem, W. Dhouib, C. Bennasrallah, R. Hadhri, H. Abroug, M. B. Fredj, M. Mokni, I. Bouanene, and A. S. Belguith, "Breast cancer incidence and predictions (Monastir, Tunisia: 2002-2030): A registry based study", PLoS One. Vol. 17, No. 5, pp. 1-12, May 2022, DOI: 10.1371/journal.pone.0268035.？

상세보기
Korea Central Cancer Registry, "Annual report of cancer statistics in Korea in 2020", Ministry of Health and Welfare, May 2023.？
M. Sewak, P. Vaidya, C. C. Chan, and Z. H. Duan, "SVM approach to breast cancer classification", International Multisymposium on Computer and Computational Sciences, 2007, pp. 32-37, DOI: 10.1109/IMSCCS.2007.46.？
M. Fiuzy, J. Haddadnia, N. Mollania, M. Hashemian, and K. Hassanpour, "Introduction of a New Diagnostic Method for Breast Cancer Based on Fine Needle Aspiration (FNA) Test Data and Combining Intelligent Systems", Iranian journal of cancer prevention, Vol. 5, No. 4, pp. 169-177, Autumn 2012.？

상세보기
K. Das, S. Conjeti, J. Chatterjee, and D. Sheet, "Detection of Breast Cancer From Whole Slide Histopathological Images Using Deep Multiple Instance CNN", IEEE Access, Vol. 8, No.20163105, November 2020. pp.213502-213511, DOI: 10.1109/ACCESS.2020.3040106.？

상세보기
V. N. Vapnik, "The Nature of Statistical Learning Theory", John Wiley & Sons, New York, 1996.？
G. P. Zhang, "Neural Networks for Classification: A Survey", IEEE Transactions on Systems, Man and Cybernetics-Part C: Applications and Reviews, Vol. 30, No. 4, pp. 451-462, November 2000, DOI: 10.1109/5326.897072.？

상세보기
S. Gupta, D. Kumar, and A. Sharma, "Date Mining Classification Techniques Applied for Breast Cancer Diagnosis and Prognosis", Indian Journal of Computer Science and Engineering, Vol. 2, No. 2, pp. 188-195, April 2011.？
Z. Khandezamin, M. Naderan, and M. J. Rashti. "Detection and classification of breast cancer using logistic regression feature selection and GMDH classifier," Journal of Biomedical Informatics, Vol. 111, No. 103591, pp. 1-16, November 2020, DOI:10.1016/j.jbi.2020.103591.？

상세보기
P. Wang, E. Fan, and P. Wang, "Comparative analysis of image classification algorithms based on traditional machine learning and deep learning," Pattern Recognition Letters, Vol. 141, pp. 61-67, January 2021, DOI:10.1016/j.patrec.2020.07.042.？

상세보기
I. H. Sarker, "Deep Learning: A Comprehensive Overview on Techniques, Taxonomy, Applications and Research Directions," SN Computer Science, Vol. 2, No. 420, pp. 1-20, May 2021, DOI:10.1007/s42979-021-00815-1.？

상세보기
L. Alzubaidi1, J. Zhang, A. Humaidi, A. Al-Dujaili, Y. Duan, O. Al-Shamma, J. Santamaria, M. A. Fadhel, M. Al-Amidie, and L. Farhan, "Review of deep learning: concepts, CNN architectures, challenges, applications, future directions," Journal of Big Data, Vol. 8, No. 53, pp. 1-20, March 2021, DOI:10.1186/s40537-021-00444-8.？

상세보기
D. R. Sarvamangala1, and R. V. Kulkarni, "Convolutional neural networks in medical image understanding: a survey," Evolutionary Intelligence, Vol. 15, pp. 1-22, January 2022, DOI:10.1007/s12065-020-00540-3.？

상세보기
Z. Zhu, S. H. Wang, and Y. D. Zhang, "A Survey of Convolutional Neural Network in Breast Cancer," Computer Modeling in Engineering & Sciences, Vol. 136, No. 3, pp. 2127-2172, March 2023, DOI:10.32604/cmes.2023.025484.？

상세보기
Y. Zhu, T. Brettin, F. Xia, A. Partin, M. Shukla, H. Yoo, Y. A. Evrard, J. H. Doroshow, and R. L. Stevens, "Converting tabular data into images for deep learning with convolutional neural networks," Scientific Report, Vol. 11, No. 11325, pp. 1-11, May 2021, DOI:10.1038/s41598-021-90923-y.？

상세보기
V. Borisov, T. Leemann, K. SesslerR, J. Haug, M. Pawelczyk, and G. Kasneci, "Deep Neural Networks and Tabular Data: A Survey," IEEE Transactions on Neural Networks and Learning Systems, pp. 1-21, December 2022, DOI:10.1109/TNNLS.2022.3229161.？
V. Borisov, K. Broelemann, E. Kasneci, and G. Kasneci, "DeepTLF: robust deep neural networks for heterogeneous tabular data," International Journal of Data Science and Analytics, Vol. 16, pp. 85-100, August 2022, DOI:10.1007/s41060-022-00350-z.？

상세보기
J. Aurelia, and Z. Rustam, "A Hybrid Convolutional Neural Network-Support Vector Machine for X-ray Computed Tomography Images on Cancer," Open Access Macedonian Journal of Medical Sciences, Vol. 9, No. B, pp.1283-1289, 2021, DOI:10.3889/oamjms.2021.6955.？

상세보기
D. Keerthana, V. Venugopal,, M. K. Nath, and M. Mishra, "Hybrid convolutional neural networks with SVM classifier for classification of skin cancer," Biomedical Engineering Advances, Vol. 5, pp. 1-8, June 2023, DOI:10.1016/j.bea.2022.100069.？

상세보기
S. X. Zhang, C. Liu, K. Yao, and Y. Gong, "Deep neural support vector machines for speech recognition," IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 1-5, April 2015, DOI: 10.1109/ICASSP.2015.7178777.？
V. Karthikeyan, S. S. Priyadharsini, K. Balamurugan, and M. Ramasamy, "Speaker identification using hybrid neural network support vector machine classifier," International Journal of Speech Technology, Vol. 25, No. 4, December 2022, pp 1041-1053, DOI:10.1007/s10772-021-09902-3.？

상세보기
S. Ramraj, G. Usha, "Hybrid feature learning framework for the classification of encrypted network traffic," Connection Science, Vol. 35, No.1, April 2023, pp. 1-20, DOI: 10.1080/09540091.2023.2197172.？

상세보기
M. Iman, K. Rasheed, and H. R. Arabnia "A Review of Deep Transfer Learning and Recent Advancements," Technologies, Vol. 11, No. 40, No. 1, January 2022, pp. 1-18, DOI: 10.48550/arXiv.2201.09679.？
S. Mondal, A. Chattopadhyay, A. Mukhopadhyay, and A. Ray, "Transfer learning of deep neural networks for predicting thermoacoustic instabilities in combustion systems," Energy and AI, Vol. 5, pp. 1-12, September 2021, DOI:10.1016/j.egyai.2021.100085.？

상세보기
A. Ebbehoj, M. O. Thunbo, O. E. Andersen, M. V. Glindtvad, A. Hulman, "Transfer learning for non-image data in clinical research: A scoping review," PLOS Digit Health, Vol. 1, No. 2, No.1, February 2022, pp. 1-18, DOI: 10.1371/journal.pdig.0000014？
S. Kalyani, and K.S. Swarup, "Static security evaluation in power systems using multi-class SVM with different parameter selection methods," International Journal of Machine Learning and Computing, Vol. 1, No. 2, pp.193-198, June 2011, DOI:10.7763/IJCTE.2013.V5.731.？
J. S. Lim, J. Y. Sohn, J. T. Sohn and D. H. Lim "Breast Cancer Classification Using Optimal Support Vector Machine," Journal of The Korea Society of Health Informatics and Statistics, Vol. 38, No. 1, 2013, pp. 108-121.？
UCI Machine Learning Repository. University of California, Center for Machine Learning and Intelligent Systems. http://archive.ics.uci.edu/ml/datasets.html [access on 1987].？
Y. Sawada and K. Kozuka, "Whole Layers Transfer Learning of Deep Neural Networks for a Small Scale Dataset", International Journal of Machine Learning and Computing, Vol. 6, No. 1, February 2016 DOI: 10.18178/ijmlc.2016.6.1.566.？
M. Swamynathan, "Mastering Machine Learning with Python in Six Steps: A Practical Implementation Guide to Predictive Data Analytics Using Python", January 2019, Apress, DOI:10.1007/978-1-4842-2866-1.？
Y. Yao, H. Li, H. Zheng, and B. Y. Zhao, "Latent Backdoor Attacks on Deep Neural Networks", Proceedings of the 26th ACM Conference on Computer and Communications Security, pp. 2041-2055, November 2019, DOI: 10.1145/3319535.3354209.？
S. S. Tirumala, "Exploring Neural Network Layers for Knowledge Discovery", Procedia Computer Science, Vol. 193, pp. 173-182, November 2021, DOI: 10.1016/j.procs.2021.10.01710.1145/3319535.3354209.？

상세보기
Y. Dar, L. Luzi, and R. G. Baraniuk, "Frozen Overparameterization:A Double Descent Perspective on Transfer Learning of Deep Neural Networks", Procedia Computer Science, Vol. 193, pp. 173-182, November 2021, DOI: 10.48550/arXiv.2211.11074.？
Z. Zhu, S. H. Wang, and Y. D. Zhang, "A Survey of Convolutional Neural Network in Breast Cancer," Computer Modeling in Engineering & Sciences, Vol. 136, No. 3, pp. 2127-2172, March 2023, DOI:10.32604/cmes.2023.025484.？

상세보기
Y. H. Kwon, "Corroboration of Skin Diseases: Measuring the Severityof Vitiligo Using Transfer Learning", Journal of KIISE, Vol. 50, No. 1, pp. 72-79, January 2023, DOI: 10.5626/JOK.2023.50.1.72.？

상세보기
A. Saifudin, T. Desyani, T. Desyani, and Y. Yulianti, "Bagging Techniques to Reduce Misclassification of Breast Cancer Prediction Base on Gradient Boosted Trees (GBT) Algorithm", Journal of Physics: Conference Series, Vol. 1477, No. 2, pp. 1-6, March 2020, DOI: 10.1088/1742-6596/1477/2/022029.？

상세보기
Y. H. Kwon, "Machine Learning Developments in ROOT", Journal of Physics: Conference Series, 898, pp. 1-8, January 2017, DOI: 10.1088/1742-6596/898/7/072046.？

상세보기
D. Soydaner, "A Comparison of Optimization Algorithms for Deep Learning," International Journal of Pattern Recognition and Artificial Intelligence, 34. pp. 1-26, July 2020, DOI: 10.48550/arXiv.2007.14166.？
S. Orozco-Arias, J. S. Pina, R. Tabares-Soto, L. F.Castillo-Ossa, R. Guyot, and G. Isaza, "Measuring Performance Metrics of Machine Learning Algorithms for Detecting and Classifying Transposable Elements", Processes, Vol. 8, No. 6, pp. 1-19, May 2020, DOI:10.3390/pr8060638.？

상세보기
M. Kumar, S. Singhal, S. Shekhar, B. Sharma, and G. Srivastava, "Optimized Stacking Ensemble Learning Model for Breast Cancer Detection and Classification Using Machine Learning", Sustainability, Vol. 14, No. 21, pp. 1-26, October 2022, DOI: 10.3390/su142113998.

상세보기

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증