[논문]고차원 의료 영상을 위한 실시간 인공 신경망

최권택

doi:10.7742/jksr.2016.10.8.637

[국내논문] 고차원 의료 영상을 위한 실시간 인공 신경망
Real-time Artificial Neural Network for High-dimensional Medical Image 원문보기

한국방사선학회 논문지 = Journal of the Korean Society of Radiology, v.10 no.8, 2016년, pp.637 - 643

초록
AI-Helper

최근 인공지능에 대중의 관심으로 인해, 인공신경망을 사용한 의료영상 처리가 학계와 산업계에서 관심이 커져가고 있다. 딥러닝을 이용한 컨볼루션 신경망은 영상을 효과적으로 표현할 수 있는 것으로 증명되었다. 그러나 학습을 위해서는 고성능 H/W 플랫폼이 요구된다. 따라서 고차원의 많은 학습 샘플을 저사양 H/W 플랫폼에서 학습하는 것은 매우 도전적인 문제이다. 본 논문에서는 온라인 인공 신경망을 사용해 라즈베리파이에서 동작할 수 있는 실시간 신경망 알고리즘을 제안하고자 한다. 다양한 실험 결과를 통해 제안된 방법은 실시간 학습이 가능함을 보여주었다.

Abstract ▼ AI-Helper

Due to the popularity of artificial intelligent, medical image processing using artificial neural network is increasingly attracting the attention of academic and industry researches. Deep learning with a convolutional neural network has been proved to very effective representation of images. However, the training process requires high performance H/W platform. Thus, the realtime learning of a large number of high dimensional samples within low-power devices is a challenging problem. In this paper, we attempt to establish this possibility by presenting a realtime neural network method on Raspberry pi using online sequential extreme learning machine. Our experiments on high-dimensional dataset show that the proposed method records an almost real-time execution.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 의료 영상 분석에 사용되는 ELM의 계산 복잡도를 분석한다. 특히 적용 분야의 확대를 위해 PC나 스마트폰 같은 고성능 H/W 플랫폼이 아닌 라즈베리파이 같은 저사양 플랫폼에서 ELM 알고리즘의 실시간 학습에 대한 효율성을 분석하고자 한다.
본 논문에서는 의료 영상 분석에 사용되는 ELM의 계산 복잡도를 분석한다. 특히 적용 분야의 확대를 위해 PC나 스마트폰 같은 고성능 H/W 플랫폼이 아닌 라즈베리파이 같은 저사양 플랫폼에서 ELM 알고리즘의 실시간 학습에 대한 효율성을 분석하고자 한다.
이들 논문에서 ELM 기반 알고리즘이 SVM 기반 알고리즘에 비해 4%정도 향상된 인식 성능을 보여주었다. 따라서 본 논문에서는 분류기의 정확도가 아닌 학습에 대한 계산 복잡도를 분석하고자 한다. 특히 PC나 스마트폰 같은 고성능 플랫폼이 아닌 라즈베리파이 같은 저사양 플랫폼에서 인공신경망의 실시간 학습에 대한 가능성을 검토하고자 한다.
따라서 본 논문에서는 분류기의 정확도가 아닌 학습에 대한 계산 복잡도를 분석하고자 한다. 특히 PC나 스마트폰 같은 고성능 플랫폼이 아닌 라즈베리파이 같은 저사양 플랫폼에서 인공신경망의 실시간 학습에 대한 가능성을 검토하고자 한다.
본 논문에서는 ELM 알고리즘의 학습 시간에 영향을 미치는 부분을 3개 영역으로 분할하고 이를 종합적으로 분석하고자 한다. 정확한 복잡도 분석을 위해 Tab le 1에 계산에 영향을 끼치는 요소에 대해 정리하였다.
ELM의 성능 개선을 위해 다양한 방법이 제안되었 지만^[14-15] 이들 방법의 성능 개선폭이 크지 않고, 개선된 알고리즘 모두가 온라인 학습을 지원하는 것은 아니기 때문에 본 논문에서는 정규화된 ELM과 OS-ELM 알고리즘을 기준으로 실험하고자 한다.
본 논문에는 ELM 알고리즘의 계산 복잡도를 자세히 분석하기 위해 전체 계산 영역을 C1 ~ C5 다섯개의 영역으로 나누어 개별 부분에 대한 복잡도를 분석 하였다. 어떤 부분이 상대적으로 얼마나 계산을 전체적인 관점에서 살펴보기 위해 각 영역을 평균하여 Fig.
본 논문에서는 고차원 의료 영상 분석에 사용되는 E LM 기반의 인공신경망에 대한 계산 복잡도를 분석하고, 저사양 H/W 플랫폼에서 기계학습 가능성을 확인 하였다. 실험을 통해 PC나 스마트폰 같은 고성능 플랫폼이 아닌 IoT 디바이스용으로 많이 연구되고 있는 라즈베리파이에서 ELM은 2초 이내에 실시간 기계 학습이 가능함을 살펴보았다.
본 논문에서는 고차원 의료 영상 분석에 사용되는 E LM 기반의 인공신경망에 대한 계산 복잡도를 분석하고, 저사양 H/W 플랫폼에서 기계학습 가능성을 확인 하였다. 실험을 통해 PC나 스마트폰 같은 고성능 플랫폼이 아닌 IoT 디바이스용으로 많이 연구되고 있는 라즈베리파이에서 ELM은 2초 이내에 실시간 기계 학습이 가능함을 살펴보았다. 의료영상을 촬영하고 디지털화하는 기기와 기술이 발전하고 있기 때문에 빠른 진단을 통해 전문가의 의사결정에 도움을 줄 수 있는 인공지능 시스템 개발에 대한 연구가 활성화될 것으로 보인다.

제안 방법

본 논문에서는 ELM 알고리즘의 학습 시간에 영향을 미치는 부분을 3개 영역으로 분할하고 이를 종합적으로 분석하고자 한다. 정확한 복잡도 분석을 위해 Tab le 1에 계산에 영향을 끼치는 요소에 대해 정리하였다.
ELM 알고리즘은 행렬 계산만을 사용 하기 때문에 데이터셋에 대한 분포 특성이 전체 계산 복잡도에 큰 영향을 주지 않는다. 실험에 사용한 H/W 플랫폼은 라즈베리파이3이고, ELM 알고리즘은 라즈베리파이위에 설치된 OpenCV 제공 행렬 함수를 사용하여 구현되었다.
이번 실험에서는 은닉층의 노드수를 변경해가며 학습시간을 측정하였다. 일반적으로 은닉층의 노드수는 인식성능과 학습 시간 모두에 영향을 끼친다.
대개 최적 노드수는 실험에 따라 튜닝된다. 따라서 이번 실험에서는 은닉층의 노드수를 특징 차원의 50%, 75%, 100%, 125%, 150%로 변경해가며 시간을 측정하였다. 샘플수 n=200, 클래스 수 c=10, 특징 차원 수 d=1024로 실험하였다.
본 논문에는 ELM 알고리즘의 계산 복잡도를 자세히 분석하기 위해 전체 계산 영역을 C1 ~ C5 다섯개의 영역으로 나누어 개별 부분에 대한 복잡도를 분석 하였다. 어떤 부분이 상대적으로 얼마나 계산을 전체적인 관점에서 살펴보기 위해 각 영역을 평균하여 Fig. 1처럼 상대적 시간을 평가하였다.
두 번째 실험에서는 학습 샘플의 크기를 변경해가며 학습시간을 측정하였다. 일반적으로 학습 샘플이 많을때 인식 성능과 학습 속도는 증가하게 된다.
일반적으로 학습 샘플이 많을때 인식 성능과 학습 속도는 증가하게 된다. 따라서 이번 실험에서는 학습 샘플의 수를 200, 500, 1000, 2000, 3000개로 바꿔가면서 학습 시간을 측정하였다. 클래스수 c=10, 특징 차원 수 d=1024, 은닉층의 노드수 h=1024로 실험하였다.
온라인 학습에 대한 성능 평가를 위해 은닉층의 노드수와 학습데이터 수를 변경하면서 수행 시간을 평가 하였다. 은닉층 노드수 h는 512, 1024, 추가 학습 데이터 n2는 10,20,30,40,50개로 변경해가면서 학습에 걸리는 시간을 측정해 Table 7에 표사하였다.

대상 데이터

ELM과 OS-ELM 알고리즘의 학습 성능을 평가하기 위해 GMM 모델을 사용해 1024 크기의 영상을 가상으로 생성하였다. ELM 알고리즘은 행렬 계산만을 사용 하기 때문에 데이터셋에 대한 분포 특성이 전체 계산 복잡도에 큰 영향을 주지 않는다.

이론/모형

이럴 경우 C5의 역행렬 계산시 low rank 문제로 인해 정확한 값이 계산될 수 없다. 이를 위해 본 논문에서는 아래 수식과 같은 정규화된 ELM^[12]을 사용하였다.

성능/효과

분석되었다. 이들 논문에서 ELM 기반 알고리즘이 SVM 기반 알고리즘에 비해 4%정도 향상된 인식 성능을 보여주었다. 따라서 본 논문에서는 분류기의 정확도가 아닌 학습에 대한 계산 복잡도를 분석하고자 한다.
실험 결과를 보면 노드수가 512에서 1536으로 3배 증가할 때 학습시간은 3760ms에서 39053ms으로 10배 이상 증가하였다. 따라서 은닉층의 노드수가 512일 때 4초 수준으로 즉시 학습이 가능해 보이나 노드수가 1000을 넘어가면서 학습에 40초 이상 걸린다.
Table 7을 통해 확인할 수 있는 사항은 크게 3가지이다. 첫 번째로 은닉층의 노드수가 크면 OSELM 알고리즘도 학습시간이 10초 이상 걸린다. 두 번째는 추가 샘플의 수가 전체 연산에 큰 영향을 끼치지 않는다는 점이다.

후속연구

실험을 통해 PC나 스마트폰 같은 고성능 플랫폼이 아닌 IoT 디바이스용으로 많이 연구되고 있는 라즈베리파이에서 ELM은 2초 이내에 실시간 기계 학습이 가능함을 살펴보았다. 의료영상을 촬영하고 디지털화하는 기기와 기술이 발전하고 있기 때문에 빠른 진단을 통해 전문가의 의사결정에 도움을 줄 수 있는 인공지능 시스템 개발에 대한 연구가 활성화될 것으로 보인다.

질의응답

핵심어	질문	논문에서 추출한 답변
	고차원의 많은 학습 샘플을 저사양 H/W 플랫폼에서 학습하는 것이 도전적인 문제가 되는 이유는?	딥러닝을 이용한 컨볼루션 신경망은 영상을 효과적으로 표현할 수 있는 것으로 증명되었다. 그러나 학습을 위해서는 고성능 H/W 플랫폼이 요구된다. 따라서 고차원의 많은 학습 샘플을 저사양 H/W 플랫폼에서 학습하는 것은 매우 도전적인 문제이다.
	딥러닝을 사용한 보조 진단시스템 구현에는 무엇이 필요한가?	그러나 딥러닝을 사용한 보조 진단시스템 구현은 고사양의 서버 학습이 필요하다. 더구나 영상 데이터는 계속 축적되고 추가 성능 개선이 이루어져야 하는데 기존 학습 알고리즘은 처음부터 다시 학습이 필요하다.
	ELM은 주로 어는 분야에서 연구되었나?	최근 인공 신경망을 이용한 연구 중, ELM(Extreme Learning Machine)을[2] 사용한 다양한 의료영상 분석에 대한 연구가 진행되고 있다.[3] ELM은 상대적으로 정확도가 높고, 구현의 단순성 때문에 심부정맥 분류[4], 암진단[5], 유방암 진다[6], 간질[7], 간 종양 검출[8], 저혈당증 예측[9] 같은 분야에서 주로 연구되었다.

참고문헌 (15)

Hansang Lee, Minseok Park, Junmo Kim, "Deep Learning in Medical Imaging", Journal of the Korean Society of Radiolog, Vol. 20, pp. 13-18, 2014.
G.-B. Huang, Q.-Y. Zhu, and C.-K. Siew, "Extreme learning machine: A new learning scheme of feedforward neural networks," in Proc. IJCNN, Budapest, Hungary, Jul. 25-29, 2004, vol. 2, pp. 985-990.
Jiuwen Cao and Zhiping Lin,"Extreme Learning Machine on High Dimensional and Large Data Applications : A Survey", Math. Probl. Eng. 501 (2015).
J. Kim, H. Shin, Y. Lee, and J. Lee, "Algorithm for classifying arrhythmia using extreme learning machine and principal component analysis," in Proceedings of the 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 3257-3260, Lyon, France, August 2007.
S. Saraswathi, S. Sundaram, N. Sundararajan, M. Zimmermann, and M. Nilsen-Hamilton, "ICGA-PSO-ELM approach for accurate multiclass cancer classification resulting in reduced gene sets in which genes encoding secreted proteins are highly represented," IEEE/ACM Transactions on Computational Biology and Bioinformatics, vol. 8, no. 2, pp. 452-463, 2011..

상세보기
E. Malar, A. Kandaswamy, D. Chakravarthy, and A. Giri Dharan, "A novel approach for detection and classification of mammographic microcalcifications using wavelet analysis and extreme learning machine," Computers in Biology and Medicine, vol. 42, no. 9, pp. 898-905, 2012.

상세보기
Y. Song and J. Zhang, "Automatic recognition of epileptic EEG patterns via extreme learning machine and multiresolution feature extraction," Expert Systems with Applications, vol. 40, no. 14, pp. 5477-5489, 2013.

상세보기
W. Huang, Y. Yang, Z. Lin, et al., "Random feature subspace ensemble based Extreme Learning Machine for liver tumor detection and segmentation," in Proceedings of the 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC '14), pp. 4675-4678, Chicago, Ill, USA, August 2014.
X. Mo, Y. Wang, and X. Wu, "Hypoglycemia prediction using extreme learning machine (ELM) and regularized ELM," in Proceedings of the 25th Chinese Control and Decision Conference (CCDC '13), pp. 4405-4409, Guigang, China, May 2013.
J. Xu, H. Zhou, G.B. Huang, Extreme Learning Machine based fast object recognition, in: International Conference on Information Fusion, 2012, pp. 1490-1496.
Lei Zhang , David Zhang, Fengchun Tian, "SVM and ELM: Who Wins? Object Recognition with Deep Convolutional Features from ImageNet", Proceedings of ELM-2015 Volume 1, pp 249-263, 2016.
W. Deng, Q. Zheng, and L. Chen, "Regularized extreme learning machine," in Proc. IEEE Symp. CIDM, Mar. 30-Apr. 2, 2009, pp. 389-395.
N.-Y. Liang, G.-B. Huang, P. Saratchandran, and N. Sundararajan, "A Fast and Accurate On-line Sequential Learning A lgorithm for Feedforward Networks", IEEE Transactions on Neural Networks, vol. 17, no. 6, pp. 1411-1423, 2006

상세보기
G.-B. Huang, Q.-Y. Zhu and C.-K. Siew, "Extreme Learning Machine: Theory and Applications", Neurocomputing, vol. 70, pp. 489-501, 2006

상세보기
Kwontaeg Choi , Kar-Ann Toh , Hyeran Byun, "Realtime training on mobile devices for face recognition applications", Pattern Recognition, v.44 n.2, p.386-400, February, 2011

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증