[논문]Spiking Neural Networks(SNN) 구조에서 뉴런의 개수와 학습량에 따른 학습 성능 변화 분석

김용주; 김태호

doi:10.17703/jcct.2020.6.3.463

Spiking Neural Networks(SNN) 구조에서 뉴런의 개수와 학습량에 따른 학습 성능 변화 분석
An analysis of learning performance changes in spiking neural networks(SNN) 원문보기

Journal of the convergence on culture technology : JCCT = 문화기술의 융합, v.6 no.3, 2020년, pp.463 - 468

김용주 (한국전자통신연구원 인공지능연구소) , 김태호 (한국전자통신연구원 인공지능연구소)

초록
AI-Helper

인공지능 연구는 다양한 분야에 적용되며 발전하고 있다. 본 논문에서는 차세대 인공지능 연구 분야인 SNN(Spiking Neural Networks) 형태의 인공지능 구현 방식을 사용하여 신경망을 구축하고, 그 신경망에서 뉴런의 개수가 신경망의 성능에 어떠한 영향을 미치는지를 분석한다. 또한 신경망 학습량을 증가시키면서 신경망의 성능이 어떻게 바뀌는지를 분석한다. 해당 연구 결과를 통해 각 분야에서 사용되는 SNN 기반의 신경망을 최적화 할 수 있을 것이다.

Abstract ▼ AI-Helper

Artificial intelligence researches are being applied and developed in various fields. In this paper, we build a neural network by using the method of implementing artificial intelligence in the form of spiking natural networks (SNN), the next-generation of artificial intelligence research, and analyze how the number of neurons in that neural networks affect the performance of the neural networks. We also analyze how the performance of neural networks changes while increasing the amount of neural network learning. The findings will help optimize SNN-based neural networks used in each field.

주제어

표/그림 (5)

그림 그림 1. 실제 두뇌의 뉴런과 시냅스 구조(a)와 인공지능 구현을 위해 추상화한 모델(b) Figure 1. (a) the structure of neuron and synapses in a brain, (b) the abstracted model of neuron and synapses
그림 그림 2. 실험에서 사용한 신경망 구조 Figure 2. The neural networks structure used in this paper
그림 그림 3. 학습에 사용된뉴런의개수와학습횟수 증가에 따른 정확도 증가 Figure 3. A recognition accuracy increases depending on increase of the number of neurons in neural networks and the amount of learning
표 표 1. 뉴런개수와 학습량 증가에 따른 정확도 증가 Table 1. A recognition accuracy increases depending on increase of the number of neurons and the amount of learning
그림 그림 4. 입력층과 흥분성 뉴런층 사이를 연결하는 시냅스의 가중치를 표현한 그림. 학습 횟수에 따라 가중치가 선명해지는 것을 확인할 수 있다. Figure 1. The weights of synapses between excitatory neuron layer and inhibitory neuron layer

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 손글씨를 인식하는 SNN 형태의 신경망을 구축하고, 해당 신경망을 구성하는 뉴런의 개수와 학습량의 차이가 성능(글씨 인식률)에 어떠한 영향을 미치는 지를 분석하였다.
본 논문에서는 숫자를 인식하는 SNN 형태의 신경망을 구축하고, 해당 신경망을 구성하는 뉴런의 개수와 학습량을 변화시키면서 성능(글씨 인식률)에 어떠한 변화가 있는지를 분석하였다. 학습량을 증가시키면 신경망의 정확도가 증가하는 것을 확인할 수 있었고, 그 정확도 향상은 학습량 증가에 선형적으로 비례하지는 않고 점점 정확도 향상이 줄어드는 것을 확인하였다.

제안 방법

MNIST 데이터 60000개를 사용한 학습을 한번의 학습이라고 할 때, 학습을 1회, 3회, 5회, 7회씩 학습횟수를 바꿔가며 신경망 학습을 진행하였다. 또한 이 실험을 신경망의 크기(흥분성, 억제성 뉴런층의 개수)를 바꾸어 가며 반복하였다.
MNIST 데이터 60000개를 사용한 학습을 한번의 학습이라고 할 때, 학습을 1회, 3회, 5회, 7회씩 학습횟수를 바꿔가며 신경망 학습을 진행하였다. 또한 이 실험을 신경망의 크기(흥분성, 억제성 뉴런층의 개수)를 바꾸어 가며 반복하였다. 그림3은 각 학습결과를 사용하여 숫자 인식을 시도하였을 때 인식률을 나타낸다.
학습은 60000개의 데이터를 1,3,5,7,9회에 걸쳐서 학습 반복 횟수를 다르게 하여 학습을 시킨뒤 결과를 비교하였다. 사용한 신경망은 4장에서 설명한 것과 같이 N x N 크기의 흥분성 뉴런층과 N x N크기의 억제성 뉴런층을 가지는 2층의 신경망 구조를 사용하였다. N 값은 10, 15, 20으로 바꿔가며 100개, 225개, 400개의 뉴런을 가지는 신경망층을 구성하고 결과를 비교하였다.
신경망을 구성하는 뉴런의 개수와 학습량이 숫자 인식 정확도에 미치는 영향을 알아보기 위하여 뉴런의 개수와 학습량을 바꿔가며 학습 및 테스트를 진행하였다. 입력에 사용한 데이터는 0-9의 숫자가 28x28 픽셀의 형태로 표현되는 MNIST 데이터셋[10]을 사용하였다.
한 개의 데이터당 350ms동안 Poisson 분포에 따라 데이터를 입력하여 학습을 진행하였으며, 다음 데이터를 학습하기 전에 150ms동안 휴식시간을 가지도록 하였다. 학습에 사용한 파라미터는 흥분성 뉴런과 억제성뉴런의 휴지기 전압을 각각 -65mV, -60mv, 초기화 전압을 각각 -65mv, -45mv, 문턱전압을 각각 -52mv, -40mv, 불응기 간격을 각각 5ms, 2ms로 설정하였다. 시냅스 가중치의 초기값은 무작위 값을 할당하여 실험을 진행하였다.
학습을 위해 60000개의 숫자 데이터를, 학습된 신경망검증을 위한 정확도 테스트에는 10000개의 숫자 데이터를 사용하였다. 학습은 60000개의 데이터를 1,3,5,7,9회에 걸쳐서 학습 반복 횟수를 다르게 하여 학습을 시킨뒤 결과를 비교하였다. 사용한 신경망은 4장에서 설명한 것과 같이 N x N 크기의 흥분성 뉴런층과 N x N크기의 억제성 뉴런층을 가지는 2층의 신경망 구조를 사용하였다.
한 개의 데이터당 350ms동안 Poisson 분포에 따라 데이터를 입력하여 학습을 진행하였으며, 다음 데이터를 학습하기 전에 150ms동안 휴식시간을 가지도록 하였다. 학습에 사용한 파라미터는 흥분성 뉴런과 억제성뉴런의 휴지기 전압을 각각 -65mV, -60mv, 초기화 전압을 각각 -65mv, -45mv, 문턱전압을 각각 -52mv, -40mv, 불응기 간격을 각각 5ms, 2ms로 설정하였다.

대상 데이터

학습을 위해 60000개의 숫자 데이터를, 학습된 신경망검증을 위한 정확도 테스트에는 10000개의 숫자 데이터를 사용하였다.
본 논문에서 사용한 신경망은 그림2와 같이 2개의 층으로 이루어진 신경망을 사용하였다. 그림2에 나타난 첫번째 층은 입력을 표현한 것으로, 입력 값은 이미지를 L x L 형태로 잘게 나누어서 각 위치의 픽셀 (pixel)값의 크기를 M x M의 흥분성 뉴런 층으로 전달된다.
시냅스 가중치의 초기값은 무작위 값을 할당하여 실험을 진행하였다. 시뮬레이터는 BRIAN 시뮬레이터[11]를 사용하였다.
신경망을 구성하는 뉴런의 개수와 학습량이 숫자 인식 정확도에 미치는 영향을 알아보기 위하여 뉴런의 개수와 학습량을 바꿔가며 학습 및 테스트를 진행하였다. 입력에 사용한 데이터는 0-9의 숫자가 28x28 픽셀의 형태로 표현되는 MNIST 데이터셋[10]을 사용하였다. 학습을 위해 60000개의 숫자 데이터를, 학습된 신경망검증을 위한 정확도 테스트에는 10000개의 숫자 데이터를 사용하였다.

데이터처리

사용한 신경망은 4장에서 설명한 것과 같이 N x N 크기의 흥분성 뉴런층과 N x N크기의 억제성 뉴런층을 가지는 2층의 신경망 구조를 사용하였다. N 값은 10, 15, 20으로 바꿔가며 100개, 225개, 400개의 뉴런을 가지는 신경망층을 구성하고 결과를 비교하였다.

성능/효과

100개의 뉴런으로 구성된 신경망층(ex. 흥분성뉴런100개 + 억제성뉴런 100개)을 사용한 실험에서는 1회학습 때에는 72.58%의 정확도를 보였다. 하지만 데이터를 반복해서 학습하자 인식률이 점차 올라갔으며 7회학습을 하였을 때에는 83.
사용하는 뉴런의 개수를 늘렸을 때에도 정확도의 향상을 보였다. 7회 학습을 기준으로 뉴런 100개 신경망을 사용하였을 때의 정확도는 83.84% 였으나 400개 뉴런 신경망의 경우에는 91.43%의 정확도를 보여 사용되는 뉴런이 증가할수록 높은 정확도를 보였다.
가중치가 0일때는 흰색부터 가중치가 높아질수록 노란색->빨간색->검은색으로 가중치가 클수록 색상을 진하게 표현하였다.
토론토 대학의 제프리 힌튼 교수는 2006년에 제안한 새로운 방식의 인공지능 구현인 딥러닝[1][2] 기법을 발표하였다. 그리고 딥러닝을 적용한 사물인식 알고리즘[3]을 발표하여 기존의 사물인식 알고리즘이 보이던 정확도를 아득히 뛰어넘는 성능을 보이면서 전 세계에 인공지능붐을 촉발하였다. 그리고 현재에는 산업 전반에서 딥러닝 기반 인공지능을 적용 및 융합 기술[4]을 개발하여 기존에는 처리하지 못했던 문제를 해결하고 있다.
학습량을 증가시키면 신경망의 정확도가 증가하는 것을 확인할 수 있었고, 그 정확도 향상은 학습량 증가에 선형적으로 비례하지는 않고 점점 정확도 향상이 줄어드는 것을 확인하였다. 또 한 신경망을 구축하는데 사용한 뉴런의 개수를 늘리면 정확도가 증가하는 것을 확인하였다.
본 연구를 통해서 뉴런의 개수와 학습량의 증가에 따라 정확도가 증가하는 것을 확인하였다. 앞으로 신경망을 적용할 환경에 따라 필요한 정확도에 맞추어 사용되는 뉴런의 개수를 늘리고 또 충분한 학습을 진행하여 최적화된 개수의 뉴런을 사용할 수 있기를 기대한다.
58%의 정확도를 보였다. 하지만 데이터를 반복해서 학습하자 인식률이 점차 올라갔으며 7회학습을 하였을 때에는 83.84%까지 정확도가 올라가 학습을 많이 할수록 정확도가 좋아지는 결과를 보였다. 하지만 정확도 향상은 선형적으로 증가하지는 않았다.
본 논문에서는 숫자를 인식하는 SNN 형태의 신경망을 구축하고, 해당 신경망을 구성하는 뉴런의 개수와 학습량을 변화시키면서 성능(글씨 인식률)에 어떠한 변화가 있는지를 분석하였다. 학습량을 증가시키면 신경망의 정확도가 증가하는 것을 확인할 수 있었고, 그 정확도 향상은 학습량 증가에 선형적으로 비례하지는 않고 점점 정확도 향상이 줄어드는 것을 확인하였다. 또 한 신경망을 구축하는데 사용한 뉴런의 개수를 늘리면 정확도가 증가하는 것을 확인하였다.

후속연구

본 연구를 통해서 뉴런의 개수와 학습량의 증가에 따라 정확도가 증가하는 것을 확인하였다. 앞으로 신경망을 적용할 환경에 따라 필요한 정확도에 맞추어 사용되는 뉴런의 개수를 늘리고 또 충분한 학습을 진행하여 최적화된 개수의 뉴런을 사용할 수 있기를 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	SNN에는 주로 사용되는 학습법은?	SNN에서는 주로 STDP (Spike-Timing-Dependent Plasticity) [6] 학습법이 많이 사용된다. STDP는 시냅스를 사이에 두고 신호를 보내는 쪽인 시냅스전뉴런(presynaptic neuron)과 신호를 받는 쪽인 시냅스후뉴런(postsynaptic neuron) 사이의 스파이크 발생 시간 상관관계를 이용하여 스냅스가중치를 조절한다.
	SNN 방식의 뉴로모픽 컴퓨팅 기술은 무엇인가?	이러한 환경에서 인공지능을 구현하기 위해 최근에는 두뇌의 생물학적 동작 구조를 모방한 SNN(Spiking Neural Networks) 방식의 뉴로모픽 컴퓨팅(Neuromorphic Computing) 기술이 조명을 받고 있다. SNN 방식의 뉴로모픽 컴퓨팅 기술은 두뇌에서 실제로정보가 전달되고 가공되는 과정을 모사하여, 뇌를 구성하는 뉴런(neuron)과 시냅스(synapse)로 이루어진 신경망 구성 방식으로 인공지능을 구현하는 방식이다. 두뇌는 입력이 들어온 뉴런만 동작하기 때문에 모든 신경망에서 연산을 동시에 수행하는 기존의 인공 신경망에 비해 저전력의 수행이 가능하다.
	딥러닝의 학습과정이나 추론과정에서 많은 양의 병렬적 연산을 효율적으로 처리 할 수 있게된 배경은?	딥러닝을 통한 기계 학습을 위해서는 많은 양의 데이터가 필요한데, 기존에 네트워크가 발달하기 전에는 서로 데이터를 공유하기가 어려워 대량의 데이터 확보가 어려웠으나 현재는 인터넷과 다양한 플랫폼을 통해 대량의 데이터에 쉽게 접근할 수 있다. 두번째는 CPU, GPU등의 컴퓨팅 아키택처의 발전으로 대량의 계산을 효율적으로 빠르게 처리하는 것이 가능해진 점이다. 딥러닝은 학습과정이나 추론과정에서 단순하지만 많은 양의 병렬적 연산이 요구되는데 2000년대 들어 발전한 GPU 등의 병렬 컴퓨팅 아키택처 기술을 통해 해당 연산을 효율적으로 처리할 수 있게 되었다.

참고문헌 (13)

Hinton, Geoffrey E. "Learning multiple layers of representation". Trends in Cognitive Sciences. 11 (10): 428-434

상세보기
Hinton, G. E. et al. "A Fast Learning Algorithm for Deep Belief Nets" Neural Computation. 18 (7): 1527-1554

상세보기
Alex Krizhevsky et al. "ImageNet Classification with Deep Convolutional Neural Networks" Communications of the ACM Vol. 60, No. 6

상세보기
Jaebok Park, Seungmok Yoo, Seokjin Yoon, Kyunghee Lee, Changsik Cho, "Interworking technology of neural network and data among deep learning frameworks" ETRI Journal Volume 41, Issue 6

원문보기 상세보기
Abbott, L.F. "Lapique's introduction of the integrate-and-fire model neuron (1907)" Brain Research Bulletin. 50 (5/6): 303-304
Bi, G. and Poo, M., "Synaptic Modifications in Cultured Hippocampal Neurons: Dependence on Spike Timing, Synaptic Strength, and Postsynaptic Cell Type," Journal of Neuroscience, vol. 18, no. 24, pp. 10464-10472, 1998.

상세보기
P. U. Diehl, M. Cook, "Unsupervised learning of digit recognition using spike-timing-dependent plasticity," Frontiers in Computational Neuroscience, Aug. 2015.
Hazan H., Saunders D., Sanghavi D., Siegelmann H., and Kozma, R., "Unsupervised learning with self-organizing spiking neural networks," in 2018 International Joint Conference on Neural Networks (IJCNN), Rio de Janeiro, Brazil, Jul. 2018
Matthias Oster and Shih-Chii Liu. 2006. Spiking inputs to a winner-take-all network. In Advances in Neural Information Processing Systems (NIPS). 1051-1058, 2004.
Y. LeCun, L. Bottou, Y. Bengio, and P., Haffner, "Gradient-based learning applied to document recognition." Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998.

상세보기
D. F. M. Goodman, R. Brette, "The Brian simulator," Frontiers in Computational Neuroscience, Sep. 2009.
Jee-Young Lee, "Deep Learning Research Trend Analysis using Text Mining" IJACT Vol.7 No.4
Ju-eun Kim., "An Analysis of the effect of Artificial Intelligence on Human Society" JCCT Vol.5 No.2

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증