초록 ▼

□ 연구 목표 및 내용
◼ 최종 목표
본 연구는 뉴로모픽 컴퓨팅을 활용하여 인공신경망의 에너지 효율을 개선하는 것을 목표로 합니다. 본 연구는 크게 1단계: 저전력 인공지능 모델 개발과 2단계: 저전력 인공지능 시스템 적용으로 나눌 수 있습니다. 1단계에서는 SNN의 적용 모델 확장 및 효율 개선에 대해 연구합니다. SNN의 적용범위를 넓히기 위해 이벤트 데이터 등을 SNN영역에서 처리하는 연구를 할 것입니다. SNN 모델의 효율 개선을 위해 템포럴 코딩 적용 등의 방법을 연구합니다. 연구된 방법을 토대로 SNN의 학습

□ 연구 목표 및 내용
◼ 최종 목표
본 연구는 뉴로모픽 컴퓨팅을 활용하여 인공신경망의 에너지 효율을 개선하는 것을 목표로 합니다. 본 연구는 크게 1단계: 저전력 인공지능 모델 개발과 2단계: 저전력 인공지능 시스템 적용으로 나눌 수 있습니다. 1단계에서는 SNN의 적용 모델 확장 및 효율 개선에 대해 연구합니다. SNN의 적용범위를 넓히기 위해 이벤트 데이터 등을 SNN영역에서 처리하는 연구를 할 것입니다. SNN 모델의 효율 개선을 위해 템포럴 코딩 적용 등의 방법을 연구합니다. 연구된 방법을 토대로 SNN의 학습 알고리즘을 개발하여 효율을 크게 향상시킬 것입니다. 1단계의 결과를 토대로 2단계에서는 실제 뉴로모픽 컴퓨팅 환경에 연구 개발된 모델을 적용하여 저전력 인공지능을 구현하는 것을 목표로 합니다. 뉴로모픽 컴퓨팅 환경에 적합한 모델을 개발하여 실제 뉴로모픽 컴퓨팅에 활용될 수 있는 인공지능 모델을 연구합니다. 하드웨어에 최적화된 모델과 알고리즘을 연구하여 저전력 인공지능을 실현하는 것이 최종 목표입니다.

◼ 전체 내용
현재 SNN은 DNN에 비해 응용에 적용된 사례가 많지 않습니다. 대부분의 deep SNN 모델은 이미지 인식에 국한되어 있습니다. SNN의 적용 범위를 넓히기 위해 DNN보다 SNN에 적합한 응용 (이벤트 데이터 등)에 대해 SNN을 적용하는 연구를 수행할 계획입니다.
SNN은 이진 스파이크들로 정보를 전달하기 때문에 정보 표현 방식인 뉴럴 코딩에 따라 효율 및 성능에 큰 차이가 있습니다. 이 연구에서는 여러 응용에 적용될 수 있는 SNN 모델의 효율을 높이기 위해 템포럴 코딩을 적용하는 방법을 연구할 것입니다.
SNN은 DNN보다 고려해야 하는 파라미터가 많아 분석이 더욱 까다롭고 최적화할 여지가 많이 남아 있습니다. 하지만 아직 deep SNN의 동작을 분석한 연구는 발표되지 않고 있습니다. Deep SNN의 성능뿐만 아니라 효율성을 높이기 위해 DNN의 설명 가능한 인공지능 방법을 적용합니다.
SNN은 스파이킹 뉴런으로 이루어져 있기 때문에 활성화 함수의 미분이 불가능합니다. 이에 따라 DNN의 학습 방법인 경사하강법과 에러 역전파 방법을 적용하기 위해 surrogate gradient 같은 방법이 제안되고 있습니다. DNN 기반 학습 알고리즘은 적은 time step으로도 deep SNN의 학습 성능을 크게 향상시킬 수 있었지만, SNN의 효율성을 고려하지 못하는 단점이 있습니다. Deep SNN의 학습 성능을 높이면서 효율성을 동시에 고려하기 위해 SNN의 효율성이 고려된 학습 알고리즘이 요구됩니다. 학습에서부터 효율성을 고려하여 고효율 저전력 deep SNN 모델을 학습하는 방법을 연구합니다.
앞서 연구된 SNN 모델과 학습 방법을 기반으로 2단계에서는 뉴로모픽 컴퓨팅 하드웨어에서 저전력 인공지능을 구현할 것입니다. 뉴로모픽 하드웨어에서 동작 가능한 deep SNN 모델을 학습하고 하드웨어에 맞게 최적화하는 방법에 대해 연구할 것입니다. 이를 통해 뉴로모픽 컴퓨팅으로 저전력 인공 지능을 구현하여 뉴로모픽 컴퓨팅의 효용성을 실증할 것입니다.

◼ 1단계
❏ 연구 목표
1단계에서는 SNN의 적용 모델 확장 및 효율 개선에 대해 연구합니다. SNN의 적용 범위를 넓히기 위해, 기존 SNN에서 주로 수행된 이미지 인식 외에, 이벤트 기반 센서 (dynamic vision sensor, DVS)로 생성된 이벤트 데이터를 처리하는 SNN 모델과 Transformer, BERT 등의 셀프 어텐션 기반의 자연어처리 모델들을 SNN 영역에서 수행하는 연구를 할 것입니다. SNN 모델의 효율 개선 연구로는 스파이킹 뉴런 간의 정보를 효율적으로 전달하기 위한 템포럴 코딩 (temporal coding)의 적용과 설명 가능한 인공지능(eXplainable Artificial Intelligence, XAI)를 SNN에 적용하는 연구를 수행합니다. 마지막으로 SNN의 학습 알고리즘을 개발하여 SNN의 효율을 크게 향상시킬 것입니다.
❏ 연구 내용
1단계에서는 SNN 모델과 알고리즘에 대해 주로 연구 합니다. SNN 응용 확장 및 구조 탐색, 템포럴 코딩 적용, SNN 분석 방법 적용, 추론 효율 개선, 학습 알고리즘 개발 등에 대해 연구합니다. SNN 응용은 여러 모달리티 데이터와 모델에 대해 최신 학습 방법을 활용하여 개발합니다. 이미지, 오디오 등의 모달리티 데이터를 처리하는 모델을 구현합니다. 템포럴 코딩 적용은 deep SNN에 효과적으로 적용될 수 있는 방법에 대해 연구합니다. 또한, noise가 있는 환경에서 적용 가능한 템포럴 코딩 방법을 연구합니다. SNN의 분석을 위해 DNN에서 연구되고 있는 분석 방법을 적용합니다. 설명 가능한 인공지능 기술 등의 방법론을 도입할 수 있습니다. SNN의 추론 효율을 개선하기 위한 방법에 대해서도 연구합니다. DNN-to-SNN 변환 방법의 추론 효율을 높이는 calibration을 개선하는 방법을 연구합니다. 마지막으로 SNN의 학습 알고리즘에 대해 연구합니다. 정확도뿐만 아니라 효율성을 높일 수 있는 학습 방법을 연구합니다.

◼ 2단계
❏ 연구 목표
2단계에서는 뉴로모픽 하드웨어에서 저전력 인공지능을 구현하는 것을 목표로 합니다. 이 목표를 달성하기 위해 1단계에서 연구 개발된 알고리즘을 고도화하여 고효율의 SNN 모델 및 알고리즘을 개발합니다. 또한, 뉴로모픽 하드웨어에서 동작 가능한 SNN 모델을 개발하고 이를 하드웨어와 함께 최적화하는 방법에 대해 연구합니다. 이를 통해 1단계에서 확보한 여러 응용과 모델을 뉴로모픽 하드웨어에서 검증할 수 있게 됩니다. 2단계를 통해 시뮬레이션 위주의 뉴로모픽 컴퓨팅 연구를 상용화 방향으로 한 단계 발전시키는 것이 최종 목표입니다.
❏ 연구 내용
2단계에서는 뉴로모픽 하드웨어 상에서의 SNN 동작을 주로 연구합니다. 이를 위해 1단계에서 연구된 학습 알고리즘의 고도화, 뉴로모픽 하드웨어에 적합한 SNN 모델 개발, HW/SW 통합 및 최적화를 연구합니다. SNN은 학습 방법에 따라 정확도와 효율성이 크게 달라질 수 있습니다. 1단계에서 연구된 효율적인 SNN을 학습하는 알고리즘을 타겟 뉴로모픽 하드웨어에 적합하게 개선하여 실제 뉴로모픽 하드웨어에서 적은 스파이크로 높은 정확도를 달성할 수 있도록 합니다. 이와 동시에, 뉴로모픽 하드웨어에서 동작 가능한 SNN 모델에 대해 연구합니다. 현재 대부분의 deep SNN 모델 및 알고리즘 연구는 뉴로모픽 하드웨어에서의 동작 가능성에 대해 고려하지 못하고 있습니다. 모델 및 알고리즘의 설계 시 하드웨어의 제약을 고려하여 시뮬레이션과 하드웨어에서의 동작 결과의 간극을 줄여 나갈 것입니다. 마지막으로 하드웨어와 소프트웨어를 통합하고 동시에 최적화하여 저전력 인공지능을 시연하는 것이 최종 목표입니다. 연구개발 과정을 통해 생성된 결과물은 학술대회 발표, 저널 논문 게재, 특허 출원 등으로 발표할 계획입니다.

□ 연구성과
1단계에서는 SNN의 응용 확장 및 구조 탐색, 추론 효율 개선, 학습 알고리즘 개발 등을 연구합니다. 세계 최고 수준의 효율성을 달성하기 위해 알고리즘 레벨에서 연구합니다. 연구의 결과물은 CS 분야의 특성상 주로 학술대회에서 발표되었습니다. 2단계에서는 1단계의 연구 결과물을 토대로 뉴로모픽 하드웨어에서 저전력 인공지능을 구현합니다. SNN 학습 알고리즘을 고도화하고 뉴로모픽 하드웨어에 , 적합한 SNN 모델을 개발합니다. 마지막으로 HW/SW 통합 최적화를 통해 실제 뉴로모픽 하드웨어에서 저전력 인공지능을 실현합니다. 연구 결과들은 1단계와 마찬가지로 주로 학술대회에서 발표할 예정이며, 관련 결과물을 특허로 출원할 계획입니다. 1단계 성과와 2단계 목표에 대한 자세한 내용은 아래와 같습니다.

□ 연구성과의 활용 계획 및 기대 효과
DNN을 사용하는 딥러닝은 기술이 발달함에 따라 여러 가지 비효율성이 나타나고 있습니다. 그 중, 에너지 소모는 인공지능의 지속적인 발전에 큰 영향을 주는 중요한 요소가 되고 있습니다. 이 연구를 통해 DNN 기반 딥러닝의 근본적인 에너지 문제를 해결할 수 있을 것으로 기대합니다. 경사하강법 기반의 학습 알고리즘이 DNN의 학습 성능을 크게 향상시켜 현재의 인공지능을 발전시켰듯이, 이 연구에서 다뤄지는 SNN 학습 알고리즘이 SNN의 적용 가능성을 크게 향상시킬 수 있을 것으로 기대합니다. 다양한 응용을 위한 deep SNN 모델을 개발함으로써 SNN 응용 적용 범위를 넓혀 뉴로모픽 컴퓨팅 분야의 후속 연구에 도움을 줄 수 있을 것입니다. 인공지능 모델을 개발하는 연구뿐만 아니라 뉴로모픽 디바이스나 칩을 설계하는 하드웨어 분야에도 영향을 미칠 것으로 판단됩니다. 이를 통해 메모리 반도체 강국인 우리나라가 뉴로모픽 컴퓨팅 분야의 선도 국가로 발돋움할 수 있을 것으로 기대합니다.

(출처 : 요약문 2p)

목차 Contents

• 표지 ... 1
• 요약문 ... 2
• 목차 ... 5
• 1. 연구과제의 개요 ... 6
• 2. 연구과제의 수행 과정 및 수행 내용 ... 6
• 1) SNN의 응용 확장 및 구조 탐색 ... 6
• 2) 템포럴 코딩 적용 ... 7
• 3) SNN 분석 방법 적용 ... 9
• 4) SNN 추론 효율 개선 ... 9
• 5) SNN 학습 알고리즘 개발 ... 10
• 3. 연구과제의 수행 결과 및 목표 달성 정도 ... 12
• 1) 연구수행 결과 ... 12
• 2) 목표 달성 수준 ... 13
• 4) 중요 연구변경 사항 ... 13
• 4. 연구성과의 관련 분야에 대한 기여 정도 ... 13
• 5. 연구성과의 관리 및 활용 계획 ... 13
• 6. 다음 단계 연구계획 ... 14
• 1) 연구 목표 및 내용 ... 14
• 2) 연구 추진전략 ... 15
• 3) 연구 추진일정 및 기대성과 ... 15
• 4) 다음 단계 연구비 사용계획 ... 16
• 5) 연구 성과의 활용방안 및 기대효과 ... 16
• 끝페이지 ... 34