초록 ▼

□ 연구개요
본 연구에서 우리는 신경망 학습에 대한 이론체계를 제시하고자 한다.
신경망 학습에 널리 사용되는 Stocfiastic Gradient Descent(SGD) 학습법을 분석하고, 오차함수의 수렴을 보장하는 학습률 선택을 제시하는 것이다.

□ 연구 목표대비 연구결과
설계와 적용이 경험과 우연에 의해 실시되는 측면이 많아 최근 광범위하게 사용되는 인공지능의 오작동에 대한 우려가 깊어지고 있다. 본 연구는 인공지능의 기본 설계에 대한 엄밀한 수학 분석을 통해 적용성의 한계와 유용성의 정밀도를 구체적

□ 연구개요
본 연구에서 우리는 신경망 학습에 대한 이론체계를 제시하고자 한다.
신경망 학습에 널리 사용되는 Stocfiastic Gradient Descent(SGD) 학습법을 분석하고, 오차함수의 수렴을 보장하는 학습률 선택을 제시하는 것이다.

□ 연구 목표대비 연구결과
설계와 적용이 경험과 우연에 의해 실시되는 측면이 많아 최근 광범위하게 사용되는 인공지능의 오작동에 대한 우려가 깊어지고 있다. 본 연구는 인공지능의 기본 설계에 대한 엄밀한 수학 분석을 통해 적용성의 한계와 유용성의 정밀도를 구체적으로 제시하고자 한다.
Layerwise 신경망 학습 : 신경망의 학습은 전통적으로 가중치들이 같은 학습률로 동시에 학습되어 왔다. 이러한 동시적 학습은 전파와 충돌하고 분석을 어렵게 만든다. 이를 해결하기 위해 본 연구는 다른 층들의 가중치는 고정하고 한 측씩만 교대로 학습을 진행하는 계층적 학습법을 제안하였고 학습의 수렴성에 대한 수학 분석을 제시하였다.
Stein method : 신경망의 오차함수는 non-conxex로 악명이 높다. 부분적 최솟점들이 무수히 많기 때문에 최소점을 얻는 과정은 초기 항을 난수 설정하고 부분적 최소점들을 무작위로 탐색하는 것이 대부분이다. 즉, 본질적으로 신경망 학습은 확률적 프로세스이며 각 부분적 최소점들이 확률 빈도가 같지 않다 Stein method 는 최근 부상하고 있는 알고리즘으로서 난수 탐색을 개별적으로 여러 번 하는 것이 아니라 동시에 수행한다. 우리는 Reproducing-Kernal_Hilbert-Space 이론에 직접 적용을 통해 기존의 간접 적용을 뛰어넘는 성과를 얻었다.
신경망 Inference 암호화 : chat – gpt와 같은 Large Language Model이 부상하였다. LLM의 사용에 있어 사용자의 입력이 해당 서버로 노출되고, 이로 인한 사생활 정보 유출이 문제되고 있다. 신경망 inference에 있어 개인정보를 보호하면서 신경망 연산을 수행할 수 있는 기술이 동형암호이다. 우리는 CKKS – 동형암호 원천기술 보유기업이 크립토랩과의 협력연구를 통해 동형암호 재부팅에 대한 특허 2건을 출원하였고, 신경망 암호화에 대한 새로운 TSD 알고리즘을 제시하는 연구성과를 얻었다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
Stenin method 연구성과는 서울대 경제학과 류근관 교수와 연세대 통계학과 박재우 교수와의 협력연구를 통해 얻어졌다. 수학을 기반으로 한 알고리즘을 향후 여러 경제현상과 통계분야에 활용하고자 두 공동연구진과 계획하였다.
신경망 inference 암호화의 기본 기술인 CKKS 동형암호는 올해 국제표준으로 제출하고 심사 중이다. 현재 LLM의 정보유출 문제를 해결할 보완재로서 동형암호된 LLM 출시에 대한 산학협력을 크립토랩과 지속하고 있다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 9
• 1) 정성적 연구개발성과(연구개발결과) ... 9
• 2) 세부 정량적 연구개발성과 ... 11
• 3) 목표 달성 수준 ... 11
• 4) 목표 미달 시 원인 분석 ... 11
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 12
• 5. 연구개발성과의 관리 및 활용 계획 ... 12
• 6. 자체점검표 ... 13
• 7. 참고문헌 ... 13
• 끝페이지 ... 24