초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
1. 딥러닝 프레임워크 개발
- 각종 딥러닝 알고리즘을 지원하는 소프트웨어
- C++로 작성하며 쿠다 연동 지원
- 고수준 API, 저수준 API, REST API 제공
2. 에코 시스템 개발
- 파이썬 언어와 딥러닝 프레임워크 연결 소프트웨어
- 파이썬 프론트엔드 인터페이스 제공
- 몇 가지 보조 기능을 함께 지원
3. 샘플 라이브러리 구축
- 욜로, 버트 등 다양한 종류의 딥러닝 모델
- 각 모델에 대한 예제 프로그램 및 학

□ 연구개발 목표 및 내용
○ 최종 목표
1. 딥러닝 프레임워크 개발
- 각종 딥러닝 알고리즘을 지원하는 소프트웨어
- C++로 작성하며 쿠다 연동 지원
- 고수준 API, 저수준 API, REST API 제공
2. 에코 시스템 개발
- 파이썬 언어와 딥러닝 프레임워크 연결 소프트웨어
- 파이썬 프론트엔드 인터페이스 제공
- 몇 가지 보조 기능을 함께 지원
3. 샘플 라이브러리 구축
- 욜로, 버트 등 다양한 종류의 딥러닝 모델
- 각 모델에 대한 예제 프로그램 및 학습 결과물 제공

○ 전체 내용
본 연구에서는 딥러닝 분야의 핵심 소프트웨어인 딥러닝 프레임워크를 순수 자체 기술로 개발할 것이다. C++ 언어로 개발되는 딥러닝 프레임워크는 고수준 API와 에코 시스템을 통해 파이썬 모듈 형태로 이용 가능하며, 저수준 API를 통해 인공지능 플랫폼 서버나 차세대 인공지능 연구용 테스트베드 등의 용도로 이용 가능하고, REST API를 통해 인공지능 관련 웹 서비스 등에서도 이용 가능할 것이다. 이 프레임워크는 18가지 이상의 신경망 계층, 5가지 이상의 정규화 기능, 6가지 이상의 최적화 알고리즘, 손실함수 역전파 처리를 위한 자동미분 등의 기능을 가질 것이다. 또한 개발되는 딥러닝 프레임워크는 콜백 설정 지원 등의 기능을 통하여 차세대 인공지능 연구에 필요한 정밀하게 제어되는 유연성을 가질 것이다. 개발되는 딥러닝 프레임워크는 모든 계층에서 쿠다 연동을 최적화된 형태로 지원할 것이며 디바이스 메모리에 대한 관리 및 추적 기능도 지원할 것이다.
또한 딥러닝 프레임워크를 파이썬 인터프리터에 연결해 줄 에코 시스템을 딥러닝 프레임워크와 함께 개발할 것이다. 에코 시스템은 CPython 인터페이스 양식에 맞추어 C 언어로 작성될 것이며 독립실행형과 원격단말형의 두 가지 형태로 이용될 것이다. 에코 시스템은 데이터 로더, 딥러닝 모델의 시각화 및 배포 등의 보조 기능도 갖게 될 것이다.
이와 함께 샘플 라이브러리도 구축될 것이다. 샘플 라이브러리는 실제 모듈 개발 사례를 모은 데이터베이스이다. 샘플 라이브러리에 저장된 모델 생성 및 학습 방법을 보여주는 파이썬 프로그램들과 이를 이용해 만들어진 모델들은 개발되는 딥러닝 프레임워크의 사용법을 알려주는 동시에 쉽고 폭넓은 활용을 가능하게 할 것이며 시스템 개발 과정에서는 이를 이용한 학습 실험을 통해 개발되는 시스템의 안정성과 완결성, 성능 등에 대한 피드백 정보를 제공할 것이다.

○ 1차년도
● 목표
1. 초기 준비 단계
- Yolo, Bert 등의 딥러닝 예제 모델 선정
- 시스템 설계
- 고수준 API 및 저수준 API 정의
2. 시스템 개발 단계
- 딥러닝 프레임워크 설계 및 구현 작업 수행
- 에코 시스템 설계 및 구현 작업 수행
- 예제 모델에 대한 학습 실험 병행, 지속적 피드백 제공
3. 마무리 단계
- 학습 실험 결과를 모아 샘플 라이브러리 구축
- 단독실행형 딥러닝 프레임워크 시제품 구현

● 내용
초기 준비 단계에는 Resnet, Yolo, Bert 모델을 포함하는 예제 딥러닝 모델의 선정하고 선정된 모델의 생성, 학습, 활용 과정을 파이썬 프로그램으로 작성한다. 이어서 시스템 요구사항을 분석해 시스템 모듈 구조를 설계한 후 고수준/저수준 API 요구사항을 분석하고 이들 API의 내용을 정의한다.
시스템 개발 단계에는 예제 모델 처리에 충분한 수준의 딥러닝 프레임워크를 구현하며 경사하강법, 아담 등 2가지 이상의 최적화 알고리즘을 우선 구현한다. 이들 기능은 쿠다 연동이 지원된 형태로 개발한다. 신경망 구조 생성 방법이나 학습, 검증, 테스트 등의 처리 과정은 문자열 일괄 설정, 일괄 실행 등 단순한 형태부터 우선 구현한다. 에코 시스템은 독립실행형을 우선 개발하며 보조 기능은 예제 실험이 가능한 수준의 데이터 로더, 텍스트 수준의 딥러닝 모델 시각화/배포 모듈 등 간단한 형태로 구현한다. 또한 예제 딥러닝 모델에 대한 학습 실험을 통해 개발의 안정성, 정확성, 성능 확보를 위한 피드백을 제공한다.
마무리 단계에는 모델 정보 관리를 위한 데이터베이스 구조를 설계하며 설계된 구조에 따라 학습 실험 결과를 정돈해 샘플 라이브러리로 구축한다. 또한 라이브러리 형태의 프레임워크가 제공하는 고수준 API와 독립실행형 에코 시스템을 연결해 단독실행형 프레임워크 시제품으로서 구현하며 샘플 라이브러리는 원격 접속이 가능하게 한다.

○ 2차년도
● 목표
1. 초기 준비 단계
- Efficient-net, Transformer 등 추가 예제 모델 선정
- 시스템 설계 확장, 고수준/저수준 API 확장
- REST API 정의
2. 시스템 개발 단계
- 딥러닝 프레임워크 고도화 수행
- 에코 시스템 고도화 작업 수행
- 예제 모델에 대한 학습 실험 병행, 지속적 피드백 제공
3. 마무리 단계
- 학습 실험 결과를 모아 샘플 라이브러리 구축
- 원격단말형 딥러닝 프레임워크 시제품 구현
- 인공지능 플랫폼 시제품 구현
- 임베디드 인공지능 응용 시제품 구현

● 내용
초기 준비 단계에는 Efficient-net, Transformer 모델을 포함하는 예제 딥러닝 모델을 추가 선정하고 선정된 모델의 생성, 학습, 활용 과정을 파이썬 프로그램으로 작성한다. 이어서 시스템 요구사항을 분석해 시스템 설계 및 고수준/저수준 API 정의를 확장하고 REST API 내용을 정의한다.
시스템 개발 단계에는 예제 모델 처리에 충분하며 제안서에 제시된 세부 내용을 모두 만족하는 수준의 딥러닝 프레임워크와 에코시스템의 고도화 구현 작업을 수행한다. 추가적인 계층, 정규화, 최적화 알고리즘의 지원과 함께 로그 획득, 이종 모델 간 학습 파라미터 이식 등의 추가 기능을 구현하고 신경망 구조의 단계적 설정, 학습 과정의 단계적 실행, 쿠다 연동 과정의 정밀 제어 등도 가능하게 한다. 쿠다 연동을 파이프라인 방식의 병렬 미니배치 처리가 가능한 수준으로 확장한다. 또한 REST API 내용에 멀티태스킹 처리 지원과 세션 관리 지원 기능을 추가해 다수 사용자가 협업할 수 있도록 하여 인공지능 플랫폼 등의 응용에 활용할 수 있게 한다. 에코시스템을 원격단말형으로 이용할 수 있게 확장하며 파이프라인 방식의 데이터 로더 지원, 한국어 데이터 로딩 기능 지원, 내장 데이터셋 사용 지원 등의 기능 확장과 함께 시각화 모듈과 배포 모듈도 제안된 기능을 모두 지원하도록 확장한다. 학습 실험도 병행한다.
마무리 단계에는 추가된 모델에 대한 샘플 라이브러리 확장과 함께 원격 프레임워크 서버를 이용하는 다양한 제품 활용 형태를 보여주는 원격단말형 프레임워크 시제품, 인공지능 플랫폼 시제품, 임베디드 인공지능 응용 시제품등 세 가지 시제품을 구현한다.

□ 연구개발성과
1. 딥러닝 프레임워크 소스 (C++)
2. 에코시스템 소스 (C++, C-Python)
3. 샘플 라이브러리 (C++, Python, Database)
4. 모델 생성 및 학습 예제 (Python)
5. 개발된 딥러닝 프레임워크의 사용성 검증을 위한 시제품 4종 (혼합)

□ 연구개발성과 활용계획 및 기대 효과
본 연구에서 만들어지는 딥러닝 프레임워크와 에코 시스템은 각각 세 가지 API와 두가지 실행 모드를 갖는다. 이에 따라 연구 결과로 제시될 네 가지 시제품을 비롯한 다양한 형태의 제품 구성이 가능해 수요처의 폭넓은 요구에 쉽게 부응할 수 있다. 또한 커뮤니티 활동의 육성과 지원을 통해 오픈 소프트웨어를 활용한 새로운 제품군 개발을 유도할 수 있으며 샘플 라이브러리 사이트의 구성 다변화를 통한 다양한 활용도 가능하다. 개발된 제품은 차세대 인공지능 기술을 위한 테스트베드로서 딥러닝의 한계를 극복하기 위한 노력으로 펼쳐지고 있는 차세대 인공지능 기술 연구에 접목되어 빠르고 유연하게 필요한 추가 기능을 지원하는 테스트베드로 활용될 수 있다. 개발된 제품은 또한 인공지능 플랫폼 구축과 인공지능 생태계 조성에 활용되어 인공지능 산업 발전의 촉진에 기여할 수 있다.

(출처 : 요약문 3p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 3
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 1) 새로운 딥러닝 프레임워크 개발의 필요성 ... 8
• 2) 개발할 딥러닝 프레임워크의 시스템 구성 ... 8
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 9
• 1) 딥러닝 프레임웍 설계, 구현 및 고도화 ... 9
• 2) 에코 시스템 설계, 구현 및 고도화 ... 11
• 3) 샘플 라이브러리 구축 ... 13
• 4) 단독 실행형 프레임워크 시제품 구현 (1차년도 ~ 2차년도) ... 15
• 5) 원격 단말형 프레임워크 시제품 구현 (2차년도) ... 19
• 6) 인공지능 플랫폼 시제품 구현 (2차년도) ... 20
• 7) 임베디드 인공지능 응용 시제품 구현 (2차년도) ... 21
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 23
• 1) 연구수행 결과 ... 23
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 31
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 31
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 31
• 3) 연구개발 과정의 성실성 ... 32
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 33
• 6. 연구개발성과의 관리 및 활용 계획 ... 34
• 1) 연구개발성과의 관리방안 ... 34
• 2) 연구개발성과의 활용방안 ... 34
• 2) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 35
• 2) 주요 성과활용 (기대)성과목표 ... 36
• 3) 성과활용·관리 추진체계 ... 37
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 38
• 1) XAI 모델 연동을 위한 딥러닝 프레임워크 플러그앤플레이 기술 연구 개발 ... 38
• 8. 연구개발비 사용실적 ... 42
• 1) 연구개발비 사용명세서 ... 42
• 2) 발생이자 사용명세서 ... 42
• 3) 반납액 명세서 ... 42
• 끝페이지 ... 43