초록 ▼

□ 연구개요
본 연구의 기본 아이디어는 입력 도메인과 출력 도메인에 대해 각각 사전 학습된 인코더(encoder)와 디코더(decoder)를 교차연결(cross-domain connection)하는 것이다. 기존 대부분의 연구에서는 효과적인 인공 신경망 학습을 위해 하나의 도메인에 대한 오토 인코더-디코더 네트워크를 구성하고 사전 학습시킨 후, 인코더 계층을 특성 추출기(feature extractor)로 전이하여 사용하는 방법을 보편적으로 채택한다. 그러나, 본 연구에서 제안하는 핵심 기법은 “사전 학습된 인코더를 전이학습(

□ 연구개요
본 연구의 기본 아이디어는 입력 도메인과 출력 도메인에 대해 각각 사전 학습된 인코더(encoder)와 디코더(decoder)를 교차연결(cross-domain connection)하는 것이다. 기존 대부분의 연구에서는 효과적인 인공 신경망 학습을 위해 하나의 도메인에 대한 오토 인코더-디코더 네트워크를 구성하고 사전 학습시킨 후, 인코더 계층을 특성 추출기(feature extractor)로 전이하여 사용하는 방법을 보편적으로 채택한다. 그러나, 본 연구에서 제안하는 핵심 기법은 “사전 학습된 인코더를 전이학습(transferlearning) 형태로 사용하는 것과 같이 사전 학습된 디코더도 다른 도메인 간의 교차연결을 위해 사용”하는 것으로, 해당 기법은 입력과 출력 도메인 사이의 관계추정을 학습할 때, 입력 도메인에서 추출된 특성 정보가 출력 도메인의 특성 정보로 효과적으로 사상(mapping)될 수 있도록 학습하는 데 매우 효과적이다. 제안하는 기법은 오토 인코더와 디코더 구조의 네트워크를 사전 학습할 수 있는 대부분의 심층 신경망모델에 적용이 가능하다. 입력 도메인과 출력 도메인에 대한 각각의 오토 인코더 및 디코더를 사전 학습시킨 후, 이를 연결하는 FML(feature mapping layer)를 사용하여 입력 도메인과 출력 도메인 사이의 관계 추정에 용이한 새로운 결합 네트워크를 구성하고, 미세학습(fine tuning) 과정을 통해 출력 결과의 품질을 향상시킬 수 있다. 이를 이용해 다양한 도메인에 대한 결합 네트워크 구조, 학습 알고리즘, 성능평가 등의 연구를 거쳐 최종적으로는 고성능 심층 신경망 학습 기법을 개발한다.

□ 연구 목표대비 연구결과
본 연구의 최종 목표는 “오토 인코더와 디코더 교차연결을 사용한 고성능 심층 학습 기법”을 개발하는 것이다. Enhancement→Enlargement→Enrichment→Generalization의 4단계에 걸쳐 점진적으로 제안하는 기법을 완성하기 위한 기술들을 개발하고 발전시켰으며, 최종 연구 결과 및 정량 성과는 아래와 같이 요약된다.
[연구 결과]
- 단일 도메인 적용: 이미지 변환 작업 성능 개선
- 적용 도메인 확장: 신경망 번역 작업먼저 성능 개선
- 멀티 도메인 확장 적용: 이미지 캡셔닝 작업 성능 개선
- 일반화 및 최적화: 극단적 다중 레이블 분류 작업 성능 개선
[정량 성과]
- JCR2020 기준 상위 5% 이내 Q1 저널(Information Sciences) 논문 게재
- BK인정 최우수 국제학술대회(EMNLP2021) Main conference 구두발표
- JCR2021 기준 상위 10% 이내 Q1 저널(Applied Soft Computing) 논문 게재
- JCR2022 기준 상위 15% 이내 Q1 저널(Social Science Computer Review) 논문 게재
- BK인정 최우수 국제학술대회(ACL2023) Main Conference 구두발표
- BK인정 최우수 국제학술대회(EMNLP2023) Main conference 포스터발표

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
- 오토 인코더와 디코더를 이용한 심층 신경망 구조와 학습 기법을 이용하여 다양한 변환 태스크의 성능을 향상시킬 수 있는 기술 개발 및 방법론 제시
- 이미지, 자연어, 동영상, 음성 간의 이종 및 다중 도메인 간 변환에도 범용적으로 적용할 수 있는 새로운 기법 개발
- 일반 고차원 함수 추정의 정확성을 보완하기 위한 수단으로서, 제안하는 심층 신경망 모델 및 학습 방법론을 사용할 수 있으므로 기존 함수 추정 기법의 한계를 극복하는 시사점 제공
- 본 연구에서 제안하는 모델과 기술은 기존 심층 신경망 모델의 성능을 보다 극대화시키는 방법론으로서 활용할 수 있음
- 다양한 분야에서 기존 심층 학습의 성능향상과 효율성을 극대화하는 실제적/구체적 적용 사례를 보임

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 1) 연구의 목표 및 내용 ... 4
• 2) 연구의 필요성 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 11
• 1) 정성적 연구개발성과(연구개발결과) ... 11
• 2) 세부 정량적 연구개발성과 ... 17
• 3) 목표 달성 수준 ... 17
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 17
• 1) 학문적 측면 ... 17
• 2) 교육적, 인력양성적 측면 ... 18
• 3) 산업, 경제적 측면 ... 18
• 5. 연구개발성과의 관리 및 활용 계획 ... 18
• 1) 최신 사전학습 모델의 성능 향상 및 확장성을 위한 기반 연구로서의 활용 ... 18
• 2) 산업계 문제 해결에 활용 방안 ... 18
• 6. 자체점검표 ... 19
• 7. 참고문헌 ... 19
• 끝페이지 ... 41