초록 ▼

□ 연구개요
본 연구에서는 미디어아트와 컴퓨터뮤직 등의 순수예술에서 비롯된 소통방식을 인간과 기계의 감성적 소통에 활용하는 방안을 탐구하는 인공지능 기초연구에 그 목표를 둔다. 현재까지 예술과 기술의 융합연구는 주로 예술의 새로운 표현이나 표현력 확대를 위한 기술의 개발 위주로 이루어졌고, 미디어아트와 컴퓨터뮤직에서 첨단공학의 활용은 창의력의 증대에 괄목할만한 공헌을 하였다. 특히 4차 산업혁명 시대의 도래와 더불어 최근 수년간 예술에서는 CNN, RNN, GAN 등의 딥러닝(Deep Learning) 방법들을 적극적으로 도입

□ 연구개요
본 연구에서는 미디어아트와 컴퓨터뮤직 등의 순수예술에서 비롯된 소통방식을 인간과 기계의 감성적 소통에 활용하는 방안을 탐구하는 인공지능 기초연구에 그 목표를 둔다. 현재까지 예술과 기술의 융합연구는 주로 예술의 새로운 표현이나 표현력 확대를 위한 기술의 개발 위주로 이루어졌고, 미디어아트와 컴퓨터뮤직에서 첨단공학의 활용은 창의력의 증대에 괄목할만한 공헌을 하였다. 특히 4차 산업혁명 시대의 도래와 더불어 최근 수년간 예술에서는 CNN, RNN, GAN 등의 딥러닝(Deep Learning) 방법들을 적극적으로 도입하여 새로운 차원의 개념과 표현을 시도하고 있다. 나날이 발전하는 공학은 미디어아트나 컴퓨터뮤직의 창작을 위해 새로운 창작 방법을 제공해왔다. 그러나 본 제안 연구진은 그동안 축적된 예술∙공학의 결합연구 경험이 이러한 일방적인 관계를 넘어 예술∙공학 상호 간에 혜택을 줄 수 있을 것이라는 가능성에 착안하였다. 그리하여 예술∙공학 융합연구 로부터 새로운 예술적인 소통의 가능성을 공학적인 목적에 활용하는 가능성을 모색하고자 한다.

□ 연구 목표대비 연구결과
본 연구는 크게 보면 (1) 시각적 표정과 동작의 파악과 예술적 재구성, 그리고 (2) 청각적∙촉각적 감성의 분석과 재구성 등 2분야의 연구로 구성되어 있고, 각 분야에는 2개씩의 세부연구 주제로 연구하였다.
(1) 시각적 표정과 동작의 파악과 예술적 재구성
(가) 얼굴표정의 파악과 상호작용적 표정 생성 본 세부연구는 딥러닝을 사용하여 사용자∙관객 얼굴표정의 시간적 변화를 파악하고, 그에 대응하는 감성적 표정을 상호작용적으로 생성하였다.
(나) 예술적 동작의 파악과 시각적 개체에서의 상징적 표현 컴퓨터나 기계에서 2D/3D 도형이나 그림 등의 개체에 사용자∙관객의 감정에 대응하거나 콘텐츠에 어울리는 예술적 변형이나 동작을 부여하는 연구를 수행하였다.

(2) 청각적∙촉각적 감성의 분석과 재구성
(가) 상호작용의 상황에 따른 감성적 화음생성 화음 진행(chord progression)은 음악의 양식, 정서, 구조 등에 결정적인 영향을 미치는 요소이다. 동일한 멜로디라도 화음의 진행에 따라 그 감성적인 전달이 달라진다. 본 연구에서는 사용자∙관객의 감정 상태를 파악하고 그에 따른 화음 진행을 생성하였다. 본 연구에서는 클래식, 재즈, 팝 등의 다양한 화음 진행을 학습하고 추천하는 딥러닝 알고리듬을 개발하였다.
(나) 촉각음악의 생성과 전달 피부로 느끼는 촉각음은 귀로 듣는 청음애 비해 주파수 대역과 진폭이 매주 좁지만 음악적인 감성을 효과적으로 전달할 수 있다. 특히 청각장애인에겐 유일한 음악적인 수단일 수 있다. 본 제안의 연구 진은 오랜 기간 촉각 음악의 가능성을 탐구해 왔고, 사용자∙관객 감성에 부합하는 촉각음 생성 알고리듬을 개발하였다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
연구 결과는 시각적 표정과 동작의 파악과 예술적 재구성, 그리고 청각적∙촉각적 감성의 분석과 재구성 분야의 인간과 기계의 감성적 소통의 새로운 방향을 제시하였고, 이는 보다 감성적인 소통이 가능한 AI 기술의 활용과 제품 개발에 적용되리라 기대된다.
연구 개발된 성과를 활용하여, 향후 보다 넓은 예술 분야에 AI 적용의 확대하고, 사람 및 감성 중심의 인공지능 연구의 기반 기술로 활용할 계획이다. 본 과제를 통해서 구현된 알고리듬 및 코드는 후속 연구에 재활용 및 발전시킬 계획이다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 1) 1차년도 연구개발과제의 수행 과정 및 수행 내용 ... 4
• 2) 2차년도 연구과제의 수행 과정 및 수행 내용 ... 6
• 3) 3차년도 연구과제의 수행 과정 및 수행 내용 ... 9
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 11
• 1) 정성적 연구개발성과(연구개발결과) ... 11
• 2) 세부 정량적 연구개발성과 ... 12
• 3) 목표 달성 수준 ... 12
• 4) 목표 미달 시 원인 분석 ... 12
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 13
• 5. 연구개발성과의 관리 및 활용 계획 ... 13
• 6. 자체점검표 ... 13
• 7. 참고문헌 ... 14
• 붙임1. 세부 정량적 연구개발성과 ... 15
• 붙임2 연구책임자 대표적 연구실적 및 증빙(요약문 및 사본) ... 16
• 끝페이지 ... 19