초록 ▼

1. 연구개발의 개요
○ 인공지능 기술을 활용하여 지능형 아틀리에를 만들고 사용자와 상호작용을 통해 창작물을 제작하는 연구임. 기존 회화의 유형과 표현기법을 학습하고 사용자와 상호작용을 통해 새로운 창작 결과물을 생성하는 기술을 개발함
- 미술사 사조 안에서 특징적인 작가의 스타일을 정의하고, AI가 해당 스타일을 학습하도록 함
- 특정 입력 이미지에 대해서 입력 이미지와 내용은 유사하지만 이미지의 스타일은 AI가 학습한 작가의 스타일을 적용한 출력 이미지를 생성하는 AI Filter를 개발함
- 작가가 작품을

1. 연구개발의 개요
○ 인공지능 기술을 활용하여 지능형 아틀리에를 만들고 사용자와 상호작용을 통해 창작물을 제작하는 연구임. 기존 회화의 유형과 표현기법을 학습하고 사용자와 상호작용을 통해 새로운 창작 결과물을 생성하는 기술을 개발함
- 미술사 사조 안에서 특징적인 작가의 스타일을 정의하고, AI가 해당 스타일을 학습하도록 함
- 특정 입력 이미지에 대해서 입력 이미지와 내용은 유사하지만 이미지의 스타일은 AI가 학습한 작가의 스타일을 적용한 출력 이미지를 생성하는 AI Filter를 개발함
- 작가가 작품을 창작하는 AI 아틀리에 프로그램은 작가가 생성한 초안 이미지에 적용할 AI 스타일 및 선호 형태, 스타일 적용 정도 등의 다양한 창의적 표현 요소를 입력으로, 새로운 작품을 창작할 수 있는 환경을 제공하는 시스템 임

○ 인공지능 기술을 활용한 스타일 병합 엔진 개발
- 고해상도 입력 영상을 지원하는 고품질 영상 기반 스타일 병합 AI 엔진 개발
- 다양한 스타일 변형 지원을 위한 학습 제한 요소 및 초기화 파라미터 연구
- 추상적 개념 학습을 위한 영상 집합 기반 스타일 전이 AI 엔진 개발

○ 지능형 화실(AI 아틀리에) 프로그램
- 아틀리에 프로그램은 AI 기반 스타일 병합 엔진을 장착한 웹 서버 시스템으로 개발하고, 사용자의 손쉬운 이용 및 작가의 유연한 창작 활동이 지원될 수 있도록 함
- 2차 년도에는 확장된 AI 스타일 병합 엔진의 활용을 위해 지속적으로 아틀리에 UI 및 프로그램을 확장하고, 궁극적으로는 예술가 개개인마다 자신만의 독특한 AI 스타일 병합 엔진을 구축하여 작품 활동을 수행할 수 있도록 아틀리에 시스템을 확충함
- 창작물의 활용 방안 중 하나로, 1차 년도에는, 스마트 폰 App 기반의 아틀리에 시스템을 개발하고, 이를 이용하여 스타일 변환의 실시간 서클 VR 연계 체험을 제공함 (1차년)
- 인공지능 창작 아틀리에 체험 및 활용을 위한 4대 미술사조(서양화)기반 대표 아티스트의 인물화 학습데이터 수집 및 처리
- 조형적 특성이 차별화 된 작품의 사조 적 특성을 규정하고 이에 대표적인 아티스트를 선정하여 인물화 중심으로 학습데이터를 수집
- 4대 사조를 통해 나온 이미지에 표정인식 빅 데이터를 학습시킨 후 이미지 병합 혹은 4대 사조를 통해 나온 이미지에 1차 년도 선정 아티스트가 자주 사용하는 오브제를 학습시킨 후 이미지 병합을 통해 결과물의 재창조 가능성을 열어둠

○ 4대 사조(서양화풍)의 맥락성과 표현이 특징적인 대표 아티스트들의 회화적 분석과 표현기법을 보다 잘 나타내어 아티스트에게 활용될 수 있도록 학습데이터의 레이블링 작업 진행

○ 4대 미술사조(서양화풍) 기반 대표 아티스트 인물화의 자료수집 및 학습데이터 확보방안
- 학습데이터 확보방안: 입력 영상에 대한 뉴럴-네트워크 레이어 별 출력에 대한 손실 함수 적용에 따른 형태적 특성 보존/변형 정도를 모델화하여, 사실적 묘사 정도에 대한 처리 방안을 모색하여 형태적 특성을 반영함. 또한 색상, 재질 및 기타 특성을 처리하기 위한 방안으로는 스타일 영상에 대한 뉴럴-네트워크 각 레이어 출력의 Gram Matrix 반영 비율이 가지는 색상/재질 및 기타 특성의 변화 정도를 모델화하여, 스타일 영상이 가진 특성의 반영 정도 및 완성 이미지 형태에 대한 사용자의 컨트롤 제공 방안을 모색하고 수집된 4대사조의 인물화 자료에 대한 최적화를 수행

○ 4대 사조를 통해 나온 이미지에 아티스트가 자주 사용하는 오브제를 학습시킨 후 이미지 병합
- 결과물의 활용성 : 현대 여성의 원본 사진을 고전주의 형태로 변형시키고, 작가가 자주 사용하는 산수화 오브제를 배경에 접목시켜, 이이남 작가의 작업컨셉인 고전과 현대의 조화, 서양과 동양의 조화를 이루어낸 결과물을 추출하여, 작업에 영감을 부여함

○ 국내 아티스트(이이남)의 창작 아틀리에 시연 및 다양한 일반사용자 대상으로 한 창작물 시연
- 아티스트와 함께 하는 창작 아틀리에 시연회
① 창작 아틀리에 아티스트 초청 상호작용, 표현 및 편집기술 활용 작품 제작 과정을 기록 및 작품 시각화 퍼포먼스
② 홍익 MR뮤지엄(혹은 국립현대미술관)에서 기획전 및 상설 체험전

- 일반인사용자를 대상으로 한 창작물 시연회
① 일반사용자를 대상으로 상호작용 및 표현 및 편집기술 활용 작품 제작 과정을 기록 및 작품 시각화 퍼포먼스
② 홍익 MR뮤지엄(혹은 국립현대미술관)에 기획전 및 상설 체험전 진행
③ IOT환경기반 UV프린터를 활용한 입체출력 및 액자 서비스

○ 1차 년도에서는 사용자가 특정 이미지의 내용은 유지하면서 표현 방식인 스타일만 다른 예술작품의 것으로 AI가 변경하도록 하는 기술을 개발. AI 아틀리에 프로그램은 일반 사용자가 사용할 수 있는 스마트폰 App으로 대체함
- 사용자는 얼굴이 담기도록 사람을 촬영하거나 얼굴이 담긴 이미지를 스마트폰 App에서 불러옴
- 사용자는 기본적으로 제공되는 4대 사조 필터를 적용해서 이미지를 변환시킬 수 있음
- 얼굴 표정을 인식하여 사용자의 정서를 파악함 (얼굴 표정 인식은 오픈소스를 적용함) 혹은 아티스트와 연관된 AI Filter를 적용하여 이미지를 해당 작가의 스타일을 적용하여 변환시킴

○ 1차 년도에 개발된 스마트폰 App을 서클 VR과 연계하여 체험할 수 있도록 제공함
- 서클VR의 상단 원형 디스플레이에서는 미술사 사조 안에서 특징적인 작가의 스타일별로 생성된 작품들이 디스플레이 되어 있음
- 사용자는 서클VR 영역 내에 들어가서 사진을 촬영함
- 사용자의 사진에 AI Filter를 적용하여 특정 작가의 스타일이 반영된 이미지를 생성함
- 생성된 이미지가 서클 VR의 상단 원형 디스플레이에 표시됨
- 생성된 이미지를 포토 프린팅 하여 사용자에게 제공함

○ 2차 년도에는 예술가의 창작적 Needs에 따라 AI가 이미지를 자동 생성하는 아틀리에 프로그램을 개발함
- 사용자는 자신의 창작 Needs에 따라 플랫폼에서 제공하는 작가스타일 등의 조건 옵션을 설정함
- AI는 내부적으로 사용자가 설정한 옵션에 유사한 이미지를 생성해내는 컴포넌트와 창작자가 사람인지 기계인지와 창작물이 사용자의 창작 Needs에 맞는 이미지인지를 판별해 내는 컴포넌트를 서로 경쟁시킴으로써 새로운 이미지를 창작함
- 예술가는 AI가 창작한 이미지를 기반으로 영감을 받아 창작 활동을 진행함

○ 영상 기반 스타일 병합 AI엔진 개발
- Deep CNN 기반 형태 매칭 레이어 선택

(연구개발 추가개요)
○ 본 과제 수행 중 전문가들의 의견에 대응하여 아티스트의 조수라는 점에 집중하여 작품을 만들 수 있는 방향성을 다르게 가질 필요에 따라 개발 항목 등의 내용을 추가하였음
> 연구윤리를 준수하여 활용 가능한 학습데이터 수집과 레이블링을 통한 학습데이터 구축 및 활용
- 원작과 스타일 작품 간의 저작권 문제, 이미지의 연구 활용문제, 향후 사업화에 따른 저작권 문제 등이 생길 수 있으며, 이에 따라 학습데이터(스타일/오브제) 모두 연구 활용에 관한 동의서를 받는 것이 필요함

> 아티스트의 과거부터 현재까지 작품을 자동학습 할 수 있는 행위모델 개발
- 1차 스타일 병합엔진의 운영시스템의 스타일전이와 편집기능으로는 실제로 아티스트가 자유롭게 사용하기에 한정적임. 따라서 2차 스타일 집합엔진의 학습데이터 레이블링 시 규격이 정해진 작품 뿐 아니라 비규격의 작품, 아티스트의 현재의 작품 뿐 아니라 과거의 작품 그리고 작품을 완성해 가는 과정을 트래킹 하는 등까지 모두 자동 학습 되어야 함.

> 예술가의 창작활동에 훌륭한 조수로서의 역할을 수행하는 AI (병합/집합) 엔진개발
- 단순히 스타일을 병합하여 제시하는 엔진이 아닌 작가의 심미적 관점을 파악하고 새로운 심미적 관점을 제공하여 창작 활동에 영감을 줄 수 있는 조수이자, 창작 환경을 제공하는 엔진을 개발할 필요성이 있음

> 예술가가 창작활동에 즉흥적인 영감을 반영하는 확장성(데이터 추가입력)과 자유도(편집 및 수정)을 지원하는 앱 개발
- 아티스트의 작업 관리적 측면에서 추가적으로 필요한 부분은 아티스트의 스타일 병함의 결과물을 제공하는 엔진이 아닌 작가의 심미적 관점을 파악하여 미래의 창작활동에 영감을 줄 수 있는 확정된 결과물을 제공할 필요가 있음

(추가사유)
○ 본 과제 수행 중 작가의 활용성 및 전시 확장성을 위한 3차례의 전문가 심층인터뷰, 2차례의 일반인 100여명의 설문조사, 2차례의 체험전시 진행을 통한 의견 반영 후 프로젝트의 완성도를 높임

> 스타일 병합엔진 개발 방향 및 개발 단계에 따라 전문가의 의견을 수렴할 필요성이 있음

> 전문가의 4대 사조 스타일에 대한 한계점 지적에 따라 서양화의 스타일(점묘, 붓 터치, 라인, 패턴)에 대한 대표작가 4인 선정(폴쉬냑, 반고흐, 에곤쉴레, 클림트)과 더불어 동양화 스타일(농담, 필체, 채색, 선의 강약) 대표작가 8인 (겸재정선, 소치, 단원, 의재, 허건, 장대천, 청전, 팔대선인 등 8명 선정)으로 추가 개발 필요성이 있음

> 아틀리에 사용성 평가 서양과 동양 스타일의 조화 대표작가 이이남 (페르소나) 선정하여 이이남 작가와 콜라보레이션 작품 제작, 2018전남 국제수묵비엔날레 전시 참여를 통해 전시현장성에 대한 확인이 필요함

> 홍익대학교 박물관의 수장품을 활용한 인터렉티브 체험전 진행을 통해 관객 및 전시 활용성 확인이 필요함

(출처 : 1. 연구개발의 개요 3p)

목차 Contents

• 표지 ... 1
• 연차실적보고서 ... 2
• 1. 연구개발의 개요 ... 3
• 2. 연구개발 목표 ... 8
• 3. 연구개발 결과 ... 9
• 4. 연구개발 목표의 달성도 및 자체평가 ... 12
• 가. 평가항목별 달성도 ... 12
• 나. 성과목표별 달성도 ... 13
• 다. 성과에 대한 자체평가 ... 14
• 5. 연구 성과 ... 15
• 6. 연구 수행에 따른 문제점 및 개선 방향 ... 16
• 7. 중요 연구변경 사항 ... 16
• 8. 기타 건의 사항 ... 16
• [붙임A] 세부내용 ... 17
• 끝페이지 ... 144