[논문]인공지능 감정분석 기술을 이용한 관객 참여형 공연에서의 실감형 콘텐츠 생성 방식에 관한 연구

김지희; 오진희; 김명진; 임양규

doi:10.5909/jbe.2021.26.5.533

인공지능 감정분석 기술을 이용한 관객 참여형 공연에서의 실감형 콘텐츠 생성 방식에 관한 연구
A Study on the Method of Creating Realistic Content in Audience-participating Performances using Artificial Intelligence Sentiment Analysis Technology 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.26 no.5, 2021년, pp.533 - 542

김지희 (덕성여자대학교 IT미디어공학과) , 오진희 (덕성여자대학교 IT미디어공학과) , 김명진 (덕성여자대학교 IT미디어공학과) , 임양규 (덕성여자대학교 IT미디어공학전공)

초록
AI-Helper

본 연구에서는 한국 전통예술 중 하나인 진도 북춤을 다양한 인공지능 기술을 이용하여 디지털 아트로 재창조하는 과정을 제안하였다. 인공지능 언어 분석 기술을 통해 정량화된 관객들의 감정 데이터는 프로젝션 맵핑 공연에서 다양한 오브젝트 형태로 개입하여 큰 스토리에 변화를 주지 않는 선에서 영향을 준다. 대부분의 인터렉티브 아트들이 공연자와 영상 간의 소통을 표현한 것이라면, 본 공연은 인공지능 감정분석 기술을 중심으로 관객이 작품과 직접 소통할 수 있는 새로운 형태의 반응형 공연이 된다. 이는 한국 전통예술에서만 흔히 나타나는 관객이 공연에 직간접적으로 개입하여 영향을 끼치는 퍼포먼스인 '추임새'에서 시작된다. 공연자의 '프롤로그'에 담긴 감정 정보를 기반으로 관객의 감정 정보와 결합하여, 공연에 쓰이는 이미지와 파티클의 형태로 변환함으로서 공연에 관객이 간접적으로 참여하고 변화를 줄 수 있는 형태가 된다.

Abstract ▼ AI-Helper

In this study, a process of re-creating Jindo Buk Chum, one of the traditional Korean arts, into digital art using various artificial intelligence technologies was proposed. The audience's emotional data, quantified through artificial intelligence language analysis technology, intervenes in various object forms in the projection mapping performance and affects the big story without changing it. If most interactive arts express communication between the performer and the video, this performance becomes a new type of responsive performance that allows the audience to directly communicate with the work, centering on artificial intelligence emotion analysis technology. This starts with 'Chuimsae', a performance that is common only in Korean traditional art, where the audience directly or indirectly intervenes and influences the performance. Based on the emotional information contained in the performer's 'prologue', it is combined with the audience's emotional information and converted into the form of images and particles used in the performance to indirectly participate and change the performance.

주제어

표/그림 (13)

그림 그림 1. 박관용 선생의 진도 북춤 시범 (진도 북춤의 명인 박관용) Fig. 1. Jindo Buk Chum demonstration by Park Gwan-yong (Master of Jindo drum dance, Park Gwan-yong)
그림 그림 2. poseNet과 음성인식을 사용한 'Body, Movement, Language'의 한 장면 Fig. 2. 'Body, Movement, Language' using poseNet and voice recognition technology
그림 그림 3. 택견의 화려한 동작을 이용해 실시간으로 홀로그래피를 생성하는 'TechiEon' Fig. 3. 'TechiEon' creates holographic images in real time using Taekkyeon's flashy movements
그림 그림 4. 영상으로 남은 오래된 기록을 인공지능 기술로 복원하여 재생 Fig. 4. The old records left in the video were restored and played back with artificial intelligence technology
그림 그림 5. 음악 데이터를 수집하여 전통 먹선을 학습한 그림을 그리도록 처리 Fig. 5. Music data were collected and processed to draw a picture that learned traditional ink lines
그림 그림 6. 조선 수묵화를 학습한 삽화 Fig. 6. Illustrations learned from Joseon ink painting
그림 그림 7. 인공지능 기술로 누구든 전문 댄서처럼 보일 수 있게 합성이 가능 Fig. 7. With artificial intelligence technology anyone can be synthesized to look like a professional dancer
그림 그림 8. 관객은 영상 보정을 통해 전문 댄서와 같은 동작을 구사 Fig. 8. The audience performs the same movements as a professional dancer through video editing
그림 그림 9. 공연자의 감정 데이터가 배경 이미지를 생성하는 과정 Fig. 9. The process in which the performer's emotional data creates a background image
그림 그림 10. 이것은 관객의 개입으로 실시간으로 변화되는 배경 이미지 생성 과정을 나타낸 도식으로, 글자와 이모지 입력을 통해 자신의 감정을 입력할 수 있음 Fig. 10. This is a schematic showing the process of creating a background image that changes in real time with the intervention of the audience and you can input your emotions through text and emoji input.
그림 그림 11. 로버트 플루칙의 감정 수레바퀴 Fig. 11. Robert Plutchik's Wheel of Emotions
그림 그림 12. 자연어 분석 및 감정 도출 과정 Fig. 12. Natural language analysis and emotion derivation process
그림 그림 13. 진도 북춤과 관객의 참여로 만들어진 파티클 Fig. 13. Particles created by Jindo drum dance and audience participation

참고문헌 (18)

Jindo Buk Chum (Jindo Buk Play), https://www.culture.go.kr/knowledge/encyclopediaView.do?code_valueC&vvm_seq423&ccm_codeC011&ccm_subcodeC211 (accessed July 01, 2021)
Jindo Buk Chum demonstration by Park Gwan-yong, https://youtu.be/yhMw9qjmHpQ (accessed July 01, 2021)
Body, Movement, Language: AI Sketches with Bill T. Jones, https://youtu.be/RVyh1ewep84 (accessed July 01, 2021)
Tensorflow, https://www.tensorflow.org/ (accessed July 01, 2021)
Body, Movement, Language: AI Sketches with Bill T. Jones, https://experiments.withgoogle.com/billtjonesai (accessed July 01, 2021)
TechiEon, https://ars.electronica.art/outofthebox/en/techieon/(accessed July 01, 2021)
[2020 Corea Impact] TechiEon - Tech見, https://youtu.be/fAgg6gMbmg (accessed July 01, 2021)
INSIDE SOUL 'Badabi' ,https://youtu.be/oyz82gTT8WI (accessed July 01, 2021)
Everybody Dance Now, https://arxiv.org/abs/1808.07371 (accessed July 01, 2021)
Everybody Dance Now, https://youtu.be/PCBTZh41Ris (accessed July 01, 2021)
J. Park, Design and implementation of artificial intelligence (AI) technology driven interactive fusion dance performance, 2021, Retrieved from http://hanyang.dcollection.net/public_resource/pdf/200000486219_20210717064955.pdf (accessed July 01, 2021)
2020 Seven Square 7 2 Untact Performance_High Quality Version, https://youtu.be/iZ1D2bY3oaQ (accessed July 01, 2021)
H. Kim, H. Oh, D. Kim, "CNN Architecture Predicting Movie Rating from Audience's Reviews Written in Korean," Korea Information Processing Society, Vol. 9, No.1, pp17-24, 2020.
KoNLPy, https://konlpy.org/ko/v0.4.3/morph/ (accessed July 01, 2021)
J. Hong, Y. Jung, "Establishing the category of emotion verb and classifying emotion verbs," Korean Studies, Vol 45, pp.387-420. 2009..
P. Eckman, "Facial Expressions," Handbook og Cognition and Emotion, WILEY, 1999.
Introduction to natural language processing using deep learning, https://wikidocs.net/book/2155 (accessed July 01, 2021)
Plutchik's Wheel of Emotions: Exploring the Emotion Wheel, https://www.6seconds.org/2020/08/11/plutchik-wheel-emotions/?gclidCjwKCAjw3MSHBhB3EiwAxcaEu1jTbsOR9iZSjg71DaflgBR8A2ESfbKkUHRo8Npl-k1 (accessed July 01, 2021)

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증