[논문]휴먼 케어를 위한 초실감 감성 상호작용 기술

김진서; 박창준; 이기석; 김명규; 유원영; 지형근; 정일권

doi:10.22648/etri.2021.j.360105

휴먼 케어를 위한 초실감 감성 상호작용 기술
Affective Interaction Technologies for Human Care 원문보기

전자통신동향분석 = Electronics and telecommunications trends, v.36 no.1, 2021년, pp.43 - 53

김진서 (감성상호작용연구실) , 박창준 (CG) , 이기석 (VR) , 김명규 (지능형지식콘텐츠연구실) , 유원영 (콘텐츠인식연구실) , 지형근 (홀로그래픽콘텐츠연구실) , 정일권 (콘텐츠인식연구실)

Abstract ▼ AI-Helper

Super-realistic content technology has recently attracted attention as a core of the "new normal" that can overcome the spatial constraints caused by pandemics. It is moreover the core that allows users in remote locations to meet and engage in various social, cultural, and economic activities based on a network. Content technology is rapidly spreading beyond the existing entertainment area to various industries as an innovative tool that can be used to overcome space-time constraints and improve the productivity of industrial sites, because reality and virtual reality are now super-connected with ultra-low latency. However, existing services such as teleconferencing and tele-collaboration do not provide a level of realism that replaces face-to-face services, and various technical requirements have been proposed to overcome this. The trends in core technologies such as XR twins, hyper-realistic reproduction, sensory interaction, and emotional recognition technology, which are necessary for interactive realistic content that leads to feelings, from reproduction to experience and emotion, are explained. In this article, our aim is to present the future of realistic content that enables human care and can even overcome psychological difficulties such as the "Corona blues".

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 고에서는 실감 콘텐츠 기반의 XR 트윈(쌍둥이)을 활용하여 원격지에 존재하는 사용자들 간의 오감을 활용한 감성 상호작용을 가능하게 하는 기술적 발전 방향과 주요 서비스 모델을 제시하고자 한다.
본 고에서는 인간의 오감 및 감정 상호작용을 통하여 시·공간을 초월한 정서적 소통과 감정 치유를 제공하기 위한 초실감 감성 상호작용 기술의 세 가지 요소 기술인 실공간 거울 쌍등이 기술, 디지털 체감 쌍등이 기술, 디지털 감정 쌍등이 기술에 대한 설명과 관련 국내·외 기술 동향을 소개하였다.

제안 방법

AR 기반 ‘사이트 비전’을 장착한 스마트폰을 통해 3D 공간 설계도와 시·공 정보 등을 증강현실로 제공한다.
MIT의 컴퓨터 과학 및 인공지능 연구소(CSAIL) 에서 만든 사람처럼 시각과 촉각을 사용해 물체를 집어 드는 2종의 로봇 집게손(그리퍼)을 개발하였다. 또한 소프트 로봇에 활용할 수 있는 감각 기능을 갖춘 로봇 피부(소프트 센서)를 개발하였다.
구체적인 기술로는 인간의 외형과 내부를 동일하게 모사하고 재현하는 휴먼트윈 생성 기술, 시· 청·촉각에 후각과 미각을 포함하는 오감 재현 기술, 극사실적 디지털 체감을 위한 휴먼 트윈에 사람의 사상이나 생각을 투영하기 위한 서술형 의미론적 인지 분석 기술로 구성된다.
또한 소프트 로봇에 활용할 수 있는 감각 기능을 갖춘 로봇 피부(소프트 센서)를 개발하였다. 로봇 피부를 통하여 소프트 로봇이 자신의 동작과 위치를 3D 환경에서 인식할 수 있다[12].
대표적인 예로써, 워싱턴대학에서는 음성에 맞춰 입모양을 포함한 얼굴의 움직임을 GAN 기술로 자동 생성하는 연구를 진행하였다[6]. 미국 오바마 전 대통령의 사진을 활용하여 학습하고, 음성에 맞춰 말하는 모습들을 정확히 재현함으로써 실제와 같은 모습을 가상으로 정확히 만들어 낼 수 있도록 하였다.
실제 사람과 구분하기 힘들 정도의 고품질로 인공인간의 외형을 재현하였다.

후속연구

두 번째로, 원격 사용자에게 실제와 동일한 실재감을 전달하기 위한 오감 기반 감성 상호작용에 대한 기술적 한계이다. 원격지의 사용자들을 실감 콘텐츠를 기반으로 이어주어 교감할 수 있도록 AI 기술을 통한 사람 수준의 단위 객체/비정형 장면구성 인지 기술과 이를 기반으로 하는 콘텐츠 구성요소의 관계 연관 분석을 통한 의미론적 검색 및 추론 수행 및 인간의 세분화된 미세 감정 인식을 통한 환경/상황 인지 기반 핵심기술 개발이 요구되고 있다.
디지털 감정 쌍등이 기술은 인간이 느끼는 오감과 동일한 느낌을 재현하는 극사실적 디지털 휴먼트윈에 인간이 사물을 인식하는 것과 동일한 수준의 인식능력을 구현하고, 이를 통해 원격지에 계신 부모님, 친구들과 입체적인 통신을 하면서 실감 교류를 할 수 있고, 과거 추억의 사람, 애완동물까지도 완벽한 거울 쌍둥이로 저장해 두었다가 언제든 실감나게 재현하며 추억을 떠올리며 감정을 치유 받고 회복하는 시간을 누릴 수 있을 것으로 기대된다.
2024년경에는 실제 공간에 대해 실측 정보까지 포함하는 완벽한 3차원 실시간 취득과 재현이 가능해지고, 부가장비 없이도 영상만으로도 공간의 조명과 물체들의 재질 정보까지도 획득하고 인간 눈과 동일한 수준의 Dynamic Range로 재현해내는 수준으로 발전될 것으로 전망된다. 또한, 나와 구분이 안 될 정도의 나와 똑같은 디지털 휴먼 외형뿐만 아니라 행동까지도 구분하기 힘들 정도로 만들고 재현하는 수준까지 발전할 것으로 전망된다.

참고문헌 (32)

한국전자통신연구원, "지능정보사회로 가는 길: 기술발전지도 2035," 2020. 6.
이헌주 외, "실세계 연계 실감형 e-레저 콘텐츠 서비스 기술 개발," 2연차보고서, 2017, https://data.doi.or.kr/10.23000/TRKO201700005025
K. Guo et al., "The relightables: Volumetric performance capture of humans with realistic relighting," ACM Trans. Graphics, vol. 38, no. 6, 2019, doi: 10.1145/3355089.3356571

상세보기
T. Sun et al., "Single image portrait relighting," ACM Trans. Graphics, vol. 38, no. 6, 2019, doi: 10.1145/3306346.3323008

상세보기
B. Bhatnagar et al., "Multi-garment net: Learning to dress 3D people from images" in Proc. IEEE/CVF Int. Conf. Comput. Vis. Seoul, Rep. of Korea, 2020, doi: 10.1109/ICCV.2019.00552.
S. Suwajanakorn, S.M. Seitz, and I. Kemelmacher-Shlizerman, "Synthesizing obama: Learning lip sync from audio," ACM Trans. Graphics, vol. 36, no. 4, 2017, doi:10.1145/3072959.3073640

상세보기
J. Light, "Here's how ILM de-aged 'The irishman' cast," No Film School, Dec. 4, 2019, https://nofilmschool.com/the-irishman-de-aging-behind-the-scenes
https://www.pinscreen.com/
와이어드코리아, "삼성의인공인간 '네온'은어떤모습일까," WireKR, https://www.wired.kr/news/articleView.html?idxno803
D. Mikhalchuk, "TESLASUIT introduces its brand-new VR-gloves," TESLASUIT, Dec. 27, 2019, https://teslasuit.io/blog/teslasuit-introduces-its-brand-new-vr-gloves/
최창현, "싱가폴국립대, 사람보다 1000배 예민한 '전자피부' 개발...인텔 뉴로모픽 칩 활용," AI타임즈, 2020. 7. 16.
이재구, "MIT, 하버드대 인공지능 팀, 보고 느낀후 집어드는 로봇손 개발," AI타임즈, 2020. 6. 3.
김영준, "KAIST, 실제 물체 쥔 것 같은 VR 컨트롤러 구현," 전자신문, 2020. 11. 19.
이호진, "청각장애인도 노래 부를 수 있다...촉각으로 소리 전달," 연합뉴스, 2020. 4. 19.
박진석, "촉각 증강 기술을 위한 3D 나노구조체 활용 고탄성 압전 세라믹 신소재 개발," 특허뉴스, 2020. 12. 3.
안희권, "페이스북, 난청까지 해결하는 AR 글래스 만드나," 아이뉴스 24, 2020. 9. 4.
산경투데이, "서울대, 가상현실에서 냉.열감 구현하는 전자피부개발 공대," 2020. 4. 7.
https://fulldivetech.com/
E. Pezent et al., "Explorations of wrist haptic feedback for AR/VR interactions with tasbi," in Proc. Extended Abstract CHI Conf. Hum. Factor Comput. Syst. Honolulu, HI, USA, Apr. 2020, doi: 10.1145/3334480.3383151.
X. Yu et al., "Skin-integrated wireless haptic interfaces for virtual and augmented reality," Nature vol. 575, 2019, pp. 473-479.

상세보기
https://haptx.com/
https://www.bhaptics.com/
구본혁, "KAIST 창업기업 테그웨이, 'CES 2020' 혁신상 수상," 헤럴드경제, 2019. 11. 8.
P.-O. Pigny and L. Dominjon,"Using CNNs for users segmentation In video see-through augmented virtuality," in Proc. IEEE Int. Conf. Artif. Intell. Virtual Reality. Sandiego, CA, USA, Dec. 2019, pp. 229-234.
APPLE, "ARKit 4," https://developer.apple.com/kr/augmented-reality/arkit/
https://www.ultraleap.com/
https://optitrack.com/
최종우 외,"후각 바이오 정보 기반 치매 가상증강콘텐츠 기술 동향," 전자통신동향분석, 제34권 제4호, 2019, pp. 89-97.

원문보기 상세보기
이지은, "후각과 알츠하이머병," J. Rhinolopy, vol. 24, no. 2, 2017, pp. 1-7.

상세보기
Insent, "TS-5000Z," http://www.insent.co.jp/en/products/ts5000z_index.html
Alpha MOS, "ASTREE-Taste analysis," https://www.alphamos.com/astree-taste-analysis
사이언스타임즈, "가상 현실 능가할 '가상 맛보기' 기술 탄생", 2020. 6. 16.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증