본 논문은 학습으로 공감각 현상을 지각할 수 있는 의도적인 공감각을 기반으로 신체의 움직임에서 시각과 청각정보로의 변환 및 역변환 시스템을 구현하였다. 신체의 움직임은 웨어러블 암밴드인 Myo의 출력인 오일러 각을 사용하였고, 근감각 정보로서 롤(Roll), 피치(Pitch), 요(Yaw) 신호를 사용하였다. 또한, 시각과 청각 정보로서 미디(MIDI, Musical Instrument Digital Interface)신호와 HSI 컬러 모델을 사용하였다. 근감각 신호와 시 청각 신호 사이의 상호변환 방법은 일대일 대응 관계를 적용함으로써 직관적으로 쉽게 유추할 수 있도록 하였다. 시뮬레이션 결과에서 신체의 움직임 정보와 시 청각 정보의 상호변환이 가능함을 ROS(Root Operation System)와 3D 시뮬레이션 툴인 Gazebo를 사용하여 입력과 출력을 비교하였고 변환 오차가 작음을 확인하였다.
본 논문은 학습으로 공감각 현상을 지각할 수 있는 의도적인 공감각을 기반으로 신체의 움직임에서 시각과 청각정보로의 변환 및 역변환 시스템을 구현하였다. 신체의 움직임은 웨어러블 암밴드인 Myo의 출력인 오일러 각을 사용하였고, 근감각 정보로서 롤(Roll), 피치(Pitch), 요(Yaw) 신호를 사용하였다. 또한, 시각과 청각 정보로서 미디(MIDI, Musical Instrument Digital Interface)신호와 HSI 컬러 모델을 사용하였다. 근감각 신호와 시 청각 신호 사이의 상호변환 방법은 일대일 대응 관계를 적용함으로써 직관적으로 쉽게 유추할 수 있도록 하였다. 시뮬레이션 결과에서 신체의 움직임 정보와 시 청각 정보의 상호변환이 가능함을 ROS(Root Operation System)와 3D 시뮬레이션 툴인 Gazebo를 사용하여 입력과 출력을 비교하였고 변환 오차가 작음을 확인하였다.
This paper has implemented a mutual conversion system that mutually converts between body motion signals and both visual and auditory signals. The present study is based on intentional synesthesia that can be perceived by learning. The Euler's angle was used in body movements as the output of a wear...
This paper has implemented a mutual conversion system that mutually converts between body motion signals and both visual and auditory signals. The present study is based on intentional synesthesia that can be perceived by learning. The Euler's angle was used in body movements as the output of a wearable armband(Myo). As a muscle sense, roll, pitch and yaw signals were used in this study. As visual and auditory signals, MIDI(Musical Instrument Digital Interface) signals and HSI(Hue, Saturation, Intensity) color model were used respectively. The method of mutual conversion between body motion signals and both visual and auditory signals made it easy to infer by applying one-to-one correspondence. Simulation results showed that input motion signals were compared with output simulation ones using ROS(Root Operation System) and Gazebo which is a 3D simulation tool, to enable the mutual conversion between body motion information and both visual and auditory information.
This paper has implemented a mutual conversion system that mutually converts between body motion signals and both visual and auditory signals. The present study is based on intentional synesthesia that can be perceived by learning. The Euler's angle was used in body movements as the output of a wearable armband(Myo). As a muscle sense, roll, pitch and yaw signals were used in this study. As visual and auditory signals, MIDI(Musical Instrument Digital Interface) signals and HSI(Hue, Saturation, Intensity) color model were used respectively. The method of mutual conversion between body motion signals and both visual and auditory signals made it easy to infer by applying one-to-one correspondence. Simulation results showed that input motion signals were compared with output simulation ones using ROS(Root Operation System) and Gazebo which is a 3D simulation tool, to enable the mutual conversion between body motion information and both visual and auditory information.
본 논문에서는 의도적인 공감각을 기반으로 신체의 움직임에서 시각과 청각 정보로의 변환 및역변환 시스템을 구현한다. 변환 방법은 사람이 학습해 쉽게 사용할 수 있어야 함으로 일대일 대응 관계를 적용함으로써 쉽게 유추할 수 있도록 하였다.
제안 방법
변환의 확인은 ROS(Robot Operation System)를 이용하여 조작 물체를 생성하고, 조작 물체의 제어를 입력되는 미디(MIDI, Musical Instrument Digital Interface) 신호 또는 HSI(Hue, Saturation, Intensity) 컬러 모델 데이터를 롤(Roll), 피치(Pitch), 요(Yaw) 데이터로 변환하여 ROS 모델을 구독하고 있는 Gazebo 3D 모델에 전달한다. Gazebo는 ROS에서 전달된 모델 및 롤(Roll), 피치(Pitch), 요(Yaw) 데이터를 실시간으로 구독하여 모델의 회전 값으로 변환하여 보여 줌으로써 3D 실시간 시뮬레이션을 구현하였다.
본 논문에서는 의도적인 공감각을 기반으로 신체의 움직임에서 시각과 청각 정보로의 변환 및역변환 시스템을 구현한다. 변환 방법은 사람이 학습해 쉽게 사용할 수 있어야 함으로 일대일 대응 관계를 적용함으로써 쉽게 유추할 수 있도록 하였다. 변환의 확인은 ROS(Robot Operation System)를 이용하여 조작 물체를 생성하고, 조작 물체의 제어를 입력되는 미디(MIDI, Musical Instrument Digital Interface) 신호 또는 HSI(Hue, Saturation, Intensity) 컬러 모델 데이터를 롤(Roll), 피치(Pitch), 요(Yaw) 데이터로 변환하여 ROS 모델을 구독하고 있는 Gazebo 3D 모델에 전달한다.
변환 방법은 사람이 학습해 쉽게 사용할 수 있어야 함으로 일대일 대응 관계를 적용함으로써 쉽게 유추할 수 있도록 하였다. 변환의 확인은 ROS(Robot Operation System)를 이용하여 조작 물체를 생성하고, 조작 물체의 제어를 입력되는 미디(MIDI, Musical Instrument Digital Interface) 신호 또는 HSI(Hue, Saturation, Intensity) 컬러 모델 데이터를 롤(Roll), 피치(Pitch), 요(Yaw) 데이터로 변환하여 ROS 모델을 구독하고 있는 Gazebo 3D 모델에 전달한다. Gazebo는 ROS에서 전달된 모델 및 롤(Roll), 피치(Pitch), 요(Yaw) 데이터를 실시간으로 구독하여 모델의 회전 값으로 변환하여 보여 줌으로써 3D 실시간 시뮬레이션을 구현하였다.
데이터처리
본 논문은 신체의 움직임을 시각과 청각정보로 상호 변환하는 시스템을 ROS와 Gazebo를 이용해 시뮬레이션 하였다. 시뮬레이션 결과를 통해 신체의 움직임 정보인 Myo의 자세 정보를 시각과 청각정보로 변환하였다가 다시 역 변환한 결과를 3D 모델인 Baxter로 확인하였고, 입력과 출력값을 그래프로 나타내어 비교하였다. 비교 결과, 상호변환에서 데이터가 크게 변하거나 오차가 크게 나타나는 문제는 없었다.
이론/모형
웨어러블 디바이스로 팔에 착용하여 9축 IMU 정보 및 8개의 EMG 데이터를 블루투스로 실시간 전송받을 수 있다. 본 논문에서는 9축 IMU를 이용해 오일러 각으로 변환된 값을 이용한다. 그림 2(b)는 팔에 착용한 모습으로 센서의 방향과 위치를 나타낸다.
성능/효과
시뮬레이션 결과를 통해 신체의 움직임 정보인 Myo의 자세 정보를 시각과 청각정보로 변환하였다가 다시 역 변환한 결과를 3D 모델인 Baxter로 확인하였고, 입력과 출력값을 그래프로 나타내어 비교하였다. 비교 결과, 상호변환에서 데이터가 크게 변하거나 오차가 크게 나타나는 문제는 없었다. 실험에서 최대 3% 정도의 오차가 출력되는 것을 확인하였다.
3%의 오차는 MIDI 넘버에서 음계가 3∼4개 사이의 차이가 날 가능성이다. 실험 결과로 볼 때 상호변환을 해서 나타나는 오차로 인해 사람이 인지해서 유추하는 움직임에 영향을 주지 않을 것이다.
후속연구
의도적인 공감각을 이용한 시각화 및 청각화 연구가 활성화된다면 시각 또는 청각 장애인을 위한 편의 장비의 개발, 개인 트레이닝 및 전문가의 도움 없이 물리치료를 할 수 있는 장치, 공감각 기반 새로운 로봇 시스템 및 휴먼 컴퓨터 인터페이스 등 광범위하고 다양한 응용 시스템의 개발 분야에서 활용될 수 있을 것으로 기대한다.
향후 연구과제로서, 신체의 움직임 정보에서 색과 음의 기본 요소로의 시·청각화로부터 나아가 영상의 3요소인 컬러(Color), 질감(Texture), 형태(Shape)와 음악의 3요소인 리듬(Rhythm), 멜로디(Melody), 하모니(Harmony)의 각 속성의 연관성을 기반으로 하는 시·청각화 정보로 상호 변환하는 방법을 연구할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
시각과 청각은 인간이 가장 많이 사용하는 감각기관인데 현재까지 각각의 정보 전달 기술의 발전 수준은?
시각과 청각은 인간이 가장 많이 사용하는 감각기관으로서 정보 대부분을 시각과 청각에 의존하여 살아간다. 이러한 점 때문에 정보의 시각화 분야는 꾸준히 발전해 나가고 있으며 최근 IT 분야의 키워드가 되고 있는 클라우드 컴퓨팅, 빅데이터 기술은 시각정보에 더욱 많은 정보를 담아 사람들에게 전달할 수 있게 되었다. 반면에 청각화의 경우 아직 시각화와 비교하면 정보를 담아서 전달하는 기능은 아직 발달하지 않았으며 여러 가지 시도들이 이루어지고 있다[5]-[7].
글자 장난감이란?
문자-색상 공감각자에 대한 연구 중 문자-색상 인지 패턴이 비슷한 그룹을 대상으로 연구를 진행한 결과, 공감각자들이 어렸을 때 가지고 놀던 글자 장난감과 관련이 있다는 사실을 발견하였다. 글자 장난감은 영어 알파벳 모양의 블록으로 알파벳마다 특정한 색이 있는 장난감이다. 실험에 참여한 공감각자들은 비슷한 글자-색상 패턴을 나타내었고, 이 패턴이 어릴 때 가지고 놀던 글자 장난감과 대부분 일치했다.
근감각 또는 고유감각이라고 불리는 제6의 감각은 어디서 담당하는가?
하지만 사람이 인지하는 감각 중 또 다른 중요한 감각으로 신체의 움직임을 감지하는 감각으로 제6의 감각이 있다. 이 감각은 근감각(Muscular Sense) 또는 고유감각(proprioception)으로 불리며, 근육의 길이, 관절의 위치 등에 대한 신체 내부의 감각으로 근육에 있는 근방추와 힘줄의 골지 힘줄 기관이 담당한다. 골지 힘줄 기관은콜라겐 다발을 신경이 휘감고 있는 것으로 근섬유와 힘줄의 연결부에 위치한다[1]-[3].
참고문헌 (15)
K. Jun. "Synesthetic Expression of Sounds and Colors," Master's Thesis of Ewha Womans University, 2004.
Y. Kim, "A Study on the Factors That Create Synesthesia," Doctor's Thesis of Hong-Ik Universisy, 2005.
M. Bae, S. Kim, "Implementation of Muscular Sense into both Color and Sound Conversion System based on Wearable Device," Journal of Korea Multimedia Society, Vol. 19, No. 3, pp.642-649, 2016.DOI: 10.9717/kmms.2016.19.3.642
Suslick, S Kenneth. "Synesthesia in science and technology: more than making the unseen visible," Current opinion in chemical biology Vol. 16, No. 5, pp. 557-563, 2012.DOI:10.1016/j.cbpa.2012.10.030
J. Jang, "The Study on Visual Language for Visualizing Taste," Master's Thesis of Yonsei University, 2017.
S. Cho, "Developing Digital Contents Using Multimedia Tehnology", Digital Contents Society, Vol. 1, No. 1, pp. 103-110, 2000.
J. Baek, "Media Art Musical Sonification based on Cityscope," Master's Thesis of Chung-Ang University, 2015.
S. Kim, "Conversion of Image into Sound Based on HSI Histogram," The Journal of the Acoustical Society of Korea, Vol. 30, No. 3, pp. 142-148, 2011.DOI:10.7776/ASK.2011.30.3.142
D. Bor, N. Rothen, D. Schwartzman, S. Clayton, A. Seth, "Adults Can Be Trained to Acquire Synesthetic Experiences," Scientific Reports 4, No. 7089, 2014.DOI:10.1038/srep07089
Witthoft, Nathan, and Jonathan Winawer. "Learning, memory, and synesthesia." Psychological science, Vol. 24, No. 3, pp. 258-265, 2013.DOI:10.1177/0956797612452573
M. Bae, S. Kim, "Implementation of the Visualization and Sonification System of Human Movements based on Intentional Synesthesia," Journal of Korean institute of intelligent systems, Vol. 28, No. 1, pp. 83-90, 2018.DOI:10.5391/JKIIS.2018.28.1.83
J. Messias, R. Ventura, P. Lima, and J. Sequeira, "ROS in the MOnarCH Project: A Case Study in Networked Robot Systems," Robot Operating System (ROS) Springer International Publishing, pp.375-395, 2016.DOI:10.1007/978-3-319-26054-9_14
K. Nathan and A. Howard, "Design and use paradigms for gazebo, an open-source multi-robot simulator," Proc. Intelligent Robots and Systems, vol3, 2004.DOI:10.1109/IROS.2004.1389727
I. Zamora, N. G. Lopez, V. M. Vilches, and A. H. Cordero, "Extending the OpenAI Gym for robotics: a toolkit for reinforcement learning using ROS and Gazebo," arXiv:1608.05742v2 [cs.RO], Feb. 2017.
T. Kenta, A. Toshinori el al. "Simulation Environment for Mobile Robots Testing Using ROS Gazebo," System Theory, Control and Computing(ICSTTCC) IEEE, pp.96-101, 2016.DOI:10.1109/ICSTCC.2016.7790647
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.