[논문]음악 연주 휴머노이드 로봇

박현준; 김동한

음악 연주 휴머노이드 로봇 원문보기

電子工學會誌 = The journal of Korea Institute of Electronics Engineers, v.42 no.12 = no.379, 2015년, pp.26 - 32

박현준 (경희대학교 전자.전파공학과) , 김동한 (경희대학교 전자.전파공학과)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 이러한 한계점을 개선하기 위해 본 연구에서는 앞서 소개한 auditory feedback 기술을 HRI의 중요 요소라고 판단하였다. 따라서 기존에 있던 바이올린 연주 로봇을 개선하고, auditory feedback 시스템을 접목시킨 음질 평가 시스템에 대해 소개하려고 한다. 2장에서는 바이올린 로봇 시스템에 대해서 소개하고, 3장에서는 auditory feedback을 접목한 음질 평가 시스템에 대해서 소개한다.
이때 연주음의 음계는 기본 주파수와 크기에 의해 결정된다. 따라서 실시간으로 소리를 듣고, 기본 주파수와 크기 값을 추출할 수 있는 오디오 지각 시스템을 개발한다. 연주되는 소리를 실시간으로 획득하기 위해 다음 <그림 6>과 같은 저전력 오디오 앰프를 이용한 지각 시스템을 개발한다.
따라서 이러한 한계점을 개선하기 위해 본 연구에서는 앞서 소개한 auditory feedback 기술을 HRI의 중요 요소라고 판단하였다. 따라서 기존에 있던 바이올린 연주 로봇을 개선하고, auditory feedback 시스템을 접목시킨 음질 평가 시스템에 대해 소개하려고 한다.
바이올린의 소리는 전문가들의 평가로 전체적인 소리를 평가를 받기 때문에 바이올린 음질을 주관적으로 평가된다. 본 논문에서는 바이올린의 음질을 정량적으로 평가하기 위해 G.H.Q 음질 평가 시스템을 개발했다. G.
Quality 인자는 회로나 시스템에서 공진의 주파수와 날카로움을 나타내는 인자를 응용해 음질을 평가한다. 본 연구에서는 이러한 Quality 인자를 응용해 연주 되는 소리의 기음 주파수를 평가하는 Violin-Quality factor(f_VQ)를 개발했다. f_VQ는 연주하고자 하는 소리의 기음 주파수와 주변주파수의 크기들을 이용해 기음주파수의 크기로 대역폭 값을 구한다.
우선 Gaussian 인자를 이용한 음질 평가에 대해 소개하겠다. Gaussian 인자는 연주되는 소리의 기음 주파수와 크기의 평균값으로 전반적으로 음을 일정하게 연주했는지에 대해 음질의 정확도를 평가한다.
이러한 치료 방법은 환자의 목소리를 마이크로 녹음하고, 25~74ms 지연시켜 헤드폰을 통해 다시 듣는 과정을 통하여 말더듬이 증상을 치료한다. 이러한 기법을 바이올린 로봇에 적용하여 음질을 스스로 향상시킬 수 있는 방법을 제안한다. <그림 4>는 이러한 바이 올린 연주 로봇의 시스템 흐름도를 나타낸다.
지금까지 auditory feedback 시스템을 접목한 바이올린 연주 로봇에 대하여 소개하였다. 향후 사람과 협연이 가능한 로봇 시스템으로 발전시킬 예정이며, 많은 실험을 통해 데이터를 수집하여 G.

제안 방법

바이올린은 성인들이 사용하는 4/4 크기를 사용하며 외부 잡음에 강한 전자 바이올린을 사용한다. 고정을 위해 바이올린의 형태를 변형할 경우 악기의 고유 소리가 변하기 때문에 최대한 바이올린에 손상을 주지 않는 흡착식 방식으로 고정했다. 로봇의 오른팔의 end-effector는 현악기를 연주할 때, 활을 잡는 역할을 한다.
이러한 요소를 이용하여 소리의 음질을 평가한다. 또한 본 시스템은 바이올리니스트와 바이올린 로봇에 적용해 다양한 연주점, 활의 속도, 활의 힘에 따라 소리를 평가해 시스템의 음질 평가에 대한 신뢰성을 확인했다.
<그림 7>과 같이 바이올린 소리는 픽업 장치를 사용하여 현의 진동을 아날로그 전기신호로 변환되어 출력되고 오디오전용 앰프로 소리를 증폭 시켜 4000Hz 샘플링 주파수로 입력 받는다. 본 시스템에서는 30Hz 마다 샘플링하여 FFT를 수행한다. 설정된 Timer을 사용 하여 연주되는 소리를 12bit A/D 변환하고, DMA(Direct Memory Access, DMA)기능으로 원하는 샘플링 시간 마다 FFT 처리하여 STFT 기능을 구현했다.
본 연구에서는 이러한 연주 점을 파악하기 위하여 와 같이 10mm 간격으로 반사형 포토 인터럽트 5개를 일렬로 배치한다.
본 시스템에서는 30Hz 마다 샘플링하여 FFT를 수행한다. 설정된 Timer을 사용 하여 연주되는 소리를 12bit A/D 변환하고, DMA(Direct Memory Access, DMA)기능으로 원하는 샘플링 시간 마다 FFT 처리하여 STFT 기능을 구현했다. 이와 같은 과정으로 기음 주파수와 크기를 구할 수 있다.
바이올린 연주자의 행동을 모방한 auditory feedback 구조를 적용시킨 바이올린 로봇 시스템의 흐름도는 <그림 11>와 같다. 실제 사람 연주자의 청각 피드백 모방한 제어시스템과 음질을 판단 할 수 있는 G.H.Q 음질 평가 시스템을 바이올린 연주 로봇에 접목시켜 초기 음을 듣고 음질을 판단하여 스스로 연주점의 위치, 활의 힘, 활의 속도를 추정하여 다음 연주 시 좋은 음이 나도록 연주점과 활의 힘, 속도를 변경한다. 이러한 과정을 반복하며 G.
연주되는 소리를 실시간으로 획득하기 위해 다음 과 같은 저전력 오디오 앰프를 이용한 지각 시스템을 개발한다.
기음 주파수는 소리의 음계와 음정을 나타내고 배음 주파수는 소리의 음색을 결정한다. 이러한 요소를 이용하여 소리의 음질을 평가한다. 또한 본 시스템은 바이올리니스트와 바이올린 로봇에 적용해 다양한 연주점, 활의 속도, 활의 힘에 따라 소리를 평가해 시스템의 음질 평가에 대한 신뢰성을 확인했다.
앞서 언급된 바와 같이 auditory feedback은 의료 분야에서 말더듬이 치료 방법으로 주로 연구되었다. 이러한 치료 방법은 환자의 목소리를 마이크로 녹음하고, 25~74ms 지연시켜 헤드폰을 통해 다시 듣는 과정을 통하여 말더듬이 증상을 치료한다. 이러한 기법을 바이올린 로봇에 적용하여 음질을 스스로 향상시킬 수 있는 방법을 제안한다.
활의 누르는 힘과 비틀리는 힘을 측정하기 위해 로봇팔 끝 단에 활 손잡이를 제작하여 힘 센서를 장착하였다. 현재 제작된 로드셀은 쌍안경 구조가 2개가 존재한다.
이때 활과 현이 적절한 압력으로 눌러지도록 지탱할 수 있게 설계를 하였다. 활의 위치에 따라 소리의 음질이 바뀔수 있기 때문에 현악기 연주 시 음의 보정을 위하여 활의 위치를 조절할 수 있는 장치를 설계하였다.

대상 데이터

본 연구에서 개발된 로봇은 6축 다관절 산업용 로봇팔 (RV-2SD)을 이용하여 제작하였다. 제작된 바이올린 로봇은 <그림 3>과 같으며, 사람과 유사한 형태를 취하고 있다.

성능/효과

<그림 12>는 실제 바이올린 로봇에 auditory feedback 시스템을 적용시킨 결과이다. 1번째 실험에서 3번째 실험으로 갈수록 음질의 부족한 점을 스스로 판단하고, 바이올린 전문가의 표준 정보와 비교하여 연주점과 활의 속도를 변경하는 결과를 보이며, 3번째 실험에서 G.H.Q 음질 평가 시스템의 모든 조건에 만족하는 결과를 얻었다.
<그림 10>은 바이올린 전문가, 바이올린 초보자 그리고 로봇의 연주를 Q-factor 평가 방법을 통해 분석한 결과이다. 바이 올린 연주 실력에 따라 음의 날카로움과 선명도가 다르다는 것을 확인할 수 있고, Q-factor 평가 에 대한 신뢰성을 검증했다.

후속연구

앞서 언급한 바와 같이 본 연구에서는 STFT를 구현하여 시간영역에서의 정보와 주파수 영역에서의 정보를 동시에 살펴보는 것이 가능해진다. 이 해석기법은 소리를 빠르게 분석할 수 있고, 비교적 간섭에 대한 영향이 적다는 장점이 있다.
Q 음질 평가 시스템의 신뢰도와 정확도를 더욱 향상시킬 것이다. 추가적으로 여러 명의 바이올린 전문가를 초빙하여 바이올린 로봇 연주 결과를 평가 받을 것이다.
지금까지 auditory feedback 시스템을 접목한 바이올린 연주 로봇에 대하여 소개하였다. 향후 사람과 협연이 가능한 로봇 시스템으로 발전시킬 예정이며, 많은 실험을 통해 데이터를 수집하여 G.H.Q 음질 평가 시스템의 신뢰도와 정확도를 더욱 향상시킬 것이다. 추가적으로 여러 명의 바이올린 전문가를 초빙하여 바이올린 로봇 연주 결과를 평가 받을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Waseda 대학에서 개발한 Waseda Saxophonist Robot과 Flutist Robot의 의의와 한계는?	이 로봇들은 공기 펌프 등을 이용 하여 인위적인 공기의 흐름 제어를 통해 이를 관악기에 흡기시켜 연주한다. 이는 사람의 장기인 폐를 흉내냈다는 것에서 큰 의미를 찾을 수 있다. 하지만, 주로 사람의 연주와 흡사한 기계적인 장치만을 모사했다는 한계가 있다. 다른 종류의 악기 연주로봇으로써 Toyota에서는 정밀한 제어 기술을 이용한 바이올린 로봇을 개발하여, 실제 시연을 하였다[6].
	auditory feedback 치료 방법 과정은?	앞서 언급된 바와 같이 auditory feedback은 의료 분야에서 말더듬이 치료 방법으로 주로 연구되었다. 이러한 치료 방법은 환자의 목소리를 마이크로 녹음하고, 25~74ms 지연시켜 헤드폰을 통해 다시 듣는 과정을 통하여 말더듬이 증상을 치료한다. 이러한 기법을 바이올린 로봇에 적용하여 음질을 스스로 향상시킬 수 있는 방법을 제안한다.
	auditory feedback은 의료 분야에서 어떤 방법으로 주로 연구되었는가?	앞서 언급된 바와 같이 auditory feedback은 의료 분야에서 말더듬이 치료 방법으로 주로 연구되었다. 이러한 치료 방법은 환자의 목소리를 마이크로 녹음하고, 25~74ms 지연시켜 헤드폰을 통해 다시 듣는 과정을 통하여 말더듬이 증상을 치료한다.

참고문헌 (11)

Fujita, M., & Kitano, H. (1998). Development of an autonomous quadruped robot for robot entertainment. Autonomous Robots, 5(1), 7-18.

상세보기
Yates, Aubrey J. Delayed auditory feedback. Psychological bulletin, 1963, 60(3), 213-232.

상세보기
Cai, S. Online control of articulation based on auditory feedback in normal Speech and stuttering: behavioral and modeling studies, 2011, Diss. Massachusetts Institute of Technology
Solis, J., Takanishi, A., & Hashimoto, K. (2010). Development of an Anthropomorphic Saxophone-Playing Robot. In Brain, Body and Machine (pp. 175-186). Springer Berlin Heidelberg.
Solis, J., Chida, K., Suefuji, K., & Takanishi, A. (2006). The development of the anthropomorphic flutist robot at Waseda University. International Journal of Humanoid Robotics, 3(02), 127-151.

상세보기
Kusuda, Y. (2008). Toyota's violin-playing robot. Industrial Robot: An International Journal, 35(6), 504-506.

상세보기
Shibuya, K., Matsuda, S., & Takahara, A. (2007, August). Toward developing a violin playing robot-bowing by anthropomorphic robot arm and sound analysis. In Robot and Human interactive Communication, 2007. RO-MAN 2007. The 16th IEEE International Symposium on (pp. 763-768). IEEE.
Shibuya, K., Asada, T., & Sugano, S. (1998, October). An algorithm to convert KANSEI data into human motion. In Systems, Man, and Cybernetics, 1998. 1998 IEEE International Conference on (Vol. 2, pp. 1190-1194). IEEE.
Shibuya, K., Matsuda, S., & Takahara, A. (2007, August). Toward developing a violin playing robot-bowing by anthropomorphic robot arm and sound analysis. In Robot and Human interactive Communication, 2007. RO-MAN 2007. The 16th IEEE International Symposium on (pp. 763-768). IEEE.
Shibuya, K., Matsuda, S., & Takahara, A. (2007, August). Toward developing a violin playing robot-bowing by anthropomorphic robot arm and sound analysis. In Robot and Human interactive Communication, 2007. RO-MAN 2007. The 16th IEEE International Symposium on (pp. 763-768). IEEE.
Wonse Jo, Hyeonjun Park, Bumjoo Lee, Donghan Kim. A study on improving sound quality of violin playing robot. In: Automation, Robotics and Applications (ICARA), 2015 6th International Conference on. IEEE, 2015. p. 185-191.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증