본 논문에서는 개인방송서비스에서 실감 음향을 구현할 수 있도록, 화면 변화에 따른 음향 데이터의 변화를 추적하여, 자동적으로 화면과 음향을 믹싱하도록 도와주는 알고리즘을 제안하고자 한다. 실험을 통하여 화면의 회전각도 변화에 따른 음원에서의 고주파 대역에서의 음압 변화를 확인하였고, 소리의 명료도와 관련되는 주파수 대역인 2kHz, 4kHz, 8kHz에서의 음압 변화를 회귀분석을 통하여 각각 -1.17 dB/degree, -2.0 dB/degree, -2.44 dB/degree로 음압의 감쇄 변화 추세를 파악하였다. 이 실험결과는 음압열화를 보완하여 실감음향을 향상시키는 믹싱 알고리즘에 사용되어, 실감 개인방송 서비스 보급에 유용할 것으로 기대된다.
본 논문에서는 개인방송서비스에서 실감 음향을 구현할 수 있도록, 화면 변화에 따른 음향 데이터의 변화를 추적하여, 자동적으로 화면과 음향을 믹싱하도록 도와주는 알고리즘을 제안하고자 한다. 실험을 통하여 화면의 회전각도 변화에 따른 음원에서의 고주파 대역에서의 음압 변화를 확인하였고, 소리의 명료도와 관련되는 주파수 대역인 2kHz, 4kHz, 8kHz에서의 음압 변화를 회귀분석을 통하여 각각 -1.17 dB/degree, -2.0 dB/degree, -2.44 dB/degree로 음압의 감쇄 변화 추세를 파악하였다. 이 실험결과는 음압열화를 보완하여 실감음향을 향상시키는 믹싱 알고리즘에 사용되어, 실감 개인방송 서비스 보급에 유용할 것으로 기대된다.
In this paper, we propose an algorithm that can automatically mix the screen and sound by tracking the change of the sound data according to the screen change so that the real sound can be implemented in the personal broadcasting service. Since the personal broadcasting service is often broadcasted ...
In this paper, we propose an algorithm that can automatically mix the screen and sound by tracking the change of the sound data according to the screen change so that the real sound can be implemented in the personal broadcasting service. Since the personal broadcasting service is often broadcasted lively, it should be convenient to have a real-time mixing. Through experiments, it was confirmed that the sound pressure changes in a wide range in the high frequency band related to the clarity for understanding according to the rotation angle change of the screen. Regression analysis of the sound pressure changes at 2kHz, 4kHz, and 8kHz, The attenuation change of sound pressure was observed at the slope of -1.17, the slope of -2.0, and the slope of -2.44 for each frequency. Therefore, these experiment results can be applied to the VR service. This study is expected to be useful data in the implementation of personal broadcasting service.
In this paper, we propose an algorithm that can automatically mix the screen and sound by tracking the change of the sound data according to the screen change so that the real sound can be implemented in the personal broadcasting service. Since the personal broadcasting service is often broadcasted lively, it should be convenient to have a real-time mixing. Through experiments, it was confirmed that the sound pressure changes in a wide range in the high frequency band related to the clarity for understanding according to the rotation angle change of the screen. Regression analysis of the sound pressure changes at 2kHz, 4kHz, and 8kHz, The attenuation change of sound pressure was observed at the slope of -1.17, the slope of -2.0, and the slope of -2.44 for each frequency. Therefore, these experiment results can be applied to the VR service. This study is expected to be useful data in the implementation of personal broadcasting service.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 개인방송 서비스의 제작의 편의성 측면에서, 그리고, 태블릿 PC나 스마트폰과같이 작은 화면을 보는 시청자에게 몰입감과 현장감을 극대화시켜주는 측면에서, 화면시청 각도변화 측면에서 오디오를 어떻게 변화시켜줘야 하는가의 관점에서 오디오 믹싱에 관한 알고리즘을 제안하고자 한다.
가설 설정
화면 회전을 가정하여, 스피커를 0° ~ 90°까지 15°씩 같은 반경을 갖으며, 변경하여 음향데이터를 측정하였다. RODE NTG3 지향성 마이크를 이용한 실험의 결과로 각각의 거리에서 나타내어지는 주파수 응답을 그림 4과 같이 나타내었다.
제안 방법
개인방송서비스에서 음원이 회전하는 경우, 녹음을 위해 사용하는 범용성 마이크로는 소리의 명료도와 관계되는 고주파 대역에서의 음압의 열화를 피할 수 없기 때문에, 본 논문에서는 개인방송서비스에서 실감 음향을 구현할 수 있도록, 화면 내 객체의 회전 변화에 따라 고주파 음대역을 보강해 주는 믹싱 방식을 제안하였다. 화면 회전 변화에 따른 음상 정위는 ITD조정을 통하여 좀 더 몰입감을 줄 수 있는 음향 믹싱이 가능할 것으로 생각되며, 음의 명료도에 해당하는고주파는 보강되어야 시청자의 입장에서 몰입감을 잃지 않을 수 있다고 보고 있다.
앞에서 기술한 바와 같이 시청각도 변화를 감지한 영상정보에 따라 음향을 변화시킬 수 있게 되는데, 화면회전 정보에 따라서 음향을 변화시키기 위해서는 일정한 수치기준이 필요하다. 따라서 본 연구에서는 화면의 회전에 대한 가정으로 그림 3과 같이 스피커의 회전각도 및 거리 변화를 설정하여, 음압 측정 환경을 구성하고 실험을 진행하였다. 실제로 HMD나 VR기기를 착용한 상태에서 고개를 돌리는 행위 등이 이에 해당될 수 있으며, 개인방송 서비스에서 객체의 회전에 따라 음향이 달리 들리는 현상을 가정하여, 스피커의 회전을 시키며, 마이크로폰과의 정면으로부터 0도에서 90도까지의 15도씩의 회전각도 변화에 따른 녹음 실험을 진행하였다.
저주파수 대역은 위 그래프에서 보인 것처럼 변화가 거의 없었으나, 고주파 대역 중, 음의 명료도와 관련성이 있다고 판단되는 2kHz, 4kHz 그리고 8kHz는 음압레벨이 현저하였다. 또한, 반사음이 적게 수음되도록 지향성 마이크로 측정된 음압의 차이만을 데이터로 주파수 분석을 시도하였다.
데이터처리
특히, 선형적인 음압 변화를 확인하기 회귀분석 기법을 사용하였다. 회귀분석은 변수들 간의 관련성을 규명하기 위하여 수학적 모형을 가정하고 이를 측정된 데이터로부터 추정하는 통계적 분석방법으로, 그림5와 같은 선형적 변화를 찾아내는데 유리하였다.
후속연구
화면 회전 변화에 따른 음상 정위는 ITD조정을 통하여 좀 더 몰입감을 줄 수 있는 음향 믹싱이 가능할 것으로 생각되며, 음의 명료도에 해당하는고주파는 보강되어야 시청자의 입장에서 몰입감을 잃지 않을 수 있다고 보고 있다. 본 실험결과는 개인방송 시청환경의 VR을 활용한 개인방송서비스 구현 시, 유용한 자료가 될 것으로 기대한다.
질의응답
핵심어
질문
논문에서 추출한 답변
개인방송 서비스는 무엇인가?
개인방송 서비스는 방송관련 전문 인력이 아니더라도 개인이 고가의 방송 전문 장비를 활용하지 않으면서도 쉽고 편리하게 콘텐츠를 제작하고 시청자에게 몰입감과 현장감을 극대화시켜주는 실감형 콘텐츠를 제공하는 기술을 지칭한다. 그림 1은 개인방송 제작기술 시스템 운용 개념도를 나타낸다.
본 연구에서 지향성 마이크를 이용한 실험 결과로 나타나는 주파수 응답을 어떻게 나누었는가?
RODE NTG3 지향성 마이크를 이용한 실험의 결과로 각각의 거리에서 나타내어지는 주파수 응답을 그림 4과 같이 나타내었다. 크게 1kHz를 기준으로 저주파수 음향신호와 고주파수 음향신호로 나누었는데, 각각의 그림 4 (a), (b), (c)에서 저주파수보다고주파수에서 각도에 따라 음압이 크게 변화되는 것을 확인할 수 있었으며, 각도가 90도에서는 구분이 뚜렷하였다.
개인방송의 장점은 무엇인가?
개인방송은 전문가가 아닌 일반인을 대상으로 하여 제작 및 시청이 편리하도록 해야 하므로, 만족도 높은 기능을 쉽게 사용하게 하는 서비스 플랫폼이 개발되어야 하며, 사용자가 제공하고자 하는 서비스와 상호작용을 통해 직간접적으로 실감적 경험을 하도록 하는 것을 장점으로 한다[3]. 이와 같이, 개인방송 서비스 활용을 위한 다양한 기술적 발전이 꾸준히 이루어지고 있으나 이와 연동하여 시청자에게 개인방송 서비스만을 위한 실감의 음향 서비스를 제공하는 기술의 고려는 미흡한 실정이다.
참고문헌 (11)
H. Bae and K. Yoon, "Standardization trend of immersive media based on MPEG-V," J. of the Korea Institute of Communication and Information Sciences, vol. 32, no. 3, 2015, pp. 11-17.
W. Seo, K. Kim, and J. Jeong, "The trend of immersive miedia technology," J. of the Korea Institute of Communication and Information Sciences, vol. 30, no. 5, 4.2013, pp. 79-87.
D. Jang, J. Seo, T. Lee, and K. Kang, "Present and Future of UHD Sound Technology," Korea Society Broadcast Engineers Magazine, vol. 17, no. 5, 10.2012, pp. 47-59.
J. Chun and W. Kim, "3D face pose estimation by a robust real time tracking of facial features," Multimedia Tools and Applications, vol. 75, no. 23, 12. 2016, pp. 15693-15708.
K. Kim and H. Wei, "Development of a Face Detection and Recognition System Using a RaspberryPi," J. of the Korea Institute of Electronic Communication Sciences, vol. 12, no. 5, 2017, pp. 859-864.
S. K. Thompson, K. von Kriegstein, A. Deane-Pratt, T. Marquardt1, R. Deichmann, T. D. Griffiths, and D. McAlpine, "Representation of interaural time delay in the human auditory midbrain," Nature neuroscience, vol. 9, no. 9, 9.2006, pp. 1096-1098.
S. Sargunam, K. Moghadam, M. Suhail, and E. D. Ragan, "Guided head rotation and amplified head rotation: Evaluating semi-natural travel and viewing techniques in virtual reality," Virtual Reality(VR) 2017 IEEE, 3.2017.
H Wittek and G Theile, "Development and Application of a Stereophonic Multichannel Recording Technique for 3D Audio and VR," Audio Engineering Society Convention 143, 10.2017.
J. Park, "Audio Localization Method for VR Application," Audio Engineering Society Convention 143, 10.2017.
M. Raspaud, H. Viste, and G. Evangelista, "Binaural Source Localization by Joint Estimation of ILD and ITD," IEEE Transactions on Audio, Speech, and Language Processing, vol. 18, no. 1, 1.2010, pp. 68-77.
Y. Kim, S. Park, and D. Kim, "Research on Robust Face Recognition against Lighting Variation using CNN," J. of the Korea Institute of Information and Communication Engineering, vol. 12, no. 2, 2017, pp. 325-330.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.