최근 부품기술 및 미디어 처리기술의 발전과 함께 HDTV를 이을 UHDTV 서비스가 곧 도래할 것이라는 예상이 기정사실화되고 있다. 이에 따라 HDTV에서 5.1채널 서라운드 사운드를 제공했던 오디오 기술도 UHDTV 시대의 도래와 함께 어떠한 서비스를 제공하여야 할지 고민하여야 할 시점에 와 있다. 그러나 현실은 HDTV의 5.1채널 사운드 포맷조차도 가정에서의 설치 및 유지의 어려움으로 인해 시장에서의 고전을 면치 못하고 있다. 한편, 영화 사운드 시장에서는 오랫동안 사용되고 있던 5.1, 7.1 채널 사운드 포맷이 돌비 ATMOS, IOSONO, AURO3D 등 천정 사운드와 객체기반 오디오를 포함하는 하이브리드 오디오 기술이 잇달아 도입되면서 일대 격변기를 맞이하고 있다. 이러한 객체기반 오디오 기술은 홈씨어터 및 방송 오디오 시장에서도 도입이 확실시되고 있는 실정이며, 이러한 오디오 기술의 변화는 유연성이 결여된 채널기반 오디오의 기술 발전 및 시장 성장의 활로를 개척하는 호기가 될 것으로 전망된다. 따라서 본 논문에서는 UHDTV 방송에 적합한 실감 오디오 기술에 대한 고찰과 이와 관련된 하이브리드 오디오 기술의 콘텐츠 포맷 및 가정에서의 재현 방안에 대해서 기술하고 향후 전망을 고찰해 보고자 한다.
최근 부품기술 및 미디어 처리기술의 발전과 함께 HDTV를 이을 UHDTV 서비스가 곧 도래할 것이라는 예상이 기정사실화되고 있다. 이에 따라 HDTV에서 5.1채널 서라운드 사운드를 제공했던 오디오 기술도 UHDTV 시대의 도래와 함께 어떠한 서비스를 제공하여야 할지 고민하여야 할 시점에 와 있다. 그러나 현실은 HDTV의 5.1채널 사운드 포맷조차도 가정에서의 설치 및 유지의 어려움으로 인해 시장에서의 고전을 면치 못하고 있다. 한편, 영화 사운드 시장에서는 오랫동안 사용되고 있던 5.1, 7.1 채널 사운드 포맷이 돌비 ATMOS, IOSONO, AURO3D 등 천정 사운드와 객체기반 오디오를 포함하는 하이브리드 오디오 기술이 잇달아 도입되면서 일대 격변기를 맞이하고 있다. 이러한 객체기반 오디오 기술은 홈씨어터 및 방송 오디오 시장에서도 도입이 확실시되고 있는 실정이며, 이러한 오디오 기술의 변화는 유연성이 결여된 채널기반 오디오의 기술 발전 및 시장 성장의 활로를 개척하는 호기가 될 것으로 전망된다. 따라서 본 논문에서는 UHDTV 방송에 적합한 실감 오디오 기술에 대한 고찰과 이와 관련된 하이브리드 오디오 기술의 콘텐츠 포맷 및 가정에서의 재현 방안에 대해서 기술하고 향후 전망을 고찰해 보고자 한다.
Owing to the latest development of component and media processing technologies, UHDTV as a successor of the HDTV is expected that this will be coming soon realization. Accordingly, an audio technology that provides a 5.1-channel surround sound in home should be contemplating on what services should ...
Owing to the latest development of component and media processing technologies, UHDTV as a successor of the HDTV is expected that this will be coming soon realization. Accordingly, an audio technology that provides a 5.1-channel surround sound in home should be contemplating on what services should be provided with the advent of UHDTV era. In fact, however, the market of 5.1-channel audio is struggling, due to the difficulty of installation and maintenance of the multi speakers in a home. Meanwhile, the movie sound market for a long time been used in 5.1 and 7.1-channel sound formats, have changed as Dolby ATMOS, IOSONO, AURO3D etc. are launched one after another with the introduction of hybrid audio technologies that include the ceiling and object-based sounds. This very object-based audio technology is assured to be introduced in the home theater and broadcast audio market, and this change in audio technology is expected to be a breath of pioneering technological advances and market growth from the channel-based audio market that lacks flexibility. In this paper, we will investigate a suitable realistic audio solution for UHDTV, and introduce hybrid audio technologies, which is expected to be an audio technology for UHDTV, and we will describe the hybrid audio content format and reproduction methods in a home and consider the future prospects of realistic audio.
Owing to the latest development of component and media processing technologies, UHDTV as a successor of the HDTV is expected that this will be coming soon realization. Accordingly, an audio technology that provides a 5.1-channel surround sound in home should be contemplating on what services should be provided with the advent of UHDTV era. In fact, however, the market of 5.1-channel audio is struggling, due to the difficulty of installation and maintenance of the multi speakers in a home. Meanwhile, the movie sound market for a long time been used in 5.1 and 7.1-channel sound formats, have changed as Dolby ATMOS, IOSONO, AURO3D etc. are launched one after another with the introduction of hybrid audio technologies that include the ceiling and object-based sounds. This very object-based audio technology is assured to be introduced in the home theater and broadcast audio market, and this change in audio technology is expected to be a breath of pioneering technological advances and market growth from the channel-based audio market that lacks flexibility. In this paper, we will investigate a suitable realistic audio solution for UHDTV, and introduce hybrid audio technologies, which is expected to be an audio technology for UHDTV, and we will describe the hybrid audio content format and reproduction methods in a home and consider the future prospects of realistic audio.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이 지연과 이득값을 산출하기 위해서는 객체의 위치와 스피커어레이를 구성하는 각 스피커 유닛의 거리를 필요로 한다. 각 스피커 유닛의 지향성 특성은 수식을 간략화하여 계산량을 줄이기 위해 무시하였다. 이러한 최적화를 통해 얻어진 i 번째 스피커 유닛을 위한 지연과 이득값은 식 1과 같이 나타낼 수 있다.
2채널을 통해 표현하지 못하는 세밀한 음상정위는 객체 오디오를 통하여 정확한 위치에 렌더링할 수 있다. 또한 멀티채널 스피커를 설치하는데 부담을 느끼는 가정에서 손쉽게 설치하고 사용할 수 있는 스피커어레이 기반 음장합성에 의한 입체음향 렌더링 기술, 임의의 스피커 레이아웃에 대해서도 원 음장을 최대한 모사하여 표현하는 플렉서블 렌더링 기술, 헤드폰을 통해서도 입체음향을 재생할 수 있는 바이노럴 렌더링 기술 개발 등을 추진하게 되었으며, 다음 각 절에서는 이들 기술의 특징 및 구현에 대하여 차례로 논하고자 한다.
이상에서 실감오디오의 특징과 실감오디오가 현대의 멀티미디어 생활에 있어 매우 중요한 요소이며, 실감오디오를 위한 기존의 채널기반 오디오의 한계를 극복할 수 있는 방법으로서, 객체기반 오디오를 접목한 하이브리드 오디오기술이 UHDTV, 다시점 3DTV, 파노라마 영상, 홀로그램 영상 등 차세대 TV 방송을 위한 차세대 오디오 기술의 유력한 후보임을 살펴보았다. 또한 하이브리드 오디오 콘텐츠를 다양한 환경에서도 유연하게 재생해 주기 위한 방법으로 10.2채널 오디오 포맷의 개발, 스피커어레이 렌더링, 플렉서블 렌더링, 바이노럴 렌더링 기술에 대해서도 고찰해 보았다.
객체기반의 유연함과 채널기반의 효율성을 조합한 하이브리드 오디오 기술은 차세대 TV 방송에 활용될 것이 확실시되고 있는 한편, 차세대 TV 방송에 활용하기 위해서는 객체기반 음향의 표현 및 렌더링 방법, 채널기반 음향의 형식 및 렌더링 방법에 대한 고찰이 필요하다. 본 논문에서는 실감 오디오 기술의 필요성에 대해 환경변화와 휴먼팩터의 관점에서 살펴보고, 차세대 TV 방송을 위한 실감 음향기술로서 하이브리드 오디오를 중심으로 한 UHD 오디오 기술의 개념과 특징, 그리고, 콘텐츠 포맷 및 렌더링 기술을 포함하는 실감 오디오 재현 기술에 대하여 고찰하고자 한다.
가설 설정
10.2채널 오디오 포맷은 22.2채널 오디오 포맷에 비해 아래(Lower) 채널을 제외하고, 수평 및 천장(Height) 채널을 최적화한 형태라고 할 수 있다. 이렇게 채널수를 줄이면서도 음상정위 성능은 크게 차이가 나지 않음을 인간의 청각 모델을 통한 객관적 비교에서 검증할 수 있었다.
이러한 인간 청각의 방향 감지 해상도는 평균 5도라고 하며, 고도로 집중하는 경우 1도 차이의 음원도 구별할 수 있다는 실험결과가 있다. 이러한 청각의 평균적 공간 해상도 5도에 대해 구별이 가능한 음상의 개수를 스피커의 개수로 가정한다면, 청취자를 둘러싸는 구체에 1,650개의 스피커를 사용하는 것이 완벽한 실감음향을 재생할 수 있는 방법이라 할 수 있다. 그러나 패닝 방법에 의해 30도 이내의 각도에서는 비교적 정확한 음상을 표현할 수 있다는 것을 감안하면 46개의 스피커 배치로 실감음향을 재생할 수 있다.
제안 방법
UHD 사운드 기술 개발을 위해 최초로 UHDTV용 사운드 포맷을 제시했던 NHK의 22.2채널 오디오 포맷을 고려할 수도 있으나, 가정용으로는 현실적으로 너무 많은 채널이므로 실험을 통해 10.2채널을 제안하게 되었다. 10.
사용된 BRIR은 KEMAR HRTF를 기반으로 음질 왜곡이 최소화되도록 전처리를 수행하고, 인공적인 잔향을 생성하는 방법을 사용하였다. 구현된 BRIR은 최대한 소리가 헤드폰 밖에서 들리도록 음상의 외재화를 위한 일련의 튜닝이 적용되었다. 헤드폰 청취에 의한 음상의 외재화 성능(청감상 거리[cm])은 주관평가에 의해 표 3과 같은 결과를 얻었다.
다양한 기관에서 다양한 기술을 제안하였으며, 초기 반사음의 처리 방식으로는 ETRI, 연세대학교, Wilus가 함께 제안한 VOFF(Variable Order Filtering in Frequency-do- main) 방식이 채택되었고, 잔향 처리 방식으로는 독일 FhGIDMT에서 제안한 SFR(Sparse Frequency Reverberator) 방식이 최종적으로 DIS(Draft International Standard)에 채택되었다[11].
멀티채널 오디오 재생 환경에 따른 각 스피커의 BRIR을 계산한 후, 음원의 위치에 해당하는 각도의 BRIR과 컨볼루션하는 방법으로 헤드폰을 위한 스테레오 신호를 생성한다.
본 연구에서는 스피커어레이 기반 빔포밍을 이용한 벽반사 뿐만 아니라, 음장합성(WFS: Wave Field Syn- thesis) 및 집중 음원(Focused Sound)을 이용한 전방 거리감을 표현할 수 있는 기술을 사용함으로써, 전방에 있어서는 입체감 있는 음장 표현을 측후방에는 벽반사에 의한 가상 음상이 형성되도록 하였다. 뿐만 아니라 스피커어레이를 스크린 아래 및 위에 두 조를 배치하여 수직 음상도 표현할 수 있도록 하고 있다.
사용된 BRIR은 KEMAR HRTF를 기반으로 음질 왜곡이 최소화되도록 전처리를 수행하고, 인공적인 잔향을 생성하는 방법을 사용하였다. 구현된 BRIR은 최대한 소리가 헤드폰 밖에서 들리도록 음상의 외재화를 위한 일련의 튜닝이 적용되었다.
이론/모형
1채널) 정보를 이용하여 다운믹스 매트릭스를 생성하고, 생성된 다운믹스 매트릭스를 입력 멀티채널 오디오 신호에 적용함으로써 변화된 출력 멀티채널 오디오 신호를 생성한다. 다운믹스 매트릭스를 생성하는 알고리즘은 VABP을 확장한 개념을 사용하며, 다운믹스 과정 중에 발생할 수 있는 위상 불일치에 의한 신호상쇄는 입력 멀티채널 오디오 신호의 위상조정을 통해 방지하는 기술을 적용하였다. 그러나 VBAP이 가지고 있는 원천적인 문제점인 스피커 주위로 음상이 맺히는 문제는 여전히 내포하고 있다[12].
성능/효과
2채널 오디오 포맷에 비해 아래(Lower) 채널을 제외하고, 수평 및 천장(Height) 채널을 최적화한 형태라고 할 수 있다. 이렇게 채널수를 줄이면서도 음상정위 성능은 크게 차이가 나지 않음을 인간의 청각 모델을 통한 객관적 비교에서 검증할 수 있었다.
이상에서 실감오디오의 특징과 실감오디오가 현대의 멀티미디어 생활에 있어 매우 중요한 요소이며, 실감오디오를 위한 기존의 채널기반 오디오의 한계를 극복할 수 있는 방법으로서, 객체기반 오디오를 접목한 하이브리드 오디오기술이 UHDTV, 다시점 3DTV, 파노라마 영상, 홀로그램 영상 등 차세대 TV 방송을 위한 차세대 오디오 기술의 유력한 후보임을 살펴보았다. 또한 하이브리드 오디오 콘텐츠를 다양한 환경에서도 유연하게 재생해 주기 위한 방법으로 10.
후속연구
최근 모바일 단말을 통한 멀티미디어의 소비가 증가하고, 일반 가정에서 멀티채널 오디오 재현 시스템을 구축하는 것에 어려움이 있다는 점을 감안하였을 때, 바이노럴 기술은 점점 더 넓은 분야에 사용될 것으로 예상된다. 또한 바이노럴 기술은 멀티채널 오디오 콘텐츠의 재현 뿐 아니라, 가상현실, HMD(Head Mounted Display) 등에 적용되어 현실감을 증가 시킬 수 있어 활용 분야가 더욱 다양해질 것으로 예상된다.
또한, 음원의 획득에 있어서도, 음장분석, 음원분리 등 이미 녹음된 오디오 신호의 후처리 기술을 활용하여 객체화하는 방안과 영상획득과의 연동이 적극적으로 사용되어야 할 것으로 예상되며, 재생환경에서의 오디오 신호 렌더링 방법의 진화와 룸의 구조 및 특성을 측정하고, 보상하는 룸튜닝 기술 개발도 동반되어야 할 것이다.
아직은 객체기반 오디오 기술이 태동 단계로서 향후 많은 발전을 거듭할 것으로 예상되며, 보다 정확한 객체음의 표현을 위해서는 음원의 위치 외에도 지향성, 다중음원 등 음향의 벡터형 파라메터의 구성과 그에 따른 렌더링 방법에 대한 발전이 기대된다.
질의응답
핵심어
질문
논문에서 추출한 답변
오디오 기술의 변천 과정에서, 영화 사운드 기술을 시작으로 일정 기간 후 방송에 적용되는 이유는 무엇인가?
지금까지의 방송 오디오 기술의 변천 과정을 살펴보면, 영화 사운드 기술을 시발점으로 하여 일정 기간 후 방송에 적용되는 양상을 볼 수 있다. 이는 영화 콘텐츠가 비디오 테잎, DVD, BD(Blue-lay Disc) 등 가정용 매체를 통해 가정에 보급되면서, 홈씨어터 시스템이 가정의 중요한 미디어로 자리매김하기 때문이라 할 수 있다. 그러므로 영화 사운드를 중심으로 오디오 기술의 변천 과정을 살펴보면, 그 특징과 방송 오디오 기술의 발전 전망을 어느 정도 예상할 수 있다[1].
객체기반 오디오란 무엇인가?
객체기반 오디오는 채널기반 오디오로는 해결할 수 없는 융통성과청취공간에서의 대화형 서비스를 가능하게 하는스마트한 음향 기술이라 할 수 있다. 이러한 객체기반 음향은 콘텐츠 제작과 재생이 서로 종속되어 있던 채널기반 음향의 한계를 벗어날 수 있게 하는 한편, 음향 콘텐츠의 제작 및 재생기술과 관련 장비 및 서비스 시장이 보다 유연하게 성장할 수 있는 기반을 조성하고 있다고 긍정적으로 평가할 수 있다.
영화 사운드의 발전 과정은 어떠한가?
그러므로 영화 사운드를 중심으로 오디오 기술의 변천 과정을 살펴보면, 그 특징과 방송 오디오 기술의 발전 전망을 어느 정도 예상할 수 있다[1]. 영화 사운드는 1895년 무성영화 시대의 변사로 부터 시작하여, 1927년 모노 사운드, 1950년대 2채널 스테레오 사운드, 1970년대 서라운드 사운드, 2000년대 Beyond 5.1채널 입체 사운드로 발전해 왔다. 최근에는 돌비 ATMOS, IOSONO, AURO3D, MDA 등 채널기반 오디오와 함께 객체기반 오디오 기술을 접목하여 사용하는 하이브리드 오디오 기술이 태동하여, 오디오 산업에 대한 여파가 어떻게 될지 귀추가 주목되고 있다.
참고문헌 (14)
Daeyoung Jang, Jeongil Seo, Taejin Lee, Kyeongok Kang, “Present and Future of UHD Sound Technology”, Korea Society Broadcast Engineers Magazine Vol. 17, no. 5, pp.47-59, 2012. 10.
Diane Ackerman, A Natural History of the Senses [Translated by Young-mi Back], ISBN-8972882364, Jakkajungsin, Gyeonggi Province Korea, 259-335, 2012
Elana M. Zion Golumbic, etal, “Mechanisms Underlying Selective Neuronal Tracking of Attended Speech at a “Cocktail Party”,“ Neuron, Volume 77, 980-991, March, 2013
E. Verheijen, “Sound Reproduction by Wave Field Synthesis,” PhD Thesis, TU Delft, 1998.
G. Theile, “Wave Field Synthesis – A Promising Spatial Audio Rendering Concept,” Proc. 7th Int. Conf. Digital Audio Effects, Oct. 2004, pp. 125-132.
Taejin Park, Keunwoo Choi, Jeongil Seo, Daeyoung Jang, Kyeongok Kang, Jinwoong Kim, “Multichannel Compatible Two-layer Speaker Array System,” 3DSA 2014, Seoul, 2014. 5.
Daeyoung Jang, Jeongil Seo, Jae-hyoun Yoo, Taejin Park, Taejin Lee, “A Study of UHD Sound for Future TV Broadcasting,” Proceedings of the Korean Society of Broadcast Engineers Conference, 2014. 11.
N14747, “Text of ISO/IEC 23008-3/DIS, 3D audio,” ISO/IEC JTC1/SC29/WG11 (MPEG), July 2014.
Jeongil Seo, Daeyoung Jang, Kyeongok Kang, “Virtual Sound Source Rendering for Flexible Speaker Layouts,” Proceedings of the Korean Society of Broadcast Engineers Conference, 2014. 7.
Mincheol Shin, Filippo M. Fazi , Jeongil Seo, and Philip A. Nelson, “Efficient 3D sound field reproduction”, 130th AES Convention Paper, no. 8404, 2011. 5.
Jeongil Seo, Yong Ju Lee, Taejin Lee, Seungkwon Beack, ”Description of ETRI proposal for MPEG-H 3D Audio Binaural CE”, ISO/IEC JTC1/SC29/WG11 MPEG2013/M31271, 2013. 10.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.