영상은 동적인 시각 이미지와 청각의 결합에 의해 감성적인 반응을 유도한다. 다양한 영상 기법을 통하여 감성적 반응의 극대화를 추구하는 영화는 영상의 시청각적 요소들을 감성의 관점에서 효과적으로 설계하는데 본보기가 된다. 그러나, 제품의 설계속성들에 대한 감성적 평가결과를 모형화하는 감성공학적 관점에서 볼 때 영화는 시청각적 자극의 수준이 극히 다양하고 동적인 경험재로 모형화의 어려움이 있다. 본 연구에서는 영화의 감성 모형을 구축하기 위한 사전연구의 단계로 영화에서의 시청각적 요인들을 문헌조사를 통해 수집, 정리, 선별하고 이러한 시청각적 요인들 중에 영화를 관람하는 관객의 감성적, 인지적 반응에 영향을 주는 유효한 요인들을 객관적이고 체계적으로 탐색하고자 하였다. 이를 위해, 감성 및 인지적 반응의 변화를 생체신호를 통해 측정하는 한편, 생체신호의 측정 시 사용된 영화의 시청각적 자극요인을 Video/Audio Processing방법에 의해 연속적인 수치로 정량화하였다. 생체신호와 정량화된 시청각적 자극요인을 동기화하고 통계적으로 분석함으로써, 생체신호의 반응과 시청각적 자극요인과의 인과관계를 통계적으로 신뢰성있는 수준에서 검증하고자 하였다. 생체신호를 종속변수로, 시청각적 자극요인을 독립변수로 하는 896개의 부분선형회귀모형(Partial Linear Regression Model)들 중 통계적으로 유의한 선형관계에 있는 경우의 빈도분석에 의하면, 시각적 요인들 중에는 밝기(Brightness), 대비(Contrast), 색상(Color), 움직임(Motion), 장면전환속도(Shot change Rate), 주요대상의 상대적 크기가, 청각적 요인들 중에는 Peak주파수, Peak주파수의 음량, 평균음량, 소음비(Sound-to-Noise Ratio)가 생체신호의 변화에 통계적으로 유의한 영향을 주는 것으로 나타났다. 이는, 위의 시청각적 자극 요인들은 특히 관객의 감성 및 인지적인 반응에 유의한 영향을 주는 요소로 작용할 수 있음을 시사하고 있다. 이를 토대로, 위의 시청각적 자극 요인들이 가지는 다양한 조합들을 설명변수로 하는 통계적인 영화의 감성 모형을 구축할 수 있을 것으로 기대한다.
영상은 동적인 시각 이미지와 청각의 결합에 의해 감성적인 반응을 유도한다. 다양한 영상 기법을 통하여 감성적 반응의 극대화를 추구하는 영화는 영상의 시청각적 요소들을 감성의 관점에서 효과적으로 설계하는데 본보기가 된다. 그러나, 제품의 설계속성들에 대한 감성적 평가결과를 모형화하는 감성공학적 관점에서 볼 때 영화는 시청각적 자극의 수준이 극히 다양하고 동적인 경험재로 모형화의 어려움이 있다. 본 연구에서는 영화의 감성 모형을 구축하기 위한 사전연구의 단계로 영화에서의 시청각적 요인들을 문헌조사를 통해 수집, 정리, 선별하고 이러한 시청각적 요인들 중에 영화를 관람하는 관객의 감성적, 인지적 반응에 영향을 주는 유효한 요인들을 객관적이고 체계적으로 탐색하고자 하였다. 이를 위해, 감성 및 인지적 반응의 변화를 생체신호를 통해 측정하는 한편, 생체신호의 측정 시 사용된 영화의 시청각적 자극요인을 Video/Audio Processing방법에 의해 연속적인 수치로 정량화하였다. 생체신호와 정량화된 시청각적 자극요인을 동기화하고 통계적으로 분석함으로써, 생체신호의 반응과 시청각적 자극요인과의 인과관계를 통계적으로 신뢰성있는 수준에서 검증하고자 하였다. 생체신호를 종속변수로, 시청각적 자극요인을 독립변수로 하는 896개의 부분선형회귀모형(Partial Linear Regression Model)들 중 통계적으로 유의한 선형관계에 있는 경우의 빈도분석에 의하면, 시각적 요인들 중에는 밝기(Brightness), 대비(Contrast), 색상(Color), 움직임(Motion), 장면전환속도(Shot change Rate), 주요대상의 상대적 크기가, 청각적 요인들 중에는 Peak주파수, Peak주파수의 음량, 평균음량, 소음비(Sound-to-Noise Ratio)가 생체신호의 변화에 통계적으로 유의한 영향을 주는 것으로 나타났다. 이는, 위의 시청각적 자극 요인들은 특히 관객의 감성 및 인지적인 반응에 유의한 영향을 주는 요소로 작용할 수 있음을 시사하고 있다. 이를 토대로, 위의 시청각적 자극 요인들이 가지는 다양한 조합들을 설명변수로 하는 통계적인 영화의 감성 모형을 구축할 수 있을 것으로 기대한다.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 연구에서는 그림1의 모형을 배경으로 하여 관객과 영화의 상호작용을 파악하고, 인지적, 감성적 반응에 영향을 미치는 영화의 비언어적 표현수단인 시청각적 자극들을 도출하는 과정에 대해 연구하였다.
결국, 영화의 재미를 극대화하기 위해서는 감성적 반응을 효과적으로 유발시킬 필요가 있고, 감성적 반응의 유발을 위해서는 반응의 유발요인인 주요 시청각적 자극들을 탐색할 필요가 있다. 본 연구에서는 이러한 주요 시청각적 자극들을 탐색하는 과정을 통해 영화에 있어서 주요 설계속성들을 확인하고, 이를 활용하는 방안에 대해 검토해보았다.
가설 설정
2차 실험의 목적은 감성에 유의한 변화를 불러오는 시각적 요인, 청각적 요인들을 찾아내기 위한 것이다. 감성에 유의한 변화를 가져오는 지를 측정하기 위해 심박수와 피부전도도의 생체신호를 측정하였고, 생체신호의 변화에 의해 감정의 Arousal과 Valence의 두 차원을 측정할 수 있다고 가정하였음은 배경이론을 통해 설명하였다. 그림7은 영화 ‘친구’의 클립을 관람하는 동안 피실험자들의 GSR의 변화를 측정한 결과이다.
제안 방법
Shot전환율 S/W VirtualDub을 사용하여 탐지 민감도를 조절하면서 측정하였고, 주요 대상의 크기는 Java기반의 S/W Processing을 사용하여 Edge Detection알고리즘으로 측정하였다. 깊이는 원경이 등장하는 Scene의 프레임 이미지를 Adobe Photoshop 7.0에서 확대하여 면적을 측정하였다. 청각적 요인의 정량화는 AVI포맷의 영화 파일로부터 추출한 WAV포맷의 음향 파일을 대상으로 하였다.
그림7에서 피실험자들의 생체신호가 다양한 패턴을 가지는 것은, 생체신호가 영화의 시청각적 자극에 의해 변화하는 것 뿐만 아니라 피실험자의 다양한 심리적, 생체적 특성에 의해서도 영향을 받기 때문이다. 따라서, 피실험자들의 생체신호 패턴을 종합하여 하나의 패턴으로 분석하는 것은 바람직하지 않을 수 있다고 판단하여 각각의 피실험자들의 생체신호를 개별적으로 분석하였다. 총28편의 영화를 대상으로 각 영화에서 기, 승, 전, 결에 해당하는 약 2분 길이의 4개의 Scene에 대해 4명의 피실험자를 대상으로 2종류의 생체신호를 측정하였기 때문에 생체신호의 데이터는 896개의 케이스가 수집되었고(28편×4개의 Scene×4명 피실험자×2종류 신호), 각 케이스는 1초 단위로 샘플링된 약 120개의(60초×2분) 데이터 스트림으로 구성되어 있다.
이러한 변화 패턴의 일치성을 통계적으로는 상관분석이나 회귀분석을 통해 검증할 수 있다. 본 연구에서는 회귀분석을 통해, 이러한 변화 패턴의 일치성을 검증하였다.
시각적 요인의 정량화는 DVD영화를 AVI포맷의 파일로 변환한 후, AVI파일을 비트맵이미지(BMP)로 추출하여 이미지를 대상으로 하였다. Contrast, Brightness, Motion, Color의 계측을 위한 S/W는 C++로 구현하였다.
시청각적 자극 요인들을 대상으로하여 감성과 관련된 기존 연구결과를 조사하였다. 시각적 자극요인으로는 색상, 밝기, 대조, 모션, 탬포, 대상의 크기, 화각(Visual Angle), 렌즈 효과, 화면 깊이 또는 심도(Depth of Field), Scene전환 빈도, Scene의 길이, Scene전환방법, 구도 등의 요인이 있고, 청각적 자극요인으로는 소리의 높낮이, 음량, 잡음의 정도, 잡음의 크기, 음악 등의 요인이 있다.
영화 상영 및 생체 신호 측정은 아래의 그림2과 같은 실험실 환경에서 이루어졌다. 영화클립 상영 직전마다 신호의 baseline을 측정하기 위해 30초 동안 시각적 자극 없이 클래식 음악을 틀어주었으며[11], 지루함이 신호에 미치는 영향을 줄이기 위해 실험 시간은 하루 최대 2시간 30분으로 한정하였다. 생체 신호 측정 및 분석에는 그림3과 같이 Procomp+와 S/W Biograph2.
자극요인들 간의 상호독립성이 필요한 이유는 각 요인들간의 상호간섭 없이 자극요인을 통제하여 감성적 반응을 극대화하는 것이 보다 편리할 뿐만 아니라, 감성 모형을 구축했을 때 통계적으로도 그러한 가정을 전제하고 있기 때문이다. 자극요인들 간의 상호독립성 검토를 위해, 실험에 사용된 28편의 영화들 중에 10편의 영화를 대상으로 각 영화에서 1초 단위의 클립을 60개 랜덤 샘플링하여 결론에서 도출된 10개의 자극요인간의 상관분석을 실시하였다. 상관분석 결과, Brightness와 Color의 상관계수는 0.
05에서 통계적으로 유의한 케이스들에 대한 빈도분석을 실시하였다. 회귀분석은 하나의 종속변수에 대하여 여러 시청각적 요인들을 동시에 설명변수로 넣은 것이 아니라 하나의 종속변수에 대해 매번 하나의 시청각적 요인만 설명변수로 지정하여 입력하는 방식을 택하였다. 이것은, 여러 시청각적 요인들이 포함되는 경우 다중공선성에 의해 불필요하게 설명력이 높아지거나 낮아지는 것을 방지하기 위한 것이다.
대상 데이터
생체신호 측정실험은 생체신호반응에 영향을 미치는 통계적으로 유의한 시청각적 요인들을 추출하기 위한 것으로, 다양한 수준의 시청각적 요인들을 포함하기 위해 28편의 영화를 대상으로 하였으며, 데이터 처리의 현실적인 한계로 인해 피실험자의 수는 4명으로 한정하였다. 실험의 개요는 아래와 같다.
0에서 확대하여 면적을 측정하였다. 청각적 요인의 정량화는 AVI포맷의 영화 파일로부터 추출한 WAV포맷의 음향 파일을 대상으로 하였다. 분석에는 음향 분석 S/W인 SpectraLab을 사용하였다.
총28편의 영화를 대상으로 각 영화에서 기, 승, 전, 결에 해당하는 약 2분 길이의 4개의 Scene에 대해 4명의 피실험자를 대상으로 2종류의 생체신호를 측정하였기 때문에 생체신호의 데이터는 896개의 케이스가 수집되었고(28편×4개의 Scene×4명 피실험자×2종류 신호), 각 케이스는 1초 단위로 샘플링된 약 120개의(60초×2분) 데이터 스트림으로 구성되어 있다.
데이터처리
896개의 생체신호 케이스들을 각각 시청각적 자극요인과 동기화한 후, 각 케이스에 포함된 120개의 데이터 스트림을 종속변수로, 120개의 정량화된 시청각적 자극요인들을 설명변수로 회귀분석을 수행하여, 총 896개의 부분선형회귀모형을 얻었다. 이들 중, 회귀식이 유의수준 0.
청각적 요인의 정량화는 AVI포맷의 영화 파일로부터 추출한 WAV포맷의 음향 파일을 대상으로 하였다. 분석에는 음향 분석 S/W인 SpectraLab을 사용하였다.
896개의 생체신호 케이스들을 각각 시청각적 자극요인과 동기화한 후, 각 케이스에 포함된 120개의 데이터 스트림을 종속변수로, 120개의 정량화된 시청각적 자극요인들을 설명변수로 회귀분석을 수행하여, 총 896개의 부분선형회귀모형을 얻었다. 이들 중, 회귀식이 유의수준 0.05에서 통계적으로 유의한 케이스들에 대한 빈도분석을 실시하였다. 회귀분석은 하나의 종속변수에 대하여 여러 시청각적 요인들을 동시에 설명변수로 넣은 것이 아니라 하나의 종속변수에 대해 매번 하나의 시청각적 요인만 설명변수로 지정하여 입력하는 방식을 택하였다.
이론/모형
Contrast, Brightness, Motion, Color의 계측을 위한 S/W는 C++로 구현하였다. Shot전환율 S/W VirtualDub을 사용하여 탐지 민감도를 조절하면서 측정하였고, 주요 대상의 크기는 Java기반의 S/W Processing을 사용하여 Edge Detection알고리즘으로 측정하였다. 깊이는 원경이 등장하는 Scene의 프레임 이미지를 Adobe Photoshop 7.
성능/효과
(1) 통제할 수 있는 요인: 기술적 한계로 인해 통제하기 어려운 요인들은 감성 평가 및 구조에 영향을 준다 하더라도 실용적인 측면에서 모형에 포함시키지 않았다.
(2) 영화에 공통적으로 적용되는 차원의 요인: 예를 들어, 페이드, 디졸브, 와이프와 같은 화면전환효과는 감성 평가 및 구조에 영향을 준다 하더라도 모형 일반화의 측면에서 포함시키지 않았다.
둘째, 영화의 다양성과 생체신호의 개인차를 감안할 때, 결론의 일반화를 위해서는 보다 많은 수의 샘플이 요구되나, 생체신호의 처리 및 영상 및 음향의 정량화에 소요되는 시간의 한계로 인해 분석의 수를 한정한 것은 일반화의 장애가 될 수 있다.
문헌조사를 통해 수집, 선별된 영화의 시청각적 자극요인들 중 감성의 변화에 유의한 영향을 줄 가능성이 큰 자극요인은 10개로 집약되었다. 이러한 자극요인의 확인, 선별과정에서 고려해야 할 사항은 다음과 같은 점이 있다.
자극요인들 간의 상호독립성 검토를 위해, 실험에 사용된 28편의 영화들 중에 10편의 영화를 대상으로 각 영화에서 1초 단위의 클립을 60개 랜덤 샘플링하여 결론에서 도출된 10개의 자극요인간의 상관분석을 실시하였다. 상관분석 결과, Brightness와 Color의 상관계수는 0.901로 대단히 높게 나타났고, 나머지 자극요인들간의 상관계수는 0.3이하로 낮게 나타나 밝기와 색상을 제외하고는 독립적으로 분포되어 있다고 판단할 수 있다. 밝기와 색상이 서로 연관되어 있는 이유는 정량화과정에서 사용한 계산방법이 그 원인으로 작용한 것으로 보인다.
후속연구
색상의 경우 이미지에서 R, G, B 각각의 평균값을 계산한 후, 세 평균값의 제곱합의 제곱근으로 계산하였는데, 이러한 R, G, B조합에 의한 계산 방식에 의할 경우 색상값이 커질수록 밝기도 밝아지기 때문이다. 이와 관련하여, 추후 연구를 통해 자극요인들의 독립성을 보장할 수 있는 정량화방안에 대해서 연구를 할 필요가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
영화의 재미가 결정되는 요소는?
경험재의 관점에서 영화는 개인적 효용이 감정적 자극(Emotional Stimualtion)과의 상호작용에 의해 즐거움(Enjoyment)또는 재미(Fun)을 얻는 일련의 과정이다[2]. 영화의 재미는 기본적으로 이야기의 소재나 서사구조에 의해 결정될 수 있으나, 이에 못지않게 시청각적 자극을 어떻게 사용하느냐에 따라서도 영향을 받는다. 특히, 서사적 성향이 강한 드라마 쟝르보다는 공포, 액션, 판타지 등의 쟝르에서 이러한 시청각적 자극에 대한 의존이 크며, 경우에 따라서는 영화의 재미를 좌우하는 결정적인 요인으로 작용할 수도 있다.
경험재의 관점에서 영화란?
영화는 이야기(Story)를 시청각적 자극에 의해 창의적으로 재구성한 경험재(Experience Goods)이다[1]. 경험재의 관점에서 영화는 개인적 효용이 감정적 자극(Emotional Stimualtion)과의 상호작용에 의해 즐거움(Enjoyment)또는 재미(Fun)을 얻는 일련의 과정이다[2]. 영화의 재미는 기본적으로 이야기의 소재나 서사구조에 의해 결정될 수 있으나, 이에 못지않게 시청각적 자극을 어떻게 사용하느냐에 따라서도 영향을 받는다.
영화에 사용되는 시청각적 자극요인들은?
한편, 영화에서 사용되는 시청각적 자극요인들은 다차원적이다. 색상, 밝기와 같은 시각적 차원들과 음량, 음질과 같은 청각적 차원들이 있다. 경험재로서 영화의 재미를 높이기 위해서는 여러 차원들 중에 관객의 감성적 반응에 실제로 영향을 주는 주요 차원들을 파악하고, 이러한 차원들을 적절히 조합하여 재미를 극대화하는 것이 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.