초록 ▼

4. 연구 내용 및 결과
본 연구는 현재 지상파방송과 종합편성채널을 대상으로 시청자 온라인 조사를 통해 실시하고 있는 방송프로그램에 대한 시청자평가지수 조사의 개선 방안을 도출하기 위한 연구이다. 이를 위해 우선적으로 국내외 방송프로그램 시청자평가 사례를 분석하였다.

국내에서는 방송통신위원회, 지상파방송, 종합편성채널과 더불어 기타 기관에서 방송프로그램에 대한 시청자평가를 수행하고 있다. 지상파방송사들은 개별 방송국의 특징에 맞게 방송프로그램 품질 평가 방법론을 개발해 연 1회 이상 온라인 또는 면접조사를 실시하고

4. 연구 내용 및 결과
본 연구는 현재 지상파방송과 종합편성채널을 대상으로 시청자 온라인 조사를 통해 실시하고 있는 방송프로그램에 대한 시청자평가지수 조사의 개선 방안을 도출하기 위한 연구이다. 이를 위해 우선적으로 국내외 방송프로그램 시청자평가 사례를 분석하였다.

국내에서는 방송통신위원회, 지상파방송, 종합편성채널과 더불어 기타 기관에서 방송프로그램에 대한 시청자평가를 수행하고 있다. 지상파방송사들은 개별 방송국의 특징에 맞게 방송프로그램 품질 평가 방법론을 개발해 연 1회 이상 온라인 또는 면접조사를 실시하고 있다. KBS는 단순한 시청률 기반이 아닌 공영방송 서비스의 가치를 평가할 수 있는 PSI(Public Service Index), MBC는 자체프로그램과 타 지상파 프로그램의 품질 비교를 통해 프로그램의 질적 수준을 제고하기 위한 품질지수(QI: Quality Index), SBS는 프로그램 시청자 만족도 지수인 ASI(Audience Satisfaction Index)를 개발해 방송프로그램의 품질을 평가하고 있다. 종합편성채널들도 자체 방송프로그램의 질을 평가하기 위해 연 1회 온라인 조사를 실시하고 있다. TV조선의 PES(Program Evaluation Score), JTBC의 채널 브랜드 및 프로그램 경쟁력 평가 조사, MBN의 MSI(MBN Satisfaction Index) 등 자체 프로그램 품질 평가 지표를 개발해 운영하고 있다. 이 외에도 한국방송광고진흥공사(KOBACO)와 CJ E&M는 시청자를 대상으로 방송프로그램을 평가해 시청률로 환원될 수 없는 콘텐츠의 가치를 측정하고 있다.

해외 방송프로그램 시청자평가 사례는 미국, 독일, 영국, 일본 등 주요 선진국의 프로그램 질 평가 체계를 살펴보았다. 영국의 방송평가는 1980년대 BBC와 IBA의 방송 품질연구를 기초로 발전되었다. 영국 방송프로그램에 대한 시청자평가지수로는 BARB(Broadcasters Audience Research Board Ltd)와 RAJAR가 주관하는 시청률 조사와 BBC가 주도하는 감성지수 기반의 질적 평가로 구분된다. BBC는 1940년대에 라디오 프로그램 만족도를 측정하는 RI (Reaction Index)를 개발했으나, 문제점이 지적되면서 1982년 BBC와 IBA가 공동으로 설립한 방송수용자 조사연구소(BARB)에서 감상지수(AI: Appreciation Index)를 개발하였다. 현재 영국의 방송 평가는 주로 공영방송을 대상으로 수행되고 있으며, BBC의 자체평가인 PVT(Public Value Test)와 Ofcom의 PSB(Public Service Television Broadcasting) Tracker가 대표적이다. BBC의 PVT는 방송프로그램뿐만 아니라 방송사 자체에 대한 공공 가치에 대한 평가를 포함한다. 공영방송의 목적인 공공 가치 실현, 시청자(수신료 납부자)의 권리 보장 실천 결과를 확인하는 것이 평가의 목적이다.

독일의 방송프로그램 품질 평가는 크게 공영방송사들의 자체 품질조사와 독일의 방송법인 방송국가협약의 법적 근거에 기반을 둔 독일의 방송 규제기관인 연합 미디어청의 종합 편성방송채널들에 관한 방송프로그램 품질조사로 구분된다. 독일의 방송 평가는 다양성, 공급내용의 중요성, 전문성, 수용성, 적법성과 같이 헤리베르트 샤츠(Heribert Schatz)와 빈프리드 슐츠(Winfried Schultz)가 제시한 개념으로 질적 평가 기준의 근간을 마련하였다. 독일 공영방송사들은 내·외부 방송 전문가로 구성된 위원회의 평가와 시청자 설문조사를 통한 모니터링 방식의 이원화 방식으로 방송프로그램 품질 평가를 실시하고 있다. 이러한 이원화 방식으로 도출된 결과는 설정된 목표 주제와 기준에 어느 정도 부합되었는지를 살펴보고 최종적으로 개선안 도출과 일부 프로그램의 신설로 이어진다. 공영방송의 방송 프로그램 평가 조사를 살펴보면, 대표적으로 독일 제1방송사 ARD의 지역 방송사와 독일 제2 공영방송사인 ZDF를 중심으로 이뤄지고 있다.

일본에서는 양적 평가 방식의 한계를 극복하고 보다 프로그램의 질적인 평가가 이루어져야 한다는 주장이 제기되면서 1990년대 초반부터 방송프로그램의 질적 시청자평가 방식이 본격적으로 시작되었다. 공영방송인 NHK는 1980년대 시청자를 대상으로 방송프로그램의 질적 평가 방식인 ‘방송프로그램 종합조사’를 실시했고, 1990년부터는 보다 상세한 프로그램 장르를 구분해 방송프로그램의 질을 평가하는 ‘프로그램평가지수’를 실시하고 있다. 후지TV는 1992년부터 시청자의 프로그램에 대한 만족도를 시청자들이 사회적, 심리적 기능과 연계해 조사하는 ‘시청자 만족도 조사’(FASS: Fuji Television Audience Satisfaction Survey)를 실시하고 있다. TBS는 1995년부터 각 프로그램이 시청자들에게 주는 다양한 영향력을 평가하는 ‘텔레비전 프로그램 영향력 조사’(TPI: Television Program influence)를 수행하고 있다. TV아사히는 1997년부터 인터넷을 활용한 시청자 품질 평가 방식인 ‘리서치 Q(Research Q)’를 실시하고 있다.

KI시청자평가지수 조사의 통계적 특성과 조사 방식에 대한 타당성 검토를 위한 주요 연구 결과는 다음과 같다. 적정 표본 규모에 관한 표준오차 분석에 따르면 분기별 평가자 수가 2015년 조사처럼 14,400명인 경우 상대 표준오차는 0.85%에서 1.63%까지의 범위 내에 있으며, 만약 평가자 수가 9,600명으로 감소될 경우 표준 오차는 1.04%에서 2.00%까지로 다소 증가하지만 여전히 허용 범위 내에 있는 것으로 나타났다. 이는 지금과 같은 조사 체계를 유지한다면 현재의 분기별 5주 조사에서 분기별 4주 조사로 축소시켜도 허용 가능한 오차를 가지며, 조사의 정확성은 여전히 양호한 수준으로 유지될 수 있음을 시사한다. 응답자 규모를 감소시키면 조사기관을 선정하기 위한 경쟁 공모 시 더 많은 기관의 참여를 유도할 수 있는 장점이 있고, 같은 조사 예산으로 추가적인 조사를 수행할 수 있는 여력이 생기는 장점이 있다. 표본 설계에 대해서는 기존에 사용하고 있는 모집단 인구 비례를 고려한 비례 할당 추출 방법의 단점을 보완하기 위해 층별 응답의 분산을 고려한 최적 배분안을 제안하였다. 이는 같은 표본 규모를 갖고도 표본 오차를 감소시킬 수 있는 장점이 있으며, 2016년 2분기 KBS1 자료를 대상으로 응답자를 최적배분한 결과 표준오차가 약 13.5% 감소함을 보였다.

KI시청자평가지수 조사의 조사항목에 대한 유효성 검토를 위해 기존 시청자평가지수 조사 평가 항목의 유효성과 신규 평가항목을 개발하고, 전문가 의견 조사를 통한 KI시청자평가지수 조사의 개선 방안을 도출한 결과는 다음과 같다. 시청자평가지수 조사의 쓰임새와 관련한 논의에서, 본 조사는 방송 평가를 통한 방송사 재허가에 활용된다는 법으로 명시된 명확한 활용 근거가 있지만 본 조사가 시청률은 낮으나 질적으로 우수한 프로그램을 드러내기에는 미흡하고 조사 결과가 양질의 프로그램 제작에 기여하지는 못한다는 점에서 한계를 갖는 것으로 파악됐다. 윤상혁 외(2015)의 연구에서 개발된 품질평가모형 TVA에서 시청자 온라인 평가 표현을 분석한 결과 도덕적 평가를 의미하는 형태소가 발견되지 않았다는 사실로부터, 기존의 조사에서 포함되지 않는 도덕적 평가 기준인 ‘good-bad scale’이라는 새로운 평가 척도를 제안하였다. 전문가 의견 조사에서는 방송의 사회적 역할을 묻는 질문에서는 여전히 공적 책무가 중요하다는 입장을 보였고, 지상파방송과 종합편성채널의 사회적 역할 차이를 묻는 질문에 대해서는 현 단계에서 지상파와 종편은 책무가 달라야 할 이유가 없다고 보는 의견이 대다수였다. 좋은 프로그램에 대한 의견을 묻는 질문에 대해서는 재미와 유익의 두 가지가 가장 대표적이고, 그 밖에는 감동, 특히 보도 장르의 경우 공정함과 다양함이 중요한 요소로 지적되고 있다. KI시청자평가지수 조사의 개선방안을 묻는 질문에 대해서는 별도의 전문가 집단을 중심으로 한 정성평가의 필요성과 평가결과의 공개와 관련된 의견이 대다수였다. 시청자평가지수 조사의 측정 항목에 대한 의견을 묻는 질문에 대해서는 이미 피로도가 높은 상황에서 추가적인 질문이 현실적으로 쉽지 않을 것이라는 의견을 보였다. ‘good-bad scale’의 새로운 평가 항목에 대해서는 제3자 가설이 적용되는 평가방식의 도입은 긍정적인 반응과 함께 ‘good-not good’으로의 용어 변경이나, ‘누구에게’를 명시한 구체화도 고려해볼 만한 의견으로 제시되었다. 이상의 내용을 바탕으로 좋은 프로그램에 대한 목표와 방향 제시가 필요하고, 전문가에 의한 평가체계 도입을 고려하며, 결과의 활용을 제고하기 위해 프로그램별 평가 결과를 제한적으로 공개하는 방안을 제안하였다.

마지막으로 KI시청자평가지수 조사에 대한 개선 방안과 관련 정책적 시사점을 도출했다. 첫째, 질문 항목을 세분화하는 안에 대해서는 현재의 2가지 질문 항목으로 구성된 체계를 유지하는 방향이 바람직하다. 질문 항목의 구체화는 시청자 평가보다 전문가 평가에 더 적합하고, 응답자의 조사 피로도가 상당히 높기 때문에 새로운 질문 항목을 추가한다는 것은 비용 증가를 초래할 수 있어 신중한 판단이 요구된다.

둘째, 기존 채널별 합산 결과만을 발표하는 형식에서 일부 우수 프로그램의 KI 평가 결과를 공개하는 방안으로의 전환을 고려할 필요가 있다. 조사 대상 프로그램의 전부 또는 지나치게 많은 수의 프로그램에 대한 평가 결과를 공개할 경우, 과잉 평가에 대한 역효과와 이로 인한 혼란이 우려되므로, 각 방송사별로 가장 우수한 평가를 받은 프로그램을 공개함으로써 조사의 본래 취지를 살리는 것이 바람직하다.

셋째, 평가자 수가 적은 프로그램의 경우 조사 정확성을 보장할 수 없기 때문에 평가에서 제외하는 것이 바람직하다. 통계학에서 일반적으로 받아들여지고 있는 최소 유효 표본 규모인 30인을 기준으로 하여 이보다 적은 평가자 수를 가진 프로그램은 채널별 최종 평가에 반영하지 않고 우수 프로그램 공개 대상에서도 제외하는 것이 바람직하다.

그 외에도 시청자평가지수 개선을 위한 다양한 시사점을 도출했다.

(출처 : 요약문 16p)

Abstract ▼

4. Research Results
This study analyzes the cases of audience evaluations of broadcasting programs in Korea and other countries. More specifically, it reviews audience evaluations of broadcasting programs on the four national terrestrial broadcasting networks (KBS1, KBS2, MBC, SBS), four general

4. Research Results
This study analyzes the cases of audience evaluations of broadcasting programs in Korea and other countries. More specifically, it reviews audience evaluations of broadcasting programs on the four national terrestrial broadcasting networks (KBS1, KBS2, MBC, SBS), four general programming channels (TV Chosun, JTBC, Channel A, MBN) and analyzes the cases of the U.S., Germany, the U.K. and Japan.

This study develops a sample design method for the KI survey and calculates the minimum sample size needed to ensure the accuracy of the survey. As a result of the redistribution of a sample considering the variance of the sample, it is found that the sample error decreases. Regarding the appropriateness of the sample size, the standard error is found to be within a permissible range, even though the sample size is somewhat smaller than that of the current statistical standard. However, considering the fact that the margin of error is about 2 times larger and the width of the confidence interval is about 4 times larger than the standard error, it is desirable to maintain the current sample size, if possible.

This study also reviews the functionality of the KI survey and the validity of the survey items, proposes new measures, and analyzes the results of a separate expert opinion survey. In conclusion, first, it is necessary to present a direction for producing highquality programs. Second, this study suggests the introduction of an expert evaluation system as a supplementary measure for audience evaluation. Third, it proposes a method to induce broadcasting channel image and program group to solve problems of result announcement. It is necessary to reconsider the operation of the viewer-centered panel. Finally, although the expert opinions on the newly proposed ‘good-bad’ scale are disputed, it is suggested to check the validity of the scale through revision and supplementation.

In conclusion, this study suggests a measure of improving the KI survey for broadcasting programs and explores a range of issues discussed in expert conferences or business meetings, but these issues are not thoroughly covered in this study because of time constraints. The following is four policy implications this study draws regarding the improvement of the KI survey. First, it is desirable to maintain the current system composed of two question items as to the subdivision of the question items. Second, it is necessary to consider the transition to the announcement of the KI results of some high-score programs from the method of releasing the total scores of the KI results by channel. Third, it is preferable to exclude the KI results of programs with a small number of respondents from the evaluation results, because the accuracy of the survey is not guaranteed. Fourth, in the long run, it is necessary to consider introducing in-depth program evaluations by experts.

(출처 : SUMMARY 22p)

목차 Contents

• 표지 ... 1
• 제출문 ... 7
• 목차 ... 9
• 표목차 ... 11
• 그림목차 ... 13
• 요약문 ... 15
• SUMMARY ... 21
• CONTENTS ... 25
• 제1장 서 론 ... 27
• 제2장 국내 방송프로그램 시청자평가 사례 분석 ... 31
• 제1절 주요 문헌 연구 ... 31
• 제2절 국내 주요 방송프로그램 시청자평가 사례 분석 ... 33
• 1. KI시청자평가지수 ... 34
• 2. 지상파방송 ... 36
• 3. 종합편성채널 ... 39
• 4. 기타 ... 41
• 제3장 해외 방송프로그램 시청자평가 사례 분석 ... 44
• 제1절 영 국 ... 44
• 제2절 독 일 ... 49
• 제3절 일 본 ... 53
• 제4장 KI조사의 통계적 특성과 조사 방식에 대한 타당성 검토 ... 57
• 제1절 개 요 ... 57
• 제2절 표본배분 개선 방안 ... 57
• 1. 2016년 조사의 표본 패널 구성 ... 57
• 2. 시청자평가지수의 추정 ... 60
• 제3절 표본크기 검토 ... 68
• 1. 2016년 조사의 분기별 결과 ... 68
• 2. 표본크기에 따른 분기별 표준오차 검토 ... 68
• 제4절 소 결 ... 70
• 제5장 KI조사의 조사항목에 대한 유효성 검토 ... 72
• 제1절 KI시청자평가지수 조사에 대한 비판적 쟁점 정리 ... 72
• 제2절 KI시청자평가지수 조사의 쓰임새에 대한 검토 ... 73
• 1. KI시청자평가지수 조사의 목적과 취지 ... 73
• 2. KI시청자평가지수 조사의 쓰임새와 관련한 논의 ... 74
• 제3절 KI시청자평가지수 조사 항목의 유효성 검토와 새로운 척도의 제안 ... 78
• 제4절 전문가 의견조사 결과 분석 ... 82
• 1. 조사방법 ... 83
• 2. 전문가 의견 조사결과 ... 84
• 제5절 소 결 ... 96
• 제6장 결론 및 정책적 시사점 ... 99
• 제1절 연구 요약 ... 99
• 제2절 정책적 시사점 및 시청자평가지수 조사 개선방안 ... 100
• 참고문헌 ... 106
• 부록1. 채널별 표준오차 기준의 최적배분 결과 ... 108
• 부록2. 최적 표본배분에 따른 채널별 예상 평가자 수 ... 116
• 부록3. 전문가조사 설문지 ... 120
• 끝페이지 ... 126