[논문]2008 총선 출구조사의 총조사오차 분석

김영원; 곽은선

문제 정의

따라서 본 연구에서는 각 선거구에서 발생한 오차를 총조사오차(total survey error)로 정의하고, 각 선거구에서 발생한 총조사오차를 투표소 추출 관련 오차와 투표소 내 투표자선택 및 응답오차로 나눠 분석함으로써, 출구조사의 정확성 제고를 위해 어떤 측면에 보다 집중적인 노력을 기울이는 것이 필요한지 검토하였다. 아울러 비표본추출오차를 나타내는 대표적인 지표로 볼 수 있는 무응답률과 출구조사에서 발생한 오차와의 상관관계를 분석해 보았다.
따라서 본 연구에서는 출구조사에서 발생한 전체오차를 출구조사 관련 자료로 산출 가능한 ‘투표소추출오차’와 그밖의 오차(이하 ‘실사오차’)로 구분해 출구조사의 정확성을 평가해 보고자 한다.
본 연구에서는 2008년 치러진 18대 국회의원 선거의 출구조사 자료와 KBS 개표자료를 이용하여 출구조사 예측결과의 오차 발생 원인에 대해 알아보았다. 출구조사의 정확도를 평가할 때 주로 사용하는 예측오차는 단계별로 발생하는 오차가 서로 상쇄되어 우연히 최종 예측오차가 작게 나올 수도 있다는 한계가 있다.
출구조사의 정확도를 평가할 때 주로 사용하는 예측오차는 단계별로 발생하는 오차가 서로 상쇄되어 우연히 최종 예측오차가 작게 나올 수도 있다는 한계가 있다. 본 연구에서는 이를 극복할 수 있는 총조사오차 개념을 정의하고 전체 오차를 투표소추출오차와 실사오차로 구분하여 출구조사에서 발생하는 오차의 성격을 구체적으로 살펴보았다.
본 연구의 분석대상이 되는 46개 선거구에 대한 출구조사와 선관위의 성별·연령대별 구성비 비교결과를 모두 여기에 제시하는 것은 어렵기 때문에 여기서는 선거구의 무응답률을 기준으로 무응답률이 높은 6개 선거구와 무응답률이 낮은 6개 선거구에 대한 비교 결과를 정리해 와 에 제시한다.
이들 12개 지역에 대한 분석결과를 제시한 이유는 일반적으로 무응답률이 높으면 표본의 대표성이 떨어지는 것으로 생각하기 때문에 무응답률이 높은 선거구와 무응답률이 낮은 선거구의 성별·연령대별 구성비가 출구조사와 선관위 자료에 있어서 어떤 차이가 있는지 독자들이 직접 확인해 볼 수 있도록 하기 위한 것이다.

제안 방법

하지만 출구조사 원자료 확보에 어려움이 있어 본 연구에서는 미디어리서치에서 조사를 수행한 출구조사 지역만을 기초로 분석이 이루어졌다는 점에 유의하기 바란다.²⁾ 미디어리서치는 전국 246개 선거구 중 경합지역으로 분류된 46개 선거구에서 출구조사를 실시하였다.
따라서 보다 일반적인 결과를 유추해 보기 위해 과 같이 46개 선거구를 무응답 크기에 따라 상·중·하 3개 그룹으로 균등하게 분리하고 각 그룹별 투표소추출오차 평균과 실사오차 평균을 비교해 보았다.
아울러 선거예측조사의 정확성을 향상시키기 위해서는 경합도가 높은 선거구에 적용되는 출구조사의 조사방법을 개선하는 것이 핵심적인 과제로 볼 수 있다. 따라서 본 연구에서는 총선 예측조사에 사용되는 출구조사의 예측오차에 초점을 두었다. 특히 향후 출구조사의 정확성을 향상시키기 위해서는 앞에서 언급한 것과 같은 표본추출오차뿐만 아니라 ‘여당 과대 계상’ 등과 같은 다양한 오차의 성격과 발생 원인을 다각적으로 분석하여 출구조사 설계과정에 반영하는 것이 필요하다는 점을 고려해 연구를 수행했다는 점을 참고하기 바란다.
또한 선택된 투표자가 출구조사 참여를 거절함으로써 표본의 대표성이 떨어지는 문제를 다루기 위해 중앙선거관리위원회(이하 '선관위')에서 제공한 선거구별 자료와 출구 조사 자료의 성별·연령대별 분포를 비교·분석하였다.
무응답률과 실사오차의 관계를 살펴보기 위해 분석대상 46개 선거구를 무응답률의 크기에 따라 5개 그룹으로 구분하고 각 그룹별 실사오차와 투표소추출오차의 평균을 산출해 보면 와 같다.
따라서 본 연구에서는 각 선거구에서 발생한 오차를 총조사오차(total survey error)로 정의하고, 각 선거구에서 발생한 총조사오차를 투표소 추출 관련 오차와 투표소 내 투표자선택 및 응답오차로 나눠 분석함으로써, 출구조사의 정확성 제고를 위해 어떤 측면에 보다 집중적인 노력을 기울이는 것이 필요한지 검토하였다. 아울러 비표본추출오차를 나타내는 대표적인 지표로 볼 수 있는 무응답률과 출구조사에서 발생한 오차와의 상관관계를 분석해 보았다. 또한 선택된 투표자가 출구조사 참여를 거절함으로써 표본의 대표성이 떨어지는 문제를 다루기 위해 중앙선거관리위원회(이하 '선관위')에서 제공한 선거구별 자료와 출구 조사 자료의 성별·연령대별 분포를 비교·분석하였다.
무응답률과 실사오차의 관계를 살펴보기 위해 분석대상 46개 선거구를 무응답률의 크기에 따라 5개 그룹으로 구분하고 각 그룹별 실사오차와 투표소추출오차의 평균을 산출해 보면 <표 5>와 같다. 여기서 그룹 구성은 3% 간격으로 무응답률이 25% 이상, 22%〜25% 이하, 19%〜22 이하, 16%〜19% 이하, 16% 이하인 5개 그룹으로 구분하고 그룹별로 실사오차에 있어서 유의적인 차이가 있는지를 검증해 보았다.
이런 출구조사 과정을 고려해 본 연구에서는 전체 오차를 ‘총조사오차(total survey error)’로 정의하고 전체 투표소 중 일부 투표소를 추출하는 과정에서 발생하는 오차를 ‘투표소추출오차’, 나머지 추출된 투표소에서 투표자 중 일부 투표자를 조사함으로써 발생하는 오차와 실사를 진행하는 과정에서의 조사거절, 거짓응답 그리고 조사원의 조사규칙 불이행 등으로 발생하는 오차는 ‘실사오차’로 구분하기로 한다.
총조사오차와 실사오차의 관계를 살펴보기 위해 46개 선거구를 총조사오차의 크기로 정렬한 후 46개 선거구를 5개 그룹으로 균등하게 분할하고(중간인 그룹 3은 10개, 나머지 4개 그룹에는 9개씩 구분), 그룹별로 총조사오차와 투표소추출오차 및 실사오차의 평균을 정리한 결과는 과 같다.
출구조사 표본과 모집단의 성별·연령대별 구성비를 비교하기 위해서는 각 선거구별로 투표자 모집단 전체의 구성비를 알아야 하지만 선관위에서 공개하는 것은 전체 모집단의 10% 정도에 해당하는 투표자 표본에 대한 분석자료이므로 이 자료를 이용하여 구성비를 비교하기로 한다.

대상 데이터

또한 선택된 투표자가 출구조사 참여를 거절함으로써 표본의 대표성이 떨어지는 문제를 다루기 위해 중앙선거관리위원회(이하 '선관위')에서 제공한 선거구별 자료와 출구 조사 자료의 성별·연령대별 분포를 비교·분석하였다. 18대 총선에서 KBS/MBC 선거예측조사는 미디어리서치(MBMR)와 코리아리서치(KRC) 2개 조사회사에서 담당하였다. 하지만 출구조사 원자료 확보에 어려움이 있어 본 연구에서는 미디어리서치에서 조사를 수행한 출구조사 지역만을 기초로 분석이 이루어졌다는 점에 유의하기 바란다.

데이터처리

아울러 출구조사와 선관위의 성별·연령대별 구성비가 통계적으로 유의한 차이가 있는지 확인하기 위해 각 선거구별로 카이제곱 검정을 수행해 보았다.
한편 출구조사 표본의 대표성을 검정하기 위해 선관위에서 제공하는 성별·연령대별 자료를 이용하여 카이제곱 검정을 실시하였다.

이론/모형

는 실제 득표율을 나타낸다. 제시된 예측오차는 1위와 2위 후보자의 득표율 예측치 차이와 실제 득표율 차이에 대한 절대 차이를 이용한 것으로 조성겸ㆍ김지연(2004)이 사용한 척도이며, 이런 척도는 Mosteller et al.(1949)이 제시한 다양한 척도 중 5번째 척도에 해당한다(Martin et al.

성능/효과

Ⅱ장의 에 제시된 무응답률과 예측오차와의 산점도와 비교해 보면 무응답률과 예측오차의 관계보다 무응답률과 실사오차의 관계가 강하며, 양의 상관관계를 갖고 있음을 확인할 수 있다.
결국 본 연구 결과를 종합해 보면 18대 총선에서 치러진 출구조사는, 총조사오차의 개념으로 평가해 볼 때, 각 선거구내 투표소 추출의 문제보다는 투표소내 투표자 선정 및 실사 과정에서 발생하는 문제가 더 컸다고 할 수 있다. 정확한 선거예측을 위해서 조사방법상의 모든 문제를 개선하는 것에는 한계가 있을 것이다.
그 결과 46개 전 선거구에서 출구조사 표본과 선관위 표본의 성별·연령대별 구성비에 차이가 있다는 결론을 얻었다.
한편 총조사오차의 크기에 따라 분류된 그룹별로 투표소추출오차와 실사오차가 통계적으로 유의한 차이가 있는지 확인하기 위해 분산분석을 한 결과는 <표 4>와 같다. 그룹간의 차이를 보기 위해 등분산을 가정하지 않는 경우 사용되는 Tamhane T2와 Dunnet T3등에 의한 다중비교 결과, 실사오차에 있어는 모든 그룹간에 유의적인 차이가 있는 것으로 나타났지만, 투표소추출오차의 경우 그룹 5만 다른 그룹들과 유의적인 차이가 있는 것으로 나타났다. 따라서 분산분석 결과 투표소오차나 실사오차 모두 그룹들간에 유의적인 차이가 있는 것으로 보이지만, 다중비교 결과를 참고로 하면 투표소추출오차에 비해 실사오차에서 그룹별로 더 유의적인 차이를 보이고 있다.
54인 것으로 나타났다. 그룹별 투표소추출오차와 실사오차를 보면 총조사오차 크기를 기준으로 구성된 그룹 순위에 따라 투표소추출오차와 실사오차가 모두 감소하는 것을 볼 수 있다.
그룹별 투표소추출오차와 실사오차를 비교해 보면, 무응답률이 25% 이상인 선거구를 포함하는 그룹 A의 경우 실사오차 평균은 6.02, 투표소추출오차 평균은 3.83으로 나타났으며, 무응답률이 낮은(16% 이하) 그룹E에서는 실사오차 평균은 2.89이고, 투표소추출오차 평균이 1.75로 나타났다. 무응답률을 기준으로 설정된 그룹 순서에 따라 실사오차의 경우 순차적으로 작아지는 것을 볼 수 있지만, 투표소추출오차의 경우 그룹 D와 그룹 E에서는 오히려 평균이 뒤집히는 현상이 나타난다.
그룹간의 차이를 보기 위해 등분산을 가정하지 않는 경우 사용되는 Tamhane T2와 Dunnet T3등에 의한 다중비교 결과, 실사오차에 있어는 모든 그룹간에 유의적인 차이가 있는 것으로 나타났지만, 투표소추출오차의 경우 그룹 5만 다른 그룹들과 유의적인 차이가 있는 것으로 나타났다. 따라서 분산분석 결과 투표소오차나 실사오차 모두 그룹들간에 유의적인 차이가 있는 것으로 보이지만, 다중비교 결과를 참고로 하면 투표소추출오차에 비해 실사오차에서 그룹별로 더 유의적인 차이를 보이고 있다. 이런 결과는 실사오차가 투표소추출오차에 비해 총조사오차에 미치는 영향이 더 크다는 것을 시사한다고 볼 수 있다.
이런 측면을 확인해 보기 위해서 무응답률과 총조사오차를 비교해 본 결과 무응답률이 높아질수록 총조사오차는 커지고 총조사오차 중 특히 실사오차가 무응답률과 강한 양의 상관관계가 있음을 확인할 수 있었다. 무응답이 조사자 선택 편향을 불러오며 잘못된 예측을 하게 되는 원인이 된다는 것을 간접적으로 확인할 수 있었다. 하지만 무응답률이 낮다고 해서 항상 실사오차가 작다고 볼 수는 없다는 점도 간과하면 안될 것이다.
정확한 선거예측을 위해서 조사방법상의 모든 문제를 개선하는 것에는 한계가 있을 것이다. 본 연구에서 확인했듯이 출구조사는 투표소를 대표성 있게 추출하는 것 이외에도 출구조사를 실사하는 과정에서 발생하는 문제를 통제할 수 있어야 정확한 예측을 할 수 있다는 점을 보여주고 있다. 근본적으로 출구조사에 대한 사회인식이 긍정적으로 변화되어야 하겠지만 결국은 조사거절자와 거짓응답자들의 성향을 파악할 수 있는 모형이 개발되어 이를 출구조사 예측에 반영할 수 있어야 할 것이다.
비교 결과를 살펴보면 부재자 투표의 영향이 큰 20대 남성의 경우를 제외하고는 출구조사에서의 성별·연령대별 구성비가 선관위의 구성비에 비해 체계적으로 어떤 편향을 갖는 것으로 보이지는 않으며, 각 투표소별로 다른 경향을 보이고 있음을 볼 수 있다.
<표 1>을 보면 46개 분석대상 선거구의 평균 예측오차는 3.45%p 이고 고령/성주/칠곡, 청원, 시흥(을) 선거구의 경우 예측오차가 매우 큰 것으로 나타났다. 한편 46개 선거구에서 평균 무응답률은 20.
<표 2>의 결과를 종합해 보면 대부분의 선거구에서 투표소추출오차가 크게 차이가 나지 않지만 실사오차는 다양한 원인에 의해서 선거구별로 차이가 크게 나고 있으며, 결국 이런 실사오차가 총조사오차를 결정하는 중요한 요인이 되고 있음을 알 수 있다. 따라서 총조사오차와 실사오차와의 관계에 대해 좀더 자세히 살펴볼 필요가 있다.
대부분의 조사방법 연구자들은 무응답률과 선거예측조사의 정확성이 매우 높은 상관관계를 갖는다고 생각하고 있다. 이런 측면을 확인해 보기 위해서 무응답률과 총조사오차를 비교해 본 결과 무응답률이 높아질수록 총조사오차는 커지고 총조사오차 중 특히 실사오차가 무응답률과 강한 양의 상관관계가 있음을 확인할 수 있었다. 무응답이 조사자 선택 편향을 불러오며 잘못된 예측을 하게 되는 원인이 된다는 것을 간접적으로 확인할 수 있었다.
아울러 출구조사와 선관위의 성별·연령대별 구성비가 통계적으로 유의한 차이가 있는지 확인하기 위해 각 선거구별로 카이제곱 검정을 수행해 보았다. 카이제곱 검정결과 모든 선거구에서 출구조사 표본의 구성비와 선관위 표본의 구성비가 유의적으로 차이가 있는 것으로 나타났다. 구체적인 분석결과는 생략하기로 한다.
물론 부재자가 출구조사 자료에서 제외되는 등 성별·연령대별 비교에 사용된 출구조사 자료의 신뢰성에 일부 문제가 있기 때문에 이런 차이에 너무 집착할 필요는 없을 것이다. 한편 전체적인 비교 결과를 종합해 보면 현재 출구조사의 실사과정이 어떤 체계적인 결함이 있어 특정 성별 또는 연령대에 대해 과대 또는 과소 표본추출하는 문제는 없다는 점을 확인할 수 있었다는 점이 시사하는 바가 더 클 수도 있다.

후속연구

예를 들어 유성구, 홍천/횡성, 증평/진천/괴산/음성, 부여/청양, 제주시(갑) 등의 경우 예측오차는 작지만 총조사오차가 매우 큰 지역들이다. 따라서 실제 출구조사의 정확성을 향상시키기 위해서는 단순히 예측오차만을 보고 조사의 정확성을 평가하는 것보다 가능한 투표소추출오차와 실사오차를 구분해 접근하는 자세가 필요할 것으로 보인다.
이는 출구조사에서 발생하는 오차는 흔히 표본추출오차로 설명되는 투표소추출 과정에서 발생하는 오차보다는 투표소 내에서 투표자를 선정하는 과정이나 투표자로부터 응답을 얻는 과정에서 발생하는 실사오차가 더 크다는 것을 의미한다. 따라서 향후 우리나라 출구조사의 정확성 제고를 위해서는 실사과정에서 발생하는 다양한 오차를 줄이는 방안을 모색하기 위한 연구가 필요하다는 것을 시사한다.
근본적으로 출구조사에 대한 사회인식이 긍정적으로 변화되어야 하겠지만 결국은 조사거절자와 거짓응답자들의 성향을 파악할 수 있는 모형이 개발되어 이를 출구조사 예측에 반영할 수 있어야 할 것이다. 또한 출구조사에 대한 철저한 사전준비로 실사과정에서 발생할 수 있는 문제를 최대한 예방하는 것도 출구조사의 정확성을 제고하는 데 큰 역할을 할 수 있을 것으로 생각된다.
이는 현행 출구조사의 실사과정이 특정 연령층이나 성별을 과소 또는 과대 추출하는 체계적인 문제를 갖고 있는 것은 아니라고 긍정적으로 해석할 수도 있을 것이다. 이에 대한 보다 심층적인 분석은 향후에 고려될 필요가 있을 것이다.
특히 향후 출구조사의 정확성을 향상시키기 위해서는 앞에서 언급한 것과 같은 표본추출오차뿐만 아니라 ‘여당 과대 계상’ 등과 같은 다양한 오차의 성격과 발생 원인을 다각적으로 분석하여 출구조사 설계과정에 반영하는 것이 필요하다는 점을 고려해 연구를 수행했다는 점을 참고하기 바란다.
따라서 <표 9>와 <표 10>에 제시된 선관위와 출구조사 자료의 비교결과는 부정확한 측면이 있다는 점을 감안해 참조하기 바란다. 하지만 일부 부정확한 측면이 있더라도 출구조사의 대표성을 검증한다는 측면에서 나름대로 의미가 있는 정보로 활용될 수 있을 것이다. 비교 결과를 살펴보면 부재자 투표의 영향이 큰 20대 남성의 경우를 제외하고는 출구조사에서의 성별·연령대별 구성비가 선관위의 구성비에 비해 체계적으로 어떤 편향을 갖는 것으로 보이지는 않으며, 각 투표소별로 다른 경향을 보이고 있음을 볼 수 있다.

핵심어	질문	논문에서 추출한 답변
	출구조사의 경우 어떠한 점을 보완하기 위해 심층적인 연구가 필요한가?	2지방선거의 출구조사 결과는 놀라운 예측 정확성을 보여줌으로써 많은 언론매체를 통해 찬사를 받기도 했다. 하지만 우리나라 선거예측조사의 수준은 아직 개선할 여지가 많으며, 특히 출구조사의 경우 응답과정에서 발생하는 비표본추출오차(non-sampling error)를 줄이기 위한 심층적인 연구가 필요하다는 지적이 많다.
	본 연구가 총선 예측조사에 사용되는 출구조사의 예측오차에 초점을 둔 까닭은?	하지만 선거예측조사의 정확성에 대한 평가가 단순히 몇 개 지역구에서 당선자 예측에 실패했는가와 같은 인상적인 기준으로 이루어지는 것은 문제가 있다. 당선자 예측에 실패한 상당수의 선거구가 오차범위 내의 예측 실패였다는 점을 감안하면, 당선자를 잘못 예측한 선거구 수를 기준으로 선거예측조사의 정확성을 단순히 평가하는 것은 과학적인 접근으로 볼 수 없다(이준웅 2004). 아울러 선거예측조사의 정확성을 향상시키기 위해서는 경합도가 높은 선거구에 적용되는 출구조사의 조사방법을 개선하는 것이 핵심적인 과제로 볼 수 있다. 따라서 본 연구에서는 총선 예측조사에 사용되는 출구조사의 예측오차에 초점을 두었다.
	우리나라 방송사들의 선거예측조사의 발전 과정을 설명하시오.	우리나라 방송사들의 선거예측조사는 1992년 대통령 선거부터 시작되어 최근 실시된 2010년 6.2 지방선거에 이르기까지 그 동안 수많은 시행착오를 거쳤으며, 표본설계나 조사 방법에 있어서 많은 발전이 이루어졌다. 특히 2010년 6.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

2008 총선 출구조사의 총조사오차 분석
A Total Survey Error Analysis of the Exit Polling for General Election 2008 in Korea 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

2008 총선 출구조사의 총조사오차 분석 A Total Survey Error Analysis of the Exit Polling for General Election 2008 in Korea 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

김영원 (26) 곽은선 (1)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

2008 총선 출구조사의 총조사오차 분석
A Total Survey Error Analysis of the Exit Polling for General Election 2008 in Korea 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper