인터넷 조사에 가중치를 적용하여 그 일반성을 높이고자 하는 시도가 다양하게 이루어졌지만, 안정적으로 적용될 수 있는 방법이 아직까지 개발되지는 않았고 이것이 인터넷 조사의 활용을 제약하고 있다. 인터넷 조사를 위한 가중치 개발에는 준거조사 결과가 필요하지만, 센서스나 정부기관에서 제공되는 통계 중 일부 인구학적 속성을 제외하면 이러한 준거 조사 자료를 구하기 어렵다는 것이 중요 요인이다. 본 연구는 생활시간 조사를 이용해서 가중치를 개발하여 적용할 때, 인터넷 조사의 일반성을 높일 수 있는지를 검토해 보았다. 생활시간 조사는 정부기관에 의해 정기적으로 조사될 뿐만 아니라 센서스와는 달리 라이프스타일에 관련된 다양한 내용을 조사하기 때문이다. 2009년에 실시된 통계청 사회조사의 온라인 버전을 2004년 생활시간 조사결과를 이용해 가중치를 적용한 결과, 2009년에 동일한 설문지를 이용해 실시된 면접원방문 사회조사결과에 보다 일치하는 방향으로 작용하는 것으로 나타났다. 즉 생활시간 조사에서 나타난 취침 시간, 귀가시간, 인터넷 이용시간 등을 이용해서 가중치를 적용했을 때 단지 인구학적 속성만을 이용해서 가중치를 적용하는 경우보다, 온라인 조사결과와 오프라인 조사결과가 보다 근접해지는 경향이 있다는 것이다. 이러한 본 연구의 결과는 생활시간 조사자료가 인터넷 조사의 가중치 개발에 활용될 수 있다는 점을 보여준다.
인터넷 조사에 가중치를 적용하여 그 일반성을 높이고자 하는 시도가 다양하게 이루어졌지만, 안정적으로 적용될 수 있는 방법이 아직까지 개발되지는 않았고 이것이 인터넷 조사의 활용을 제약하고 있다. 인터넷 조사를 위한 가중치 개발에는 준거조사 결과가 필요하지만, 센서스나 정부기관에서 제공되는 통계 중 일부 인구학적 속성을 제외하면 이러한 준거 조사 자료를 구하기 어렵다는 것이 중요 요인이다. 본 연구는 생활시간 조사를 이용해서 가중치를 개발하여 적용할 때, 인터넷 조사의 일반성을 높일 수 있는지를 검토해 보았다. 생활시간 조사는 정부기관에 의해 정기적으로 조사될 뿐만 아니라 센서스와는 달리 라이프스타일에 관련된 다양한 내용을 조사하기 때문이다. 2009년에 실시된 통계청 사회조사의 온라인 버전을 2004년 생활시간 조사결과를 이용해 가중치를 적용한 결과, 2009년에 동일한 설문지를 이용해 실시된 면접원방문 사회조사결과에 보다 일치하는 방향으로 작용하는 것으로 나타났다. 즉 생활시간 조사에서 나타난 취침 시간, 귀가시간, 인터넷 이용시간 등을 이용해서 가중치를 적용했을 때 단지 인구학적 속성만을 이용해서 가중치를 적용하는 경우보다, 온라인 조사결과와 오프라인 조사결과가 보다 근접해지는 경향이 있다는 것이다. 이러한 본 연구의 결과는 생활시간 조사자료가 인터넷 조사의 가중치 개발에 활용될 수 있다는 점을 보여준다.
There are limitations as to how internet surveys can be used. Applying various weighting procedures has not always resulted in error reduction. A good reference survey would increase the effects of the weighting method, but it is very difficult to get a reference survey for non-demographic weighting...
There are limitations as to how internet surveys can be used. Applying various weighting procedures has not always resulted in error reduction. A good reference survey would increase the effects of the weighting method, but it is very difficult to get a reference survey for non-demographic weighting variables, which restricts the use of internet surveys. We hypothesized that time use variables could be employed as weighting variables. The time use survey is conducted regularly by KOSTAT and includes various time-related variables. We tested our hypothesis using the 2009 survey results, which had been gathered by KOSTAT in 2009. When we applied weighting variables which were based on the 2004 time use survey results to the online version of the 2009 KOSTAT social survey, the gap between the online and off-line versions was slightly reduced. This result shows that we could use time use survey results to develop a better weighting scheme.
There are limitations as to how internet surveys can be used. Applying various weighting procedures has not always resulted in error reduction. A good reference survey would increase the effects of the weighting method, but it is very difficult to get a reference survey for non-demographic weighting variables, which restricts the use of internet surveys. We hypothesized that time use variables could be employed as weighting variables. The time use survey is conducted regularly by KOSTAT and includes various time-related variables. We tested our hypothesis using the 2009 survey results, which had been gathered by KOSTAT in 2009. When we applied weighting variables which were based on the 2004 time use survey results to the online version of the 2009 KOSTAT social survey, the gap between the online and off-line versions was slightly reduced. This result shows that we could use time use survey results to develop a better weighting scheme.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
물론 라이프스타일의 어떤 측면이 온라인 조사에서 응답자들의 응답에 영향을 미치는지에 대한 확신은 없으나, 적어도 인구통계학적인 요인만으로는 인터넷 조사에서 오는 편향을 제거하는 데 충분치 않다고 판단되기 때문이다. 그러므로 이 연구는 설문조사 결과에 가중치를 부여하는 추가적인 변인이 필요하다고 판단하고, 인구총조사에 포함되지 않은 항목들 중에서 어떤 항목이 가중치를 부여하는 데 사용될 수 있을 것인가에 주목하고자 한다.
따라서 이 연구는 기존에 논의되었던 인구통계학적인 요인 외에 인터넷 조사의 편향을 줄일 수 있는 다른 요인을 찾아보고자 하는 데서 시작되었다. 실제로 허명회 · 조성겸 (2010)은 2009년 통계청의 온라인 사회조사자료(응답자수 2,903명)을 대상으로 광역시 및도, 지역 크기(동 · 읍 · 면), 성별, 연령대, 교육정도, 소비생활 만족도, 소득분배 견해, 일반 신문 보기, 인터넷 신문 보기와 같은 인구통계학적 변인과 라이프스타일 변인을 섞어 9개의 변인을 조정 기준 변수로 사용하여 같은 해에 면대면으로 실시된 통계청 사회 조사 자료(응답자수 37,049명)에 성향 조정 가중치를 부여하여 두 데이터를 비교 · 분석하는 연구를 진행하였다.
4%만이 사회적 목적으로 인터넷을 이용한 적이 없다고 답한 것이다. 따라서 인터넷 사용을 코딩함에 있어서 특정 목적으로 인터넷을 사용했는지 여부만을 고려하기로 했다. 마찬가지로 정보 검색을 위해서는 생활시간 조사 응답자의 83.
본 연구는 이러한 생활시간 조사가 준거조사로 사용될 만큼 충분히 정확하고 신뢰할 수 있다고 본다. 따라서 시간 사용에 대한 설문문항을 포함하여 조사를 실시할 경우, 그에 대한 준거조사로 생활시간 조사를 사용할 수 있을 것이다.
앞서 살펴본 것처럼 일반 연구자가 준거 자료의 필요성 때문에 새로운 조사를 실시하는 것은 시간과 비용의 문제가 따르기 때문에, 이 연구는 연구자가 실제로 자신의 준거 데이터를 생성하는 대신 준거조사로 시간 사용 조사를 사용함으로써 성향 점수 가중법이나 다른 유형의 가중법을 인터넷 기반 조사에 적용하는 것을 제안하고자 한다. 시간 사용 조사는 대부분의 선진국에서 정부 기관에 의해 실시되고 있다.
이 연구는 생활시간 조사를 이용해서 가중치를 개발한 경우 인터넷 조사의 일반성을 높일 수 있는지를 분석하기 위해 오프라인 데이터와 가중치를 부여한 온라인 데이터를 비교 · 분석하였다.
이 연구는 온라인 조사와 면대면 조사의 표본 집단 차이가 가져오는 편향을 줄이고자 기존의 인구통계학적 변인을 바탕으로 하는 가중치 외에 시간 사용 변인을 추가한 가중 법의 효용성을 검토해 보고자 하였다. 하지만 시간 사용 변인을 위해 사용한 데이터가 2004년 생활시간 조사로, 면대면 조사와 온라인 조사가 행해졌던 2009년의 데이터와는 차이가 있어 정확한 비교가 어려웠다는 한계를 지닌다.
이 연구는 통계청에서 실시한 기존 면대면 조사의 온라인 버전을 사용하여 이러한 시간 변인들이 편향을 줄이는 데 도움을 줄 수 있는지 확인해 보고자 했다. 온라인 버전에는 귀가 시간, 취침 시간, 앞에서 언급했던 인터넷 사용 유형에 따른 시간과 관련된 항목 들이 추가되었다.
가설 설정
실제로 개인의 활동을 분석하고 온라인으로 응답하는 사람들의 관점과 성향에 영향을 미치는 요인을 연구하는 것보다, 시간 사용 조사의 항목들을 사용하여 상대적으로 간단한 질문을 함으로써 라이프스타일의 차이를 이해하는 것과 같은 혜택을 얻을 수 있다. 이에 따라 우리는 취침시간과 귀가시간과 같은 정보가 표본의 편향을 줄이는 데 훨씬 더 효과적일 것이라는 가정을 해 볼 수 있는 것이다.
제안 방법
앞에서 말한 나이, 성별, 거주 지역과 같은 인구통계학적 요인과 마찬가지로 이들 요인들 역시 림 가중법을 사용하여 가중치를 부여하였다. 그리고 공식적인 면대면 조사와 온라인 조사를 인구통계학적 요인만 가중치를 부여했을 경우와 시간 요인도 가중치를 부여했을 경우로 나누어 비교․분석하였다.
또한 2004년 생활시간 조사의 경우 블로그나 웹 사이트 운영과 같은 항목이 별도로 마련되어 있지 않았기 때문이 데이터가 약간 부정확할 수 있는 여지가 존재한다. 따라서 결론적으로 인터넷 이용 항목의 경우 정보 검색과 사회 참여(이메일, 채팅 포함), 컴퓨터 게임 이용이라는 세 가지 유형만 사용하기로 했다.
일반적으로 통계청에서 사회조사에 사용하는 가중치 변인으로는 인구통계학적 변인 세 가지, 즉 나이, 성별, 거주 지역을 사용한다. 따라서 이 연구에서도 이들 세 가지 인구통계학적 변인에 가중치를 부여하고, 인터넷 조사와 면대면 조사결과를 비교하였다. 여기에 몇 가지 추가 변인들을 사용하여 인터넷 조사 표본에 림 가중법을 적용해 보았다.
또한 온라인 조사는 귀가시간과 취침시간 항목에 가중치를 부여하였는데, 귀가시간의 경우 저녁 6시 전, 6시에서 8시 사이, 8시에서 10시 사이, 밤 10시 이후의 네 그룹으로 나누고, 취침시간은 밤 10시 전, 10시에서 12시 사이, 12시 이후의 세 그룹으로 나누었다. 앞에서 말한 나이, 성별, 거주 지역과 같은 인구통계학적 요인과 마찬가지로 이들 요인들 역시 림 가중법을 사용하여 가중치를 부여하였다.
면대면 버전 조사는 일반적인 방법으로 진행되어 셀 가중법을 사용해 인구조사 데이 터를 기반으로 결과에 가중치를 부여하였다. 일반적으로 통계청에서 사회조사에 사용하는 가중치 변인으로는 인구통계학적 변인 세 가지, 즉 나이, 성별, 거주 지역을 사용한다.
실제로 이 조사를 위해 통계청을 포함하여 인터넷 버전의 설문조사 응답자를 찾는 광고가 여러 웹 사이트에 게재되었으며, 응답자들에게는 인센티브를 주는 방식으로 설문조사를 실시하였다. 참가자들은 설문조사를 완료하기 위해 다른 가족 구성원의 참가를 독려하기도 하였으나, 본 조사는 전 세대원이 참가했는지 여부와 무관하게 모든 응답을 인정하였다.
2009년도에 실시된 조사는 사회 복지와 노동, 소득과 지출, 여가 활동 등에 대한 질문으로 구성되었다. 이 조사의 온라인 버전은 면대면 조사 버전과 동일한 질문 외에 인터넷 이용시간 등과 같은 생활시간 사용관련 질문을 추가한 것이다. 온라인 조사는 인터넷 자원자 표본을 이용한 추정방법을 연구하기 위한 것이었다 1) .
온라인 설문조사 결과를 조정하기 위한 준거조사로는 역시 통계청에서 실시한 한국인 생활시간 조사를 이용하였으며 가중치는 림 가중법(rim weighting)을 사용하였다. 즉 온라인 설문결과에 생활시간조사 결과에 입각한 가중치를 부여했을 때 조사결과가 공식버전과 좀 더 일치하는 방향으로 변화되는지를 검토하였다.
대상 데이터
이 연구에서 사용된 인터넷 설문조사 자료는 통계청에서 매년 실시하는 사회조사와 병행하여 실시해 수집된 것이다. 통계청에서 실시하는 사회조사는 면대면 조사로, 사람들의 일상의 다양한 측면들을 담고 있으며, 사람들의 삶의 질과 사회 변화를 이해하고자 하는 목적으로 수행되고 있다.
이론/모형
따라서 이 연구에서도 이들 세 가지 인구통계학적 변인에 가중치를 부여하고, 인터넷 조사와 면대면 조사결과를 비교하였다. 여기에 몇 가지 추가 변인들을 사용하여 인터넷 조사 표본에 림 가중법을 적용해 보았다. 인터넷 조사에는 사람들의 귀가시간과 취침 시간, 인터넷 사용 유형에 따른 이용 시간이라는 시간 변인들이 포함되어 있어 이들을 가중 변인으로 사용하기로 한 것이다.
온라인 버전에는 귀가 시간, 취침 시간, 앞에서 언급했던 인터넷 사용 유형에 따른 시간과 관련된 항목 들이 추가되었다. 온라인 설문조사 결과를 조정하기 위한 준거조사로는 역시 통계청에서 실시한 한국인 생활시간 조사를 이용하였으며 가중치는 림 가중법(rim weighting)을 사용하였다. 즉 온라인 설문결과에 생활시간조사 결과에 입각한 가중치를 부여했을 때 조사결과가 공식버전과 좀 더 일치하는 방향으로 변화되는지를 검토하였다.
성능/효과
분석의 결과 온라인 조사 응답자의 인터넷 사용과 생활시간 조사 응답자의 인터넷 이용에는 상당한 차이가 발견되었다. 예를 들어 생활시간 조사 응답자의 94.
이러한 시간 사용 가중치는 <표 2>에서 보듯이 여가 등과 관련된 항목 및 매스 미디어 사용 항목에서 보다 더 효과적인 것으로 나타 났으며, 삶의 질과 관련된 항목에서도 좋은 결과를 보여주었다. 예컨대 TV시청시간, 여행빈도, 여가활동, 그리고 다양한 측면에서의 생활만족도 항목에서 긍정적인 결과가 나타났다. 따라서 시간변인을 가중치에 포함하는 것은 적용분야에 따라 좋은 결과를 나타낼 수도 있다는 점을 보여준다.
실제로 허명회 · 조성겸 (2010)은 2009년 통계청의 온라인 사회조사자료(응답자수 2,903명)을 대상으로 광역시 및도, 지역 크기(동 · 읍 · 면), 성별, 연령대, 교육정도, 소비생활 만족도, 소득분배 견해, 일반 신문 보기, 인터넷 신문 보기와 같은 인구통계학적 변인과 라이프스타일 변인을 섞어 9개의 변인을 조정 기준 변수로 사용하여 같은 해에 면대면으로 실시된 통계청 사회 조사 자료(응답자수 37,049명)에 성향 조정 가중치를 부여하여 두 데이터를 비교 · 분석하는 연구를 진행하였다. 이 결과 106개의 평가 문항 가운데 80% 정도의 문항에서 인구 통계학적 변수에 의한 기본 가중치 보정에 비하여 향상된 추정치를 제공하는 것으로 나타났다.
이 연구가 사용한 시간 사용 조사 가중법은 인터넷 설문의 가중치를 통한 준거조사에서 가장 유망하고 잠재적인 가능성이 높은 조사라 할 수 있다. 이는 접근이 쉽고, 정기적 으로 수행되고 있으며, 신뢰도가 높은 방법일 뿐 아니라 사람들의 라이프스타일에 대한 통찰을 제공해 주기 때문이다.
이러한 시간 사용 가중치는 에서 보듯이 여가 등과 관련된 항목 및 매스 미디어 사용 항목에서 보다 더 효과적인 것으로 나타 났으며, 삶의 질과 관련된 항목에서도 좋은 결과를 보여주었다.
후속연구
앞서 언급했던 것처럼 인터넷 이용에 대한 가중치 부여과정에서 3개 유형밖에 사용하지 못한 것이 한계로 남는다. 따라서 보다 다양한 범주의 인터넷 이용 유형에 따른 이용 시간에 대한 조사가 병행된다면 보다 정확한 결과를 가져올 수도 있을 것이다.
본 연구는 이러한 생활시간 조사가 준거조사로 사용될 만큼 충분히 정확하고 신뢰할 수 있다고 본다. 따라서 시간 사용에 대한 설문문항을 포함하여 조사를 실시할 경우, 그에 대한 준거조사로 생활시간 조사를 사용할 수 있을 것이다. 일반적으로 시간 사용 조사는 사람들이 하는 다양한 활동들을 추적하고자 응답자들에게 몇 가지 구체적인 질문들을 통해 시간을 어떻게 사용하는지 간단히 답할 수 있게끔 하고 있다.
물론 이러한 조정 가중법의 효과가 상대적으로 경미하다고 해도 말이다. 따라서 앞으로는 이러한 시간 사용 가중법이 보다 더 일치한 결과를 가져올 수 있도록 하기 위한 수정이 필요하며, 좀더 정밀한 가중치에 대한 시도 또한 필요할 것으로 판단된다. 앞서 언급했던 것처럼 인터넷 이용에 대한 가중치 부여과정에서 3개 유형밖에 사용하지 못한 것이 한계로 남는다.
이는 접근이 쉽고, 정기적 으로 수행되고 있으며, 신뢰도가 높은 방법일 뿐 아니라 사람들의 라이프스타일에 대한 통찰을 제공해 주기 때문이다. 따라서 이와 같은 가중법을 이용한 더 많은 후속 연구들을 진행하여 시간 이용 조사 가중법의 실효성을 검토해 보는 것이 필요할 것이다.
하지만 시간 사용 변인을 위해 사용한 데이터가 2004년 생활시간 조사로, 면대면 조사와 온라인 조사가 행해졌던 2009년의 데이터와는 차이가 있어 정확한 비교가 어려웠다는 한계를 지닌다. 앞으로는 2009년 시간조사 자료를 활용할 필요가 있다. 특히 향후에 진행되는 설문의 경우에는 시간 활용의 다양한 측면에 관한 문항을 포함함으로써 보다 정교한 가중치를 개발할 필요가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
온라인 조사의 장점은?
온라인 사용이 보편화되면서, 온라인을 통한 설문조사가 각광을 받고 있다. 기존의 면대면 조사나 전화조사 혹은 설문지를 통한 조사들에 비해 인터넷을 통한 온라인 조사는 비용이 저렴하며, 도달률을 높일 수 있어 매우 매력적인 대안으로 떠오르고 있다. 구체적으로 온라인 조사는 면대면 조사나 전화조사에 비해 비용이 저렴하다는 최대 장점이 있으며, 기존의 면대면 조사나 전화조사가 지니고 있던 조사대상자들에 대한 접근의 어려움을 극복하는 데도 탁월한 강점을 지닌다. 실제로 가구를 대상으로 하는 면접조사의 경우는 일과 시간 중에 가정에 머무르는 가구원이 없는 경우가 대부분이어서 한밤중이나 주말 등을 이용한 조사가 이루어져야 한다거나 유선전화의 응답률이 떨어지는 등 조사 대상자들에 대한 접근 자체가 어려운데 반해 인터넷을 통한 온라인 설문조사의 경우 이를 극복할 수 있는 대안으로 여겨지고 있다.
인터넷 조사의 대표성을 높이기 위해 가중치를 부여하는 것을 사용하는 방법에서 중요한 것은?
허명회ㆍ조성겸(2010) 그리고 김영원ㆍ배예영(2010)의 연구에서는 가중치 산정에 인구통계학적 변인 외에 다른 추가적인 변인들을 포함하는 경우, 가중치 적용의 효과가 보다 긍정적인 것으로 나타났다. 즉 중요한 것은 가중법 그 자체라기보다는 어떤 변인을 가중치 산정에 포함하느냐의 문제라고 볼 수 있다.
인터넷 조사의 한계점은?
실제로 가구를 대상으로 하는 면접조사의 경우는 일과 시간 중에 가정에 머무르는 가구원이 없는 경우가 대부분이어서 한밤중이나 주말 등을 이용한 조사가 이루어져야 한다거나 유선전화의 응답률이 떨어지는 등 조사 대상자들에 대한 접근 자체가 어려운데 반해 인터넷을 통한 온라인 설문조사의 경우 이를 극복할 수 있는 대안으로 여겨지고 있다. 하지만 인터넷 조사의 경우 인터넷 사용자들로 조사 대상자들이 국한되기 때문에 인터넷 조사가 기존의 면대면 조사나 전화조사의단점을 대체할 만한 대안이 되기 위해서는 인터넷 조사의 대상자 표본이 기존의 일반 조사 대상자를 대표할 수 있기 위한 보정 작업이 필요하게 된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.