코로나19에 대한 전세계적 팬데믹이 진행되고 있는 상황에서 잘못된 정보가 대중에게 노출되었을 경우 발생할 수 있는 잠재적인 문제에 대한 우려와 함께 현재 주요 앱 마켓에서 민간 애플리케이션에 대한 차단 조치도 단행되고 있다. 그러나 감염병 상황에서 중앙집중식의 일방적인 정보 전달보다 대중이 스스로 정보를 공유하는 것이 효과적인 측면도 동시에 존재한다. 본 연구는 텍스트마이닝을 이용해 감염병 상황에서 민간 주도의 정보제공에 대한 이용자 반응을 분석한다. 이를 위해 정부와 민간이 현재 한국의 구글 플레이스토어에서 제공하고 있는 모든 코로나19 애플리케이션에 대한 이용자들의 반응에 대한 토픽 모델링과 감성분석을 실시한다. 분석 결과, 이용자들은 정보의 신뢰성, 위험회피, 실시간성, 유용성, 안정성 등 모든 차원에서 정부 대비 민간 애플리케이션에 대해 더 긍정적인 반응을 보이는 것으로 분석되었다. 분석 결과를 바탕으로 민간 애플리케이션에 대한 일방적인 차단이 아닌, 사후적인 모니터링 시스템을 도입하는 방안 등을 제안한다.
코로나19에 대한 전세계적 팬데믹이 진행되고 있는 상황에서 잘못된 정보가 대중에게 노출되었을 경우 발생할 수 있는 잠재적인 문제에 대한 우려와 함께 현재 주요 앱 마켓에서 민간 애플리케이션에 대한 차단 조치도 단행되고 있다. 그러나 감염병 상황에서 중앙집중식의 일방적인 정보 전달보다 대중이 스스로 정보를 공유하는 것이 효과적인 측면도 동시에 존재한다. 본 연구는 텍스트마이닝을 이용해 감염병 상황에서 민간 주도의 정보제공에 대한 이용자 반응을 분석한다. 이를 위해 정부와 민간이 현재 한국의 구글 플레이스토어에서 제공하고 있는 모든 코로나19 애플리케이션에 대한 이용자들의 반응에 대한 토픽 모델링과 감성분석을 실시한다. 분석 결과, 이용자들은 정보의 신뢰성, 위험회피, 실시간성, 유용성, 안정성 등 모든 차원에서 정부 대비 민간 애플리케이션에 대해 더 긍정적인 반응을 보이는 것으로 분석되었다. 분석 결과를 바탕으로 민간 애플리케이션에 대한 일방적인 차단이 아닌, 사후적인 모니터링 시스템을 도입하는 방안 등을 제안한다.
With the global pandemic of COVID-19, it is pointed out that exposure to false information to the public could cause serious problems. However, in pandemic situations, there is also an positive effect for the public to share private-led information rather than centralized unilateral delivery of info...
With the global pandemic of COVID-19, it is pointed out that exposure to false information to the public could cause serious problems. However, in pandemic situations, there is also an positive effect for the public to share private-led information rather than centralized unilateral delivery of information. This study analyzes the role of private-led information provision in infectious disease situations. To this end, topic modeling and sentiment analysis is carried out on online reviews of all COVID-19-related applications in Google Playstore provided by the Korean government and the private. The results showed that the user's evaluation of private apps, which were used from the early stage of COVID-19, was much higher than the apps provided by the government. In particular, users responded more positively to private apps than government apps in all aspects such as reliability of information, risk avoidance, timeliness, usefulness, and stability. Based on these results, a post-monitoring system is recommended rather than a pre-block of all private apps.
With the global pandemic of COVID-19, it is pointed out that exposure to false information to the public could cause serious problems. However, in pandemic situations, there is also an positive effect for the public to share private-led information rather than centralized unilateral delivery of information. This study analyzes the role of private-led information provision in infectious disease situations. To this end, topic modeling and sentiment analysis is carried out on online reviews of all COVID-19-related applications in Google Playstore provided by the Korean government and the private. The results showed that the user's evaluation of private apps, which were used from the early stage of COVID-19, was much higher than the apps provided by the government. In particular, users responded more positively to private apps than government apps in all aspects such as reliability of information, risk avoidance, timeliness, usefulness, and stability. Based on these results, a post-monitoring system is recommended rather than a pre-block of all private apps.
본 논문은 감염병 상황에서 정부와 민간 차원의 정보제공의 가치를 이용자들의 평가를 기준으로 재조명하고자 한다. 이를 통해서 이용자들은 감염병 상황에서 민간이 제공하는 정보 및 서비스에 대해 만족하는지, 그 만족도가 정부의 애플리케이션 서비스와 차이는 있는지, 그리고 어떤 측면에서 장단점이 있는지 등을 점검한다.
애플리케이션에 대한 리뷰는 이용자가 애플리케이션을 이용한 후 그에 대한 평가를 남긴 것으로, 어플리케이션에 대한 만족도, 제공되는 정보 및 서비스 제공자에 대한 평가 등 다양한 주제를 담고 있다. 본 연구에서는 대표적인 스마트폰 애플리케이션 플랫폼인 구글 플레이스토어에 등록된 코로나19 관련 서비스의 리뷰를 수집하고, 민간과 정부가 제공하는 코로나 19 관련 서비스에 대한 이용자의 평가를 분석하기 위하여 이용자 리뷰에 대한 다양한 수준에서의 텍스트 분석을 실시하였다.
본 연구에서는 위 쟁점들을 바탕으로, 민간 개발자들이 제공하는 정보서비스에 대해 이용자들이 어떻게 평가하고 있는지를 조사하고 해당 논의에 대한 바람직한 방향성을 모색해 보고자 한다. 이를 위해, 정부와 민간주도로 제공되는 모바일 애플리케이션에 대한 이용자리뷰를 텍스트마이닝 기법을 통해 분석한다.
제안 방법
본 연구는 감염병 상황에서 민간이 정보제공 주체로써 어떤 역할을 담당할 수 있는지, 그리고 민간의 정보제공 서비스에 대한 이용자들의 평가는 어떠한지를 토픽모델링과 텍스트 감성분석을 통해 확인했다. 단, 애플리케이션들이 모두 코로나19에 관한 것이라도 용도와 이용 목적이 다소 상이하며, 이에 따른 이용자 태도의 차이가 존재할 수 있다는 점에는 유의할 필요가 있다.
마지막으로, 분석방법의 한계이다. 본 연구에서는 기본적인 신경망 모형과 기존의 영화 리뷰 학습 데이터를 활용하여 분석을 실시하였다. 비록 분석 데이터의 일부를 활용한 검증에서 약 90% 수준의 정확도를 보였으나, 최근 제안되고 있는 자연어학습 모형과 유사한 도메인의 데이터를 활용한다면 보다 정밀한 분석결과를 도출할 수 있을 것이다.
이용자가 작성하는 리뷰는 서비스에 대한 이용자의 다양한 평가를 담고 있으며, 이를 분석하여 이용 트렌드와 개선사항에 대한 수요를 파악할 수 있다. 본 연구에서는 민간과 정부가 제공하는 코로나19 관련 애플리케이션에 대한 이용자 만족도를 리뷰 평점이 아닌, 본문이 담고 있는 감성에 대한 확률적 평가를 이용하여 분석한다.
대상 데이터
민간과 정부가 제공하는 애플리케이션은 각각 3개씩으로 구분되었다. 관련 애플리케이션 서비스가 시작된 2020년 2월부터 동년 6월 말까지의 리뷰를 수집하였으며, 민간 애플리케이션에 대한 리뷰 1,688 개, 정부 애플리케이션에 대한 리뷰 753개로 총 2,441 개의 리뷰를 분석자료로 사용하였다.
현재 국내 코로나19 관련 정보는 스마트폰 애플리케이션, 웹페이지 등을 통해 제공되고 있다. 본 연구의 분석자료로는 일반 이용자의 의견을 정보제공 주체별로 나누어 수집하기 용이하며, 앞서 살펴본 이슈에 대한 시사점을 제공하기 위하여 스마트폰 애플리케이션에 대한 리뷰로 선정하였다. 애플리케이션에 대한 리뷰는 이용자가 애플리케이션을 이용한 후 그에 대한 평가를 남긴 것으로, 어플리케이션에 대한 만족도, 제공되는 정보 및 서비스 제공자에 대한 평가 등 다양한 주제를 담고 있다.
분석 대상으로는 현재 국내 이용자들이 접근 가능한 코로나 19 관련 애플리케이션의 전수인 총 6개를 모두 선정하였다. 민간과 정부가 제공하는 애플리케이션은 각각 3개씩으로 구분되었다.
이론/모형
리뷰 본문에 대한 감성분석에는 구글이 제공하는 오픈소스 소프트웨어 라이브러리인 Tensorflow의 딥러닝 API인 Keras를 사용하였다. 분류기 생성을 위한 학습에는 기본적인 신경망 모형인 피드포워드(feed forward) 모델을 사용하였으며, 학습 데이터 세트로는 한국어의 대표적인 자료 중 하나인 Naver sentiment movie corpus 중 150, 000개의 데이터를 사용하였다.
리뷰 본문에 대한 감성분석에는 구글이 제공하는 오픈소스 소프트웨어 라이브러리인 Tensorflow의 딥러닝 API인 Keras를 사용하였다. 분류기 생성을 위한 학습에는 기본적인 신경망 모형인 피드포워드(feed forward) 모델을 사용하였으며, 학습 데이터 세트로는 한국어의 대표적인 자료 중 하나인 Naver sentiment movie corpus 중 150, 000개의 데이터를 사용하였다. 분석자료 중 무작위 추출한 300개의 리뷰 데이터를 바탕으로 검증한 정확도는 약 90% 수준으로 나타났다.
본 연구에서는 위 쟁점들을 바탕으로, 민간 개발자들이 제공하는 정보서비스에 대해 이용자들이 어떻게 평가하고 있는지를 조사하고 해당 논의에 대한 바람직한 방향성을 모색해 보고자 한다. 이를 위해, 정부와 민간주도로 제공되는 모바일 애플리케이션에 대한 이용자리뷰를 텍스트마이닝 기법을 통해 분석한다. 실제 이용자들의 정보의 신뢰성을 포함한 전반적인 애플리케이션 만족도를 평가함으로써 애플리케이션 차단의 효과 등과 그 정당성을 점검해 본다.
성능/효과
반면, 정부 애플리케이션은 상위 중요도 상위 15개 키워드 모두가 부정적이었으며 업데이트(-44.8 점), 실행(-45.9점) 등 애플리케이션의 기본적인 기능 및 사용에 대한 불만도 민간 애플리케이션 (업데이트 – 9.0점, 사용 35.4점) 대비 크게 나타났다
본 연구의 결과는, 이런 현실을 고려하지 않고 민간에서 애플리케이션을 만들었다고 일방적으로 차단하는 것은 이용자의 선택권을 제약하게 되고 이용자에게 낮은 수준의 서비스를 강요하는 결과를 초래할 수도 있다는 것을 보여준다. 따라서 민간 애플리케이션을 차단하기에 앞서 실제로 민간 애플리케이션이 정보의 신뢰성을 훼손하는지에 대해서 보다 면밀한 분석이 필요했다는 지적이 가능할 수 있다.
단, 애플리케이션들이 모두 코로나19에 관한 것이라도 용도와 이용 목적이 다소 상이하며, 이에 따른 이용자 태도의 차이가 존재할 수 있다는 점에는 유의할 필요가 있다. 분석결과, 코로나19 초기단계부터 활용되던 민간 주도의 애플리케이션에 대한 이용자의 평가는 정부가 제공하는 애플리케이션에 비해 월등히 높다는 것이 확인되었다. 특히, 국내 주요 애플리케이션 스토어에서 민간애플리케이션이 차단되는 상황에서 많은 이용자들이 정부가 제공하는 애플리케이션을 이용하기 시작했지만, 정부 애플리케이션에 대한 만족도는 높지 않은 상황이 지속되고 있다는 것을 확인했다.
토픽 모델링을 통해 이용자들의 반응을 분류한 결과, 실시간성(안전), 안정성, 위험회피, 유용성, 정보 신뢰성의 총 다섯 개의 아젠다가 확인되었다. 이들 세부 항목에 대한 감성분석 결과, 이용자들은 정보의 신뢰성 등 모든 영역에서 정부 앱보다 긍정적인 반응을 보이는 것이 확인되었다. 주요 애플리케이션 마켓에서 민간 애플리케이션을 차단할 때 가장 큰 이유로 든 것이 바로 정보의 신뢰성인데, 신뢰성 측면에서도 이용자들은 오히려 민간 애플리케이션에 대해 더 긍정적인 반응을 보이고 있다는 것은 차단의 목적과 실효성에 대한 의문을 야기한다.
1점으로 부정적으로 분석되었다. 이용자들은 민간 애플리케이션에 감사 (81.2점)를 표현하는 비중이 높았으며, 15개 키워드 중 5개 키워드를 제외한 모든 키워드가 긍정적으로 분석되었다. 반면, 정부 애플리케이션은 상위 중요도 상위 15개 키워드 모두가 부정적이었으며 업데이트(-44.
이러한 장점에도 불구하고, 본 연구는 다음과 같은 한계를 가진다. 첫째, 이용자의 평가와 객관적 사실 간의 차이가 발생할 수 있다. 이용자들의 리뷰 속의 정보의 신뢰성에 대한 긍정적인 반응이 확인되었다고 해서, 민간이 제공하는 정보의 신뢰성이 담보되었다고 단언할 수 없다.
키워드 중요도 상위 15개 단어에 대한 감성분석 결과, 민간 애플리케이션은 평균 16.2점으로 긍정적이었으나, 정부 애플리케이션은 평균 –58.1점으로 부정적으로 분석되었다
토픽 모델링을 통해 이용자들의 반응을 분류한 결과, 실시간성(안전), 안정성, 위험회피, 유용성, 정보 신뢰성의 총 다섯 개의 아젠다가 확인되었다. 이들 세부 항목에 대한 감성분석 결과, 이용자들은 정보의 신뢰성 등 모든 영역에서 정부 앱보다 긍정적인 반응을 보이는 것이 확인되었다.
분석결과, 코로나19 초기단계부터 활용되던 민간 주도의 애플리케이션에 대한 이용자의 평가는 정부가 제공하는 애플리케이션에 비해 월등히 높다는 것이 확인되었다. 특히, 국내 주요 애플리케이션 스토어에서 민간애플리케이션이 차단되는 상황에서 많은 이용자들이 정부가 제공하는 애플리케이션을 이용하기 시작했지만, 정부 애플리케이션에 대한 만족도는 높지 않은 상황이 지속되고 있다는 것을 확인했다. 결국, 애플리케이션 차단이 이용자들에게 불편을 초래하고 더 나은 서비스를 이용할 수 있는 선택권이 제약된 상황으로 평가할 수 있다.
후속연구
따라서 민간 애플리케이션을 차단하기에 앞서 실제로 민간 애플리케이션이 정보의 신뢰성을 훼손하는지에 대해서 보다 면밀한 분석이 필요했다는 지적이 가능할 수 있다. 더 나아가 실제 부정확한 정보가 확산되어 문제가 발생하는지, 차단 외 기술적 수단으로 정보의 왜곡을 막을 수 있는 방법은 없는 것인지 등에 충분한 고민이 필요하다. 차단이라는 사전적인 조치보다는 사후적으로 문제가 되는 애플리케이션들을 선별해 낼 수 있는 모니터링 시스템을 도입하는 것도 방안이 될 수 있다.
따라서 향후 정보의 신뢰성에 영향을 줄 수 있는 다양한 측면의 분석이 추가될 필요가 있다. 둘째, 분석자료의 한계이다. 본 연구는 민간이 제공하는 정보와 서비스에 대한 이용자 반응을 확인하여 그 가치를 파악하고자 하였으나, 이를 확인할 수 있는 자료가 부족하였다.
본 연구의 결과는, 이런 현실을 고려하지 않고 민간에서 애플리케이션을 만들었다고 일방적으로 차단하는 것은 이용자의 선택권을 제약하게 되고 이용자에게 낮은 수준의 서비스를 강요하는 결과를 초래할 수도 있다는 것을 보여준다. 따라서 민간 애플리케이션을 차단하기에 앞서 실제로 민간 애플리케이션이 정보의 신뢰성을 훼손하는지에 대해서 보다 면밀한 분석이 필요했다는 지적이 가능할 수 있다. 더 나아가 실제 부정확한 정보가 확산되어 문제가 발생하는지, 차단 외 기술적 수단으로 정보의 왜곡을 막을 수 있는 방법은 없는 것인지 등에 충분한 고민이 필요하다.
이용자들의 리뷰 속의 정보의 신뢰성에 대한 긍정적인 반응이 확인되었다고 해서, 민간이 제공하는 정보의 신뢰성이 담보되었다고 단언할 수 없다. 따라서 향후 정보의 신뢰성에 영향을 줄 수 있는 다양한 측면의 분석이 추가될 필요가 있다. 둘째, 분석자료의 한계이다.
향후 정부와 민간이 동일한 목적과 용도로 제공하는 서비스에 대한 일반적인 이용자 집단의 데이터가 확보된다면 이용자 그룹 간 차이 등을 분석해 볼 수 있을 것이다. 마지막으로, 분석방법의 한계이다. 본 연구에서는 기본적인 신경망 모형과 기존의 영화 리뷰 학습 데이터를 활용하여 분석을 실시하였다.
본 연구에서는 기본적인 신경망 모형과 기존의 영화 리뷰 학습 데이터를 활용하여 분석을 실시하였다. 비록 분석 데이터의 일부를 활용한 검증에서 약 90% 수준의 정확도를 보였으나, 최근 제안되고 있는 자연어학습 모형과 유사한 도메인의 데이터를 활용한다면 보다 정밀한 분석결과를 도출할 수 있을 것이다.
따라서 본 연구에서는 이를 애플리케이션 리뷰를 통해 파악하였으나, 그 수가 제한적이었다. 셋째, 분석대상의 한계이다. 민간과 정부의 서비스 모두 코로나19에 관한 애플리케이션이지만, 그 목적과 용도가 다소 상이하다.
더 나아가 실제 부정확한 정보가 확산되어 문제가 발생하는지, 차단 외 기술적 수단으로 정보의 왜곡을 막을 수 있는 방법은 없는 것인지 등에 충분한 고민이 필요하다. 차단이라는 사전적인 조치보다는 사후적으로 문제가 되는 애플리케이션들을 선별해 낼 수 있는 모니터링 시스템을 도입하는 것도 방안이 될 수 있다.
본 연구는 민간이 제공하는 정보와 서비스에 대한 이용자 반응을 확인하여 그 가치를 파악하고자 하였으나, 이를 확인할 수 있는 자료가 부족하였다. 트위터와 페이스북 등 소셜네트워크서비스 (SNS; Social Network Service) 상의 반응도 조사를 했으나, SNS상에서는 관련 애플리케이션에 대한 링크만 공유될 뿐, 해당 서비스에 대한 의견을 담는 경우가 거의 없어 텍스트 분석을 적용하는 데 한계가 있었다. 따라서 본 연구에서는 이를 애플리케이션 리뷰를 통해 파악하였으나, 그 수가 제한적이었다.
따라서 본 연구의 결과를 일반적인 이용자의 의견으로 확대 해석하는 데는 제약이 있을 수 있다. 향후 정부와 민간이 동일한 목적과 용도로 제공하는 서비스에 대한 일반적인 이용자 집단의 데이터가 확보된다면 이용자 그룹 간 차이 등을 분석해 볼 수 있을 것이다. 마지막으로, 분석방법의 한계이다.
참고문헌 (32)
World Health Organization, Coronavirus disease 2019 (COVID-19): situation report, 72, 2020.
PWC, 코로나19가 가져올 구조적 변화: 디지털 경제 가속화, Samil Issue Report, 2020.
PWC, Navigate the tax measures in response to COVID-19, Tax and Legal Alert, 2020.
송동근, 민귀홍, 진범섭, "공중보건 위기 상황 시 정보 정확성과 정보 적절성이 정부 신뢰와 만족에 미치는 영향-메르스 사태를 중심으로," 홍보학 연구, 제20권, 제2호, pp.61-90, 2016.
O. Kwon, W. S. Son, J. Y. Kim, and J. H. Kim, "Intervention effects in the transmission of COVID-19 depending on the detection rate and extent of isolation," Epidemiology and Health, Vol.42, pp.1-7, 2020.
J. S. Jia, X. Lu, Y. Yuan, G. Xu, J. Jia, and N. A. Christakis, "Population flow drives spatio-temporal distribution of COVID-19 in China," Nature, Vol.852, pp.389-394, 2020.
A. Husnayain, A. Fuad, and E. C. Y. Su, "Applications of google search trends for risk communication in infectious disease management: A case study of COVID-19 outbreak in Taiwan," International Journal of Infectious Diseases, 2020.
J. Hopman, B. Allegranzi, and S. Mehtar, "Managing COVID-19 in low-and middle-income countries," Jama, Vol.323, No.16, pp.1549-1550, 2020.
J. J. Van Bavel, K. Baicker, P. S. Boggio, V. Capraro, A. Cichocka, M. Cikara, and J. Drury, "Using social and behavioural science to support COVID-19 pandemic response," Nature Human Behaviour, Vol.4, pp.460-471, 2020.
N. L. Bragazzi, H. Dai, G. Damiani, M. Behzadifar, M. Martini, and J. Wu, "How Big Data and Artificial Intelligence Can Help Better Manage the COVID-19 Pandemic," International Journal of Environmental Research and Public Health, Vol.17, No.9, pp.1-8, 2020.
T. Kobayashi, S. M. Jung, N. M. Linton, R. Kinoshita, K. Hayashi, T. Miyama, A. Anzai, Y. Yang, B. Yuan, A. R. Akhmetzhanov, A. Sucuki, and H. Nishiura, "Communicating the risk of death from novel coronavirus disease (COVID-19)," Journal of Clinical Medicine, Vol.9, No.2, pp.1-7, 2020. http://www.cdc.go.kr/contents.es?mida20301020300
정은경, "국가 감염병 공중보건위기 대비와 대응체계," Journal of the Korean Medical Association/Taehan Uisa Hyophoe Chi, 제60권, 제4호, pp.296-299, 2017.
이준영, 허우철, 한미정, "메르스 루머의 수용과 확산에 미치는 영향 요인 탐색 : 트라이 앤디스(Triandis) 모델의 적용," 광고연구, 제122권, pp.104-133, 2019.
Oxford University, Oxford University infectious disease experts provide evidence for a coronavirus mobile app for instant contact tracing, News and Events, 2020.
백혜진, "전략적인 감염병 위기대응 소통: 변화하는 공중의 역할과 미디어 환경," Journal of the Korean Medical Association/Taehan Uisa Hyophoe Chi, 제60권, 제4호, pp.306-313, 2017.
J. Ramos, "Using tf-idf to determine word relevance in document queries," In Proceedings of the first instructional conference on machine learning, Vol.242, pp.133-142, 2003.
R. Piryani, D. Madhavi, and V. K. Singh, "Analytical mapping of opinion mining and sentiment analysis research during 2000-2015," Information Processing & Management, Vol.53, No.1, pp.122-150, 2017.
D. M. Blei, A. Y. Ng, and M. I. Jordan, "Latent dirichlet allocation," Journal of machine Learning research, Vol.3, No.Jan, pp.993-1022, 2003.
P. DiMaggio, M. Nag, and D. Blei, "Exploiting affinities between topic modeling and the sociological perspective on culture: Application to newspaper coverage of US government arts funding," Poetics, Vol.41, No.6, pp.570-606, 2013.
D. Devine, J. Gaskell, W. Jennings, and G. Stoker, Trust and the Coronavirus Pandemic: What are the Consequences of and for Trust? An Early Review of the Literature, Political Studies Review, 2020.
J. Henderson, P. R. Ward, E. Tonkin, S. B. Meyer, H. Pillen, D. McCullum, ... and A. Wilson, "Developing and maintaining public trust during and post-COVID-19: can we apply a model developed for responding to food scares?," Frontiers in public health, Vol.8, pp.369, 2020.
V. W. Lim, "Public perceptions of COVID-19 and behaviour change," Bulletin of the World Health Organization, 2020.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.