[논문]Seasonal Weather Factors and Sensibility Change Relationship via Textmining

Yeo, Hyun-Jin

doi:10.9708/jksci.2022.27.08.219

Seasonal Weather Factors and Sensibility Change Relationship via Textmining 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.27 no.8, 2022년, pp.219 - 224

Yeo, Hyun-Jin (Dept. of e-Business, Paichai University)

초록
AI-Helper

한국 기상청은 '생활산업 기상정보서비스'나 '위기탈출 안전날씨'와 같은 일상에 관련된 정보를 제공하고 있다. 한편, 해외에서는 독일의 '신체기상정보', 영국의 '건강 기상정보'와 같이 인간의 신체와 감성에 영향을 미치는 기상정보 역시 제공하고 있다. 비록 인간의 감성 변화가 심리학 연구 영역에서 다양하고 방대하게 이루어져 왔지만, 빅 데이터 분석 기반에 근거한 기상정보에 따른 인간의 감성 예측모형은 요원한 상태이다. 이 연구에서는 기상요소에 따른 인간의 감성변화를 예측할 수 있는 모형을 기상청의 기상 데이터셋과 SNS상 크롤링된 일자별 텍스트를 통해 개발하고 검증하고자 한다. 연구 결과 기상 요소들로 인간의 감성변화를 예측할 수 있는 모형을 만들고 검증할 수 있었으며 이는 기존 연구와 그 결을 같이한다고 볼 수 있다.

Abstract ▼ AI-Helper

The Korea Meteorological Administration(KMA) has been released life-related indexes such as 'Life industrial weather information' and 'Safety weather information' while other countries' meteorological administrations have been made 'Human-biometeorology' and 'Health meteorology' indexes that concern human sensibility effections to diverse criteria. Although human sensibility changes have been studied in psychological research criteria with diverse and innumerous application areas, there are not enough studies that make data mining based validation of sensibility change factors. In this research I made models to estimate sensibility change caused by weather factors such as temperature and humidity, and validated by collecting sensibility data from SNS text crawling and weather data from KMA public dataset. By Logistic Regression, I clarify factors affecting sensibility changes.

주제어

표/그림 (6)

표 Table 1. KMA Life Weather Index Services
표 Table 2. Emotion and Sensibility [4]
표 Table 3. System Environment
그림 Fig. 1. Research Process
표 Table 4. Corpus Characteristics
표 Table 5. Logistic Regression Model results(Acc: Accuracy, Prec: Precision, Rec: Recall, F1: F1 score, RA: ROC_AUCA set: rainfall, sunshine duration, avg temperature, max wind speedB set: rainfall, sunshine duration, avg temperature, avg wind speedC set: rainfall, sunshine duration, avg temperature, atmospheric pressureD set rainfall, sunshine duration, avg temperature, avg humidity)

AI 본문요약
AI-Helper

문제 정의

이에 본 연구에서는 날씨요소들이 다양한 사람들이 만들어내는 사회과학적 현상들에 미치는 영향의 선행 혹은 매개변수로 판단되는 ‘감성(Sensibility)’에 대해 미치는 영향을 최근 많은 사용자들이 사용하는 사회관계서비스의 텍스트 마이닝을 통해 알아보고자 한다.
즉, 기상요소들이 생활이나 산업에 미치는 영향의 이론적 연구와 설문에 의한 실증적 선행 연구들에 대해 데이터 기반으로 보다 과학적인 접근이 가능해 진 것이다. 이에 본 연구에서는 날씨요소들이 다양한 사람들이 만들어내는 사회과학적 현상들에 미치는 영향의 선행 혹은 매개변수로 판단되는 ‘감성(Sensibility)’에 대해 미치는 영향을 최근 많은 사용자들이 사용하는 사회관계서비스의 텍스트 마이닝을 통해 알아보고자 한다.

제안 방법

다음으로 행정구역 주소를 기반으로 인스타그램 데이터와 기상데이터의 날씨정보를 Merge하였으며, 사용한 기상정보는 일강수량(mm), 최대풍속(m/s), 평균풍속(m/s), 평균 상대습도(%), 평균 증기압(hPa), 합계 일조 시간(hr), 평균 지면온도(섭씨), 일 최심적설(cm)로 총 34개 이상의기상 메타 중, 데이터의 수량과 일상에서 사용 빈도등을 고려하여, 총 8개의 기상정보를 활용했다. 동일 지역에 복수의 관측소가 있거나 읍/면/동 단위에 관측소가 없는 경우 관측소 좌표상 가장 가까운 위치를 매칭하였다.
확보한 기상데이터셋에는 95개 국내 기상 관측소와 관측소의 행정 구역상 주소가 존재하 나, 관측 지점의 행정구역상 이동이나 신구 주소 등의 이유로 위도와 경도 좌표를 통해 행정구역을 재 변환 하였 다. 두 번째로, 동일 기간 인스타그램에서 지리정보를 가지고 있는 콘텐츠 중 위 관측소의 위치와 읍/면/동 정보가 일치하는 게시글 중 태그를 포함한 텍스트 길이가 20글자 이상인 콘텐츠를 연도별 5만건 Random 크롤링 하였다. Random 크롤링을 사용한 이유는 해당 SNS의 콘텐츠가 너무 방대하기 때문이다.
텍스트의 형태소를 분석하고 TF-IDF 변환하여 말뭉치화 한 뒤 감성을 분석하는 연구는 쇼핑몰 후기 분석이나 영화의 관람평점과 같이 텍스트와 함께 긍정/ 부정 수준을 별점이나 점수로 나타낼 수 있는 경우는 별도의 사전을 제작할 수 있으나, 본 연구에서 사용된 SNS의 경우 긍정/부정을 판별할 수 있는 별도의 점수기준이 존재하지 않아 외부 사전을 사용하였다. 본 연구는 KOSAC의 게시물 내 말뭉치의 긍정/부정 빈도에 따라 게시글 자체의 긍정/부정을 분류하였으며, 게시글의 긍정/부정 판단은 전체 게시글의 긍정 말뭉치 빈도와 부정 말뭉치 빈도의 차이의 절대 값 평균을 기준으로 게시글의 긍정/부정을 결정 하였으며, 차이가 평균치를 밑도는 경우 중립글로 판별하여 본 분석에 사용하지 않았다. 감성분석 결과를 태깅한 후 사이킷런 Logistic Regression을 통해 모델을 생성하 고[15], Test set을 통해 검증하였다 [16].
본 연구에서는 8가지 기상정보(일강수량(mm), 최대풍속(m/s), 평균풍속(m/s), 평균 상대습도(%), 평균 증기압 (hPa), 합계 일조 시간(hr), 평균 지면온도(섭씨), 일 최심적설(cm))에 따른 인간의 감성(Sensibility)의 변화를 예측하는 모형을 만들기 위해, 2018년부터 2021년까지 4년간기상청의 기상정보(AOS 데이터)와 동 기간 SNS 중 하나인 인스타그램의 콘텐츠중 지리정보가 삽입된 콘텐츠를 약 20만건 크롤링, 텍스트마이닝하여 감성정보를 추출한 뒤 기상정보에 따른 감성정보(긍정/부정)를 예측할 수 있는 모형을 도출하였다.
본 연구에서는 인간의 감성을 측정하는 도구로써 기존 선행연구들의 설문조사 방법이 아닌 사회관계서비스(SNS: Social Network Service)의 텍스트 감성 분석을 사용한다. SNS 콘텐츠의 감성은 사용자의 감정 상태에 영향을 미치게 되는데, 이는 최근 SNS가 이미지, 텍스트 등으로 콘텐츠 작성시 사용자의 감성을 잘 나타내고 있다는 점에서 착안한다 [11].
이후, KoNLPy의 Mecab 형태소 분석기를 활용하여 형태소 분석을 실시하고 불용어를 제거 한뒤, TF-IDF 변환을 실시하고[12], Sentiment analysis를 위해 뉴스기사 감성 분석을 위해 제작된 감성분석 사전을 활용하였다. 본 연구에서 사용된 감성분석 사전은 KOSAC(Korean Sentiment Analysis Corpus)와 뉴스감성분석을 위해 사용된 모형을 혼합하여 사용하였다.
본 연구의 절차는 Fig 1에서 살펴볼 수 있다. 첫째, 기상청 기상자료개발포털을 통해 2018년~2021년 4개년의 종관기상관측(AOS)데이터를 파일셋 형태를 통해 csv format으로 확보하였다. 확보한 기상데이터셋에는 95개 국내 기상 관측소와 관측소의 행정 구역상 주소가 존재하 나, 관측 지점의 행정구역상 이동이나 신구 주소 등의 이유로 위도와 경도 좌표를 통해 행정구역을 재 변환 하였 다.
KOSAC은 약 8천개의 말뭉치(corpus)를 가지고 있으며 감성과 의견을 구분할 수 있다[13,14]. 텍스트의 형태소를 분석하고 TF-IDF 변환하여 말뭉치화 한 뒤 감성을 분석하는 연구는 쇼핑몰 후기 분석이나 영화의 관람평점과 같이 텍스트와 함께 긍정/ 부정 수준을 별점이나 점수로 나타낼 수 있는 경우는 별도의 사전을 제작할 수 있으나, 본 연구에서 사용된 SNS의 경우 긍정/부정을 판별할 수 있는 별도의 점수기준이 존재하지 않아 외부 사전을 사용하였다. 본 연구는 KOSAC의 게시물 내 말뭉치의 긍정/부정 빈도에 따라 게시글 자체의 긍정/부정을 분류하였으며, 게시글의 긍정/부정 판단은 전체 게시글의 긍정 말뭉치 빈도와 부정 말뭉치 빈도의 차이의 절대 값 평균을 기준으로 게시글의 긍정/부정을 결정 하였으며, 차이가 평균치를 밑도는 경우 중립글로 판별하여 본 분석에 사용하지 않았다.

대상 데이터

첫째, 크롤링 데이터의 랜덤 추출 방식이다. 본 연구에서 사용된 SNS 크롤링 데이터는 연도별 모든 데이터를 추출하기에는 서비스 제공자의 서버로드에 따른 비접속성 등 다양한 문제가 있는 관계로 연도별로 무작위 5만개의 콘텐츠를 추출하였다. 무작위성을 위해 본 연구에서는 월/일에 Random Value를 넣는 방식으로 추출하였으나 특정 이슈의 콘텐츠가 집중되는 기간, 예를 들어 올림픽, 선거와 같은 전국적인 특정 콘텐츠 집중기간을 제외시키지 못했다.
의 연구에서 밝혀진 3가지 기상요소 (일강수량, 합계 일조시간, 평균 지면온도)를 [9] 제외한 5개의 요소들을 각각 제가하면서 이루어졌다. 즉, 4개 기상정보 5set, 5개 기상정보 10set, 6 개 기상정보 6set, 7개 기상정보 3set, 8개 기상정보 1set 으로 총 25개의 training set을 통해 25개의 모형이 생성되었으며 각 모형별로 파이썬 Dataframe의 random index 번호로 약 10%의 데이터를 5회에 거쳐 추출 검증하여 총 125회의 검증이 이루어졌다.
08개 이다. 평균 긍정 말뭉치와 평균부정 말뭉치의 차이인 1.33개를 기준으로 이에 미달되는61,311개의 콘텐츠는 긍정이나 부정을 나눌 수 없는 콘텐츠로 판단하여 학습에 사용되지 않았으며, 최종적으로 긍정으로 판단되는 콘텐츠 81,333건, 부정으로 판단되는 콘텐츠 48,755건을 로지스틱 회귀분석을 통한 Training Set 으로 이용, 모형 개발에 사용하였다.

데이터처리

본 연구는 KOSAC의 게시물 내 말뭉치의 긍정/부정 빈도에 따라 게시글 자체의 긍정/부정을 분류하였으며, 게시글의 긍정/부정 판단은 전체 게시글의 긍정 말뭉치 빈도와 부정 말뭉치 빈도의 차이의 절대 값 평균을 기준으로 게시글의 긍정/부정을 결정 하였으며, 차이가 평균치를 밑도는 경우 중립글로 판별하여 본 분석에 사용하지 않았다. 감성분석 결과를 태깅한 후 사이킷런 Logistic Regression을 통해 모델을 생성하 고[15], Test set을 통해 검증하였다 [16].

이론/모형

이후, KoNLPy의 Mecab 형태소 분석기를 활용하여 형태소 분석을 실시하고 불용어를 제거 한뒤, TF-IDF 변환을 실시하고[12], Sentiment analysis를 위해 뉴스기사 감성 분석을 위해 제작된 감성분석 사전을 활용하였다. 본 연구에서 사용된 감성분석 사전은 KOSAC(Korean Sentiment Analysis Corpus)와 뉴스감성분석을 위해 사용된 모형을 혼합하여 사용하였다. KOSAC은 약 8천개의 말뭉치(corpus)를 가지고 있으며 감성과 의견을 구분할 수 있다[13,14].

성능/효과

Table 4에서 살펴볼 수 있듯이, 총 약 20만건의 크롤링콘텐츠 중 기상 관측소 위치정보와 명확히 매칭되지 않는 콘텐츠를 제외한 191,399개 콘텐츠에서 발췌한 말뭉치 중Lexicon이 인지한 긍정 말뭉치는 733,694개, 부정 말뭉치는 375,607개 였으며, 콘텐츠 당 평균 긍정 말뭉치는 3.41 개, 부정 말뭉치는 2.08개 이다. 평균 긍정 말뭉치와 평균부정 말뭉치의 차이인 1.
결과적으로 강수량, 지면온도, 일조량, 습도를 통해 인간의 긍정/부정 감성을 92% 정확도와 96% 정밀도 95% 재현율로 구축할 수 있으며 이는 기존 문헌 연구의 3개 요소를 사용했다는 측면에서 설문에 의한 기존 연구를 강력히 지지할 수 있다.
둘째, 두 가지 Lexicon을 혼합하여 사용하였음에도 불구하고 SNS의 특성상 감성을 표현하는 다양한 비정규 언어들에 대한 말뭉치화가 불가능하였다. 특히 MZ세대 유저가 대다수인 SNS인 인스타그램의 특성상 감성을 표현하는 부분에 있어 유행에 민감한 단축어나 표준어가 아닌 구어체 표현이 굉장히 많이 사용됨에도 불구하고 모두 누락되었으며, 다양한 한국식 영어 표현 역시 한국어 기반 분석툴인 KoNLPY를 사용한 관계로 Regular Expression에서 제외되었다.
5건이였다. 사전이 인식 못한 말뭉치가 많은 이유는 첫째, SNS 특성상 신조어, 단축어와 같이 Lexicon이 인지 하지 못하는 말뭉치가 많았고 둘째, 최근 SNS 광고가 활성화 되어 감성보다는 상업용 문구가 있는 콘텐츠들이 크롤링 과정에서 필터링 되지 못한 이유로 판단된다.
셋째, 총 7가지의 감성으로 분석하는 영문의 자연어 감성 분석기와 같이 인간의 감성을 다양하게 분석하지 못하고 긍정/부정이라는 2원적 분석만이 이루어졌다. 이는 한국어의 복잡성과 말뭉치화의 어려움, 그에 따른 Lexicon 의 한계이기도 하지만, 향후 번역을 통한 한국어→영어 전환 후 영문 감성 분석기를 이용한 연구 등의 방식으로 보완할 필요가 있다.
이 중 가장 좋은 정확도, 정밀도, 재현율, F1 Score, ROC_AUC결과를 보인 모형은 4개 기상정보 중에서 발견되었으며, 각 모형별 최적의 검증값은 아래 Table 5와 같 으며, 표에서 생략된 5번째 Set는 적설량 데이터가 상대적으로 적은 것으로 판단되지만 나머지 4개 Set 대비 매우 낮은 정확도, 정밀도, 재현율을 나타내는 관계로 생략하였다.
첫째, 크롤링 데이터의 랜덤 추출 방식이다. 본 연구에서 사용된 SNS 크롤링 데이터는 연도별 모든 데이터를 추출하기에는 서비스 제공자의 서버로드에 따른 비접속성 등 다양한 문제가 있는 관계로 연도별로 무작위 5만개의 콘텐츠를 추출하였다.
둘째, 두 가지 Lexicon을 혼합하여 사용하였음에도 불구하고 SNS의 특성상 감성을 표현하는 다양한 비정규 언어들에 대한 말뭉치화가 불가능하였다. 특히 MZ세대 유저가 대다수인 SNS인 인스타그램의 특성상 감성을 표현하는 부분에 있어 유행에 민감한 단축어나 표준어가 아닌 구어체 표현이 굉장히 많이 사용됨에도 불구하고 모두 누락되었으며, 다양한 한국식 영어 표현 역시 한국어 기반 분석툴인 KoNLPY를 사용한 관계로 Regular Expression에서 제외되었다.

후속연구

첫째, 문헌 연구로 살펴본 바와 같이[3, 4, 10] ‘범죄율’, ‘의류 쇼핑몰 매출’, ‘교통사고율’과 같은 사회문제나 사회현상 중 인간의 선택에 따른 현상에 대한 다른 측면을 제시하여 기상정보의 변화에 따라 ‘범죄 예방 날씨 지수’, ‘쇼핑몰 날씨 지수’와 같은 다양한 기상 관련 지수를 개발하는 초석이 될 수 있다. 둘째, 추가적인 연구를 통해 다양한 확장연구가 가능하다. 기존 연구에서 살펴볼 수 있듯이 기상정보는 직간접적으로 사고나 사회현상을 발생시키고 있다.
본 연구에서 사용된 SNS 크롤링 데이터는 연도별 모든 데이터를 추출하기에는 서비스 제공자의 서버로드에 따른 비접속성 등 다양한 문제가 있는 관계로 연도별로 무작위 5만개의 콘텐츠를 추출하였다. 무작위성을 위해 본 연구에서는 월/일에 Random Value를 넣는 방식으로 추출하였으나 특정 이슈의 콘텐츠가 집중되는 기간, 예를 들어 올림픽, 선거와 같은 전국적인 특정 콘텐츠 집중기간을 제외시키지 못했다.
셋째, 총 7가지의 감성으로 분석하는 영문의 자연어 감성 분석기와 같이 인간의 감성을 다양하게 분석하지 못하고 긍정/부정이라는 2원적 분석만이 이루어졌다. 이는 한국어의 복잡성과 말뭉치화의 어려움, 그에 따른 Lexicon 의 한계이기도 하지만, 향후 번역을 통한 한국어→영어 전환 후 영문 감성 분석기를 이용한 연구 등의 방식으로 보완할 필요가 있다.
첫째, 문헌 연구로 살펴본 바와 같이[3, 4, 10] ‘범죄율’, ‘의류 쇼핑몰 매출’, ‘교통사고율’과 같은 사회문제나 사회현상 중 인간의 선택에 따른 현상에 대한 다른 측면을 제시하여 기상정보의 변화에 따라 ‘범죄 예방 날씨 지수’, ‘쇼핑몰 날씨 지수’와 같은 다양한 기상 관련 지수를 개발하는 초석이 될 수 있다

참고문헌 (16)

I.S. Kim et al, "Weather Information and Industrial Data Analysis Research for Early Warning Service", Korea Occupational Safety & Health Agency, 2015.
Korea Meteorological Institute, "Fusion method research weather information and other industries in the point of big data", 2013
Y.N. Lee and K.W. Kim, "A study on the relationships between the fatal traffic accidents and meteorological factors", Journal of Korea Police Studies, Vol.6, No.3, pp.125-164, 2007.
E.Y. Jang and S.J. Lee, "The Effects of Meteorological Factors on Sales of Apparel Products - focused on apparel sales in the department store -", Journal of the Korean Society of Costume, Vol.52, No.2, 2002
Hyun-Jin Yeo, "Weather Index for Construction Injury", Journal of Theoretical and Applied Information Technology, Vol.96, No.21, pp.7330-7338, 2018
Korea Meteorological Administration, http://web.kma.go.kr/eng/
Catherine B.C and Daniel A.R, "Assessing the effects of Weather Conditions on Physical Activity Partivipation Using Objectives Measures", International Journal of Environment Research and Public Health, 2009, Vol.6, pp.2639-2654.

상세보기
K.H. Lee, "Human Sensibility and Its Measurement and Evaluation", Annual Conference, Korea Society of Sensibility Science, pp.37-42, 1997.
Howarth, E. & Hoffman, M.S, A multidimensional approach to the relationship between mood and weather, British Journal of Psychology, Vol.75, No.1, pp.15-23, 1984.

상세보기
Y.H. Lee, and Y.S. Kim, "Weather, the Day of Week, and the Number of Crime: focused on Crime Occurrence in Seoul during the Winter", Korean Criminal Psychology Review, Vol.6, No.1, pp.207-211, 2010.
S.J. Kim and T.Y, Kim, "How the Emotion of SNS Contents Influence the Users' Affective States : Focused on Facebook Newsfeed Pages", Journal of Cybercommunication, Vol.29, No.1, pp.5-47, 2012.
Salton G. and McGill, M. J. 1983 Introduction to modern information retrieval. McGraw-Hill, ISBN 0-07-054484-0.
Korean Setiment Analysis Corpus, http://word.snu.ac.kr/kosac/corpus.php
H.P. Shin, M.H. Kim, Y.M. Jo, H.J. Jang and Andrew Cattle, "Annotation Scheme for Constructing Sentiment Corpus in Korean", 26 th Pacific Asia Conference on Language, Information and Computation, pp.181-190, 2012.
Cox, DR, "The regression analysis of binary sequences (with discussion)", J Roy Stat Soc B, pp.215-242, 1958.
Ron Kohavi; Foster Provost, "Glossary of terms", Machine Learning, pp.271-274. doi:10.1023/A:1007411609915, 1998.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증