[논문]빅데이터 분석 기반의 오피니언 마이닝을 이용한 정보화 사업 평가 분석

김홍삼; 김종수

빅데이터 분석 기반의 오피니언 마이닝을 이용한 정보화 사업 평가 분석
An Analysis of IT Proposal Evaluation Results using Big Data-based Opinion Mining 원문보기

Journal of Korean Society of Industrial and Systems Engineering = 한국산업경영시스템학회지, v.41 no.1, 2018년, pp.1 - 10

김홍삼 (한남대학교 산업경영공학과) , 김종수 (한남대학교 산업경영공학과)

Abstract ▼ AI-Helper

Current evaluation practices for IT projects suffer from several problems, which include the difficulty of self-explanation for the evaluation results and the improperly scaled scoring system. This study aims to develop a methodology of opinion mining to extract key factors for the causal relationship analysis and to assess the feasibility of quantifying evaluation scores from text comments using opinion mining based on big data analysis. The research has been performed on the domain of publicly procured IT proposal evaluations, which are managed by the National Procurement Service. Around 10,000 sets of comments and evaluation scores have been gathered, most of which are in the form of digital data but some in paper documents. Thus, more refined form of text has been prepared using various tools. From them, keywords for factors and polarity indicators have been extracted, and experts on this domain have selected some of them as the key factors and indicators. Also, those keywords have been grouped into into dimensions. Causal relationship between keyword or dimension factors and evaluation scores were analyzed based on the two research models-a keyword-based model and a dimension-based model, using the correlation analysis and the regression analysis. The results show that keyword factors such as planning, strategy, technology and PM mostly affects the evaluation result and that the keywords are more appropriate forms of factors for causal relationship analysis than the dimensions. Also, it can be asserted from the analysis that evaluation scores can be composed or calculated from the unstructured text comments using opinion mining, when a comprehensive dictionary of polarity for Korean language can be provided. This study may contribute to the area of big data-based evaluation methodology and opinion mining for IT proposal evaluation, leading to a more reliable and effective IT proposal evaluation method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

정성적으로 서술된 평가 의견에서 평가 결과에 영향을 미치는지 요인들을 파악한다. 그리고 비정형 텍스트 형태인 검토 의견을 토대로 정량적 평가 점수를 도출할 수 있는 가능성을 알아본다. 이를 통하여 평가방법의 개선 및 정보화 사업 제안의 질적 향상에 대한 방법을 제시하고자 한다.
이를 통해 평가 결과에 미치는 요인의 영향력을 파악하고 검토의견에서 수치화된 평가 점수를 도출할 수 있는 가능성을 검토해보았다. 그리고 이를 바탕으로 정보화 사업 제안의 평가 및 사업 수행 과정을 향상시킬 수 있는 개선책에 대한 시사점을 도출하였다.
텍스트 형태로 표시된 평가자의 검토의견으로부터 평가 결과에 영향을 미치는지 요인들을 파악하는 인과관계 분석을 실시하였다. 그리고 정성적인 검토 의견에서 정량적 평가 점수를 산출하여 평가 및 선정에 활용할 수 있는 가능성을 알아보았다. 우선 인과관계 분석은 요인들을 차원으로 그룹화하거나 소수의 키워드 집합을 그대로 요인으로 사용하는 두 가지 방식으로 수행하였는데, 양쪽 접근방식 모두 비슷한 결과를 보여 주었다.
본 연구에서는 텍스트로 표현된 평가자의 검토의견으로부터 빅데이터 분석을 통하여 평가 영향을 미치는 요인과 그 요인에 대한 의견(극성)을 추출하고 수치화하기 위하여 오피니언 마이닝 기법을 적용하는 연구를 진행하였다. 전술한 바와 같이 평가 의견의 특징인 간접적이고 우회적인 감정 표현의 자제는 기존의 연구와는 다른 접근 방법을 요구한다.
이러한 연구 목적을 달성하기 위하여 우선 기존 연구의 성과와 한계점을 파악하였다. 본 연구의 대상 영역인 정보화 사업 제안 평가는 영화평이나 상품 후기와 같이 주관적 감정이 아닌 공식적인 평가가 강조되는 영역이므로 검토 의견이 보다 절제된 표현이 주를 이룬다.
그러므로 감정 추출 및 극성 판별이라는 감정분석에 있어서 새로운 접근방법이 필요하다. 이러한 특성들을 감안한 연구 모형을 제시하였다. 특정 발주기관의 온라인 평가시스템 및 수기 평가철에 등록되어 있는 검토 의견과 결과 점수를 수집하여, 오피니언 마이닝 기법을 활용하여 비정형 텍스트의 검토의견으로부터 평가에 영향을 미치는 주요 요인 및 감정 키워드를 추출하고 이를 다시 3개의 차원으로 분류하였다.
그리고 비정형 텍스트 형태인 검토 의견을 토대로 정량적 평가 점수를 도출할 수 있는 가능성을 알아본다. 이를 통하여 평가방법의 개선 및 정보화 사업 제안의 질적 향상에 대한 방법을 제시하고자 한다. 통상적으로 인과관계 분석을 수행하기 위해서는 인터뷰나 설문 조사와 같은 방식으로 평가자의 의견을 조사한다[15].
특정 발주기관의 온라인 평가시스템 및 수기 평가철에 등록되어 있는 검토 의견과 결과 점수를 수집하여, 오피니언 마이닝 기법을 활용하여 비정형 텍스트의 검토의견으로부터 평가에 영향을 미치는 주요 요인 및 감정 키워드를 추출하고 이를 다시 3개의 차원으로 분류하였다. 이를 통해 평가 결과에 미치는 요인의 영향력을 파악하고 검토의견에서 수치화된 평가 점수를 도출할 수 있는 가능성을 검토해보았다. 그리고 이를 바탕으로 정보화 사업 제안의 평가 및 사업 수행 과정을 향상시킬 수 있는 개선책에 대한 시사점을 도출하였다.
인과관계 분석과 더불어 본 연구의 또 다른 목적은 검토 의견의 수치화 가능성에 대한 평가이다. 단어와 평점의 상관관계 분석을 통하여 영화평 평점을 예측하고자한 연구와 비교할 때[29], 본 연구의 결과가 보다 양호한 결과를 보여준다고는 할 수 없다.

제안 방법

우선 통계 및 빅데이터 분석에는 R을 주로 사용하였다. R의 빅데이터 분석용 패키지 중에서 텍스트 분석을 위한 TM, 한글 텍스트 마이닝 도구인 KONLP, 그리고 각종 통계 분석용 패키지를 플러그인하여 사용하였다. 텍스트에서 주요 요인을 추출하기 위해서는 문장 형태소 추출이 필요하다.
주요 요인 키워드에 대한 차원 분류를 위하여 조달청의 전자조달시스템인 나라장터 공고정보 검색을 통해 약 100 여건의 정보화 사업 제안요청서를 수집하였다. 그 속에 포함된 평가표의 항목들을 수집한 후, 전문가 검토를 통해 이해력, 수행력, 관리력의 3가지 큰 범주로 나누어 본 연구 모형의 차원으로 사용하였다. 이해력은 사업을 수행하는 기업이 해당 정보화 사업의 수행환경에 대해 얼마나 이해 하고 있는지를 뜻한다.
그러나 공공 정보화 사업 평가에서는 보안상의 이유로 평가자의 명단이 공개되지 않아 평가자들에 대한 접촉 자체가 쉽지 않으며, 평가의 성격상 평가자들의 객관적이고 솔직한 답변을 얻기 어렵다. 따라서 본 연구에서는 비정형적 텍스트로 표현된 검토의견으로부터 오피니언 마이닝을 이용하여 평가자의 의견을 추출한다.
전술한 바와 같이 평가 의견의 특징인 간접적이고 우회적인 감정 표현의 자제는 기존의 연구와는 다른 접근 방법을 요구한다. 따라서 이러한 특성을 반영하여 평가 결과에 영향을 미치는 요인을 파악하고, 문장의 극성에 대한 키워드를 추출, 키워드 사전을 구축하여 평가 의견의 수치화 가능성을 모색하는 두 가지 연구 모형을 제시 하였다. 키워드 기반 연구 모형(Keyword-based Research Model)은 어휘 혹은 개념어 수준에서 평가자들이 가장 중요하게 판단하는 요인들이 무엇인지를 파악하기 위한 것이고, 차원 기반 연구 모형(Dimension-based Research Model)은 키워드들을 평가 목적에 맞게 결정요인(차원) 으로 분류하여 인과관계를 분석하는 모형이다.
데이터 사전 처리를 통해서 추출된 1,024개의 키워드에서 평가에 영향을 미치는 주요 키워드를 제안 평가 경험이 있는 전문가들이 개인별 선별 작업과 토론을 통하여 최종적으로 20개를 선정했다. 또한 차원 기반 연구 모형 적용을 위해서 20개의 주요 키워드를 이해력, 수행력, 및 관리력의 3개 차원으로 분류하였다.
그리고 마이크로 블로그 텍스트에서 전문적인 투자자들의 의견을 수집하여 주식 투자 성향을 예측하기도 하였다[7]. 또한, 빅데이터로부터 군수품의 품질 정보를 추출하여 제품 개선에 활용하거나[12], 자동차 브랜드에 대한 고객의 인식을 파악하기 위해 유사한 브랜드간의 군집을 도출하고 각 군집을 특징을 기술하는 브랜드 클러스터링에 오피니언 마이닝을 활용하였다[11].
본 연구에서는 데이터 정제, 가공 및 분석을 위해서 다양한 도구들을 사용하였다. 우선 통계 및 빅데이터 분석에는 R을 주로 사용하였다.
다음 단계는 텍스트로 구성되어 있는 검토 의견에 대한 계량화를 진행하는 단계이다. 우선 검토 의견에 주요 요인 키워드와 극성 키워드가 포함되어 있는지의 여부를 검색하였다. 둘 다 포함되어 있는 검토 의견에 대해서는 극성 키워드의 점수를 부여했다.
데이터 사전 처리는 분석의 가장 기초가 되는 단계로 데이터를 분석 가능한 상태로 만든다. 우선 비정형 텍스트 형태인 검토의견을 R에 등록하고 한글 형태소 분석 도구인 KONLP 패키지에 한글 사전 NIADic을 플러그인 하여 사전에 등록된 단어와 매핑, 이를 통해 명사형 키워드를 추출하여 형태소 세트를 만든다. 이렇게 만들어진 형태소 세트에서 분석에 불필요한 숫자, 구두점, 공백 등 여러 가지 불필요한 단어들을 정제하기 위하여 TM 패키지의 여러 함수들을 이용한다.
그 중에서도 가장 대표적인 것은 감정어휘사전인 SentiWordNet의 구축과 관련된 연구이다[26]. 이 방법에서는 14개의 기초적인 긍정, 부정 어휘와 WordNet을 이용하여 감정 속성이 부여된 어휘의 숫자를 늘려간다. 그러나 이것은 영어로 구성되어 있고 영어 단어와 한글 단어의 의미 해석이 문맥에 따라 다르기 때문에 이를 직접 번역하여 한글의 극성에 적용하기에는 한계가 있다[4].
예를 들어, 기업은 제품 및 서비스 개발의 방향을 결정하기 위해 소비자들의 욕구 및 불만에 대한 의견을 알고 싶어 한다. 이를 위해 과거에는 설문이나 인터뷰 등의 형태로 조사를 수행하였다. 하지만 최근에는 빅데이터 오피니언 마이닝을 활용하여 트위터 혹은 페이스북 등의 소셜 미디어의 데이터를 획득하는 등 소비자들의 의견을 수집하는 방법이 다양화되었다[14].
예를 들어, ‘탁월’과 ‘양호’와 같이 같은 긍정의 극성을 지닌 키워드라 할지라도 실제 평가자가 느끼는 긍정의 정도는 ‘탁월’이 더 크다. 이에 본 연구에서는 이를 반영하여 개별 극성 키워드에 극성 점수를 부여했다. 전문가 집단의 검토를 통해 동일 그룹의 극성 키워드에 대해 순위를 정하고, 가장 긍정적인 극성을 1점, 가장 부정적인 극성을 0.
이들 정보화 사업 프로젝트에서의 사업자 선정 방식은 사업수행 기업이 제출한 제안서를 분야별 전문가들이 평가함으로써 이루어진다. 즉, 제안 참가 기업들이 제출한 제안서를 평가자들이 서면 검토 및 평가하고, 제안 업체의 발표 및 질의응답 과정을 거친 후, 제안 요청서에 제시된 평가 기준에 따라 평가 점수를 부여한다. 그리고 평가의 근거 등을 자유 서술 방식으로 기술한 검토 의견을 덧붙인다.
차원 기반 연구 모형은 키워드 모형을 확장한 것으로, 키워드 기반 요인들을 평가 목적에 맞게 전문가 판단을 거쳐 이해력, 수행력 및 관리력의 3개 차원으로 분류하고 이들과 평가 결과의 인과관계를 분석한다([Figure 2] 참조). 주요 요인 키워드에 대한 차원 분류를 위하여 조달청의 전자조달시스템인 나라장터 공고정보 검색을 통해 약 100 여건의 정보화 사업 제안요청서를 수집하였다.
이러한 특성들을 감안한 연구 모형을 제시하였다. 특정 발주기관의 온라인 평가시스템 및 수기 평가철에 등록되어 있는 검토 의견과 결과 점수를 수집하여, 오피니언 마이닝 기법을 활용하여 비정형 텍스트의 검토의견으로부터 평가에 영향을 미치는 주요 요인 및 감정 키워드를 추출하고 이를 다시 3개의 차원으로 분류하였다. 이를 통해 평가 결과에 미치는 요인의 영향력을 파악하고 검토의견에서 수치화된 평가 점수를 도출할 수 있는 가능성을 검토해보았다.

대상 데이터

주요 요인 키워드에 대한 차원 분류를 위하여 조달청의 전자조달시스템인 나라장터 공고정보 검색을 통해 약 100 여건의 정보화 사업 제안요청서를 수집하였다.
데이터 사전 처리를 통해서 추출된 1,024개의 키워드에서 평가에 영향을 미치는 주요 키워드를 제안 평가 경험이 있는 전문가들이 개인별 선별 작업과 토론을 통하여 최종적으로 20개를 선정했다. 또한 차원 기반 연구 모형 적용을 위해서 20개의 주요 키워드를 이해력, 수행력, 및 관리력의 3개 차원으로 분류하였다.
의견이나 만족의 정도를 나타내는 감정뿐만 아니라 대상이나 속성에 대한 평가(evaluation)도 감정분석 및 오피니언 마이닝의 대상이 된다. 본 연구의 대상 영역인 정보화 사업 제안 평가도 감정이 아닌 평가를 대상으로 한다. 개인적이고 감성적인 의견이 주를 이루는 통상적인 감정 분석의 경우와는 달리, 평가는 대부분의 경우 보다 공식적이고 절제된 표현으로 진행된다.
분석을 위한 데이터는 정부 정보화 사업과 진행된 200여개의 제안 심사를 대상으로 수집하였다([Figure 3] 참조). 사업 별로 다양한 유형의 평가 절차가 시행되는데, 통상 적으로 평가자는 평가 시스템에 접속하여 평가 유의사항, 제안요청서, 제안서 등 평가와 관련된 자료를 검토한다.
우선, 수기로 작성되어 보관 중인 문서는 문자 인식 등 다양한 방법으로 디지털 형태로 변환하였다. 시스템에 등록된 Archive 형태의 데이터는 SQL 등의 도구를 이용하여 스프레드시트 형태로 변환시켜 수집하였다. 이러한 과정을 거쳐 총 9,264개의 평가 결과(검토 의견, 평가 점수)를 수집하였다([Table 1] 참조).
우선 검토의견 텍스트에서 형태소 추출을 통해 키워드 집합을 만든다. 여기서 빈도수, 명사형 여부 분석을 통해 1차 키워드를 추출하고, 평가 경험이 풍부한 전문가 집단의 검토를 거쳐 평가 결과에 가장 영향을 미치는 20개의 키워드를 키워드 사전으로 선정한다. 인과관계 분석 및 계량화는 20개의 각각의 키워드에 대해 이루어진다.
우선 자주 사용하지 않는 키워드(빈도수 5회 이하)를 제거 하고, ‘함’, ‘적’과같은 의존명사, 숫자 등을 제거하여 1차적으로 1,024개의 분석 대상 키워드를 선별하였다.
일련의 데이터 정제 과정을 거쳐 전체 검토 의견에서 총 4,674개의 초기 키워드를 추출했다. 데이터 정제과정을 거쳐서 불필요한 단어를 제거 했지만, 아직 완전한 정제가 이루진 상태는 아니다.

데이터처리

앞에서 분석 가능한 상태로 가공한 데이터에 대하여 엑셀과 VBA를 이용하여 키워드별, 차원별 출현 빈도 및비율과 같은 기본적 통계 분석을 진행하였다. 또한 주요 키워드와 차원의 인과 관계를 통계 분석 도구인 SPSS를이용하여 분석하였다.
또한, 출현 빈도수가 높은 4개 키워드와 전문가들이 가장 중요한 키워드로 꼽은 ‘PM’에 대하여 회귀분석을 실시하였다([Table 5] 참조).
앞에서 분석 가능한 상태로 가공한 데이터에 대하여 엑셀과 VBA를 이용하여 키워드별, 차원별 출현 빈도 및비율과 같은 기본적 통계 분석을 진행하였다. 또한 주요 키워드와 차원의 인과 관계를 통계 분석 도구인 SPSS를이용하여 분석하였다.
본 연구에서는 형태소 사전으로 국립국어원의 우리말 샘 사전을 바탕으로 제작되고 신조어와 법률, 의료 등 6대 분야별 전문 단어를 추가하여 빈도수 및 연관 분석이 가능한 NiaDic을 KONLP의 기초 사전으로 이용하였다. 이외에 텍스트 정제및 가공을 위하여 Visual Basic for Applications와 Python, 주요요인 키워드 및 차원에 대한 인과관계 분석을 위하여 통계 패키지인 SPSS를 부가적으로 사용하였다.
본 연구에서는 정부 발주 정보화 사업 평가에 빅데이터 분석 기법인 오피니언 마이닝을 적용하였다. 텍스트 형태로 표시된 평가자의 검토의견으로부터 평가 결과에 영향을 미치는지 요인들을 파악하는 인과관계 분석을 실시하였다. 그리고 정성적인 검토 의견에서 정량적 평가 점수를 산출하여 평가 및 선정에 활용할 수 있는 가능성을 알아보았다.

이론/모형

본 연구에서는 이러한 문제점들을 해결하기 위하여 빅데이터 분석 기법의 하나인 오피니언 마이닝을 이용한다. 정성적으로 서술된 평가 의견에서 평가 결과에 영향을 미치는지 요인들을 파악한다.
본 연구에서는 정부 발주 정보화 사업 평가에 빅데이터 분석 기법인 오피니언 마이닝을 적용하였다. 텍스트 형태로 표시된 평가자의 검토의견으로부터 평가 결과에 영향을 미치는지 요인들을 파악하는 인과관계 분석을 실시하였다.
텍스트에서 주요 요인을 추출하기 위해서는 문장 형태소 추출이 필요하다. 본 연구에서는 형태소 사전으로 국립국어원의 우리말 샘 사전을 바탕으로 제작되고 신조어와 법률, 의료 등 6대 분야별 전문 단어를 추가하여 빈도수 및 연관 분석이 가능한 NiaDic을 KONLP의 기초 사전으로 이용하였다. 이외에 텍스트 정제및 가공을 위하여 Visual Basic for Applications와 Python, 주요요인 키워드 및 차원에 대한 인과관계 분석을 위하여 통계 패키지인 SPSS를 부가적으로 사용하였다.

성능/효과

그리고 각각의 키워드 인과 관계 모형이 모두 어느 정도의 설명력을 보여주고 있다. 구체적으로는 방안, 전략, 기획, 실적, 계획, 기술, 그리고 PM 키워드가 여타 요인(키워드)에 비해 다소 높은 상관 관계와 설명력을 보여줌을 확인할 수 있다. 또한 극성에 대한 분석 결과가 보여 주듯이 여러 요인 중에서도 평가 자가 관심을 기울이고 있는 특정 키워드에 대한 언급 여부가 평가 점수에 큰 영향을 미침을 알 수 있다.
우선 인과관계 분석은 요인들을 차원으로 그룹화하거나 소수의 키워드 집합을 그대로 요인으로 사용하는 두 가지 방식으로 수행하였는데, 양쪽 접근방식 모두 비슷한 결과를 보여 주었다. 또한 검토 의견으로부터 평가 점수를 산출하여 직접적으로 부여한 점수와 비교한 결과, 평가 요인 별, 항목 별로 세분된, 신뢰할만한 점수를 산출할 수 있는 가능성이 있음을 알 수 있었다. 그러나 실제 평가에 활용되기 위해서는 보다 정교한 분석 방법이 필요하다고 판단된다.
차원별 분석 결과에서는 수행력, 이해력, 그리고 관리력의 순으로 빈도 수가 나타났다. 또한 극성 키워드에 대한 분석 결과에서 전체 검토의견 중 긍정 의견의 빈도가 부정 의견에 비하여 약 5배 정도 높았다. 이로부터 평가자들이 가장 관심을 기울이는 요인을 파악할 수 있었고 검토의견에서 부정적 의견은 우회적이고 간접적으로 피력하는 경향이 있음을 알 수 있다.
우선 본 연구에서는 빅데이터 기반의 오피니언 마이닝을 적용하기 위한 일련의 데이터 준비 과정(데이터 수집, 디지털화, 데이터 정제 등)이 연구 영역인 정보화 사업 제안 평가에서 원활하게 수행될 수 있음을 확인할 수 있다. 이는 연구의 대상이 되는 비정형 텍스트 형태의 검토 의견이 트위터와 같은 SNS 텍스트에 비해 보다 공식적 이고 감정이 절제된 형태로 작성되기 때문으로 생각된다.
또한 극성 키워드에 대한 분석 결과에서 전체 검토의견 중 긍정 의견의 빈도가 부정 의견에 비하여 약 5배 정도 높았다. 이로부터 평가자들이 가장 관심을 기울이는 요인을 파악할 수 있었고 검토의견에서 부정적 의견은 우회적이고 간접적으로 피력하는 경향이 있음을 알 수 있다.
전체 키워드에 대해 비교적 고른 분포를 하고 있지만 ‘이해’, ‘방안’, ‘제안’, ‘관리’, ‘계획’과 같은 키워드의 빈도가 가장 높았다.
평가에 영향을 미치는 요인을 파악하는 작업에서, 데이터 분석을 통해 평가 결과에 영향을 미치는 요인들에 대한 분석을 진행해본 결과 20개의 주요 요인 키워드 중특히 이해, 방안, 제안, 관리, 계획, 인력과 같은 키워드가 검토의견 내에서 가장 빈도가 높았다. 차원별 분석 결과에서는 수행력, 이해력, 그리고 관리력의 순으로 빈도 수가 나타났다. 또한 극성 키워드에 대한 분석 결과에서 전체 검토의견 중 긍정 의견의 빈도가 부정 의견에 비하여 약 5배 정도 높았다.
7배 높은 결과가 나왔다. 평가 결과 낙찰자 선정시 대부분 1~ 2% 정도의 미세한 차이로 결정된다는 점과 평가자가 평가 점수 입력 및 의견을 등록할 때 감정의 표현을 상대적으로 자제한다는 특성 등을 고려하면, 이러한 분석 결과는 긍정 키워드 그룹에서 긍정의 정도를 매우 정밀하게 분류할 필요가 있음을 의미한다. 극성이 없거나 중립적 극성을 표하는 의견은 전체의 40% 정도이다.
평가에 영향을 미치는 요인을 파악하는 작업에서, 데이터 분석을 통해 평가 결과에 영향을 미치는 요인들에 대한 분석을 진행해본 결과 20개의 주요 요인 키워드 중특히 이해, 방안, 제안, 관리, 계획, 인력과 같은 키워드가 검토의견 내에서 가장 빈도가 높았다. 차원별 분석 결과에서는 수행력, 이해력, 그리고 관리력의 순으로 빈도 수가 나타났다.

후속연구

이는 빅데이터 분석을 하기에는 검토 의견이 질과 양적인 측면에서 충분하지 않았고, 신뢰할만한 극성 어휘 사전의 부재로 인하여 단순 극성 키워드의 예측 값으로 점수를 산출하였으며, 주요 요인 키워드에 대한 중요도 또한 연구 목적상 차별화 시키지 않았기 때문으로 생각된다. 그러나 본 연구가 빅데이터 기반 제안 평가의 가능성 여부에 대한 판단을 목적으로 하고 있으므로 향후 연구에서 보다 많은 데이터를 수집하고, 제안 평가 영역에 특화된 정밀한 키워드 사전을 구축하여 정확도를 높일 수 있다면, 본 연구 결과도 제시된 접근 방법이 충분히 유효한 결과를 도출할 수 있을 것으로 판단된다.
본 연구에서 추구하는 바와 같이 평가자가 자유롭게 기술하는 의견(키보드로 직접 입력한 문장 혹은 토의나 질의응답 과정에서 음성으로 인식한 문장)으로부터 평가자의 정량적 판단을 도출해 낼 수 있다면, 보다 객관적이고 상세한 평가가 가능하다. 우선 얻을 수 있는 정보가 양적으로도 훨씬 더 풍부할 뿐 아니라 항목별, 속성별로 구분된 의견을 얻을 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	평가 결과의 외부 공개가 쉽지 않아 자료 수집이 어려운 이유는?	이는 감정 추출 및 극성 판별을 수행하는 오피니언 마이닝에 새로운 접근방법을 요구한다. 또한, 공정성 시비 등에 휘말릴 수 있고 기업의 영업 기밀과 관련이 있다는 점 때문에 평가 결과의 외부 공개가 쉽지 않아 자료 수집이 어렵다. 그 결과 평가에 대한 연구 사례가 많지 않다.
	정보화 사업 프로젝트에서의 사업자 선정 방식은?	정부가 발주하는 정보화 사업의 시장 규모는 연간 3~4조 원 정도이며, 주로 정보시스템 구축 및 운영과 유지보수, BPR/ISP, 서버 및 스토리지 도입 등의 사업이 주류를 이루고 있다. 이들 정보화 사업 프로젝트에서의 사업자 선정 방식은 사업수행 기업이 제출한 제안서를 분야별 전문가들이 평가함으로써 이루어진다. 즉, 제안 참가 기업들이 제출한 제안서를 평가자들이 서면 검토 및 평가하고, 제안 업체의 발표 및 질의응답 과정을 거친 후, 제안 요청서에 제시된 평가 기준에 따라 평가 점수를 부여한다.
	본 연구에서는 비정형적 텍스트로 표현된 검토의견 으로부터 오피니언 마이닝을 이용하여 평가자의 의견을 추출한 이유는?	통상적으로 인과관계 분석을 수행하기 위해서는 인터뷰나 설문 조사와 같은 방식으로 평가자의 의견을 조사한다[15]. 그러나 공공 정보화 사업 평가에서는 보안상의 이유로 평가자의 명단이 공개되지 않아 평가자들에 대한 접촉 자체가 쉽지 않으며, 평가의 성격상 평가자들의 객관적이고 솔직한 답변을 얻기 어렵다. 따라서 본 연구에서는 비정형적 텍스트로 표현된 검토의견 으로부터 오피니언 마이닝을 이용하여 평가자의 의견을 추출한다.

참고문헌 (29)

Ahmed, K., El Tazi, N., and Hossny, A., Sentiment Analysis over Social Networks : An Overview, IEEE International Conference on Systems, Man, and Cybernetics, Hong Kong, 2015.
Asur, S. and Huberman, B., Predicting the future with social media., Arxiv preprint arXiv:1003.5699, 2010.
Cheon, M. and Baek, D., An Assessment System for Evaluating Big Data Capability Based on a Reference Model, Journal of Society of Korea Industrial and Systems Engineering, 2016, Vol. 39, No. 2, pp. 54-63.

원문보기 상세보기
Choi, S. and Kwon, O., The Study of Developing Korean SentiWordNet for Big Data Analytic : Focusing on Anger Emotion, The Journal of Society for e-Business Studies, 2014, Vol. 19, No. 4, pp. 1-19.
Dave, K., Lawrence, S., and Pennock, D., Mining the Peanut Gallery : Opinion Extraction and Semantic Classification of Product Reviews, WWW '03 Proceedings of the 12th international conference on World Wide Web, 2003, pp. 519-528.
Duan, W., CaQ, Q., Yu, Y., and Levy, S., Mining Online User-Generated Content-Using Sentiment Analysis Technique to Study Hotel Service Quality Hawaii International Conference On System Sciences, 2013, pp. 3119-3128.
Feldman, R., Ronenfeld, B., Bar-Haim, R., and Fresko, M., The Stock Sonar-Sentiment Analysis of Stocks Based on a Hybrid Approach., Proceedings of 23rd IAAI Conference on Artificial Intelligence(IAAI-2011), 2011.
Goeuriot, L., Kelly, L., Jones, G., Muller, M., and Zobel, J., Report on the SIGIR 2014 Workshop on Medical Information Retrieval (MedIR), ACM SIGIR Forum, 2014, Vol. 48, No. 2, pp. 78-82.
Hong, Y. and Steven, S., The Wisdom of Bookies? Sentiment Analysis vs. the NFL Point Spread., Proceedings of the International Conference on Weblogs and Social Media (ICWSM-2010), 2010.
Hu, H. and Liu, B., Mining and summarizing customer reviews, KDD '04 Proceedings of the tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2004, pp. 168-177.
Hwang, H.-S., Clustering Corporate Brands based on Opinion Mining : A Case Study of the Automobile Industry, Journal of the Korea Academia-Industrial Cooperation Society, 2016, Vol. 17, No. 11, pp 453-462.
Jeon, S., Lee, D., and Bae, M., A Study on the Application Method of Munition's Quality Information based on Big Data, Journal of the Korea Academia-Industrial Cooperation Society, 2016, Vol. 17, No. 6, pp. 315-325.
Kamps, J., Marx, M., Mokken, R.J., and Rijke, M.D., Using WordNet to Measure Semantic Orientation of Adjectives, In Proceedings of LREC-04, 4th International Conference on Language Resources and Evaluation, 2004, Vol. 4, pp. 1115-1118.
Kim, S. and Kim, N., A Study on the Effect of Using Sentiment Lexicon in Opinion Classification, Journal of Intelligence and Information Systems, 2014, Vol. 20, No. 1, pp. 133-148.
Lee, J. and Baek, D., The Effect of Smartphone Purchasing Determinants on Repurchase Intention, Journal of Society of Korea Industrial and Systems Engineering, 2017, Vol. 40, No. 2, pp. 1-12.
Liu, B., Sentiment Analysis and Opinion Mining, Computational Linguistics, 2014, Vol. 40, No. 2, pp 511-513.

상세보기
Liu, B., Sentiment Analysis and Opinion Mining, Morgan and Claypool Publishers, 2012.
Liu, B., Web Data Mining : Exploring Hyperlinks, Contents, and Usage Data, Springer, 2011.
Medhat, W., Hassan, A., and Korashy, H., Sentiment analysis algorithms and applications : A survey, Ain Shams Engineering Journal, 2014, Vol. 5, No. 4, pp. 1093-1113.

상세보기
Mohammad, S. and Yang, T., Tracking Sentiment in Mail : How Genders Differ on Emotional Axes, Proceedings of the ACL Workshop on ACL 2011 Workshop on Computational Approaches to Subjectivity and Sentiment Analysis (WASSA-2011), 2011.
Mohammad, S., From Once Upon a Time to Happily Ever After : Tracking Emotions in Novels and Fairy Tales., Proceedings of the ACL 2011 Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities (LaTeCH), 2011.
O'Connor, B., Balasubramanyan, R., Routledge, B., and Smith, N., From Tweets to Polls : Linking Text Sentiment to Public Opinion Time Series., Proceedings of the International AAAI Conference on Weblogs and Social Media (ICWSM 2010), 2010.
Rajput, Q., Haider, S., and Ghani, S., Lexicon-Based Sentiment Analysis of Teachers' Evaluation, Applied Computational Intelligence and Soft Computing, 2016.
Roh, J., Kim, H., and Chang, J., Improving Hypertext Classification Systems through WordNet-based Feature Abstraction, Journal of Society for e-Business Studies, 2013, Vol. 18, No. 2, pp. 95-110.

원문보기 상세보기
Tumasjan, A., Sprenger, T., Sandner, P., and Welpe, I., Predicting elections with twitter : What 140 characters reveal about political sentiment, Proceedings of the International Conference on Weblogs and Social Media (ICWSM-2010), 2010.
Turney, P. and Littman, M., Measuring Praise and Criticism : Inference of Semantic Orientation from Association, ACM Transactions on Information Systems, 2003, Vol. 21, No. 4, pp. 315-346.

상세보기
Turney, P., Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews, Proceedings of Annual Meeting of the Association for computational Linguistics, 2002, pp. 417- 424.
Wang, X. and Park, B., Extraction of Feature and Opinion Words from Product Reviews Using the 12-Structure, Proceedings of Symposium of the Korean Institute of communications and Information Sciences, 2014, pp. 896-897.
Yoon, D. and Kim, K., Prediction of Rating Score from Short Comments on Movies using Word-Rating Correlation Analysis, HCI Korea, 2011, No. 1, pp. 484-486.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증