$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

빅데이터 처리 기술을 활용한 비정형데이터 분석 모델링 구축
Building Modeling for Unstructured Data Analysis Using Big Data Processing Technology 원문보기

한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호, 2020 July 15, 2020년, pp.253 - 255  

김정훈 (강릉원주대학교 멀티미디어공학과) ,  김성진 (강릉원주대학교 멀티미디어공학과) ,  권기열 (강릉원주대학교 멀티미디어공학과) ,  주다혜 (강릉원주대학교 멀티미디어공학과) ,  오재용 (강릉원주대학교 멀티미디어공학과) ,  이준동 (강릉원주대학교 멀티미디어공학과)

초록
AI-Helper 아이콘AI-Helper

기업 및 기관 데이터는 워드프로세서, 프레젠테이션, 이메일, open api, 엑셀, XML, JSON 등과 같은 텍스트 기반의 비정형 데이터로 구성되어 있습니다. 텍스트 마이닝(Textmining)을 통해서 자연어 처리기계학습 등의 기술을 이용하여 정보의 추출부터 요약·분류·군집·연관도 분석 등의 과정을 수행울 진행한다. 다양한 시각화 데이터를 보여줄 수 있는 다양한 모델 구축을 진행한 후 민원 신청 내용을 분석 및 변환 작업을 진행한다. 본 논문은 AI 기술과 빅데이터를 활용하여 민원을 분석을 하여 알맞은 부서에 민원을 자동으로 할당해 주는 기술을 다룬다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

제안 방법

  • 와 같이 사용, 변환, 금지어 기준으로 진행하였고, 사용 기준으로는 실체가 명확한 것( 물리적으로 존재 ), 업무에 명확한 단어로 진행하였다. 변환 기준으로는 형용사 + 명사 형태의 어절, 명사 + 어미 형태의 어절을 진행하였고, 금지어 기준으로는 불특정한 부서에서도 사용 가능한 단어 제거, 추상적인 단어 제거, 형용사/ 부사 형태의 단어를 제거하는 방법으로 진행하였다.
  • 본 논문은 총 52개의 부서 민원 내용을 수집을 하여, 내용 분석 및 분류 처리 기술을 활용해 민원 내용에 해당되는 부서에 맞게 분류를 진행해 주는 내용을 다룬다.
  • 4. 와 같이 데이터 저장을 위한 Moedling을 수행하였고, KoNLP에서 사전을 받아서 DB에 생성시키는 작업을 수행하였고, R을 활용해 Data 분할 작업 수행한 뒤 단어가 1자 이상인 것만 발취하였다.

대상 데이터

  • 광주 시청 홈페이지에서 1,676건의 VOC 데이터를 crawling으로 작업한 후 Fig. 2. 와 같이 수집하여 분석에 착수(총 52개의 부서에 대한 데이터 수집) 했다.
  • 2. 와 같이 수집하여 분석에 착수(총 52개의 부서에 대한 데이터 수집) 했다.

데이터처리

  • 모델링에 데이터를 활용하여 정확도 검증을 위해 R을 활용하여 시각화 작업을 진행하였고, 다양한 시각화 분석 방법 중에 가장 정확도가 높게 나왔던 Fig.7 와 같이 tf_idf, Rule 기반으로 활용해서 진행하였다.

이론/모형

  • 본 논문의 데이터를 분석하는 방법으로는 TEXT MINING 기법을 활용하였고, 과제 수행 및 알고리즘 개발을 위하여 데이터 분석 방법에 특성 이해를 위해 Fig.3와 같은 그림으로 표현해 보았다.
  • 분석 모델의 특징으로 다양한 분석 모델 적용해본 결과 단어 사전, 시각화 작업으로 진행하였는데 단어 사전으로는 분류 모델에 대한 분석 방법은 일반적 사전 + 업무 사전을 기준으로 형태소 분석 수행이 가장 적절했고, 형태소 분석에 대한 문제 해결은 단어 변환으로 해결하 였다. 시각화 작업으로는 여러 가지의 분류 모델 중에 가장 정확도가 높은 것을 선택적으로 활용하였다(tf_dif, Rule 방식 활용하였고 Rule 방식에서는 확률 값을 기준으로 한 오 분류에 내용 파악이 가능했다.
본문요약 정보가 도움이 되었나요?
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로