$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

지식베이스 확장을 위한 멀티소스 비정형 문서에서의 정보 추출 시스템의 개발
Development of Information Extraction System from Multi Source Unstructured Documents for Knowledge Base Expansion 원문보기

지능정보연구 = Journal of intelligence and information systems, v.24 no.4, 2018년, pp.111 - 136  

최현승 (연세대학교 산업공학과) ,  김민태 (연세대학교 산업공학과) ,  김우주 (연세대학교 산업공학과) ,  신동욱 (SK텔레콤 지식기술 Cell) ,  이용훈 (SK텔레콤 지식기술 Cell)

초록
AI-Helper 아이콘AI-Helper

지식베이스를 구축하는 작업은 도메인 전문가가 온톨로지 스키마를 이해한 뒤, 직접 지식을 정제하는 수작업이 요구되는 만큼 비용이 많이 드는 활동이다. 이에, 도메인 전문가 없이 다양한 웹 환경으로부터 질의에 대한 답변 정보를 추출하기 위한 자동화된 시스템의 연구개발의 필요성이 제기되고 있다. 기존의 정보 추출 관련 연구들은 웹에 존재하는 다양한 형태의 문서 중 학습데이터와 상이한 형태의 문서에서는 정보를 효과적으로 추출하기 어렵다는 한계점이 존재한다. 또한, 기계 독해와 관련된 연구들은 문서에 정답이 있는 경우를 가정하고 질의에 대한 답변정보를 추출하는 경우로서, 문서의 정답포함 여부를 보장할 수 없는 실제 웹의 비정형 문서로부터의 정보추출에서는 낮은 성능을 보인다는 한계점이 존재한다. 본 연구에서는 지식베이스 확장을 위하여 웹에 존재하는 멀티소스 비정형 문서로부터 질의에 대한 정보를 추출하기 위한 시스템의 개발 방법론을 제안하고자 한다. 본 연구에서 제안한 방법론은 "주어(Subject)-서술어(Predicate)"로 구분된 질의에 대하여 위키피디아, 네이버 백과사전, 네이버 뉴스 3개 웹 소스로부터 수집된 비정형 문서로부터 관련 정보를 추출하며, 제안된 방법론을 적용한 시스템의 성능평가를 위하여, Wu and Weld(2007)의 모델을 베이스라인 모델로 선정하여 성능을 비교분석 하였다. 연구결과 제안된 모델이 베이스라인 모델에 비해, 위키피디아, 네이버 백과사전, 네이버 뉴스 등 다양한 형태의 문서에서 정보를 효과적으로 추출하는 강건한 모델임을 입증하였다. 본 연구의 결과는 현업 지식베이스 관리자에게 지식베이스 확장을 위한 웹에서 질의에 대한 답변정보를 추출하기 위한 시스템 개발의 지침서로서 실무적인 시사점을 제공함과 동시에, 추후 다양한 형태의 질의응답 시스템 및 정보추출 연구로의 확장에 기여할 수 있을 것으로 기대한다.

Abstract ▼ AI-Helper 아이콘AI-Helper

In this paper, we propose a methodology to extract answer information about queries from various types of unstructured documents collected from multi-sources existing on web in order to expand knowledge base. The proposed methodology is divided into the following steps. 1) Collect relevant documents...

주제어

#정보추출   #질의응답 시스템   #기계독해   #지식베이스  

표/그림 (24)

질의응답

핵심어 질문 논문에서 추출한 답변
지식베이스란? 지식베이스는 질의응답 시스템에 사용되는 요소로서, 사용자의 질의에 대한 답변지식을 저장, 탐색하는 기능을 수행하기 위한 기술로 인공지능 분야의 중요한 연구과제로 여겨지고 있다. 이러한 지식베이스를 구축하는 작업은 특정 도메인 전문가가 직접 지식을 정제하는 수작업이 요구되므로 비용이 많이 드는 활동이며(Khot et al.
기계독해의 한계점은? 이러한 기계독해 관련 선행연구들은 주로 문서 안에 정답이 존재함을 가정하고, 질의에 대한 문서 안의 정답 위치를 찾아내는 end-to-end 인공신경망 모델에 대한 연구로서, 문서 및 문장 안의 정답 포함 여부를 판단하는 절차가 부재하다. 따라서, 웹에 존재하는 비정졍 문서를 대상으로 기계독해 선행연구를 적용할 경우, 정답이 존재하지 않는 문서에서도 정보를 추출하고자 하는 시도가 빈번하게 발생하기 때문에 낮은 수준의 성능을 보인다는 한계점이 존재한다. 따라서, 지식베이스 확장을 위하여 실제 웹에 존재하는 비정형 문서로부터 관련 정보의 포함여부에 대한 종합적인 신뢰성을 고려한 정보 추출 시스템의 연구개발이 필요한 상황이다.
기계독해의 특징은? 또한 기계독해는 질의응답의 데이터 단위가문서이기 때문에, 학습 문서와 이질적인 형태의 문서에서는 낮은 질의응답 성능을 보이게 된다. 하지만, 지식베이스 확장을 위한 정보 추출 문제는 실제 웹에 존재하는 다양한 비정형 문서를 정보 추출의 대상으로 하고 있기 때문에, 도메인별 문서의 형태가 이질적인 특성이 존재한다.
질의응답 정보가 도움이 되었나요?

참고문헌 (18)

  1. Ahn, S., "Deep Learning Architectures and Applications", Journal of Intelligence and Information Systems, Vol.22, No.2(2018), 127-142. 

  2. Banko, M., M. J. Cafarella, S. Soderland, M. Broadhead, O. Etzioni, "Open information extraction from the web." IJCAI. Vol. 7, (2007), 2670-2676. 

  3. Eikvil, L, "Information extraction from world wide web-a survey.", Technical Report 945, Norwegian Computing Center, 1999. 

  4. Etzioni, O., M. Cafarella, and D. Downey, "Web-scale information extraction in knowitall:(preliminary results)." Proceedings of the 13th international conference on World Wide Web. ACM, (2004), 100-110. 

  5. Gaizauskas, R., and Y. Wilks, "Information extraction: Beyond document retrieval.", Journal of documentation, Vol 54, No.1 (1998), 70-105. 

    상세보기 crossref

  6. Hermann, K., et al. "Teaching machines to read and comprehend." Advances in Neural Information Processing Systems, (2015), 1693-1701. 

  7. Huang, Z., W. Xu, and K. Yu, "Bidirectional LSTM-CRF models for sequence tagging." arXiv preprint, (2015). 

  8. JIN, S., H. Jang, W. KIM, "Improving Bidirectional LSTM-CRF model Of Sequence Tagging by using Ontology knowledge based feature", Journal of Intelligence and Information Systems, Vol.24, No.1(2018), 253-267). 

  9. Khot, T., A. Sabharwal, and P. Clark, "Answering complex questions using open information extraction." arXiv preprint, (2017). 

  10. Kim, Y. "Convolutional neural networks for sentence classification." arXiv preprint, (2014). 

  11. Park, E.L., and Cho. S, "KoNLPy: Korean natural language processing in Python." Proceedings of the 26th Annual Conference on Human & Cognitive Language Technology, (2014). 133-136. 

  12. Park, H., M. Song, K. Shin, " Sentiment Analysis of Korean Reviews Using CNN: Focusing on Morpheme Embedding", Journal of Intelligence and Information Systems, Vol.24, No.2(2018), 59-83. 

  13. Qiu , Lin., H. Zhou, Y. Q, W. Zhang, S. Li, S. Rong, D. Ru, L. Qian, W. Tu, Y. Yu, "QA4IE: A Question Answering based Framework for Information Extraction." arXiv preprint, (2018). 

  14. Rajpurkar, P., J. Zhang, K. Lopyrev, P. Liang, "Squad: 100,000+ questions for machine comprehension of text." arXiv preprint, (2016). 

  15. Seo, M., A. Kembhavi, A. Farhadi, H. Hajishirzi, "Bidirectional attention flow for machine comprehension." arXiv preprint, (2016). 

  16. Wang, W., N. Yang, F. Wei, B. Chang, M. Zhou, "Gated Self-matching networks for reading comprehension and question answering." Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, (2017). 189-198. 

  17. Wang, S., and J. Jiang, "Machine comprehension using match-lstm and answer pointer." arXiv preprint, (2016). 

  18. Wu, F., and D. S. Weld, "Autonomously semantifying wikipedia." Proceedings of the sixteenth ACM conference on Conference on information and knowledge management, ACM, (2007), 41-50. 

저자의 다른 논문 :

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로