[논문]안전기준의 검색과 분석을 위한 기계독해 기반 질의응답 시스템

김민호; 조상현; 박덕근; 권혁철

doi:10.9717/kmms.2020.23.2.351

안전기준의 검색과 분석을 위한 기계독해 기반 질의응답 시스템
Machine Reading Comprehension-based Question and Answering System for Search and Analysis of Safety Standards 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.23 no.2, 2020년, pp.351 - 360

김민호 (Software Education Center, Pusan National University) , 조상현 (Dept. of Electrical and Computer Eng., Graduate School, Pusan National University) , 박덕근 (National Disaster Management Research Institute) , 권혁철 (Dept. of Electrical and Computer Eng., Graduate School, Pusan National University)

Abstract ▼ AI-Helper

If various unreasonable safety standards are preemptively and effectively readjusted, the risk of accidents can be reduced. In this paper, we proposed a machine reading comprehension-based safety standard Q&A system to secure supporting technology for effective search and analysis of safety standards for integrated and systematic management of safety standards. The proposed model finds documents related to safety standard questions in the various laws and regulations, and then divides these documents into provisions. Only those provisions that are likely to contain the answer to the question are selected, and then the BERT-based machine reading comprehension model is used to find answers to questions related to safety standards. When the proposed safety standard Q&A system is applied to KorQuAD dataset, the performance of EM 40.42% and F1 55.34% are shown.

주제어

표/그림 (9)

그림 Fig. 1. Structure of safety standard Q & A system.
그림 Fig. 2. Structure of inverted index file for document searching.
표 Table 1. Performance of document searcher
그림 Fig. 3. Structure of provision selector.
그림 Fig. 4. Structure of BERT-based provision selector.
표 Table 2. Performance of provision selector (%, KorQuAd Dev Set.)
표 Table 3. Performance comparison by choosing the cor-rect answer (%, dev)
표 Table 4. Performance comparison by number of para-graphs (%, dev)
그림 Fig. 5. Example of the safety standard Q&A system given a short.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 안전기준의 통합적·체계적 관리를 위해 안전기준을 효과적으로 검색하고 분석하기 위한 지원기술을 확보하기 위해 기계독해 기반 안전기준 질의응답 시스템을 제안하였다.
본 논문에서는 제안하는 안전기준 질의응답 시스템은 법령문서에서 안전기준과 관련된 질문의 답을 찾는 기계독해 기반의 질의응답 시스템이다. 그러나 안전기준 질의응답 데이터를 구축하는데는 큰 비용이 들기 때문에 기존에 존재하는 KorQuAD 1.
본 연구는 안전기준의 통합적·체계적 관리를 위해 안전기준을 효과적으로 검색하고 분석하기 위한 지원기술을 확보하는 데 그 목적이 있다.
본 연구에서는 [12]∼[15]에서 제안한 방법을 법령문서에 적용한 안전기준 질의응답 시스템을 제안한다.

가설 설정

0 학습말뭉치에 지나치게 의존하는 것을 막기 위해 무작위로 선택된 질문과 관련이 없는 조문을 학습말뭉치에 포함했다. 정답이 없는 무작위로 선택된 문서의 정답 시작 위치와 끝 위치는[CLS]를 가리키도록 했다. Fig.
0 학습 말뭉치를 이용하여 해당 모형을 학습하였다. 즉, 위키피디아 문서 전체에서 특정 질문의 답을 찾는 모형을 만든다면, 해당 모형은 법령문서 전체에서도 안전기준과 관련된 질문의 답을 찾을 수 있다고 가정하였다. 이를 위해 다음과 같이 KorQuAD 1.

제안 방법

조문 독해기는 조문 선별기에서 선별된 조문을 입력으로 받아서 질문에 대한 정답을 추출하는 모듈이다. 3.2절에서 설명한 대로 여러 조문으로 이루어진 법령문서들을 조문 단위로 나누었으며, 길이가 512를 넘는 조문은 조문을 구성하는 항이나 호로 나누었다. 조문 독해기의 기반이 되는 BERT 언어모형은 구글에서 공개한 ‘BERT-Base, Multilingual Cased’를 법령문서에 대해 1세대만 재학습하면 활용하였다.
,p_i,n}는 정답을 찾기 위한 i번째 단락을 의미한다. [6]에서 SQuAD 태스크에 적용ㅎㄴ 방법과 같이 출력값의 차원 수를 2로 설정한 FFNN(feed-forward neural network)을 통해서 시작과 끝의 확률을 구하였다. 이에 대한 수식은 다음과 같다.
본 논문에서는 제안하는 안전기준 질의응답 시스템은 법령문서에서 안전기준과 관련된 질문의 답을 찾는 기계독해 기반의 질의응답 시스템이다. 그러나 안전기준 질의응답 데이터를 구축하는데는 큰 비용이 들기 때문에 기존에 존재하는 KorQuAD 1.0 학습 말뭉치를 이용하여 해당 모형을 학습하였다. 즉, 위키피디아 문서 전체에서 특정 질문의 답을 찾는 모형을 만든다면, 해당 모형은 법령문서 전체에서도 안전기준과 관련된 질문의 답을 찾을 수 있다고 가정하였다.
이중 KorQuAd의 단락 길이보다 작은 100 음절 이하의 길이를 가지는 문서는 제외하고, 총 384,905개의 문서만을 사용하였다. 그런 다음 KorQuAD의 단락과 위키피디아 문서를 비교하여 위키피디아 문서에 정답에 해당하는 음절의 위치를 표시하였다.
제안모형은 전체 법령문서에서 안전기준 질문과 관련된 법령문서를 찾은 다음, 해당 법령문서를 조문단위로 나눈다. 그리고 해당 조문 중에서 질문의 답에 해당하는 부분을 담고 있을 가능성이 큰 조문만 선별한 다음, BERT 기반의 기계독해 모형을 이용하여 안전기준과 관련된 질문의 답을 찾아준다.
제안모형은 전체 법령문서에서 안전기준 질문과 관련된 법령문서를 찾은 다음, 해당 법령문서를 조문단위로 나눈다. 그리고 해당 조문 중에서 질문의 답에 해당하는 부분을 담고 있을 가능성이 큰 조문만 선별한 다음, BERT 기반의 기계독해 모형을 이용하여 안전기준과 관련된 질문의 답을 찾아준다.
먼저 KorQuAD의 단락이 포함된 위키피디아 문서를 획득하고자 한국어 위키피디아 덤프 파일(2018년 4월 기준)을 내려받아, 각 위키피디아 문서에서 HTML 태그를 모두 제거하고 평문(plain text)만 추출하였다. 이중 KorQuAd의 단락 길이보다 작은 100 음절 이하의 길이를 가지는 문서는 제외하고, 총 384,905개의 문서만을 사용하였다.
본 논문에서 제안하는 기계독해 기반의 안전기준 질의응답 시스템은 Fig. 1과 같이 크게 4가지 부분으로 이루어져 있다: (1) 문서 검색기는 안전기준 질문과 연관성이 큰 법률 문서를 검색한다 (2) 조문 선별기는 인공신경망 기반의 모형을 이용하여 문서 검색기에서 검색한 다수의 문서에서 질문과 연관성이 큰 조문들을 추출한다 (3) 조문 독해기는 추출된 조문들에서 질문의 응답에 해당하는 부분을 추출한다 (4) 정답 선택기에서는 조문 독해기에서 추출된 여러 개의 후보를 재순위화한다.
정답 선택은 이 중에서 가장 확률이 높은 1가지 정답을 선택하는 방법이다. 본 연구에서는 정답 선택을 위해 4개의 모형을 제안하고 각 모형을 실험을
통해 비교하였다.
사용자의 질문에서 색인어를 추출한 다음에 해당색인어를 포함한 모든 문서를 찾아 ‘Okapi BM25’를 적용하여 문서를 순위화한다.
예를 들어, 사용자가 ‘타워크레인의 와이어로프 지지점은 몇 개여야 하는가?’라고 질문을 하였을 때, 관련 안전기준을 정의하고 있는 법조문인 ‘와이어로프 설치각도는 수평면에서 60도 이내로 하되, 지지점은 4개소 이상으로 하고, 같은 각도로 설치할 것’을 찾은 다음, 해당 법조문에서 정답에 해당하는 부분인 ‘4개소 이상’을 반환하는 기술이다. 이를 위해 안전기준 관련 질문과 연관성이 높은 법조문을 검색하고, 검색된 법조문 중에서 질문에 해당하는 대답이 있는 위치를 반환하는 기계독해 기반 안전기준 질의응답 시스템을 제안한다.
제안모형은 대규모 범용말뭉치와 법령문서에 의해 사전학습(pre-training)된 BERT 언어모형[6]을 기계독해 학습말뭉치인 KorQuAD 1.0(Korean Question Answering Dataset)[7]을 활용하여 전이학습(transfer learning)한 모형이다. 전이학습(transfer learning)은 특정 환경에서 학습한 모형을 그대로 사용하여 비슷한 환경에서 재학습하는 것으로, 기존 모형을 활용하기 때문에 처음부터 학습하는 것과 비교하여 아주 저렴한 비용으로 고품질의 모형을 획득하는 방법이다.
즉, KorQuAD 1.0의 ‘질문-지문’을 각각 질의어와 해당 질의어와 관련된 문서로 간주하고, 질문이 입력되었을 때 KorQuAD의 전체 지문 중에서 해당 지문을 얼마나 잘 찾았는지를 측정하였다.

대상 데이터

실제 조문 독해기의 학습을 위해서는 안전기준 질의응답 데이터를 이용하여 전이학습을 통해 BERT 언어모형을 미세조정(fine-tuning)하여야 한다. 그러나 안전기준 질의응답 데이터가 없으므로 본 연구에서는 KorQuAd 1.0 기계독해 학습데이터를 사용하였다. 대신 KorQuAD 1.
본 연구에서 사용된 트랜스포머 모델의 하이퍼 파라미터는 “은닉층의 차원 수: 128, 어텐션 헤드 수:4, 트랜스포머 블록 수: 3”로 설정하였으며, LSTM모델은 “은닉층의 차원 수: 200, LSTM의 차원 수:2”로 설정하였다.
먼저 KorQuAD의 단락이 포함된 위키피디아 문서를 획득하고자 한국어 위키피디아 덤프 파일(2018년 4월 기준)을 내려받아, 각 위키피디아 문서에서 HTML 태그를 모두 제거하고 평문(plain text)만 추출하였다. 이중 KorQuAd의 단락 길이보다 작은 100 음절 이하의 길이를 가지는 문서는 제외하고, 총 384,905개의 문서만을 사용하였다. 그런 다음 KorQuAD의 단락과 위키피디아 문서를 비교하여 위키피디아 문서에 정답에 해당하는 음절의 위치를 표시하였다.
3과 같다. 인코더는 LSTM[18]과 트랜스포머[19]를 이용하며, 컨볼루션과 풀링 레이어는 [20]에서 제안한 방법을 사용하였으며, 이에 대한 전체 수식 (2)와 같다.
재학습에 사용된 법령문서는 행정안전부에서 고시한 ‘안전기준 등록(2018.07.20. 기준)’의 모든 안전기준을 포함한 법령문서로서 전체 445개 법령문서(법률, 시행령, 시행규칙, 27,065개 조문)이다.
하나의 질문에 답변하기 위해서 조문 독해기에서 모든 법령문서를 분석하는 것은 많은 처리시간이 필요하다. 조문 선별기는 문서 검색기에서 추출된 상위 100개의 법령문서를 조문 단위로 나누고, 그중에서 질문과 연관성이 큰 조문들을 선별하는 모듈이다. 이때 조문의 길이가 BERT 모형에서 처리 가능한 길이인 512를 넘는 경우 항으로 분리하였다¹⁾.

데이터처리

Table 4는 조문 선별 모델에서 추출하는 단락의 개수에 따른 실험 결과이다. 가장 좋은 성능을 보이는 정답 선택 모형 2를 통해 성능을 비교하였다. 조문 선별에서 더 많은 단락을 추출할수록 질문과 관련있는 단락이 추출될 확률이 높아지는 것을 보였으며, 더 많은 단락을 입력했을 때 정답 선택 역시 더 좋은 성능을 보였다.
법령문서 검색기의 평가를 위한 평가데이터가 별도로 존재하지 않고, 구축에 큰 비용이 들기 때문에 ‘KorQuad 1.0’ 데이터를 활용하여 검색 성능을 평가하였다.

이론/모형

조문 독해기의 기반이 되는 BERT 언어모형은 구글에서 공개한 ‘BERT-Base, Multilingual Cased’를 법령문서에 대해 1세대만 재학습하면 활용하였다.
조문 선별기의 학습은 KorQuAD 학습/개발 데이터의 질문, 정답, 그리고 문서 검색기의 검색 결과 중 상위 10개를 이용한다. 이는 KorQuAD의 경우 질문의 정답이 존재하는 단락 1개만 데이터에 포함되어 있지만, 실제로 문서 검색기에서 검색된 다른 문서에도 질문에 대한 정답이 포함되어 있을 수 있기 때문이다.

성능/효과

정답 선택 방법에 따른 실험 결과는 다음과 같으며 조문 선별기에서 상위 20개의 단락을 추출했을 때의 결과이다. [CLS] 토큰을 정답의 시작과 끝으로 선택할 확률이 가장 낮은 단락에서 추출된 정답을 선택하는 것이 좋은 성능을 보였으며, 추출된 정답 토큰의 빈도수를 반영했을 때 EM 0.95%, F1 0.96%만큼 향상된 성능을 보였지만 단락의 개수를 40개로 설정하였을 때는 EM 0.98%, F1 1.38%만큼 하락한 성능을 보였다. 이는 추출되는 정답의 개수가 많아지면서 비슷한 유형을 가지는 정답이 아닌 토큰들의 개수가 늘어났기 때문에 성능이 하락한 것으로 보인다.
문서 검색기에서 검색된 상위 100개의 문서와 질문을 입력하여 조문 선별기에서 출력된 점수를 기반으로 상위 K개의 단락을 뽑고 K개의 상위 단락에 정답 단락이 포함되어 있으면 적중한 것으로 보았다. 상위 100개의 문서를 단락으로 나누었을 때 평균
Table 2는 조문 선별기가 선별한 상위 K개의 단락에 정답을 포함하고 있는 단락이 존재하는 경우를 측정한 것이다. 상위 100개의 단락을 선별하였을 경우, 트랜스포머를 사용하여 인코딩하였을 때 더 좋은 성능을 보였다.
그리고 해당 조문 중에서 질문의 답에 해당하는 부분을 담고 있을 가능성이 큰 조문만 선별한 다음, BERT기반의 기계독해 모형을 이용하여 안전기준과 관련된 질문의 답을 찾아준다. 제안한 안전기준 질의응답 시스템을 KorQuAD에 적용했을 때, 개발 데이터에서 EM 40.42%, F1 55.34%의 성능을 보였다.
가장 좋은 성능을 보이는 정답 선택 모형 2를 통해 성능을 비교하였다. 조문 선별에서 더 많은 단락을 추출할수록 질문과 관련있는 단락이 추출될 확률이 높아지는 것을 보였으며, 더 많은 단락을 입력했을 때 정답 선택 역시 더 좋은 성능을 보였다. 그러나 단락의 개수가 120개일 때는 EM 1.

후속연구

향후 연구에서는 안전기준 질의응답 데이터를 구축하여 학습에 이용함으로써 실제 법령문서와 안전기준의 특성을 질의응답 시스템에 반영할 예정이다. 또한 법령문서에 포함된 표의 의미를 해석하여 표로 제시되는 안전기준에 대한 질의응답도 가능하게 할 예정이다.
제안모형은 당장 실용화하기에는 무리가 있으나, 법령문서를 대상으로 하는 질의응답 시스템의 실현가능성을 보였고, 추후 성능 개선을 통해 안전기준의 통합적·체계적 관리를 위한 지원도구나 혹은 일반인에게 공개하여 안전기준에 대한 접근성을 높일 수
있다.
향후 연구에서는 안전기준 질의응답 데이터를 구축하여 학습에 이용함으로써 실제 법령문서와 안전기준의 특성을 질의응답 시스템에 반영할 예정이다. 또한 법령문서에 포함된 표의 의미를 해석하여 표로 제시되는 안전기준에 대한 질의응답도 가능하게 할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	안전사고 발생의 원인을 어떻게 구분되는가?	안전사고 발생의 원인은 크게 환경적 원인과 제도적 원인으로 구분할 수 있다. 전자는 기술적, 관리적, 경제적 문제 등으로 인하여 발생하는 것으로서 충분히 예방한다더라도 사고 발생 당시의 여러 상황에 따라 재발할 수 있다.
	전이학습이란?	0(Korean Question Answering Dataset)[7]을 활용하여 전이학습(transfer learning)한 모형이다. 전이학습(transfer learning)은 특정 환경에서 학습한 모형을 그대로 사용하여 비슷한 환경에서 재학습하는 것으로, 기존 모형을 활용하기 때문에 처음부터 학습하는 것과 비교하여 아주 저렴한 비용으로 고품질의 모형을 획득하는 방법이다.
	안전사고 발생에서 제도적 원인의 예방 방법은?	전자는 기술적, 관리적, 경제적 문제 등으로 인하여 발생하는 것으로서 충분히 예방한다더라도 사고 발생 당시의 여러 상황에 따라 재발할 수 있다. 반면 후자는 잘못된 법령 및 제도로 인해 발생하는 것으로서 해당 법령 및 제도의 개정을 통해 선제적으로 예방할 수 있다[1]. 예를 들어 허베이 스피리트호 유류오염 사고를 계기로 유조선 이중선체 의무화 도입이 조기 실시되었고, 구제역 발생을 계기로 축산업 허가제가 도입되었다.

참고문헌 (21)

National Disaster Management Research Institute, Development of Application Technology for Safety Standard Analysis based on Accident Case Studies, NDMI-PR-2018-04-02-02, 2018.
National Disaster Management Research Institute, Research on Process Design for Safety Standard Extraction and Analysis, NDMI-BA-2016-13-01, 2016.
H. Lee, S. Lim, and D. Park, "Methodology Design for Safety Standard Analyses Based on Structuralization of Attribute Information," Proceeding of the Conference of the Korea Society of Hazard Mitigation, pp. 297, 2018.
H. Lee and Y. Lee, "Effective Safety Management by the Classification of Safety Standard," Proceeding of the Conference of the Korea Society of Disaster and Security, pp. 35-42, 2013.
J. Kim and T.H. Kim, "Comparative Study of Safety Regulations: Focused on the Applied Frameworks of Ensuring Product Safety in Korea and Japan," Journal of The Korean Society of Disaster Information, Vol. 10, No. 1, pp. 116-122, 2014.

원문보기 상세보기
J. Devlin, M. Chang, K. Lee, and Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv Preprint arXiv:1810.04805, 2018.
S. Lim, M. Kim, and J. Lee, "KorQuAD: Korean QA Dataset for Machine Comprehension," Proceeding of the Conference of the Korea Information Science Society, pp. 539-541, 2018.
Ministry of Public Safety and Security, Development of Management System Through Systematization of Safety Standards, TRKO20 1500013431, 2014.
P. Rajpurkar, J. Zhang, K. Lopyrev, and P. Liang, "SQuAD: 100,000+ Questions for Machine Comprehension of Text," arXiv Preprint arXiv:1606.05250, 2016.
K.H. Park, S.H. Na, Y.S. Choi, and D.S. Chang, "BERT and Multi-level Co-attention Fusion for Machine Reading Comprehension," Proceeding of the Conference of the Korea Information Science Society, pp. 643-645, 2019.
D. Lee, C. Park, C. Lee, S. Park, S. Lim, M. Kim, et al., "Korean Machine Reading Comprehension Using BERT," Proceeding of the Conference of the Korea Information Science Society, pp. 643-645, 2019.
D. Chen, A. Fisch, and J. Wetson, "Reading Wikipedia to Answer Open-domain Questions," Proceeding of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1870-1879, 2017.
Y. Lin, H. Ji, Z. Liu, and M. Sun, "Denoising Distantly Supervised Open-domain Question Answering," Proceeding of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 1736-1745, 2018.
J Lee, S. Yun, H. Kim, M. Ko, and J. Kang, "Ranking Paragraphs for Improving Answer Recall in Open-domain Question Answering," Proceeding of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 565-569, 2018.
S. Wang, M. Yu, J. Jiang, W. Zhang, X. Guo, S. Chang, et al., "Evidence Aggregation for Answer Re-ranking in Open-domain Question Answering," arXiv preprint arXiv:1711.05116, 2017.
Y.H. Lee, S.H. Na, Y.S. Choi, and D.S. Chang, "NIL-aware Open Domain Question Answering of Korean," Proceeding of the Conference of the Korea Information Science Society, pp. 518-520, 2019.
J. Min, S.H. Na, Y.S. Choi, and D.S. Chang, "A Hybrid Approach of KB-based and IR-based QAs for Open Domain Question Answering," Proceeding of the Conference of the Korea Information Science Society, pp. 569-571, 2019.
S. Hochreiter and J. Schmidhuber, "Long Short-term Memory," Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

상세보기
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez, et al., "Attention is All You Need," Proceeding of the 31st Conference on Neural Information Processing Systems, pp. 5998-6008, 2017.
Y. Kim, "Convolutional Neural Networks for Sentence Classification," Proceeding of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1746-1751, 2014.
J.I. Kim, "A Natural Language Retrieval System for Entertainment Data ," Journal of Korea Multimedia Society, Vol. 18, No. 1, pp. 52-64, 2015.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증