선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 최근 급격하게 발생하는 학술문헌 정보에 대하여, 각 학술문헌 간의 연결성과 논문에 대한 메타데이터 정보를 담고 있는 참고문헌 메타데이터를 식별하는 방법에 대한 연구를 수행하였다. 본 연구에서는 이에 참고문헌이 각 메타데이터에 대한 연결성과 패턴 정보를 담고 있음을 파악하여, 연속적 레이블링 방법론을 적용하는 연구를 수행하였다. 심층학습 모델 중 연속적 레이블링에 대하여 우수한 성능을 보이고 있는 Bidirectional GRU-GRU CRF 모델을 적용하여 2010년 이후의 국내 10종의 학술지 논문 144,786건을 대상으로 169,688건의 참고문헌 정보를 추출하여 실험하였다.
- 참고문헌 요소 정보 인식을 위하여, 본 연구에서는 연속적 레이블링에 대하여 우수한 성능을 보이고 있는 Bidirectional GRU-GRU CRF 모델을 [5]를 참고하여 구현하였다. 2.
- 최근 급격하게 발생하는 학술문헌 정보에 대하여, 각 학술문헌 간의 연결성과 논문에 대한 메타데이터 정보를 담고 있는 참고문헌 메타데이터를 식별하는 방법에 대한 연구를 수행하였다. 본 연구에서는 이에 참고문헌이 각 메타데이터에 대한 연결성과 패턴 정보를 담고 있음을 파악하여, 연속적 레이블링 방법론을 적용하는 연구를 수행하였다.
제안 방법
- 데이터셋 중에서도 학습집합을 통하여 Bidirectional GRU-GRU CRF 모델을 학습하였으며, 학습 과정에서 최적화된 성능을 도출하기 위하여 다양한 파라미터를 활용하여 성능 최적화 실험을 수행하였다. 성능 최적화 실험은 표 4의 제시된 다양한 파라미터에 대하여 검증집합에 대한 성능을 기준으로 비교분석 하는 형식으로 수행하였으며, 수행 결과 도출된 파라미터는 굵게 표기하였다.
- 먼저 토큰화하여 구성한 정보를 기준으로 각 토큰을 표현할 수 있도록, 무작위로 초기화한 동적 임베딩 벡터를 구성하였다. 또한, 각 토큰을 문자 단위로 분리하여 토큰 단위의 연결적 자질을 추출할 수 있도록 Bidirectional GRU 층을 활용하였으며, 해당 자질 분석 결과를 토큰 임베딩 벡터에 병합하는 형식으로 적용하였다. 한편, 메타데이터 인식의 성능을 높일 수 있도록 각 토큰에 대한 언어 자질을 추출하여 적용하였다.
- 본 연구에서는 한국어 참고문헌을 포함하고 있는 국내 학술지를 기준으로 참고문헌 메타데이터 인식 데이터셋을 구성하여 실험한다. 또한, 참고문헌 메타데이터 인식에 대하여 [2]가 활용한 Bidirectional LSTM CRF 모델에 문자 단위의 Bidirectional RNN 층을 추가 적용하고, 학습 및 예측 속도를 고려해 GRU 셀을 활용한 Bidirectional GRU-GRU CRF 모델을 적용한다.
- 먼저 토큰화하여 구성한 정보를 기준으로 각 토큰을 표현할 수 있도록, 무작위로 초기화한 동적 임베딩 벡터를 구성하였다. 또한, 각 토큰을 문자 단위로 분리하여 토큰 단위의 연결적 자질을 추출할 수 있도록 Bidirectional GRU 층을 활용하였으며, 해당 자질 분석 결과를 토큰 임베딩 벡터에 병합하는 형식으로 적용하였다.
- 양방향의 GRU 층을 통하여 입력된 참고문헌 토큰 간의 연결적 자질을 분석한 결과는 시퀀스 단위의 학습 및 성능 측정을 위하여 태그 간의 전이확률을 계산하고 활용하는 CRF(Conditional Random Field)에 입력된다. 본 논문에서 제시하는 모델은 CRF를 통하여 계산된 Loglikelihood 값을 최대화 하는 방향으로 학습을 수행한다.
- 본 연구에서는 선정한 10종의 학술지에 대한 추출 참고문헌 정보 169,668건에 대하여, 무작위로 섞어 8:1:1의 비율로 학습집합, 검증집합, 실험집합을 나누어 실험하였다. 표 3은 활용한 데이터셋에 대한 가공 및 활용 건수에 대한 통계를 정리한 것이다.
- 본 연구에서는 참고문헌의 요소 정보를 자동적으로 인식할 수 있도록 연속적 레이블링 방법에 기반하여 접근한다. 심층학습 기술 중에서도 연속적 레이블링 방법에 대하여 우수한 성능을 보이고 있는 Bidirectional GRU-GRU CRF 모델을 기반으로 인식 모델을 구현하였다.
- 성능에 대한 지표는 BI 태그를 기준하여 청킹한 결과에 대한 일치도, 재현율, 정확률, F1 점수로 선정하였다. 성능 실험에는 언어 자질을 적용한 모델과 적용하지 않은 모델을 나누어 실험하였다. 실험 결과는 표 5와 같다.
- 성능 최적화 실험 결과 도출된 파라미터 세트에 대하여, 실험 집합을 통한 성능 실험을 수행하였다. 성능에 대한 지표는 BI 태그를 기준하여 청킹한 결과에 대한 일치도, 재현율, 정확률, F1 점수로 선정하였다.
- 성능 최적화 실험 결과 도출된 파라미터 세트에 대하여, 실험 집합을 통한 성능 실험을 수행하였다. 성능에 대한 지표는 BI 태그를 기준하여 청킹한 결과에 대한 일치도, 재현율, 정확률, F1 점수로 선정하였다. 성능 실험에는 언어 자질을 적용한 모델과 적용하지 않은 모델을 나누어 실험하였다.
- 본 연구에서는 참고문헌의 요소 정보를 자동적으로 인식할 수 있도록 연속적 레이블링 방법에 기반하여 접근한다. 심층학습 기술 중에서도 연속적 레이블링 방법에 대하여 우수한 성능을 보이고 있는 Bidirectional GRU-GRU CRF 모델을 기반으로 인식 모델을 구현하였다. 본 장에서는 참고문헌에 대한 데이터 가공을 설명하고, 이를 통하여 구현한 참고문헌 요소 정보 인식을 위한 Bidirectional GRU-GRU CRF 모델에 대하여 설명한다.
- 추출된 참고문헌 정보를 기반으로, 10종의 학술지가 채택한 참고문헌 양식에 맞게 패턴 정보를 추출하고, 이를 정규식을 활용하여 자동적으로 태깅할 수 있도록 구현하였다. 이 때, 추출하고자 하는 참고문헌 내의 메타데이터를 지정하였다.
- 또한, 각 토큰을 문자 단위로 분리하여 토큰 단위의 연결적 자질을 추출할 수 있도록 Bidirectional GRU 층을 활용하였으며, 해당 자질 분석 결과를 토큰 임베딩 벡터에 병합하는 형식으로 적용하였다. 한편, 메타데이터 인식의 성능을 높일 수 있도록 각 토큰에 대한 언어 자질을 추출하여 적용하였다. 추출한 언어 자질은 5가지로 나누어 이진벡터로 구성하였다.
대상 데이터
- 본 연구에서는 과학기술 분야의 10종의 학술지를 선정하고, 각 학술지 내의 2010년 이후의 논문을 별도로 수집하였다. 수집 결과 도출된 144,786건의 논문을 통하여 참고문헌 정보를 별도로 추출하였으며, 추출 결과 총 491,342건의 참고문헌 정보를 추출하였다.
- 그러나 국내에서는 이러한 참고문헌 메타데이터 인식 연구가 부족할 뿐 아니라, 심층학습 기술을 적용한 연구는 거의 존재하지 않는다. 본 연구에서는 한국어 참고문헌을 포함하고 있는 국내 학술지를 기준으로 참고문헌 메타데이터 인식 데이터셋을 구성하여 실험한다. 또한, 참고문헌 메타데이터 인식에 대하여 [2]가 활용한 Bidirectional LSTM CRF 모델에 문자 단위의 Bidirectional RNN 층을 추가 적용하고, 학습 및 예측 속도를 고려해 GRU 셀을 활용한 Bidirectional GRU-GRU CRF 모델을 적용한다.
- 본 연구에서는 과학기술 분야의 10종의 학술지를 선정하고, 각 학술지 내의 2010년 이후의 논문을 별도로 수집하였다. 수집 결과 도출된 144,786건의 논문을 통하여 참고문헌 정보를 별도로 추출하였으며, 추출 결과 총 491,342건의 참고문헌 정보를 추출하였다. 이 중, 참고문헌 정보 간의 중복을 제거하여, 482,192건의 참고문헌정보를 확보하였다.
- 본 연구에서는 이에 참고문헌이 각 메타데이터에 대한 연결성과 패턴 정보를 담고 있음을 파악하여, 연속적 레이블링 방법론을 적용하는 연구를 수행하였다. 심층학습 모델 중 연속적 레이블링에 대하여 우수한 성능을 보이고 있는 Bidirectional GRU-GRU CRF 모델을 적용하여 2010년 이후의 국내 10종의 학술지 논문 144,786건을 대상으로 169,688건의 참고문헌 정보를 추출하여 실험하였다. 실험 결과, 본 연구에서 제시한 참고문헌 메타데이터 인식 모델은 실험 집합에 대하여 97.
- 수집 결과 도출된 144,786건의 논문을 통하여 참고문헌 정보를 별도로 추출하였으며, 추출 결과 총 491,342건의 참고문헌 정보를 추출하였다. 이 중, 참고문헌 정보 간의 중복을 제거하여, 482,192건의 참고문헌정보를 확보하였다. 신문기사 및 웹 정보원 등의 논문에 해당하지 않는 인용 정보, 참고문헌 표기 오기 등의 문제에 대한 정보, 10종의 학술지가 각각 채택한 참고문헌 양식에 부합하지 않은 정보를 제거하는 작업을 거쳤으며, 결과적으로 169,668건의 참고문헌 정보가 도출되었다.
데이터처리
- 데이터셋 중에서도 학습집합을 통하여 Bidirectional GRU-GRU CRF 모델을 학습하였으며, 학습 과정에서 최적화된 성능을 도출하기 위하여 다양한 파라미터를 활용하여 성능 최적화 실험을 수행하였다. 성능 최적화 실험은 표 4의 제시된 다양한 파라미터에 대하여 검증집합에 대한 성능을 기준으로 비교분석 하는 형식으로 수행하였으며, 수행 결과 도출된 파라미터는 굵게 표기하였다.
이론/모형
- 이에 대해서는 [3]과 같이 패턴이나 규칙 기반의 정규식 매칭와 같은 방법론을 활용한 연구가 일반적으로 진행되었다. 이후, 품사 태깅과 같은 연속적 레이블링(Sequence Labeling) 방법론에 기반하여, CRF(Conditional Random Field) 등과 같은 시퀀스 단위의 분석 방법이 활용되었다. [4]는 CRF 기반의 방법을 적용하여 참고문헌 메타데이터 인식을 수행하였으며, 우수한 성능을 보인 연구 사례이다.
성능/효과
- 21%의 F1 성능을 보였다. 검증 집합에 대해서도 0.37%의 성능 차이를 보였으며, 이는 언어 자질을 활용하는 것이 참고문헌 메타데이터 인식 과정에서 성능 향상에 도움을 준다는 것을 확인할 수 있는 단서이다.
- 이 중, 참고문헌 정보 간의 중복을 제거하여, 482,192건의 참고문헌정보를 확보하였다. 신문기사 및 웹 정보원 등의 논문에 해당하지 않는 인용 정보, 참고문헌 표기 오기 등의 문제에 대한 정보, 10종의 학술지가 각각 채택한 참고문헌 양식에 부합하지 않은 정보를 제거하는 작업을 거쳤으며, 결과적으로 169,668건의 참고문헌 정보가 도출되었다.
- 심층학습 모델 중 연속적 레이블링에 대하여 우수한 성능을 보이고 있는 Bidirectional GRU-GRU CRF 모델을 적용하여 2010년 이후의 국내 10종의 학술지 논문 144,786건을 대상으로 169,688건의 참고문헌 정보를 추출하여 실험하였다. 실험 결과, 본 연구에서 제시한 참고문헌 메타데이터 인식 모델은 실험 집합에 대하여 97.21%의 F1 점수를 보이며 그 우수성을 입증하였다.
- 총 8종의 메타데이터에 대해 BI태그를 부착하여, 16종의 레이블이 발생하였으며, 추출하고자 하는 정보가 아님을 표현하는 “O” 태그를 추가하여, 총 17종의 레이블이 생성되었다.
후속연구
- 향후에는 보다 많은 종의 논문을 수집하고 가공하여 모델에 활용할 것이다. 또한, Attention Seq2Seq 등의 연속적 레이블링에 대하여 우수한 성능을 보이고 있는 다른 심층학습 모델을 별도로 구현하여 참고문헌 메타데이터 인식 과정에 대한 각 모델의 성능비교 연구도 수행할 것이다.
- 향후에는 보다 많은 종의 논문을 수집하고 가공하여 모델에 활용할 것이다. 또한, Attention Seq2Seq 등의 연속적 레이블링에 대하여 우수한 성능을 보이고 있는 다른 심층학습 모델을 별도로 구현하여 참고문헌 메타데이터 인식 과정에 대한 각 모델의 성능비교 연구도 수행할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.