[논문]BERT와 지식 그래프를 이용한 한국어 문맥 정보 추출 시스템

유소엽; 정옥란

doi:10.7472/jksii.2020.21.3.123

BERT와 지식 그래프를 이용한 한국어 문맥 정보 추출 시스템
Korean Contextual Information Extraction System using BERT and Knowledge Graph 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.21 no.3, 2020년, pp.123 - 131

유소엽 (Dept. of AI.Software, Gachon University) , 정옥란 (Dept. of AI.Software, Gachon University)

초록
AI-Helper

인공지능 기술의 비약적 발전과 함께 사람의 언어를 다루는 자연어 처리 분야 역시 활발하게 연구가 진행되고 있다. 특히 최근에는 구글에서 공개한 언어 모델인 BERT는 대량의 코퍼스를 활용해 미리 학습시킨 모델을 제공함으로써 자연어 처리의 여러 분야에서 좋은 성능을 보이고 있다. BERT에서 다국어 모델을 지원하고 있지만 한국어에 바로 적용했을 때는 한계점이 존재하기 때문에 대량의 한국어 코퍼스를 이용해 학습시킨 모델을 사용해야 한다. 또한 텍스트는 어휘, 문법적인 의미만 담고 있는 것이 아니라 전후 관계, 상황과 같은 문맥적인 의미도 담고 있다. 기존의 자연어 처리 분야에서는 어휘나 문법적인 의미를 중심으로 연구가 주로 이루어졌다. 텍스트에 내재되어 있는 문맥 정보의 정확한 파악은 맥락을 이해하는 데에 있어 중요한 역할을 한다. 단어들의 관계를 이용해 연결한 지식그래프는 컴퓨터에게 쉽게 문맥을 학습시킬 수 있는 장점이 있다. 본 논문에서는 한국어 코퍼스를 이용해 사전 학습된 BERT 모델과 지식 그래프를 이용해 한국어 문맥 정보를 추출하는 시스템을 제안하고자 한다. 텍스트에서 중요한 요소가 되는 인물, 관계, 감정, 공간, 시간 정보를 추출할 수 있는 모델을 구축하고 제안한 시스템을 실험을 통해 검증한다.

Abstract ▼ AI-Helper

Along with the rapid development of artificial intelligence technology, natural language processing, which deals with human language, is also actively studied. In particular, BERT, a language model recently proposed by Google, has been performing well in many areas of natural language processing by providing pre-trained model using a large number of corpus. Although BERT supports multilingual model, we should use the pre-trained model using large amounts of Korean corpus because there are limitations when we apply the original pre-trained BERT model directly to Korean. Also, text contains not only vocabulary, grammar, but contextual meanings such as the relation between the front and the rear, and situation. In the existing natural language processing field, research has been conducted mainly on vocabulary or grammatical meaning. Accurate identification of contextual information embedded in text plays an important role in understanding context. Knowledge graphs, which are linked using the relationship of words, have the advantage of being able to learn context easily from computer. In this paper, we propose a system to extract Korean contextual information using pre-trained BERT model with Korean language corpus and knowledge graph. We build models that can extract person, relationship, emotion, space, and time information that is important in the text and validate the proposed system through experiments.

주제어

표/그림 (9)

그림 (그림 1) 한국어 문맥 정보 추출 시스템 (Figure 1) Korean context extraction system
표 (표 1) NER 데이터셋의 태그 리스트 (Table 1) Tag list of NER dataset
그림 (그림 2) NER 모델의 입력값과 출력값 (Figure 2) Input and output of NER model
표 (표 2) 관계 추출 데이터셋의 태그 리스트 (Table 2) Tag list of relation extraction dataset
그림 (그림 3) 관계 추출 모델의 입력값과 출력값 (Figure 3) Input and output of relation extraction model
그림 (그림 4) 감정 추출 모델의 입력값과 출력값 (Figure 4) Input and output of emotion extraction model
표 (표 3) 동서양의 기본 감정 (Table 3) Basic emotions of East and West
표 (표 4) 실험 결과 (Table 4) Experiment result
표 (표 5) 비교 결과 (Table 5) Comparison result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

한국어 텍스트의 문맥정보 추출을 위해 한국어의 특성이 반영될 수 있도록, 기존의 BERT 모델을 대량의 한국어 코퍼스를 이용해 학습시킨 한국어 BERT 모델을 활용한다. 또한 데이터를 관계 기반으로 연결하여 표현해 주는 지식 그래프를 활용하여 텍스트 내의 문맥 정보를 추출할 수 있는 시스템을 제안하고 실험을 통해 가능성을 검증하고자 한다.
텍스트에 내재되어 있는 의미나 맥락을 이해하는데 도움을 주는 문맥 정보를 추출하기 위해서는 기존의 모 델을 각 문맥 정보 추출에 최적화 하는 과정을 거쳐 모델을 구축해야 한다. 본 논문에서는 기존 BERT 모델을 한 국어 코퍼스를 이용하여 다시 학습시킨 한국어 BERT 모델과 관계 정보를 나타낼 수 있는 지식 그래프를 이용한 한국어 문맥 정보 추출 시스템을 제안한다.
본 논문에서는 대표적인 언어 모델인 BERT[4]와 지식 그래프 ConceptNet[16]과 감정 기반 지식 그래프 SenticNet[17]을 이용한 한국어 문맥 정보 추출 시스템을 제안하고자 한다. 한국어 텍스트에서 인물, 관계, 감정, 시간, 공간 총 5가지의 문맥 정보를 추출한다.
본 논문에서는 언어 모델인 BERT과 지식그래프를 이용해 한국어 문맥 정보를 추출하는 시스템을 제안하고 검증한다. BERT 모델은 하나의 모델로 다양한 자연어 처리 분야의 일들을 수행할 수 있지만, 한국어 데이터 처리에서는 한계를 갖고 있다.
본 논문에서는 한국어 텍스트에서 문맥 정보를 컴퓨터가 파악할 수 있는 시스템을 제안한다. 언어 모델을 통해 문맥 정보의 추출도 가능하지만 정확도를 향상시키기 위해 지식 그래프를 활용한다.
본 논문에서는 한국어 텍스트에서 인물, 공간, 시간, 관계, 감정 총 5가지의 문맥 정보를 추출할 수 있는 KoBERT와 지식 그래프 기반 시스템을 제안한다. 개체명 인식, 관계 정보 추출, 감정 정보 추출 모델을 실험을 통해 검증한다.
ConceptNet은 8백 만 개 이상의 개체들이 서로 40개의 관계를 기반으로 연결되어 있는 지식 그래프이다. 우리는 ConceptNet을 활용해 텍스트 내의 관계적 문맥 정보를 추출하고자 한다.

제안 방법

개체명 인식 모델에서 추출된 인물과 공간 정보를 기반으로 입력 문장들을 필터링하여 사용한다. 필터링된 문장들과 주체, 객체의 쌍을 그대로 사용할 경우 데이터 셋으로 활용하는 관계 태그와 관련된 문장이 상대적으로 적기 때문에 정확도 측면에서 낮은 결과를 보여준다.
본 논문에서는 한국어 텍스트에서 인물, 공간, 시간, 관계, 감정 총 5가지의 문맥 정보를 추출할 수 있는 KoBERT와 지식 그래프 기반 시스템을 제안한다. 개체명 인식, 관계 정보 추출, 감정 정보 추출 모델을 실험을 통해 검증한다.
토크나이저로 토큰화 된 입력 문장을 모델에 입력하면 각 토큰에 해당하는 태그를 결과로 추출한다. 동일한 형태의 입력과 출력으로 BERT 모델을 학습시키고 인물, 시간, 공간 정보 추출을 위해 사용한다.
또한 컴퓨터에게 문맥 정보를 쉽게 학습시키기 위해 관계를 기반으로 단어를 연결한 지식 그래프를 관계와 감정 추출 모델에 활용한다. 한국어 BERT 모델과 지식 그래프를 기반으로 중요한 문맥 정보인 인물, 관계, 감정, 공간, 시간의 5가지 문맥 정보를 추출하기 위한 개체명 인식 모델, 관계 추출 모델, 감정 추출 모델을 학습시켜 각 정보를 추출할 수 있는 시스템을 구축한다.
문맥 정보는 매우 다양하지만 본 논문에서는 텍스트에서 나타나는 전후 관계, 연관된 상황에 초점을 맞추어 이를 표현할 수 있는 여러 정보 중 ‘인물, 시간, 공간, 관계, 감정’의 5가지 정보로 제한한다.
문맥 정보는 텍스트의 의미를 정의하는, 더 나아가 텍스트에 내재되어 있는 의미를 파악할 수 있는 주변의 여러 상황적 맥락 정보라고 정의 할 수 있다[9]. 상황적 맥락을 이해할 수 있는 정보들에는 사회적, 시간적, 공간적 배경까지 모두 포함되기 때문에 본 논문에서는 다양한 문맥 정보 중 인물, 시간, 공간, 관계, 감정, 5가지의 문맥 정보를 활용하고자 한다.
표 4는 각 데이터셋에 대한 정확도 실험 결과이다. 실험은 정확도(precision), 재현율(recall), 그리고 F1 점수로 측정한다. 각 문맥 정보에 대해 측정 결과를 보여준다.
제안하는 한국어 문맥 정보 추출 시스템의 검증을 위해 각 모델을 통해 추출되는 문맥 정보에 대한 정확도를 실험한다. 개체명 인식 모델의 인물, 공간, 시간 정보와 관계 추출 모델의 관계 정보, 그리고 감정 추출 모델의 감정 정보를 실험의 대상으로 한다.
또한 컴퓨터에게 문맥 정보를 쉽게 학습시키기 위해 관계를 기반으로 단어를 연결한 지식 그래프를 관계와 감정 추출 모델에 활용한다. 한국어 BERT 모델과 지식 그래프를 기반으로 중요한 문맥 정보인 인물, 관계, 감정, 공간, 시간의 5가지 문맥 정보를 추출하기 위한 개체명 인식 모델, 관계 추출 모델, 감정 추출 모델을 학습시켜 각 정보를 추출할 수 있는 시스템을 구축한다.

대상 데이터

제안하는 한국어 문맥 정보 추출 시스템의 검증을 위해 각 모델을 통해 추출되는 문맥 정보에 대한 정확도를 실험한다. 개체명 인식 모델의 인물, 공간, 시간 정보와 관계 추출 모델의 관계 정보, 그리고 감정 추출 모델의 감정 정보를 실험의 대상으로 한다.
추출된 인물과 공간이 포함된 문장을 필터링하여 사용한다. 관계 정보 추출 모델의 학습을 위해서 카이스트에서 공개한 한국어 관계 라벨링 데이터셋[19]을 사용한다. 총 89개의 다양한 관계 태그가 존재하지만, 본 논문에서는 인물 사이, 혹은 인물과 공간 사이의 관계를 나타낼 수 있는 태그 10개를 선정해 사용한다.
모델 학습을 위한 데이터셋은 개체명 인식, 관계, 감정 추출 모델 각각 다른 데이터셋을 사용한다. 인물, 공간, 시간 정보 추출을 위한 개체명 인식 모델의 학습을 위해서는 한국해양대학교의 말뭉치 데이터셋[18]을 활용한다.
모델 학습을 위한 데이터셋은 개체명 인식, 관계, 감정 추출 모델 각각 다른 데이터셋을 사용한다. 인물, 공간, 시간 정보 추출을 위한 개체명 인식 모델의 학습을 위해서는 한국해양대학교의 말뭉치 데이터셋[18]을 활용한다. 관계 정보 추출 모델의 학습에는 카이스트의 관계 데이터셋[19]을 활용하고, 감정 정보 추출 모델의 학습에는 한국어 데이터셋이 없기 때문에 영어 데이터셋인 EmoContext[22]를 Naver NMT API[18]를 이용해 한국어로 번역하여 활용한다.
관계 정보 추출 모델의 학습을 위해서 카이스트에서 공개한 한국어 관계 라벨링 데이터셋[19]을 사용한다. 총 89개의 다양한 관계 태그가 존재하지만, 본 논문에서는 인물 사이, 혹은 인물과 공간 사이의 관계를 나타낼 수 있는 태그 10개를 선정해 사용한다.

이론/모형

BERT 기반 감정 정보 추출 모델의 학습을 위해 마이크로소프트의 EmoContext 데이터셋[22]을 활용한다. EmoContext는 감정을 ‘happy’, ‘angry’, ‘sad’, ‘others’ 총 4 개로 분류한다.
BERT 기반 한국어 문맥 정보 추출 시스템의 실험은 구글 colab[24]의 TPU 환경을 이용한다. 모델은 PyTorch를 통해 구현되고, 기반이 되는 BERT 한국어 모델은 SKTBrain에서 제공하는 KoBERT[13]를 사용한다.
출력값은 ‘happy’, ‘angry’, ‘sad’, ‘others’ 중 1개의 감정이다. EmoContext 데이터셋을 이용해 감정 추출 모델을 학습시키고 추론에 사용한다.
인물, 공간, 시간 정보 추출을 위한 개체명 인식 모델의 학습을 위해서는 한국해양대학교의 말뭉치 데이터셋[18]을 활용한다. 관계 정보 추출 모델의 학습에는 카이스트의 관계 데이터셋[19]을 활용하고, 감정 정보 추출 모델의 학습에는 한국어 데이터셋이 없기 때문에 영어 데이터셋인 EmoContext[22]를 Naver NMT API[18]를 이용해 한국어로 번역하여 활용한다.
동서양에서 공통적으로 나타나는 감정을 기본 감정 모델로 정의가 가능하다. 따라서 우리는 기쁨, 분노, 슬픔을 인간의 가장 중요한 핵심적인 감정 정보로 지정하고 기본 감정 모델을 감정 정보 추출 모델에 이용한다.
또한 본 논문에서는 감정 정보 추출을 위해 감정 기반 지식 그래프인 SenticNet[17]을 활용한다. SenticNet은 단어에 내포되어 있는 감정들을 그래프로 연결하고 있기 때문에 감정과 관련된 문장들을 1차적으로 선별하는데 한다.
BERT 기반 한국어 문맥 정보 추출 시스템의 실험은 구글 colab[24]의 TPU 환경을 이용한다. 모델은 PyTorch를 통해 구현되고, 기반이 되는 BERT 한국어 모델은 SKTBrain에서 제공하는 KoBERT[13]를 사용한다.
본 논문에서는 SKTBrain의 KoBERT[13] 모델을 사용 한다. 구글의 다국어 모델에 한국어 위키 5백만 문장과 한국어 뉴스 2천만 문장을 추가로 학습시켜 한국어 데이터에서 보다 좋은 성능을 낼 수 있는 모델이다.
극성(polarity)은 부정과 긍정을 -1부터 +1 사이의 실수로 표현한다. 본 논문에서는 텍스트 내의 감정적 문맥 정보를 추출하기 위해 SenticNet[17]을 활용한다.
대량의 한국어 코퍼스를 통해 기존 모델을 다시 학습 시킨 모델을 사용해야 더 좋은 성능을 기대할 수 있다. 본 논문에서는 한국어 위키와 뉴스 데이터로 기존 구글의 다국어 모델을 재학습시킨 SKTBrain의 KoBERT[13] 모델을 활용한다.
EmoContext는 감정을 ‘happy’, ‘angry’, ‘sad’, ‘others’ 총 4 개로 분류한다. 영어로 된 데이터를 한국어로 활용하기 위해 Naver NMT API[23]를 사용하여 한국어로 번역한 후 BERT 모델로 학습시킨다.
우리는 KoBERT 모델을 인물, 시간, 공간 정보 추출을 위한 개체명 인식과 관계 정보 추출, 감정 정보 추출까지 총 3가지의 모델로 학습시키고 추출 시스템에 활용한다. 특히 관계 정보와 감정 정보 추출 모델은 문맥을 고려한 추출이 필요하기 때문에 지식 그래프와 감정 기반 지식 그래프를 적용해 학습시킨다.
특히 관계 정보와 감정 정보 추출 모델은 문맥을 고려한 추출이 필요하기 때문에 지식 그래프와 감정 기반 지식 그래프를 적용해 학습시킨다. 우리는 다양한 지식 그래프 중 오픈 소스로 공개되어 있는 ConceptNet과 SenticNet을 활용한다.
한국어 개체명 인식, 특히 인물, 시간, 공간 정보의 추출을 위한 BERT 모델의 학습을 위해 한국해양대학교의 개체명 인식 데이터셋[18]을 활용한다. 표 1과 같이 총 8 개의 태그로 이루어진 데이터셋이다.
BERT 모델은 하나의 모델로 다양한 자연어 처리 분야의 일들을 수행할 수 있지만, 한국어 데이터 처리에서는 한계를 갖고 있다. 한국어 위키 데이터와 뉴스 데이터로 다시 학습된 모델을 사용해 한국어 데이터에 잘 대응할 수 있는 KoBERT 모델을 사용한다.
한국어 텍스트의 문맥정보 추출을 위해 한국어의 특성이 반영될 수 있도록, 기존의 BERT 모델을 대량의 한국어 코퍼스를 이용해 학습시킨 한국어 BERT 모델을 활용한다. 또한 데이터를 관계 기반으로 연결하여 표현해 주는 지식 그래프를 활용하여 텍스트 내의 문맥 정보를 추출할 수 있는 시스템을 제안하고 실험을 통해 가능성을 검증하고자 한다.

성능/효과

각 모델들을 서로 다른 모델이지만 성능 향상의 정도를 평가하기 위해 성능 향상의 정도를 확인할 때, 전체적으로 약 4% 포인트의 성능이 향상됐다. 인물 추출이나 관계 추출에서는 다소 낮은 정도의 성능 향상이 이루어 졌지만, 공간, 시간, 감정 추출에서는 약 5% 포인트의 성능 향상을 보여주었다.
KoBERT는 기존 BERT 모델을 한국어 코퍼스를 이용해 다시 학습시켰기 때문에 모든 문맥 정보에 대해서 성능 이 향상된 것을 확인할 수 있다. 또한 우리가 제안하는 지식 그래프를 적용한 관계와 감정 추출 모델은 KoBERT 만 적용했을 때보다 성능이 향상되어 지식 그래프 사용의 가능성을 보여준다.
각 모델들을 서로 다른 모델이지만 성능 향상의 정도를 평가하기 위해 성능 향상의 정도를 확인할 때, 전체적으로 약 4% 포인트의 성능이 향상됐다. 인물 추출이나 관계 추출에서는 다소 낮은 정도의 성능 향상이 이루어 졌지만, 공간, 시간, 감정 추출에서는 약 5% 포인트의 성능 향상을 보여주었다.
92로 좋은 성능을 보여주고 있다. 한국어로 이루어진 데이터셋이 아닌 영어 데이터셋을 한국어로 번역한 데이터로 학습했음에도 높은 성능을 보여 제안하는 모델의 가능성을 보여준다.

후속연구

시간 정보 또한 활용 가능하나 현재 관계 추출을 위해 사용하는 데이터셋은 ‘인물-인물’, ‘인물-공간’의 관계 정보만 존재하기 때문에 별도로 시간 정보는 활용하지 않는다. 추후 시간 정보를 활용할 수 있는 데이터셋을 확보해 인물, 공간, 시간 정보를 모두 활용할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	문맥 정보란?	문맥 정보는 텍스트의 의미를 정의하는, 더 나아가 텍스트에 내재되어 있는 의미를 파악할 수 있는 주변의 여러 상황적 맥락 정보라고 정의 할 수 있다[9]. 상황적 맥락을 이해할 수 있는 정보들에는 사회적, 시간적, 공간적 배경까지 모두 포함되기 때문에 본 논문에서는 다양한 문맥 정보 중 인물, 시간, 공간, 관계, 감정, 5가지의 문맥 정보를 활용하고자 한다.
	BERT 공개 당시 평가는?	2018년 10월에는 논문으로 발표되고, 11월에는 오픈 소스로 공개된 BERT[4]는 구글의 언어 표현 모델이다. 공개 당시 자연어 처리의 11개 태스크에서 State-of-the-art 를 기록하며 자연어 처리 분야의 ImageNet으로 평가받고 있다.
	문맥의 다양한 해석 중 우리는 어떻게 문맥을 정의하는가?	특히 텍스트를 사용하는 사람과 관련된 언어적 행동과 지식, 언어활동이 이루어지는 사회적, 시간적, 공간적 배경까지 모두 포함 한다[8-10]. 문맥의 다양한 해석 중 우리는 언어 외적 요 소, 즉 언어를 구성하고 있는 상황적 맥락으로 문맥을 정의한다.

참고문헌 (24)

Deng, L., and Liu, Y. (Eds.), Deep Learning in Natural Language Processing, Springer, 2018. http://dx.doi.org/10.1007/978-981-10-5209-5
Palash, G., Sumit, P., and Karan, J., Deep Learning for Natural Language Processing, Apress, 2018. http://dx.doi.org/10.1007/978-1-4842-3685-7
Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L., "Deep contextualized word representations," in Proc. of NAACL, 2018. http://dx.doi.org/10.18653/v1/N18-1202
Devlin, J., Chang, M. W., Lee, K., and Toutanova, K., "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," in Proc. of NAACL, 2019. http://dx.doi.org/10.18653/v1/N19-1423
Zhilin, Y., Zihng, D., Yiming, Y., Jaime, C., Ruslan, S., and Quoc V. L., "XLNet: Generalized Autoregressive Pretraining for Language Understanding," arXiv preprint, 2019. https://arxiv.org/abs/1906.08237
K. H. Park., S. H. Na., J. H. Shin., and Y. K. Kim., "BERT for Korean Natural Language Processing: Named Entity Tagging, Sentiment Analysis, Dependency Parsing and Semantic Role Labeling," Korea Computer Congress 2019, 2019, pp. 584-586. https://www.dbpia.co.kr/journal/articleDetail?nodeIdNODE08763261
S. Kwon., Y. Ko., and J. Seo, "Effective vector representation for the Korean named-entity recognition," Pattern Recognition Letters, Vol. 117, pp. 52-57, 2019. http://dx.doi.org/10.1016/j.patrec.2018.11.019

상세보기
Sung-Il, Lee., "Contextualism and a Reflection on the Notions of 'Context'," Journal of Language Sciences, Vol. 17, No. 3, pp. 67-86, 2010. http://dx.doi.org/G704-001077.2010.17.3.003
Min-Woo, Lee., "Semantic Relations from the Contextual Perspective," Korean Semantics, Vol. 66, pp. 101-120, 2019. http://dx.doi.org/10.19033/sks.2019.12.66.101

상세보기
M. S. Shin., "The Characteristics of the Contextual Meaning Evaluation Items of Words - Focusing on the Korean Language Subject of the College Scholastic Ability Text," KOED, No. 116, pp. 143-185, 2018. http://dx.doi.org/10.15734/koed..116.201809.143
A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever, "Improving language understanding by generative pre-training," https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, and I. Polosukhin, "Attention is all you need," In Proc. of the 31st Internationcal Conference on Neural Information Processing Systems, pp. 6000-6010, 2017. http://dx.doi.org/10.5555/3295222.3295349
SKTBrain, "Korean BERT pre-trained cased (KoBERT)," https://github.com/SKTBrain/KoBERT
Fellbaum, C., "WordNet: An Electronic Lexical Database," Cambridge, MA: MIT Press, 1998. http://dx.doi.org/10.1017/S0142716401221079
Thomas, R., Fabian M. S., Johannes, H., Joanna, B., and Gerhard, W., "YAGO: A Mulitilingual Knowledge Base from Wikipedia, Wordnet, and Geonames," in Proc. of 15th International Semantic Web Conference, pp. 177-185, 2016. https://doi.org/10.1007/978-3-319-46547-0_19
R. Speer, J. Chin, and C. Havasi, "ConceptNet 5.5: An Open Multilingual Graph of General Knowledge," In Thirty-First AAAI Conference on Artificial Intelligence, 2017. https://dl.acm.org/doi/10.5555/3298023.3298212
E. Cambria, S. Poria, D. Hazarika, and K. Kwok, "SenticNet 5: Discovering Conceptual Primitives for Sentiment Analysis by Means of Context Embeddings," In Thirty-Second AAAI Conference on Artificial Intelligence, 2018. https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16839
Kmounlp, "Definition of Korean Named-Entity Task," https://github.com/kmounlp/NER
KAIST, "Korean Relation Extraction Gold Standard," https://github.com/machinereading/kor-re-gold
S. S. Lee., "A Study on the Analysis of Semantic Relation and Category of the Korean Emotion Words," Journal of Korean Library and Information Science Society, Vol. 47, No. 2, pp. 51-70, 2016. http://dx.doi.org/10.16981/kliss.47.201606.51
P. Ekman, "Are there basic emotions?" Psychological Review, Vol. 99, No. 3, pp. 550-553, 1992. http://dx.doi.org/10.1037/0033-295X.99.3.550

상세보기
A. Chatterjee, K. N. Narahari, M. Joshi, P. Agrawal, "SemEval-2019 Task 3: EmoContext Contextual Emotion Detection in Text," in Proc. of the 13th International Workshop on Semantic Evaluation, pp. 39-48, 2019. http://dx.doi.org/10.18653/v1/S19-2005
Naver Developers, "Papago NMT API Reference," https://developers.naver.com/docs/nmt/reference/
Google, "Google Colab," https://colab.research.google.com

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증