초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 지식베이스 완성을 위한 새로운 모델, KBCNN을 소개한다. KBCNN 모델은 CNN을 기반으로 지식베이스의 개체들과 관계들 사이의 연관성을 포착한다. KBCNN에서 각 트리플 <주어 개체, 관계, 목적어 개체>는 3개의 열을 가진 행렬로 표현되며, 각각의 열은 트리플의 각 원소를 표현하는 임베딩 벡터다. 트리플을 나타내는 행렬은 여러 개의 필터를 가지고 있는 컨볼루션 레이어를 통과한 뒤, 하나의 특성 벡터로 합쳐진다. 이 특성 벡터를 가중치 행렬과 내적 하여 최종적으로 해당 트리플의 신뢰도를 출력하게 된다. 이 신뢰도를 바탕으로 트리플의 진실 여부를 가려낼 수 있다. 지식베이스 완성 연구에서 가장 많이 사용되는 데이터셋인 FB15k-237을 기반으로 한 실험을 통해 KBCNN 모델이 기존 임베딩 모델들보다 뛰어난 성능을 보이는 것을 확인하였다.

본 논문에서는 지식베이스 완성을 위한 새로운 모델, KBCNN을 소개한다. KBCNN 모델은 CNN을 기반으로 지식베이스의 개체들과 관계들 사이의 연관성을 포착한다. KBCNN에서 각 트리플 <주어 개체, 관계, 목적어 개체>는 3개의 열을 가진 행렬로 표현되며, 각각의 열은 트리플의 각 원소를 표현하는 임베딩 벡터다. 트리플을 나타내는 행렬은 여러 개의 필터를 가지고 있는 컨볼루션 레이어를 통과한 뒤, 하나의 특성 벡터로 합쳐진다. 이 특성 벡터를 가중치 행렬과 내적 하여 최종적으로 해당 트리플의 신뢰도를 출력하게 된다. 이 신뢰도를 바탕으로 트리플의 진실 여부를 가려낼 수 있다. 지식베이스 완성 연구에서 가장 많이 사용되는 데이터셋인 FB15k-237을 기반으로 한 실험을 통해 KBCNN 모델이 기존 임베딩 모델들보다 뛰어난 성능을 보이는 것을 확인하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 향후 연구로는 KBCNN 모델의 개체와 관계 특성 벡터를 초기화 할 때 TransE 등의 기초적인 모델에서 학습된 결과를 사용하는 등의 방법으로 성능 향상을 꾀하고자 한 다. 또한, 어떤 임베딩 모델도 잡아내지 못하는 개체 타입 적합성과 그래프에서 직접적으로 알아낼 수 있는 특성들을 모델에 추가함으로써 일어나는 변화 또한 알아보고자 한다.
• 본 논문에서는 기존의 모델들보다 더 뛰어난 성능을 보이는 새로운 모델, KBCNN을 소개한다. KBCNN 모델은 CNN을 기반으로 한 임베딩 모델로, 지식베이스의 각 트리플은 3개의 열을 가진 k × 3 크기의 행렬로 표현된다.
• 첫 번째는 지식 그래프로부터 직접적으로 알아낼 수 있는 특성들을 이용하는 그래프 특성 기반 방법이 있고, 두 번째는 개체와 관계들의 잠재적 특성 (latent feature)들을 임베딩 하여 상호 관계를 알아내는 임베딩 기반 방법이 있다. 본 논문에서는 임베딩 기반 방법에 집중하고자 한다.
• 앞서 설명하였듯이, 지식베이스 완성을 위한 임베딩 모델들은 공통적으로 임의의 트리플 < h,r,t >에 대하여 해당 트리플의 채점 함수 f를 정의하는 것을 목표로 한다.
• 모델 간의 차이는 h,r,t 를 표현하는 특성 벡터 v_h, v_r, v_t들을 어떻게 조합하여 채점 함수를 정의하느냐에 따라 발생한다. 이번 절에서는 대표적인 임베딩 모델들의 조합 방식에 대하여 소개하고자 한다.

제안 방법

• 둘째, 지식베이스 완성 문제에서 가장 많이 사용하는 데이터셋인 FB15k-237에 KBCNN 모델을 적용하여 MR, MRR, Hits@10을 측정하였다. 기존에 연구된 모델들의 성능과 비교 평가 하였을때, KBCNN은 MR과 Hits@10에 있어 제일 좋은 성능을 보여줌으로써 그 실용성과 효용성을 검증하였다.
• 본 논문에서 기여한 점들은 다음과 같다. 첫째, 지식 베이스 완성 문제를 풀기 위한 임베딩 모델 KBCNN을 제안하였다. KBCNN 모델은 CNN 기반의 임베딩 모델로써, 지 식베이스의 개체와 관계들을 각각 특성 벡터로 임베딩하여 표현한다.
• ConvKB의 경우 필터의 개수가 1개 고, 필터의 weight가 [1, 1, −1]로 고정된다면 TransE와 동일한 모델로써 역할하기 때문에 TransE의 일반화된 모델 이라고 볼 수도 있다[10]. 해당 논문에서는 ConvKB의 성능 측정 실험에서 개체 및 관계들의 특성 벡터를 TransE 모델로 먼저 초기화 한 뒤에 계산하였기 때문에 매개변 수를 KBCNN 모델의 두 배 정도 사용하였다. 사용한 매개 변수의 개수를 대략적으로 맞춰야 의미있는 성능 비교가 가능하기 때문에 본 논문의 실험에서는 제외하였다.

대상 데이터

• 본 논문에서는 대부분의 지식베이스 완성 연구에서 사용한 FB15k-237 데이터셋으로 KBCNN을 평가한다. FB15k- 237은 Freebase의 부분집합으로, 앞서 사용되던 데이터 셋인 FB15k (약 15,000개의 개체와 1300개의 관계)에서 평가에 방해되는 역-관계들 (reversible relations)과 관 련된 개체들을 제거한 데이터셋이다.

이론/모형

• 본 실험에서는 다양한 hyperparameter에 대한 grid search를 진행함으로써 KBCNN 모델을 학습시켰다. 표 2에서 체크한 hyperparameter들의 범위를 확인할 수 있다.

성능/효과

• 본 논문에서 제안한 KBCNN 모델이 MR과 Hits@10에서 기존의 연구들에 비해 가장 뛰어난 성능을 보인다. CNN 을 사용한 최신 연구 ConvE와 비교해 보면, 246-201 = 45 만큼 MR이 향상되었으며 (비교적으로 18% 상승), 49.7- 49.1 = 0.6 만큼 Hits@10이 향상되었으나 MRR의 경우 0.316-0.299 = 0.017 만큼 뒤떨어진다 (비교적으로 5.3% 하락).
• KBCNN 모델은 embedding dimensions 75, dropout 0.3, epochs 150, batch size 128, learning rate 0.001, number of filters 75, L2_regularization parameter 0.001, negative sample ratio 10 을 hyperparameter로 설정하였을 때 가장 뛰어난 성능을 보였다.
• 둘째, 지식베이스 완성 문제에서 가장 많이 사용하는 데이터셋인 FB15k-237에 KBCNN 모델을 적용하여 MR, MRR, Hits@10을 측정하였다. 기존에 연구된 모델들의 성능과 비교 평가 하였을때, KBCNN은 MR과 Hits@10에 있어 제일 좋은 성능을 보여줌으로써 그 실용성과 효용성을 검증하였다.
• 본 논문에서 제안한 KBCNN 모델이 MR과 Hits@10에서 기존의 연구들에 비해 가장 뛰어난 성능을 보인다. CNN 을 사용한 최신 연구 ConvE와 비교해 보면, 246-201 = 45 만큼 MR이 향상되었으며 (비교적으로 18% 상승), 49.
• 지식베이스 완성 문제에서 빈번히 사용되는 데이터셋 FB15k-237[11]에 KBCNN 모델을 적용하여 실험해 봄으로써 소개한 모델이 기존의 state-of-the-art 모델들보다 더 뛰어난 성능을 보이는 것을 확인하였다.

후속연구

• 향후 연구로는 KBCNN 모델의 개체와 관계 특성 벡터를 초기화 할 때 TransE 등의 기초적인 모델에서 학습된 결과를 사용하는 등의 방법으로 성능 향상을 꾀하고자 한 다. 또한, 어떤 임베딩 모델도 잡아내지 못하는 개체 타입 적합성과 그래프에서 직접적으로 알아낼 수 있는 특성들을 모델에 추가함으로써 일어나는 변화 또한 알아보고자 한다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기