지식 그래프는 질문 응답 또는 추천 시스템과 같은 인공 지능 시스템을 구축하는 데 유용한 리소스이다. 그러나 엔터티 간의 관계가 누락되어 대부분의 지식 그래프가 불완전한 문제가 있다. 이러한 문제를 해결하기 위해 엔터티와 관계를 저차원 공간으로 임베딩하는 방법으로 좋은 결과를 얻을 수 있다. 하지만 엔터티 간 직접적인 관계에만 초점을 맞추고 그래프에서 경로 관계의 존재를 무시하는 문제가 있다. 반대로, 경로 기반 임베딩 방법은 추론을 위한 단일 경로를 고려한다. 또한 시퀀스 데이터를 처리하기 위해 고효율의 ...
지식 그래프는 질문 응답 또는 추천 시스템과 같은 인공 지능 시스템을 구축하는 데 유용한 리소스이다. 그러나 엔터티 간의 관계가 누락되어 대부분의 지식 그래프가 불완전한 문제가 있다. 이러한 문제를 해결하기 위해 엔터티와 관계를 저차원 공간으로 임베딩하는 방법으로 좋은 결과를 얻을 수 있다. 하지만 엔터티 간 직접적인 관계에만 초점을 맞추고 그래프에서 경로 관계의 존재를 무시하는 문제가 있다. 반대로, 경로 기반 임베딩 방법은 추론을 위한 단일 경로를 고려한다. 또한 시퀀스 데이터를 처리하기 위해 고효율의 Deep Neural Network 모델을 사용할 수 있지만 경로 기반 방식들은 간단한 Recurrent Neural Network을 중심에 두고 있다. 본 논문에서는Bi-LSTM (Bidirectional Long Short-Term Memory), Convolutional Neural Network 및 Attention 메커니즘을 결합한 새로운 지식 그래프 완성 방법을 제안한다. 먼저 후보 관계와 두 개의 엔터티가 주어지면 Convolutional 연산과 Bi-LSTM 모듈을 통해 엔터티를 저차원 공간에 임베딩한다. 그리고 후보 관계와 두 엔티티 사이에 존재하는 경로들과의 시맨틱 상관을 포착하고 다수 경로의 표현으로부터 추론 근거를 추출하여 후보 관계에 의해 엔티티가 연결되어야 하는지 여부를 예측하기 위해 Attention계층을 적용한다. 또한 임베딩 공간에서 여러 경로 표현에 대해 다중 홉 추론을 수행하도록 순환 신경망과 Attention 계층을 통해 모델을 확장하였다. 순환 신경망과 Attention 계층은 상호 작용하여 다중 경로 표현에서 논리적 추론을 도출하도록 설계되었다. 본 논문에서 여러 지식 그래프에서 링크 예측 작업을 수행하고, 제안하는 방법이 최신 경로 추론 방법들과 비교하여 더 좋은 성능을 보임을 확인할 수 있었다. 모델의 성능을 개선하기 위해 엔티티와 관계들의 사전 훈련을 포함하고 다중 타입 조합과 같은 두 가지 방법을 추가로 구현하였다. 제안하는 방법의 실험에서 사전 훈련된 엔티티와 관계는 모델의 링크 예측 성능을 크게 향상시킬 수 있었으며 좋은 성능을 얻을 수 있었다. 또한 위의 실험에서 타입 임베딩을 사용하여 엔티티를 나타내며 엔터티 타입이 지식 그래프로 완전히 커버될 것으로 예상된다. 그러나 경우에 따라 타입 정보에 접근할 수 없거나 부분적으로만 사용할 수 있다. 타입 정보를 엔티티에 사용할 수 없는 경우 타입 별로 엔티티를 나타내는 대신 해당 엔티티의 임베딩을 사용할 수 있다. 따라서, 본 논문에서는 지식 그래프가 부분적으로 다루는 엔티티 타입 으로 NELL, Freebase, Countries, Kinship 데이터 셋들에 대한 추가 실험을 수행하였다.
지식 그래프는 질문 응답 또는 추천 시스템과 같은 인공 지능 시스템을 구축하는 데 유용한 리소스이다. 그러나 엔터티 간의 관계가 누락되어 대부분의 지식 그래프가 불완전한 문제가 있다. 이러한 문제를 해결하기 위해 엔터티와 관계를 저차원 공간으로 임베딩하는 방법으로 좋은 결과를 얻을 수 있다. 하지만 엔터티 간 직접적인 관계에만 초점을 맞추고 그래프에서 경로 관계의 존재를 무시하는 문제가 있다. 반대로, 경로 기반 임베딩 방법은 추론을 위한 단일 경로를 고려한다. 또한 시퀀스 데이터를 처리하기 위해 고효율의 Deep Neural Network 모델을 사용할 수 있지만 경로 기반 방식들은 간단한 Recurrent Neural Network을 중심에 두고 있다. 본 논문에서는Bi-LSTM (Bidirectional Long Short-Term Memory), Convolutional Neural Network 및 Attention 메커니즘을 결합한 새로운 지식 그래프 완성 방법을 제안한다. 먼저 후보 관계와 두 개의 엔터티가 주어지면 Convolutional 연산과 Bi-LSTM 모듈을 통해 엔터티를 저차원 공간에 임베딩한다. 그리고 후보 관계와 두 엔티티 사이에 존재하는 경로들과의 시맨틱 상관을 포착하고 다수 경로의 표현으로부터 추론 근거를 추출하여 후보 관계에 의해 엔티티가 연결되어야 하는지 여부를 예측하기 위해 Attention계층을 적용한다. 또한 임베딩 공간에서 여러 경로 표현에 대해 다중 홉 추론을 수행하도록 순환 신경망과 Attention 계층을 통해 모델을 확장하였다. 순환 신경망과 Attention 계층은 상호 작용하여 다중 경로 표현에서 논리적 추론을 도출하도록 설계되었다. 본 논문에서 여러 지식 그래프에서 링크 예측 작업을 수행하고, 제안하는 방법이 최신 경로 추론 방법들과 비교하여 더 좋은 성능을 보임을 확인할 수 있었다. 모델의 성능을 개선하기 위해 엔티티와 관계들의 사전 훈련을 포함하고 다중 타입 조합과 같은 두 가지 방법을 추가로 구현하였다. 제안하는 방법의 실험에서 사전 훈련된 엔티티와 관계는 모델의 링크 예측 성능을 크게 향상시킬 수 있었으며 좋은 성능을 얻을 수 있었다. 또한 위의 실험에서 타입 임베딩을 사용하여 엔티티를 나타내며 엔터티 타입이 지식 그래프로 완전히 커버될 것으로 예상된다. 그러나 경우에 따라 타입 정보에 접근할 수 없거나 부분적으로만 사용할 수 있다. 타입 정보를 엔티티에 사용할 수 없는 경우 타입 별로 엔티티를 나타내는 대신 해당 엔티티의 임베딩을 사용할 수 있다. 따라서, 본 논문에서는 지식 그래프가 부분적으로 다루는 엔티티 타입 으로 NELL, Freebase, Countries, Kinship 데이터 셋들에 대한 추가 실험을 수행하였다.
Knowledge graphs are valuable resources for building intelligent systems such as question answering or recommendation systems. However, knowledge graphs mostly have the problem of missing relationships between entities. There is a great need to improve their coverage and infer those missing relation...
Knowledge graphs are valuable resources for building intelligent systems such as question answering or recommendation systems. However, knowledge graphs mostly have the problem of missing relationships between entities. There is a great need to improve their coverage and infer those missing relations to effectively use them in practical applications. Embedding methods that translate entities and relations into a low-dimensional space achieve great results, but they only focus on the direct relations between entities and neglect the presence of path relations in graphs. On the contrary, path-based embedding methods consider a single path to make inferences. It also relies on simple recurrent neural networks while highly efficient neural network models are available for processing sequence data. This study introduces a new approach for completing knowledge graphs that combines several deep learning techniques, long short-term memory (LSTM) on top of convolutional neural networks with an attention mechanism. To judge whether two entities are connected by the candidate relation, paths between the entities, are embedded into a low-dimensional space by a convolutional operation and Bi-LSTM module. An attention layer is then used to compute the similarity between a candidate relation and a path. The similarity score will judge if the path is meaningful for predicting the relation between entities and help to extract reasoning evidence from each path. By attentively combining those paths, we can predict whether the two entities should be connected by a new candidate relation. The proposed model was extended to implement a multi-hop reasoning mechanism that can read path representations multiple times. It consists of two components, memory module and controller module. The memory module is composed of the embedding representations of paths while the controller module includes the attention layers and a recurrent neural network. The controller module can frequently interact with the memory module and extract reasoning evidence from the path embeddings. Each time, it will try to find new information about the relationship between two entities. We perform link prediction tasks on several knowledge graphs and show that our method achieves better performance compared with recent state-of-the-art path-reasoning methods. To improve the performance of our model, we have additionally implemented two methods such as pre-training embeddings and multi-type combination. From our experiment, it suggests that pretraining entities and relations in advance can significantly improve the link prediction performance of our model and can achieve the state-of-the art performance. Entities are represented by their types in the aforementioned experiments. For example, suppose we have an entity, Bill Gate within path tokens. Then, to represent this entity embedding, we use the embedding of type “Person”. However, entity types are not fully covered by KG. In some cases, type information for an entity is not available in the KG. If the type of an entity is not found in the knowledge graph, the module will learn the embedding of that entity without additional type information. Accordingly, additional experiments were performed on the NELL dataset to see what will happen if entity types are partially provided.
Knowledge graphs are valuable resources for building intelligent systems such as question answering or recommendation systems. However, knowledge graphs mostly have the problem of missing relationships between entities. There is a great need to improve their coverage and infer those missing relations to effectively use them in practical applications. Embedding methods that translate entities and relations into a low-dimensional space achieve great results, but they only focus on the direct relations between entities and neglect the presence of path relations in graphs. On the contrary, path-based embedding methods consider a single path to make inferences. It also relies on simple recurrent neural networks while highly efficient neural network models are available for processing sequence data. This study introduces a new approach for completing knowledge graphs that combines several deep learning techniques, long short-term memory (LSTM) on top of convolutional neural networks with an attention mechanism. To judge whether two entities are connected by the candidate relation, paths between the entities, are embedded into a low-dimensional space by a convolutional operation and Bi-LSTM module. An attention layer is then used to compute the similarity between a candidate relation and a path. The similarity score will judge if the path is meaningful for predicting the relation between entities and help to extract reasoning evidence from each path. By attentively combining those paths, we can predict whether the two entities should be connected by a new candidate relation. The proposed model was extended to implement a multi-hop reasoning mechanism that can read path representations multiple times. It consists of two components, memory module and controller module. The memory module is composed of the embedding representations of paths while the controller module includes the attention layers and a recurrent neural network. The controller module can frequently interact with the memory module and extract reasoning evidence from the path embeddings. Each time, it will try to find new information about the relationship between two entities. We perform link prediction tasks on several knowledge graphs and show that our method achieves better performance compared with recent state-of-the-art path-reasoning methods. To improve the performance of our model, we have additionally implemented two methods such as pre-training embeddings and multi-type combination. From our experiment, it suggests that pretraining entities and relations in advance can significantly improve the link prediction performance of our model and can achieve the state-of-the art performance. Entities are represented by their types in the aforementioned experiments. For example, suppose we have an entity, Bill Gate within path tokens. Then, to represent this entity embedding, we use the embedding of type “Person”. However, entity types are not fully covered by KG. In some cases, type information for an entity is not available in the KG. If the type of an entity is not found in the knowledge graph, the module will learn the embedding of that entity without additional type information. Accordingly, additional experiments were performed on the NELL dataset to see what will happen if entity types are partially provided.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.