최근 심층 신경망 기술이 발달하고 데이터의 양과 종류가 모두 늘어남에 따라, 심층 신경망을 통해 다양한 데이터를 처리하고자 하는 시도가 늘어나고 있다. 특히, 그래프 뉴럴 네트워크는 기존의 심층 신경망 기법으로 처리하기 어려운 불규칙한 구조를 가지는 데이터들을 처리하기 위한 매력적인 대안으로 대두되고 있다. 그래프 뉴럴 네트워크의 가장 큰 특징이자 기존의 심층 신경망 기법들과의 차별점은 그래프의 구조를 ...
최근 심층 신경망 기술이 발달하고 데이터의 양과 종류가 모두 늘어남에 따라, 심층 신경망을 통해 다양한 데이터를 처리하고자 하는 시도가 늘어나고 있다. 특히, 그래프 뉴럴 네트워크는 기존의 심층 신경망 기법으로 처리하기 어려운 불규칙한 구조를 가지는 데이터들을 처리하기 위한 매력적인 대안으로 대두되고 있다. 그래프 뉴럴 네트워크의 가장 큰 특징이자 기존의 심층 신경망 기법들과의 차별점은 그래프의 구조를 입력 데이터로 제공받는다는 것인데, 그래프의 구조는 그래프를 구성하는 정점들 간의 관계 정보를 제공하며 동시에 입력 데이터에 대한 귀납 편향을 제공하는 역할을 한다.
그래프 뉴럴 네트워크의 성능은 제공된 그래프 구조의 품질에 큰 영향을 받는다. 하지만 현실의 다양한 환경과 데이터 중에서는 좋은 품질의 그래프 구조를 얻지 못하는 경우가 있어, 그래프 뉴럴 네트워크를 접목하는 데에 어려움이 되고 있다. 예를 들면, 주어진 데이터 내의 명시적인 관계 정보가 잡음을 포함하거나, 관계 정보 그 자체가 악의적으로 공격받아 조작되었을 가능성이 존재한다. 또한, 실생활에서 얻을 수 있는 데이터 중에는 그래프의 간선을 정의하기 위한 관계 정보가 충분하지 않은 경우도 다수 존재한다.
본 학위논문은 관계 정보가 잡음을 포함하거나 부족한 등 좋은 품질의 그래프 구조를 얻기 힘든 데이터에 대해 좋은 성능의 그래프 뉴럴 네트워크를 학습할 수 있는 적절한 그래프 구조를 얻어내는 방법을 다룬다. 첫째로, 잡음을 포함하는 등 최적의 상태가 아닌 그래프 구조를 개선하여 그래프 뉴럴 네트워크의 성능을 더욱 끌어올리는 기법을 제시한다. 이 과정에서 그래프에 대한 적대적 공격을 역이용하였을 때 그래프 뉴럴 네트워크의 성능에 직접적으로 도움이 된다는 것을 확인하고, 이러한 방법으로 그래프 구조를 개선하였을 때 나타나는 변화에 대해 분석한다. 둘째로, 관계 정보가 부족한 경우에 대해 그래프의 구조와 이에 따른 그래프 신호를 정의하는 다양한 방법에 대해 분석하며, 그래프 뉴럴 네트워크에서 데이터의 특성을 더욱 잘 이해할 수 있도록 하는 그래프 형성 기법을 제안한다. 셋째로, 관계 정보가 부족한 경우에 대해 데이터로부터 적절한 그래프의 구조와 그래프 신호를 학습할 수 있는 심층 신경망 기법을 제안한다. 제안한 심층 신경망 기법의 성능을 다른 기법들과 비교하고, 추출한 그래프 구조의 품질을 정량적, 정성적으로 평가하는 기법을 제시하여 평가한다. 마지막으로, 제시한 기법들을 다양한 데이터셋 또는 문제에 적용할 때 생길 수 있는 문제들과 제약 사항들을 논의한다.
최근 심층 신경망 기술이 발달하고 데이터의 양과 종류가 모두 늘어남에 따라, 심층 신경망을 통해 다양한 데이터를 처리하고자 하는 시도가 늘어나고 있다. 특히, 그래프 뉴럴 네트워크는 기존의 심층 신경망 기법으로 처리하기 어려운 불규칙한 구조를 가지는 데이터들을 처리하기 위한 매력적인 대안으로 대두되고 있다. 그래프 뉴럴 네트워크의 가장 큰 특징이자 기존의 심층 신경망 기법들과의 차별점은 그래프의 구조를 입력 데이터로 제공받는다는 것인데, 그래프의 구조는 그래프를 구성하는 정점들 간의 관계 정보를 제공하며 동시에 입력 데이터에 대한 귀납 편향을 제공하는 역할을 한다.
그래프 뉴럴 네트워크의 성능은 제공된 그래프 구조의 품질에 큰 영향을 받는다. 하지만 현실의 다양한 환경과 데이터 중에서는 좋은 품질의 그래프 구조를 얻지 못하는 경우가 있어, 그래프 뉴럴 네트워크를 접목하는 데에 어려움이 되고 있다. 예를 들면, 주어진 데이터 내의 명시적인 관계 정보가 잡음을 포함하거나, 관계 정보 그 자체가 악의적으로 공격받아 조작되었을 가능성이 존재한다. 또한, 실생활에서 얻을 수 있는 데이터 중에는 그래프의 간선을 정의하기 위한 관계 정보가 충분하지 않은 경우도 다수 존재한다.
본 학위논문은 관계 정보가 잡음을 포함하거나 부족한 등 좋은 품질의 그래프 구조를 얻기 힘든 데이터에 대해 좋은 성능의 그래프 뉴럴 네트워크를 학습할 수 있는 적절한 그래프 구조를 얻어내는 방법을 다룬다. 첫째로, 잡음을 포함하는 등 최적의 상태가 아닌 그래프 구조를 개선하여 그래프 뉴럴 네트워크의 성능을 더욱 끌어올리는 기법을 제시한다. 이 과정에서 그래프에 대한 적대적 공격을 역이용하였을 때 그래프 뉴럴 네트워크의 성능에 직접적으로 도움이 된다는 것을 확인하고, 이러한 방법으로 그래프 구조를 개선하였을 때 나타나는 변화에 대해 분석한다. 둘째로, 관계 정보가 부족한 경우에 대해 그래프의 구조와 이에 따른 그래프 신호를 정의하는 다양한 방법에 대해 분석하며, 그래프 뉴럴 네트워크에서 데이터의 특성을 더욱 잘 이해할 수 있도록 하는 그래프 형성 기법을 제안한다. 셋째로, 관계 정보가 부족한 경우에 대해 데이터로부터 적절한 그래프의 구조와 그래프 신호를 학습할 수 있는 심층 신경망 기법을 제안한다. 제안한 심층 신경망 기법의 성능을 다른 기법들과 비교하고, 추출한 그래프 구조의 품질을 정량적, 정성적으로 평가하는 기법을 제시하여 평가한다. 마지막으로, 제시한 기법들을 다양한 데이터셋 또는 문제에 적용할 때 생길 수 있는 문제들과 제약 사항들을 논의한다.
Nowadays, studies on data processing using deep learning are increasing, with the development of the deep learning technology as well as the increase in the amount and type of data. In particular, graph neural networks (GNNs) have become an attractive option for data with irregular structure that ar...
Nowadays, studies on data processing using deep learning are increasing, with the development of the deep learning technology as well as the increase in the amount and type of data. In particular, graph neural networks (GNNs) have become an attractive option for data with irregular structure that are difficult to be processed with existing deep learning methods. An important prerequisite in using GNNs is the availability of the input graph structure describing the relational information between objects, which provides inductive bias of the input data.
The necessity of graph structure for learning GNNs also leads to the challenge of GNNs that the quality of graph structure is closely related to the performance of GNNs, which makes it harder to adopt GNNs for more diverse applications. To construct graph structure from the given data, it is required to define nodes from objects and edges from their relational information. However, although explicit relational information is given for the data, it is often difficult to guarantee that the provided relational information is not noisy or not maliciously attacked. Moreover, many types of real-world data have insufficient relational information to define edges intuitively.
This thesis tackles the issue of insufficient or noisy relational information of data to construct graph structure for GNNs, which prevents obtaining high-quality graphs and high-performance GNNs.
First, a method to refine graph structure to increase the performance of GNNs is proposed, which takes advantage of adversarial attack on graphs. While the adversarial attack on graphs originally aims to degrade the performance of GNNs, the proposed approach reversely applies adversarial attacks on graphs in order to achieve performance improvement of GNNs. A thorough analysis of changes in the graph structure is also presented to examine the behavior of the proposed method.
Second, the problem of defining graph structure and corresponding graph signals is examined to deal with the data that contain insufficient relational information. A graph construction method is proposed for GNNs to learn the relationship among nodes and the relation between features more efficiently. The proposed graph construction method is evaluated for the emotional video classification task using electroencephalography (EEG).
Third, a novel end-to-end deep learning-based approach is proposed to extract graph structure and corresponding graph signals from the raw signal. In particular, a method to extract a multi-layer graph structure that reflects multiple types of relationships is proposed, and a method to extract graph signals appropriate for the extracted graph structure is also presented. The performance is compared with various methods, including both non-GNN-based and GNN-based methods. A consistency-based method is suggested to examine the quality of extracted graph structures quantitatively, and the learned graph structures are analyzed based on qualitative analysis based on domain knowledge.
Finally, the feasibility of applying the proposed methods for other datasets and tasks is discussed. Considerations, limitations, and related future works for various applications are presented.
Nowadays, studies on data processing using deep learning are increasing, with the development of the deep learning technology as well as the increase in the amount and type of data. In particular, graph neural networks (GNNs) have become an attractive option for data with irregular structure that are difficult to be processed with existing deep learning methods. An important prerequisite in using GNNs is the availability of the input graph structure describing the relational information between objects, which provides inductive bias of the input data.
The necessity of graph structure for learning GNNs also leads to the challenge of GNNs that the quality of graph structure is closely related to the performance of GNNs, which makes it harder to adopt GNNs for more diverse applications. To construct graph structure from the given data, it is required to define nodes from objects and edges from their relational information. However, although explicit relational information is given for the data, it is often difficult to guarantee that the provided relational information is not noisy or not maliciously attacked. Moreover, many types of real-world data have insufficient relational information to define edges intuitively.
This thesis tackles the issue of insufficient or noisy relational information of data to construct graph structure for GNNs, which prevents obtaining high-quality graphs and high-performance GNNs.
First, a method to refine graph structure to increase the performance of GNNs is proposed, which takes advantage of adversarial attack on graphs. While the adversarial attack on graphs originally aims to degrade the performance of GNNs, the proposed approach reversely applies adversarial attacks on graphs in order to achieve performance improvement of GNNs. A thorough analysis of changes in the graph structure is also presented to examine the behavior of the proposed method.
Second, the problem of defining graph structure and corresponding graph signals is examined to deal with the data that contain insufficient relational information. A graph construction method is proposed for GNNs to learn the relationship among nodes and the relation between features more efficiently. The proposed graph construction method is evaluated for the emotional video classification task using electroencephalography (EEG).
Third, a novel end-to-end deep learning-based approach is proposed to extract graph structure and corresponding graph signals from the raw signal. In particular, a method to extract a multi-layer graph structure that reflects multiple types of relationships is proposed, and a method to extract graph signals appropriate for the extracted graph structure is also presented. The performance is compared with various methods, including both non-GNN-based and GNN-based methods. A consistency-based method is suggested to examine the quality of extracted graph structures quantitatively, and the learned graph structures are analyzed based on qualitative analysis based on domain knowledge.
Finally, the feasibility of applying the proposed methods for other datasets and tasks is discussed. Considerations, limitations, and related future works for various applications are presented.
주제어
#graph neural network deep learning graph signal connectivity graph structure learning
학위논문 정보
저자
장수범
학위수여기관
Graduate School, Yonsei University
학위구분
국내박사
학과
School of Integrated Technology
지도교수
Jong-Seok Lee
발행연도
2022
총페이지
xi, 97 p.
키워드
graph neural network deep learning graph signal connectivity graph structure learning
※ AI-Helper는 부적절한 답변을 할 수 있습니다.