[학위논문]관계 추론을 위한 relation networks 기반 심층 신경망 모델의 성능개선 연구 A study on improving performance of the deep neural network model based on Relation Networks for relational reasoning원문보기
지금까지 인공지능의 한 분야인 딥러닝(deep learning) 방법은 구조화 되지 않은 데이터(unstructured data)로부터 문제를 해결하는 놀라울 만한 성과를 이루어 왔지만, 인간처럼 여러 상황들을 종합적으로 판단, 그것들의 연관성을 추론하고, 그 다음 상황을 예측하는 수준의 지능을 갖는데 도달하지 못하였다. 그러나 날로 발전해 가고 있는 인공지능 기술은 최근 이러한 인간의 핵심적 지적 능력에 도전장을 내밀고 있다. 최근 발표된 구조화되지 않은 데이터로부터 복잡한 관계 추론을 수행하는 심층 신경망(deep neural networks)은 인공지능이 인간처럼 관계 ...
지금까지 인공지능의 한 분야인 딥러닝(deep learning) 방법은 구조화 되지 않은 데이터(unstructured data)로부터 문제를 해결하는 놀라울 만한 성과를 이루어 왔지만, 인간처럼 여러 상황들을 종합적으로 판단, 그것들의 연관성을 추론하고, 그 다음 상황을 예측하는 수준의 지능을 갖는데 도달하지 못하였다. 그러나 날로 발전해 가고 있는 인공지능 기술은 최근 이러한 인간의 핵심적 지적 능력에 도전장을 내밀고 있다. 최근 발표된 구조화되지 않은 데이터로부터 복잡한 관계 추론을 수행하는 심층 신경망(deep neural networks)은 인공지능이 인간처럼 관계 추론 능력(ability of relational reasoning)을 보유할 수 있다는 것을 증명하였다. 그 첫 번째는 관계 추론을 위한 간단한 신경망 모듈인 RN(Relation Networks)이고, 두 번째는 시각적 관찰을 기반으로 실제대상의 미래 상태를 예측하는 범용 목적의 모델인 VIN(Visual Interaction Networks)이다. 관계 추론을 수행하는 이들 심층 신경망(deep neural networks)은 세상을 객체(objects)와 그들의 관계(relations)라는 체계로 분해하고, 신경망(neural networks)이 피상적으로는 매우 달라 보이지만 근본적으로는 공통관계를 갖는 장면들에 대하여 객체와 관계라는 새로운 결합을 일반화할 수 있는 강력한 추론 능력(powerful ability to reason)을 보유할 수 있다는 것을 보여주고 있다. 본 논문에서는 관계 추론을 수행하는 심층 신경망중에서 RN(Relation Networks)의 성능을 분석 및 관찰해 보고자 Sort-of-CLEVR 데이터 셋을 사용한 시각적 질의응답(Visual Question Answering)과 bAbI task을 사용한 텍스트 기반 질의응답(Text-based Question Answering) 두 유형의 RN 기반 심층 신경망 모델(deep neural network model based on Relation Networks)을 구축하여 baseline 모델과의 비교를 통한 성능검증을 하였다. 또한 RN 모델의 성능을 극대화하기 위하여 하이퍼 파라미터(hyper parameters) 튜닝 등 다양각도의 성능개선 실험으로 관계 추론을 위한 RN 기반 심층 신경망 모델의 성능개선 방법을 제안하였다. 제안한 성능개선 방법은 시각적 질의응답 RN 모델과 텍스트 기반 질의응답 RN 모델에 적용하여 그 효과를 검증하였고, 기존의 RN 모델에서 사용해보지 않았던 Dialog-based LL 데이터 셋(The Dialog-based Language Learning dataset)을 추가 사용하여 새로운 도메인에서의 제안한 성능개선 방법의 효과를 다시 한번 검증하였다.
지금까지 인공지능의 한 분야인 딥러닝(deep learning) 방법은 구조화 되지 않은 데이터(unstructured data)로부터 문제를 해결하는 놀라울 만한 성과를 이루어 왔지만, 인간처럼 여러 상황들을 종합적으로 판단, 그것들의 연관성을 추론하고, 그 다음 상황을 예측하는 수준의 지능을 갖는데 도달하지 못하였다. 그러나 날로 발전해 가고 있는 인공지능 기술은 최근 이러한 인간의 핵심적 지적 능력에 도전장을 내밀고 있다. 최근 발표된 구조화되지 않은 데이터로부터 복잡한 관계 추론을 수행하는 심층 신경망(deep neural networks)은 인공지능이 인간처럼 관계 추론 능력(ability of relational reasoning)을 보유할 수 있다는 것을 증명하였다. 그 첫 번째는 관계 추론을 위한 간단한 신경망 모듈인 RN(Relation Networks)이고, 두 번째는 시각적 관찰을 기반으로 실제대상의 미래 상태를 예측하는 범용 목적의 모델인 VIN(Visual Interaction Networks)이다. 관계 추론을 수행하는 이들 심층 신경망(deep neural networks)은 세상을 객체(objects)와 그들의 관계(relations)라는 체계로 분해하고, 신경망(neural networks)이 피상적으로는 매우 달라 보이지만 근본적으로는 공통관계를 갖는 장면들에 대하여 객체와 관계라는 새로운 결합을 일반화할 수 있는 강력한 추론 능력(powerful ability to reason)을 보유할 수 있다는 것을 보여주고 있다. 본 논문에서는 관계 추론을 수행하는 심층 신경망중에서 RN(Relation Networks)의 성능을 분석 및 관찰해 보고자 Sort-of-CLEVR 데이터 셋을 사용한 시각적 질의응답(Visual Question Answering)과 bAbI task을 사용한 텍스트 기반 질의응답(Text-based Question Answering) 두 유형의 RN 기반 심층 신경망 모델(deep neural network model based on Relation Networks)을 구축하여 baseline 모델과의 비교를 통한 성능검증을 하였다. 또한 RN 모델의 성능을 극대화하기 위하여 하이퍼 파라미터(hyper parameters) 튜닝 등 다양각도의 성능개선 실험으로 관계 추론을 위한 RN 기반 심층 신경망 모델의 성능개선 방법을 제안하였다. 제안한 성능개선 방법은 시각적 질의응답 RN 모델과 텍스트 기반 질의응답 RN 모델에 적용하여 그 효과를 검증하였고, 기존의 RN 모델에서 사용해보지 않았던 Dialog-based LL 데이터 셋(The Dialog-based Language Learning dataset)을 추가 사용하여 새로운 도메인에서의 제안한 성능개선 방법의 효과를 다시 한번 검증하였다.
So far, the deep learning, a field of artificial intelligence, has achieved remarkable results in solving problems from unstructured data. However, it is difficult to comprehensively judge situations like humans, and did not reach the level of intelligence that predicted the next situation. However,...
So far, the deep learning, a field of artificial intelligence, has achieved remarkable results in solving problems from unstructured data. However, it is difficult to comprehensively judge situations like humans, and did not reach the level of intelligence that predicted the next situation. However, artificial intelligence technology that is developing day by day is challenging the core intellectual ability of this human being. Recently, deep neural networks, such as RN (Relation Network) and VIN (Visual Interaction Networks) show that artificial intelligence can possess powerful relational reasoning abilities like humans. In this paper, to analyze and observe the performance of RN (Relation Networks) among the neural networks for relational reasoning, two types of RN-based deep neural network models were constructed and compared with the baseline model. One is a visual question answering RN model using Sort-of-CLEVR and the other is a text-based question answering RN model using bAbI task. In order to maximize the performance of the RN-based model, various performance improvement experiments such as hyper parameters tuning have been proposed and performed. The effectiveness of the proposed performance improvement methods have been verified by applying to the visual QA RN model and the text-based QA RN model, and the new domain model using the dialogue-based LL dataset.
So far, the deep learning, a field of artificial intelligence, has achieved remarkable results in solving problems from unstructured data. However, it is difficult to comprehensively judge situations like humans, and did not reach the level of intelligence that predicted the next situation. However, artificial intelligence technology that is developing day by day is challenging the core intellectual ability of this human being. Recently, deep neural networks, such as RN (Relation Network) and VIN (Visual Interaction Networks) show that artificial intelligence can possess powerful relational reasoning abilities like humans. In this paper, to analyze and observe the performance of RN (Relation Networks) among the neural networks for relational reasoning, two types of RN-based deep neural network models were constructed and compared with the baseline model. One is a visual question answering RN model using Sort-of-CLEVR and the other is a text-based question answering RN model using bAbI task. In order to maximize the performance of the RN-based model, various performance improvement experiments such as hyper parameters tuning have been proposed and performed. The effectiveness of the proposed performance improvement methods have been verified by applying to the visual QA RN model and the text-based QA RN model, and the new domain model using the dialogue-based LL dataset.
Keyword
#관계 추론 관계 네트워크 시각적 질의응답 심층 신경망 텍스트 기반 질의응답 딥러닝 deep neural network relation network deep learning relational reasoning text-based question answering visual question answering
학위논문 정보
저자
이현옥
학위수여기관
고려대학교 컴퓨터정보통신대학원
학위구분
국내석사
학과
빅데이터융합학과
지도교수
임희석
발행연도
2018
총페이지
vii, 69장
키워드
관계 추론 관계 네트워크 시각적 질의응답 심층 신경망 텍스트 기반 질의응답 딥러닝 deep neural network relation network deep learning relational reasoning text-based question answering visual question answering
※ AI-Helper는 부적절한 답변을 할 수 있습니다.