초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 연구에서는 설명 문장 생성을 통한 해석 가능한 시각적 질의응답 모델을 설계하고 학습 방법을 제시한다. 설명 문장은 시각적 질의응답 모델이 응답을 예측하는 데에 필요한 이미지 및 질문 정보와 적절한 논리적인 정보의 조합 및 정답 추론 과정이 함의되어 있을 것으로 기대한다. 설명 문장 생성 과정이 포함된 시각적 질의응답의 기본적인 모델을 기반으로 여러 가지 학습방법을 통해 설명 문장 생성 과정과 응답 예측 과정간의 상호관계를 분석한다. 이러한 상호작용을 적극적으로 활용할 수 있는 보다 개선 시각적 질의응답 모델을 제안한다. 또한 학습한 결과를 바탕으로 설명 문장의 특성을 활용하여 시각적 질의응답 추론 과정을 개선함으로써 시각적 질의응답 모델의 발전 방향을 논의한다. 본 실험을 통해서 응답 예측에 적절한 설명 문장을 제시하는 해석 가능한 시각적 질의응답 모델을 제공한다.

본 연구에서는 설명 문장 생성을 통한 해석 가능한 시각적 질의응답 모델을 설계하고 학습 방법을 제시한다. 설명 문장은 시각적 질의응답 모델이 응답을 예측하는 데에 필요한 이미지 및 질문 정보와 적절한 논리적인 정보의 조합 및 정답 추론 과정이 함의되어 있을 것으로 기대한다. 설명 문장 생성 과정이 포함된 시각적 질의응답의 기본적인 모델을 기반으로 여러 가지 학습방법을 통해 설명 문장 생성 과정과 응답 예측 과정간의 상호관계를 분석한다. 이러한 상호작용을 적극적으로 활용할 수 있는 보다 개선 시각적 질의응답 모델을 제안한다. 또한 학습한 결과를 바탕으로 설명 문장의 특성을 활용하여 시각적 질의응답 추론 과정을 개선함으로써 시각적 질의응답 모델의 발전 방향을 논의한다. 본 실험을 통해서 응답 예측에 적절한 설명 문장을 제시하는 해석 가능한 시각적 질의응답 모델을 제공한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 따라서, 정답 예측의 중간 과정들을 가시 화하고 기존의 문제들을 해결하여 VQA 모델을 더욱 발전시키려는 노력이 이어져 왔다. 본 연구에서는 설명 문장 생성 VQA 모델을 이용하여 자연어 형태의 설명 문장의 생성을 위한 과정과 정답 추론을 위한 과정이 어떻게 상호작용될 수 있는지, 각각의 학습 가중치를 변화시키면서 그 결과를 분석하고 검증하였다.
• 이러한 단순한 골격으로도 50~60%의 정확도를 보여주었다. 본 논문에서는 이러한 기본적인 VQA 모델 골자와 학습 방식을 기반으로 연구를 진행한다.
• 하지만, 설명 문장 생성 관점에서, 우리 모델은 응답 예측으로부터 흐르는 그라디언트 정보를 설명 생성기가 받기 때문에, 설명 문장 생성이 응답 예측의 중간과정으로 온전히 포함되게 되고, 이는 기존 모델에 비해 응답 예측 내용과 설명 문장 내용이 보다 의미상 일관성이 있도록 유도할 수 있었다. 따라서 모델이 틀린 답을 예측 과정에 대한 보다 신뢰할 수 있는 설명 문장을 제시한다.
• 본 연구를 통해, 예측 과정을 가시화할 수 있는 설명 문장 생성을 동반한 시각적 질의응답 모델을 기반으로 설명 문장 생성과 응답 예측 상호간의 영향 및 정보교환에 대해 분석해 보았다. 설명 문장 생성과 응답 예측을 동시에 학습하고, 그 상호작용을 분석함으로 두 개의 목표가 서로 상호보완적인 정보와 과정을 교류하여 성능을 강화할 수 있음을 실험을 통해 확인하였다.

제안 방법

• 설명 문장 레이블이 존재하는 VQA-E 샘플에만 학습할 경우 지도학습 셋팅이 되며 (Table 2의 첫 행), 준지도 학습은 설명 문장 레이블이 없는 (VQA-E 데이터셋에 포함되지 않은) 나머지 VQA v2 샘플들로 응답 분류기를 추가 학습하여 (Table 2의 둘째 행), 생성기로 생성된 문장에 대한 성능을 비교한 것이다.
• VQA v2 데이터셋 샘플들과 정답 레이블, 그리고 VQA-E 데이터셋의 설명 문장 레이블을 혼합하여 학습하고 모델 성능을 검증한다.
• 멀티모달 표현 이하의 네트워크 부분은 응답 분류 분기와 설명 생성 분기에 대한 정보가 동시에 학습이 이루어지기 때문에 두 분기 각각 독립적으로 학습된 경우에 비해, 서로 간에 긍정 상호작용을 하는 지에 대해 분석하였다. 기존 모델에서 入 = 1 기준으로할 때, 응답 예측 분류 분기를 포함한 모델 (QI-AE)이, 제거한 모델 (QI-E)에 비해 설명 문장 예측 성능이 더 높았다.
• 기존 모델과 제안된 모델을 각각 VQA v2 데이터셋과 VQA-E 데이터셋을 이용하여 준지도학습을 진행한 후 설명문장을 검증해 보았다. 생성된 문장을 embedding하여 응답 예측에 넣음으로써 응답 예측 전체 과정을 설명 생성에 포함시킨 결과 나타난 성능은 기대에 미치지 못하였다.
• 설명 문장 생성과 응답 예측을 동시에 학습하고, 그 상호작용을 분석함으로 두 개의 목표가 서로 상호보완적인 정보와 과정을 교류하여 성능을 강화할 수 있음을 실험을 통해 확인하였다. 또한, 설명 문장의 언어적, 논리적 정보를 이용하여 응답 예측을 강화하고, 응답 예측 정보를 전달받아 더욱 정답과 일관성 있는 설명을 생성할 수 있는 구조의 모델을 제안하여 실험하였다. 제안된 모델은 생성된 문장의 오류 전파와 생성기 학습에 의한 방해 요인 등이 응답 예측의 성능을 저하시킬 수 있을 것으로 예측된다.

이론/모형

• 학습은 입력부터 점수 출력까지 end-to-end로 학습 되며 주어진 학습 데이터에 대하여 일반적인 딥러닝의 그라디언트 뒷추적(gradient back-propagation) 방법을 사용하여 학습시킨다.

성능/효과

• 멀티모달 표현 이하의 네트워크 부분은 응답 분류 분기와 설명 생성 분기에 대한 정보가 동시에 학습이 이루어지기 때문에 두 분기 각각 독립적으로 학습된 경우에 비해, 서로 간에 긍정 상호작용을 하는 지에 대해 분석하였다. 기존 모델에서 入 = 1 기준으로할 때, 응답 예측 분류 분기를 포함한 모델 (QI-AE)이, 제거한 모델 (QI-E)에 비해 설명 문장 예측 성능이 더 높았다. (QI-E)는 정답 레이블은 무시하고 설명 문장 레이블과 손실함수로만 학습한다.
• 응답 분류기 예측이 설명 생성을 방해하지 않고 강화한 것은, 정답 유추 과정과 설명 문장 생성 과정이 서로 공유하는 부분이 있음을 알 수 있다. 제안한 손실함수에서 入 값을 변화시키면서 학습하고 성능을 검증하였는데, 이는 정답 예측과정이 중간과정 설명에 미치는 영향을 보다 정확하게 알 수 있다. 入 = 10인 경우 즉, 응답 분류 분기가 설명 생성 분기의 영향에 0.
• 다음으로 응답 예측 관점에서 응답 분류기 단독학습과 설명 문장 생성기 동시학습, 그리고 준지도학습에 대한 결과 관찰한 응답 예측과 설명 문장 생성에 공통적인 신호를 발견한 것과는 달리, 응답 예측 측면 에서는 설명 문장 생성기 동시 학습 (QI-AE)이 응답 분류 단독학습 (QI-A)에 다소 방해가 된 것을 알 수 있었다. VQA-E 데이터셋에서의 지도학습의 경우 그 경향이 뚜렷하며, 나머지 VQA v2 샘플들을 이용한 준지도학습으로 이러한 간극을 어느정도 극복할 수 있었다.
• 본 연구를 통해, 예측 과정을 가시화할 수 있는 설명 문장 생성을 동반한 시각적 질의응답 모델을 기반으로 설명 문장 생성과 응답 예측 상호간의 영향 및 정보교환에 대해 분석해 보았다. 설명 문장 생성과 응답 예측을 동시에 학습하고, 그 상호작용을 분석함으로 두 개의 목표가 서로 상호보완적인 정보와 과정을 교류하여 성능을 강화할 수 있음을 실험을 통해 확인하였다. 또한, 설명 문장의 언어적, 논리적 정보를 이용하여 응답 예측을 강화하고, 응답 예측 정보를 전달받아 더욱 정답과 일관성 있는 설명을 생성할 수 있는 구조의 모델을 제안하여 실험하였다.

후속연구

• 또한, 설명 문장의 언어적, 논리적 정보를 이용하여 응답 예측을 강화하고, 응답 예측 정보를 전달받아 더욱 정답과 일관성 있는 설명을 생성할 수 있는 구조의 모델을 제안하여 실험하였다. 제안된 모델은 생성된 문장의 오류 전파와 생성기 학습에 의한 방해 요인 등이 응답 예측의 성능을 저하시킬 수 있을 것으로 예측된다. 따라서 향후의 연구에서는 설명 문장 생성의 오류 전파 현상을 극복하기 위해 설명 생성 분기 이하에서 생성된 설명 문장이 일정 수준 이상의 의미를 가질 때까지 예비학습을 진행할 것을 제안한다.
• 제안된 모델은 생성된 문장의 오류 전파와 생성기 학습에 의한 방해 요인 등이 응답 예측의 성능을 저하시킬 수 있을 것으로 예측된다. 따라서 향후의 연구에서는 설명 문장 생성의 오류 전파 현상을 극복하기 위해 설명 생성 분기 이하에서 생성된 설명 문장이 일정 수준 이상의 의미를 가질 때까지 예비학습을 진행할 것을 제안한다. 또한 응답 분류기의 신호를 이용한 응답 예측이 포함된 적대적 생성 학습 방식을 적용하여 분류기의 정보와 생성기가 양성 피드백이 될 수 있도록 모델을 설계해 볼 수 있다.
• 또한 응답 분류기의 신호를 이용한 응답 예측이 포함된 적대적 생성 학습 방식을 적용하여 분류기의 정보와 생성기가 양성 피드백이 될 수 있도록 모델을 설계해 볼 수 있다. 이러한 방식으로 모델의 한계점을 극복한다면, 설명 정보를 활용한 보다 높은 응답예측 모델이 개발될 수 있을 것이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기