선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 한국어 이미지 캡션을 생성하기 위해 영어 캡션데이터를 번역을 이용해 한국어로 변환하는 방법을 제안하였다. 또한 어절단위보다 형태소단위로 학습을 진행하는 경우 성능이 더 높음을 보였다.
제안 방법
- 본 논문에서는 영어 이미지 캡션 데이터를 번역하여 한국어 데이터를 생성하였다. 딥러닝을 사용할 때 한국어 특성에 맞는 캡션 모델을 찾기 위해서 어절별, 형태소별, 의미형태소별 실험을 통해서 최적의 생성 모델을 찾았다.
- 따라서 이 중 가장 높은 성능을 보인 형태소 단위 모델을 step을 400,000번으로 증가시켜 학습을 진행하고 영어 모델은 step을 1,000,000번으로 증가 시켜 학습해 두 모델의 성능을 비교하였다.
- 본 논문에서는 영어 이미지 캡션 데이터를 번역하여 한국어 데이터를 생성하였다. 딥러닝을 사용할 때 한국어 특성에 맞는 캡션 모델을 찾기 위해서 어절별, 형태소별, 의미형태소별 실험을 통해서 최적의 생성 모델을 찾았다.
- 어절 단위 학습데이터와 형태소분석을 거친 형태소 단위 학습데이터를 생성하였고 추가적으로 문장의 의미를 생성하는 것은 기능형태소가 아닌 의미형태소라고 판단되어 의미형태소만 남긴 데이터를 구축하였다.
- 형태소 단위 모델이 의미형태소 단위 모델보다 성능이 좋은 것은 기능형태소가 제한적인 어휘를 가지기 때문에 예측 성능이 높게 나타나기 때문이라고 생각된다. 이를 증명하기 위한 추가 실험으로 형태소 단위 실험결과의 정답과 예측 데이터를 각각 의미형태소와 기능형태소만 남기고 성능을 측정하였다. 표 2의 결과를 보면 기능 형태소의 성능이 높은 것을 확인할 수 있다.
- 이 중 117,211개의 이 미지를 학습에 사용하였고 2,025개의 이미지를 검증에 사용하였으며 4,051개의 이미지를 테스트에 사용하였다. 제안 방법과 같이 생성된 어절 단위, 형태소 단위, 의미형태소 단위 학습데이터를 이용해 step을 각 200,000번으로 설정하여 학습 후 실험을 진행하였다.
- 또한 최근 CNN과 SVM을 함께 사용해 이미지 처리에 높은 성능을 보인 R-CNN과 RNN을 이용한 방법[4] 등 다양한 방법이 연구되었다. 한국어 이미지 캡션 생성은 CNN과 LSTM RNN의 변형인 GRU를 이용하는 방법[5]이 제안되었는데 이 연구에서는 Flickr 8K 데이터를 대상으로 영어 이미지 캡션을 번역자가 번역해 사용하였다. 따라서 [5]에서는 번역자가 직접 영어 데이터를 번역해야하는 단점이 존재한다.
대상 데이터
- 본 논문에서는 한국어 이미지 캡션 생성을 위해 MS COCO데이터 셋을 사용하였다. MS COCO 데이터 셋은 123,287개의 이미지와 하나의 이미지당 5문장의 캡션으로 총 616,435문장으로 구성된다. 이 중 117,211개의 이 미지를 학습에 사용하였고 2,025개의 이미지를 검증에 사용하였으며 4,051개의 이미지를 테스트에 사용하였다.
- 본 논문에서는 한국어 이미지 캡션 생성을 위해 MS COCO데이터 셋을 사용하였다. MS COCO 데이터 셋은 123,287개의 이미지와 하나의 이미지당 5문장의 캡션으로 총 616,435문장으로 구성된다.
- MS COCO 데이터 셋은 123,287개의 이미지와 하나의 이미지당 5문장의 캡션으로 총 616,435문장으로 구성된다. 이 중 117,211개의 이 미지를 학습에 사용하였고 2,025개의 이미지를 검증에 사용하였으며 4,051개의 이미지를 테스트에 사용하였다. 제안 방법과 같이 생성된 어절 단위, 형태소 단위, 의미형태소 단위 학습데이터를 이용해 step을 각 200,000번으로 설정하여 학습 후 실험을 진행하였다.
이론/모형
- 본 논문에서는 그림 1과 같이 CNN과 LSTM을 사용한 이미지 캡션 생성 모델[3]을 사용한다. 입력 이미지를 CNN을 이용하여 512차원의 자질로 인코딩하며 인코딩된 자질을 이용하여 문장을 생성하는 LSTM으로 구성되어있다.
- 성능평가에는 기계번역에서 성능지표로 사용하는 BLEU score를 사용하였다.
성능/효과
- 표 3은 형태소단위, 영어 모델의 실험결과와 MS COCO Image Captioning Challenge에서 높은 성능을 보인 5개의 모델의 결과이다. 400,000번 학습하여 생성한 형태소 단위 모델의 성능이 학습량이 적음에도 불구하고 영어 모델의 성능보다 B-4 score로 0.100 더 높음을 확인하였으며 나머지 MS COCO Image Captioning Challenge에서 높은 성능을 보인 모델과 비교하더라도 크게 낮지 않은 성능을 보임을 확인하였다.
- 표 1은 학습 데이터 유형별 실험 결과이다. 각 모델별 실험 결과를 비교했을 때 형태소 단위의 실험이 가장 성능이 높고 어절 단위 실험이 가장 성능이 낮은 것을 확인할 수 있다.
- 본 논문에서는 한국어 이미지 캡션을 생성하기 위해 영어 캡션데이터를 번역을 이용해 한국어로 변환하는 방법을 제안하였다. 또한 어절단위보다 형태소단위로 학습을 진행하는 경우 성능이 더 높음을 보였다.
후속연구
- 향후연구로는 LSTM의 입력으로 사용되는 Inception V3가 아닌 VGGNet[8] 또는 이미지 처리에 높은 성능을 보이고 있는 Fast R-CNN등을 사용하는 모델을 적용할 예정이다. 또한 의미형태소로 생성된 캡션을 seq2seq를 이용하여 실제 문장을 생성하는 연구를 진행할 계획이다.
- 이렇듯 캡션이 부정확하게 생성되는 경우는 학습데이터의 부족으로 인한 오인식이며 이를 해결하기 위해서는 추가적인 학습데이터를 사용해야 할 것이라고 생각된다.
- 향후연구로는 LSTM의 입력으로 사용되는 Inception V3가 아닌 VGGNet[8] 또는 이미지 처리에 높은 성능을 보이고 있는 Fast R-CNN등을 사용하는 모델을 적용할 예정이다. 또한 의미형태소로 생성된 캡션을 seq2seq를 이용하여 실제 문장을 생성하는 연구를 진행할 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.