초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

사전 학습된 시각-언어 모델(VLM)은 대규모 학습된 지식을 활용하여 다 양한 하위 작업에서 우수한 성능을 보여준다. 일반적으로 시각-언어 모델의 성능은 입력 이미지 또는 텍스트에 컨택스트를 더해주는 프롬프트 조정 방식 을 통해 향상될 수 있다. 최근 하위 작업의 데이터를 이용하기 위해 다양한 프롬프트 조정 방법이 연구되었다. 프롬프트 조정의 핵심은 모델 파라미터를 고정시키고 학습 가능한 ...

사전 학습된 시각-언어 모델(VLM)은 대규모 학습된 지식을 활용하여 다 양한 하위 작업에서 우수한 성능을 보여준다. 일반적으로 시각-언어 모델의 성능은 입력 이미지 또는 텍스트에 컨택스트를 더해주는 프롬프트 조정 방식 을 통해 향상될 수 있다. 최근 하위 작업의 데이터를 이용하기 위해 다양한 프롬프트 조정 방법이 연구되었다. 프롬프트 조정의 핵심은 모델 파라미터를 고정시키고 학습 가능한 벡터를 이용해 두 모달리티 간의 특성 공간을 조정하 는 것이다. 본 연구에서는 각 모달리티의 임베딩이 잠재 공간에서 적절하게 정렬되어야 조정이 더욱 효과적인 것임을 관찰했다. 이러한 관찰을 바탕으로 본 연구에서는 시각-언어 모델을 위한 간단하면서 효과적인 방법인 분포 인식 프롬프트 조정(DAPT)을 제시한다. 구체적으로, 프롬프트를 이용해 서로 다른 클래스의 거리의 내부 분산을 최대화하고 같은 클래스의 임베딩의 거리는 외부 분산을 최소화하도록 학습한다. 본 연구의 검증을 위해 11개의 벤치마크 데이 터에 대해 실험을 진행하였으며, 제안하는 방법이 일반화 능력을 향상시킴을 확인하였다.

Abstract ▼ AI-Helper

Pre-trained vision-language models (VLMs) have shown impressive performance on various downstream tasks by utilizing knowledge learned from large data. In general, the performance of VLMs on target tasks can be further improved by prompt tuning, which adds context to the input image or text. By leve...

Pre-trained vision-language models (VLMs) have shown impressive performance on various downstream tasks by utilizing knowledge learned from large data. In general, the performance of VLMs on target tasks can be further improved by prompt tuning, which adds context to the input image or text. By leveraging data from target tasks, various prompt-tuning methods have been studied in the literature. A key to prompt tuning is the feature space alignment between two modalities via learnable vectors with model parameters fixed. We observed that the alignment becomes more effective when embeddings of each modality are ‘well-arranged’ in the latent space. Inspired by this observation, we proposed distribution-aware prompt tuning (DAPT) for vision-language models, which is simple yet effective. Specifically, the prompts are learned by maximizing inter-dispersion, the distance between classes, as well as minimizing the intra-dispersion measured by the distance between embeddings from the same class. Our extensive experiments on 11 benchmark datasets demonstrate that our method significantly improves generalizability.

Keyword