초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Open Domain Question Answering(ODQA)는 질의가 주어질때 1) 문서 집합 에서 질의에 연관된 Passage를 찾아서, 2) 검색된 Passage를 통해서 추론을 한다는 이 두가지 단계를 거쳐서 질의에 대한 정답을 구하는 작업이다. 각각 단계에서는 검색 모델과, 추론 모델이 사용되는데 직관적으로도 검색 모델 의 품질이 향상된다면 추론의 난이도는 낮아지기 때문에 검색 모델의 개선은 ODQA에서 중요한 한 축을 이룹니다.
이러한 중요성과 더불어 최근 거대 언어 모델(LLM)에서는 Reinforce- ment Learning From Human Feedback(RLHF)방식을 이용하여 Feedback을 추론하는 모델을 Reward 모델로 삼아 ...

Open Domain Question Answering(ODQA)는 질의가 주어질때 1) 문서 집합 에서 질의에 연관된 Passage를 찾아서, 2) 검색된 Passage를 통해서 추론을 한다는 이 두가지 단계를 거쳐서 질의에 대한 정답을 구하는 작업이다. 각각 단계에서는 검색 모델과, 추론 모델이 사용되는데 직관적으로도 검색 모델 의 품질이 향상된다면 추론의 난이도는 낮아지기 때문에 검색 모델의 개선은 ODQA에서 중요한 한 축을 이룹니다.
이러한 중요성과 더불어 최근 거대 언어 모델(LLM)에서는 Reinforce- ment Learning From Human Feedback(RLHF)방식을 이용하여 Feedback을 추론하는 모델을 Reward 모델로 삼아 강화 학습 방식을 채용하여 모델의 출력을 개선하는 방법에 대하여 많은 연구가 진행되고 있다. 하지만 이러한 연구는 대부분 Decoder Model에 한정되어 연구가 진행 되고있다. 본 논문은 이러한 RLHF방식을 Decoder를 넘어 Encoder에 적용합니다.LLM의 손실을 Reward로 간주하여 검색된 문서의 Score를 컨트롤 하여 Retrieval을 개선합 니다. 이를 통해서 Retrieval의 성능이 향상됨을 확인하고 향상된 Retrieval을 통하여 최종적으로 추론의 성능또한 향상 됨을 확인합니다.

주제어