Abstract

1. Dense phrase retrieval system은 이미 passage retrieval 보다 낫다 (3~5% top 5 ACC)
2. 왜 phrase level supervision이 fine-grained를 잘 학습할 수 있는지 설명
3. document-retrieval tasks 도 충분히 잘 수행함
4. index size를 줄인 방법인 phrase filtering 과 vector quantization을 이용하여 index 사이즈를 4-10x 감소 시킴

1. Introduction

만약 densephrases로 unit 단위를 바꿔서 passage 나 document retrieval을 시킨다면?

• passage의 score는 passage안에 속한 phrases 중 최대 score 값
• top k가 작은 값일 때 특히 DPR보다 더 나은 성과를 보임 !

top 1, top 5에서 dpr보다 좋은 성능 기록 !

• training 목적 의 분석 (passage , phrase 를 비교하며)

  • In-batch negative losses 라는 건 topically relevant한 passage를 찾게 도와줌 이건 passage, phrase 둘 다 해당 됨.
  • Densephrase 에서 phrase - level supervision은 hard negatives from BM25 를 썼을 때보다 더 강력한 training signal을 줌
  • fine-tuning query encoder 를 통한 document-level supervision으로하면 knowledge-grounded 에서도 잘 되더라..

• Multi-vector passage encoding models

  • simple phrase filtering strategy - control threshold
  • a quantization-aware fine-tuning
    • 성능감소 없이 307GB → 69GB 만듦

2. Background

Passage retrieval