Abstract

• DenSPI 에서 reader 없이 답을 도출하는 모델을 구현하긴 했지만 여전히 sparse에 의존하고 있어서 이 논문에서는 처음으로 phrases만을 이용하면서 dense representation 만을 이용하는 방법 제시
• In-batch negatives 방식 뿐만 아니라 pre-batch negatives 방법을 새로 제안하여 효과적으로 학습
• query-side fine tuning 방법을 제안했는데, transfer learning도 suport 하고, training과 inference 간의 차이도 줄임.
• 오직 pure dense representations만 사용해서 병렬화하기 쉽다고 함 그리고 동작도 실제로 더 빠름

1. Introduction

이 논문에서 한 일들에 대한 소개 !

• data augmentation과 knowledge distillation을 통한 better phrase representaions within a single passage (근데 두 방법 모두 cross encoder를 활용함 !)
• novel negative sampling = pre-batch negatives 를 통한 better discriminate the phrases
• Query-side fine-tuning를 통한 phrease retrieval performance 향상과 다른 도메인에 대한 transfer learning의 가능성

2. Background

그냥 각각의 notation이랑 우리는 dense만 사용한다는 거 강조 !

$$ D : 문서 집합 \\ s_k \in S(D) : phrase \ in \ phrase\ set \\

$$

3. Densephrases

Overview