1. Introduction to Dense Embedding

Sparse embedding은 벡터의 크기는 크지만 0이 아닌 부분은 거의 없음

sparse embedding의 한계

1. 차원의 수가 매우 크다 ! → compressed format으로 극복 가능
2. 유사성을 고려하지 못한다 !

이러한 단점을 극복하기 위해 최근에는 Dense Embedding을 많이 사용 !

Dense Embedding

• 더 적은 차원의 고밀도 벡터
• 각 차원이 특정 term에 대응되지 않음 → vector space에서의 위치라고 생각하기 !
• 대부분의 요소가 non-zero값

Retrieval : Sparse vs Dense

Sparse embedding

1. 중요한 term들이 정확히 일치해야 하는 경우 성능이 뛰어남 !
2. 임베딩이 구축되고 나서는 추가적인 학습이 불가능함