Knowledge를 어떻게 뽑아 낼 것인가..!에 대해 주로 논의를 해 볼 예정

→ 얼마나 뽑아내는지에 따라서.. 나뉠 수 있음..!

• Relation-Based Knowledge
• Feature-Based Knowledge
• Response-Based Knowledge

Response-Based Knowledge Distillation

• Teacher model의 last output layer를 활용하는 기법, 즉 직접적인 final prediction을 활용

• 대표적으로.. hinton loss 사용

  

Feature-Based Knowledge

• Teacher layer의 중간중간의 intermediate representations를 student가 학습하도록 → 중간중간 양측 결과가 비슷하도록학습..!

  transformation matrix로 차원을 맞춰준다..! (feature channel 수가 보통은 teacher가 많으므로 이를 맞춰주기 위해 도입)

  

• 중간 결과를 가져오므로, network 구조에 크게 dependent함..!

Relation-Based Knowledge Distillation

• 다른 레이어나, smaple들 간의 관계를 정의하여 knowledge distillation을 수행..!

  

정리 : 엔지니어 입장에서 가져다 쓰기엔 어떨까?

• 재현이 잘 되지 않는다고 주장한 논문이 있음..
• 전반적으로 teacher, student가 유사한 구조여야 한다..! 논문에서 테스트한 구조가 아니면 성능이 잘 안나온다.. (NLP의 경우 transformer, transfer learning이 main stream이어서 KD 연구가 활발
• (개인 경험)특정 Task나 특정 Architecture에서 잘되는 궁합이 좋은 KD기법들이 있음.. ( 성능 좋은 조합들이 있다. )
• 원 모델을 teacher로 pruning된 모델을 student로 삼아 KD하는 응용도 좋다..!