서빙이란 무엇인가..? 부터 web server에 간단한 지식.. + 어느 경우에 어떤 서빙 방식을 선택하면 좋을지에 대해까지 다뤄볼 예정

1. Model Serving

요리를 만들었으면 이제 손님에게 서빙을 해야지 !

Serving이란 ?

• Real world에서 모델을 사용할 수 있도록 배포..!
• 머신러닝 모델을 개발하고, 현실 세계에서 사용할 수 있게 만드는 행위..
• Input이 제공되면.. 모델의 output을 반환..!

Model Serving의 종류

• Batch Serving : 많은 양을 일정 주기로 한꺼번에 서빙 / 정기 배송 느낌
• Online Serving : 한번에 하나씩 실시간으로..! 서빙
• Edge Serving도 있기는 함..!

간단하게 용어 정리

Serving : 모델을 웹, 앱 서비스에 배포하는 과정, 모델을 활용하는 방식, 모델을 서비스화하는 관점..!

Inference : 모델에 데이터가 제공되어 예측하는 경우, 사용하는 관점..!

Online Serving / Inference : Online은 구분이 가능하지만.. Batch는 Serving 안에 Inference가 포함되는 느낌..!