data engineering : data cleansing, fe, select ML, set hyperparameter..
결국에 model을 찾고.. hyperparameter 튜닝하면서 계속 돌리는 것이 일이다..! 무한한 튜닝의 반복이다..
→ 이걸 자동으로 해줄 수 없을까..? → AutoML의 목표..!
AutoML은 data, valid set이 주어지고 알고리즘과 configuration이 정의되어 있을 때 이 loss를 가장 minimize해주는.. 하이퍼 파라미터를 찾자..!
주요 타입 구분
Categorical → optimizer : adam, sgd.. 무엇을 쓸건지?
Continuous → LR,
Integer
Conditional : 한 configuration에 따라 search space가 달라질 수 있음
경량화 고나점에서는 접근이 2가지 있을 수 있다..!
기존 가지고 있는 모델을 경량화 하는 기법 ( pruning, tensor decomposition ...)
search를 통하여 경량 모델을 찾는 기법... -? NAS, AutoML..
→ 이 방법을 수업에서 다룰 것임..!
일반적인 AutoML 파이프라인
TASK마다 상황에 맞는 목적들이 있기에 .. f를 적절하게 설정..! 속도, 성능 둘 중 하나만 중요할 수도 있는 task이기 떄문이고.. f값을 최대 시키는 것이 autoML의 역할..! 좋은 람다를 찾는 것..! 상황에 따라 목적이 다르다..!