최적화 용어에 대한 명확한 컨셉을 이해하는 것이 중요하다.

30분 안에 담기에는 너무 많은 내용의 주제 ! ← 한 학기 정도의 분량이니 감안하기

지금 배우는 최적화들은 1차 미분의 갚만 가지고 계산한다 ! 2차 미분 등 다양한 방법론이 있지만 cost가 비싸서 잘 사용은 안하는 느낌

Gradient Descent

국소적을 봤을 때 좋은 local minima를 찾을 수 있긴 함

Important Concepts in Optimization

Generalization

많은 경우에 일반화 성능을 높이는 것이 우리의 목적

그런데, 일반화 성능이라는 것이 뭘까? / 일반화 성능을 높이면 무조건 좋은걸까? 에 대해 생각을 해봐야 한다.

학습 데이터가 좋지 않은데 일반화 성능이 좋다 ? → 성능이 좋다고 말할 수 있다. ← 즉 학습 전에 데이터에 대한 노이즈 정도를 시각화를 통해 확인해본 후 접근하면 좋을 것 같음

Underfitting / Overfitting

여기서 생각을 해봐야하는 건 저 그림은 일반적인 내용이지 target 분포가 overfitting 분포처럼 구불구불하다면 잘 학습된 것일 수도 있다.