ML 기초 (2) | 패스트캠퍼스 챌린지 20일차

이번 강의에서는 기계학습의 목표를 일반화한다. 지도학습을 상정했을 떄, true risk를 모델에 대해 정의할 수 있는데, 이 true risk를 일반화에러라 볼 수 있다. 기계학습은 이러한 일반화에러가 최소가 되는 모델 f를 찾는 과정이다. 하지만 문제는 이러한 true risk는 실제 확률분포를 알아야 하는데, 기계학습을 통해 풀고자 하는 문제들은 이러한 확률을 알지 못하는 과제들이다. 따라서, true risk를 구할 수 없기 떄문에 empirical risk로 근사하며, 실제로 기계 학습은 이 Empirical RIsk Minimization(ERM)의 과정이라 알 수 있다. 

기계학습은 기본적으로 train-test 두 단계로 이루어지는데, training error를 최소화 한다는 것은 empirical risk를 줄이는 과정이라 볼 수 있고, test error와 training error의 차이를 줄이는 것은 true risk를 줄이는 과정이라 할 수 있을 것이다. 이 떄, 과적합 및 부적합을 조절하기 위해서는 모델의 수용량을 조절한다. 수용량은 모델의 가설공간을 조정한다는 이야기인데, 실질적으로는 레이어수나 인공뉴런 수를 조절하는 과정을 뜻한다. 이 떄, 수용량이 늘어날수록 training loss는 줄어들기만 하기 떄문에 test를 통해 generalization error가 최적이 되는 포인트를 찾아준다.

이 에러는 편차와 편향으로 구성된다. 편차는 개념적으로 얼마나 값이 넓게 분포하는가를 뜻하며, 편향은 얼마나 중심에서 벗어나 있는가를 뜻한다. 이 때, 편차는 train loss, 편향은 test loss와 관련이 있다. 이런 측면에서도 train과 test가 모두 필요하다고 볼 수 있을 것이다.

---

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다. https://bit.ly/37BpXi