Linear and Logistic Regression with Minibatching | 패스트캠퍼스 챌린지 14일차

2022.02.03 - [딥러닝] - 선형회귀 | 로지스틱 회귀 | 패스트캠퍼스 챌린지 11일차

선형회귀 | 로지스틱 회귀 | 패스트캠퍼스 챌린지 11일차

위 글에서 선형회귀와 로지스틱회귀의 오차역전파를 구했지만, 이 때는 loss function을 통과한 값이 하나인 경우에 대해서만 다루었다. 이번 강의에서는 미니배치를 적용하여 loss function이 여러개가 있고, 이를 평균을 내는 loss function이 따로 있을 때 선형회귀와 로지스틱 회귀에 대해 다루었다. 

복습을 해 보자면, 선형회귀linear regression과 로지스틱회귀logistic regression은 모두 affine function과 loss function을 거친다는 점에서 동일하지만, 선형회귀는 affine function만을 거쳐서 최적의 직선을 찾는 것이 목표이고, 로지스틱회귀는 activation으로 Sigmoid를 거쳐 최적의 sigmoid 곡선을 찾는 것이 목표이다. Sigmoid 연산이 들어가는 만큼 선형회귀의 loss function은 Mean Squared Error이고, 로지스틱회귀의 loss function은 Binary Cross Entropy이다. 

이 때 핵심이 되는 것은 지금까지 배운 여러 함수들을 적용하는 것이다. 지금까지 강의에서는 일반적인 함수 말고도 변수가 여러개인 다변수함수, 함수가 여러개인 벡터 함수를 다루었으며, 이 벡터 함수의 특이 케이스로 element-wise operation도 정의했다. 이러한 관점에서 보았을 때, 선형회귀에서 loss function은 binary element-wise operation으로, loss의 평균을 내는 함수는 다변수함수로 정리할 수 있다. 따라서, 이에 맞추어 평균을 내는 함수의 \vec{J_0}에 대한 편미분으로 (1/N, ..., 1/N)을 생각해 볼 수 있다(이 떄, 열의 수는 N이다). Loss function은 binary이므로 두 개의 편미분을 생각해 볼 수 있는데, \vec{y}는 데이터셋에서 주어진 값으로 따로 학습할 필요가 없다. 따라서, \vec{y_hat}에 대해 편미분을 진행한다.

궁극적으로 업데이트 되는 파라미터는 \vec{w}와 b로, 이는 각각 J의 \vec{w}에 대한 편미분과 J의 b에 대한 편미분에 학습률을 적용한 만큼 업데이트 된다. 이를 chain rule을 적용해 계산해 보면 결국 미니배치가 적용되지 않은 경우에 1/N을 곱한 결과와 같은 것을 볼 수 있다. 이렇게 1/N만큼 loss의 영향력을 낮춰주므로, 하나의 점에 대한 loss의 영향은 줄어들고, 따라서 미니배치를 사용한 경우 학습이 보다 안정적으로 진행된다는 장점이 있다. 

로지스틱회귀는 중간에 Sigmoid activation이 들어갔다는 점과 loss function이 BCCE라는 점을 제외하고는 차이가 없다. 마찬가지로 두 파라미터의 변화 정도를 계산해 보면, 미니배치를 사용하지 않았을 때와 마찬가지로 선형회귀의 편미분계수와 정확히 1/2배로 차이가 난다. 이를 두고 똑같이 선형회귀에 비해 로지스틱회귀에서 학습률의 영향이 절반이라는 것을 이야기 할 수도 있을 것이다.

---

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다. https://bit.ly/37BpXi