CNN (3) | 패스트캠퍼스 챌린지 32일차

ResNet과 DenseNet을 뒤이은 모델은 SeNet이다. SeNet은 Squeeze and Excitation을 진행하는데, squeeze는 각 채녈별 정보를 global average pooling 등으로 추출하는 것을 뜻하며, excitation은 각 스칼라의 가중치를 계산하는 것을 뜻한다. 즉, 데이터로부터 정보를 쥐어짜 낸 다음에 그 정보를 불러내는 과정이다. 이 SE 과정은 ResNet과 같은 네트워크와 쉽게 결합될 수 있다. 그래서 SE-ResNet과 같은 이름의 모델들을 쉽게 찾아볼 수 있다. SE 과정을 추가한다고 하더라고 계산량이 그렇게 증가하지는 않으나, 성능은 확실히 개선된다는 장점이 있다. 

Effiecient Net은 이름 그대로 효율성을 주장한 네트워크다. 즉, 굳이 convolution layer를 깊고 깊게 쌓지 않아도 적당한 파라미터 튜닝이 있으면 비교적 얕은 모델도 높은 성능을 보일 수 있음을 보인 모델이다. 여기에서 더 나아가, 어느정도 이상에서는 더 이상 깊게 쌓는 모델이 필요가 없다는 것을 밝혔다. 이 모델을 기점으로 CNN 모델링은 효율성을 높이는 방식으로 초점이 움겨지게 된다. 

효율성을 높이는 방법으로 self-training과 data augmentation 등이 시도되었고, 그 결과로 Noisy Student 모델이 나왔다. Noisy Student는 EffiecientNet을 교사 모델로 삼고 학생 모델을 훈련하는 방식이다. 이 때, noise 등을 추가하는 식으로 data augmentation이 사용되어서 Noisy Student라는 이름이 붙었다. 모델을 교사로 삼고 학생 모델을 훈련하는 방식은 종종 사용되는 방식인데, 말 그대로 높은 성능을 보이는 모델이 라벨링을 하게 시킨 다음 이 라벨을 기반으로 학습하는 방식이다. 

Noisy Student 모델의 단점은 Efficient Net과 그 학생 모델이 미묘하게 틀린 데이터가 있을 때 이를 캐치하지 못하고 계속 순환시켜서 잘못된 레이블로 돌아다닐 수 있다. Meta Pseudo Label 기법은 학생 모델을 훈련시킬 때 교사 모델도 같이 훈련시켜서 이를 방지하는 모델이다.

CNN은 전통적으로 object detection에 사용된다. Object detection은 classification과 localization의 결합인데, 이는 '무엇이다'와 '이미지의 어디에 있다'의 결합이다. Semantic segmantation까지 이루어 진다면 클래스들을 분류하는 기법을 뜻하며, Instance segmentation까지 이루어 진다면 같은 클래스의 인스턴스들을 구분하는 것을 뜻한다. 

'무엇이다'와 '이미지의 어디에 있다'라는 정보는 정확도로 표현하기 힘들다. 따라서, Intersection over Union 이라는 메트릭으로 측정하게 된다. 

좋은 Object Detection이라는 것은 빠르고, recall이 높으며, supervision이 최소한으로 이루어 져야 한다. Recall은 참인 경우를 얼마나 잡아내느냐를 뜻한다. 이와 관련있는 정보는 precision인데, 이는 분류한 것 중에 제대로 분류한 것은 얼마나 되느냐이다. 쉽게 생각하면 학생들 중에서 남학생들을 분류하는 문제가 있다고 하자. 분류한 결과로 나온 학생들 가운데 남학생이 많다면 precision이 높은 것이다. 전체 남학생 중에서 결과적으로 분류된 남학생들이 많다면 recall이 높다. Supervision이 최소한으로 이루어 지는 것은 확장성을 높이기 위해서다. '무엇이냐' 뿐만 아니라 '어디에 있냐'도 판단해야 하기 떄문에 지도학습용 데이터를 만들기가 매우 힘들다. 따라서, 모델의 가성비를 위해서는 비지도 혹은 약지도 학습을 진행하는 것이 이상적이다. 

---

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다. https://bit.ly/37BpXiC