Focal Loss
잘 찾은 class에 대해서는 loss를 적게 줘서 loss 갱신을 잘 못하게 하고, 잘 찾지 못한 class에 대해서는 loss를 크게 줘서 loss 갱신을 크게 하는 것.
Focal Loss는 object detection에서 파생된 Loss이다.
아래의 object detection 예시를 살펴보면,
일반적인 영상에서 실제 object보다 background의 비중이 훨씬 더 많음을 알 수 있다.
positive sample <<<<< negative sample.
이럴경우 class사이의 불균형, 즉 class imbalance가 발생한다.
Focal Loss 는 이렇게 class 사이가 불균형할때 보완을 해주는 loss이다.
왼쪽 가파른 부분은 gradient가 높게 주어지고, 그 부분이 어렵고 더 잘못 판별될 확률이 높은 class들이다.
그리고 오른쪽 덜 가파른 부분은 데이터가 풍부해 쉽게 구별이 가능한 class들이다.
'2021 네이버 부스트캠프 - Ai tech' 카테고리의 다른 글
Week_7 CV-Perceptual Loss (0) | 2021.09.24 |
---|---|
Week_7 CV-Autograd (0) | 2021.09.16 |
Week_6 CV - Object Detection (0) | 2021.09.14 |
Week_6 Knowledge Distilation (0) | 2021.09.10 |
Week_3 Pytorch - Out of Memory, OOM 해결 (0) | 2021.08.20 |