Week 8/9/10 - Object Detection - Evaluation Metric (mAP, FPS, Flops)

Object Detection Task의 평가지표는 크게 두가지로 나눌 수 있습니다.

1. 성능 - 얼마나 잘 검출했는가 (mAP)
2. 속도 - 얼마나 빠르게 검출했는가 (FPS, Flops)

 

그 중에서도 object detection은 real-time, real world 문제에 적용되는 경우가 많기 때문에, 다른 task들에 비해 속도또한 중요합니다.

 

---

1. mAP . mean average precision

: 각 클래스별로 계산한 AP의 평균

 

 

[ mAP를 계산하기 위해 필요한 개념 ] 

 

1. Confusion Matrix

 

2. Precision & Recall

positive, 객체라고 예측한 모든 case중 맞은 case의 비율

정답인 모든 case중 모델이 맞춘것들

 

 

AP 계산을 위해서는 PR Curve를 필수적으로 알아야 합니다.

10개의 검출된 객체가 존재합니다.

 

Confidence값으로 내림차순정렬을 합니다.

누적 TP와 FP를 사용해 Precision, Recall 값을 구하고 그래프로 나타냅니다.

 

PR Curve 아래 면적 == AP

 

mAP가 높을수록 성능이 올라갑니다

 

2. IOU. 겹치는 영역

Object Detection은 Classification과는 달리 class를 바로 예측하지 않습니다.

해당 클래스가 어디에 위치해 있는지 bbox를 예측합니다.

이 때 이 bbox가 GT인지 판단하려면 기준이 필요한데, 그 기준 역할을 해주는게 IOU입니다. 

 

그림을 보면 이해가 쉬운데, IOU뒤에 있는 숫자가 GT와 겹치는 정도를 퍼센트로 나타낸 것입니다.

나중에 mAP50, mAP75등 mAP 뒤에 붙어 있는 숫자도 IOU 기준 퍼센티지 값입니다.

 

 

3. FPS. Frames Per Second

: 초당 처리가능한 frame숫자. 다다익선

 

 

 

4. FLOPs. Floating Point Operations

: Model이 얼마나 빠르게 동작하는지 측정하는 metric, 연산량 횟수