Week 8/9/10 - Object Detection - BiFPN , NASFPN, AugFPN

BiFPN , NASFPN, AugFPN은 모두 기존의 FPN에서 문제점을 발견하고 개선을 한 논문이다.

어떤 점을 문제로 삼았고 어떤 새로운 contribution을 했는지 살펴보자.

---

 

Bi-directional Feature Pyramid

EfficeintDet에서 제안한 FPN.

 

 

Contribution

1. 간소화

figure 1

기존의 PANet을 간소화했음을 알 수 있다.

화살표 몇개가 사라졌다.

효율성을 위해 feature map들이 한곳에서만 오는 노드들을 제거했다.

 

 

BiFPN은 parameter와 FLOPS를 줄일 수 있기 때문에 여러 번 레이어를 쌓을 수 있게 되었다.

 

2. Weighted Feature Fusion

feature map들을 합칠때 기존에는 단순합으로 더했다. high-level, low-level을 섞을때 단순합으로는 정확한 정보전달이 부족하다고 보고 가중치를 부여해 합친다.

$p_6^{td}$ : Figure 1 의 하늘색 원(오른쪽)  , $p_6^{out}$ : Figure 1 의 하늘색 원(왼쪽)

BiFPN에서는 단순 summation이 아닌 각 feature별로 가중치를 부여한 뒤 summation을 진행한다.

 

 

 

---

NASFPN

기존의 FPN, PANet 문제점 : top-down, bottom-up등 정해진 pathway로 feature map들을 합쳤다.

NAS FPN은 이런 일방향적인 FPN의 성능에 의문을 제기했고, NAS(neural architecture search)를 통해서 최적의 FPN architecture를 찾고자 했다.

 

 

셀들을 미리 만들어놓고 강화학습이나 뉴런학습등을 활용해 가장 효율적인 아키텍쳐 조합을 찾아서 사용했다.

 

 

[단점]

- COCO dataset, REsNet backbone기준으로 찾은 architecture이다. 범용적이지 못하고, 새로운 조합으로 모델을 구성할시 다시 최적의 FPN모듈을 찾아야 함.

- High Cost

 

---

 

AugFPN

기존의 FPN 문제점 

- 서로 다른 level featuer map간의 semantic 차이가 발생한다. (근데 이건 어쩔수 없는거 아닌가??ㅜㅜ 모르겠다)

- Highest feature map, 그러니까 가장 마지막에 나온 제일 작은 feature map은 top-down pathway에서 받는 feature map이 없다. 따라서 정보가 상대적으로 부족하다는 장점이 있다.

- 1개의 feature map에서 ROI 생성(FPN 단점. 이건 PANet에서 이미 커버한 단점)

 

Contribution

1. Residual Feature Augmentation

기존의 FPN에서는 맨 위 P5 feature map은 다른 feature map의 semantic 정보를 받지 못해했다.

 

 

 

- Ratio-invariant Adaptive Pooling을 사용해,

다영한 scale의 feature map을 생성했다.

 

- 다양한 scale로 pooling

 

 

 

 

 

 

 

 

 

이후 동일한 scale로 upscaling 후 , 

단순합 X 가중치를 두고 summation O