미미로그

지난 글에서 요악한 FCN은 Transpose Convolution과 1x1 Convolution을 사용해 다양한 size의 feature map을 잘 섞어서 활용하였다. 이번 포스팅에서는 FCN의 한계점을 살펴보자. 1. 객체의 크기가 크거나 작은 경우 예측을 잘 하지 못한다. -> 한마디로 너무 작거나 큰, 그런 극단적인 상황은 예측을 잘 하지 못한다. 왼쪽의 예시를 보면 object가 이미지의 거의 90프로를 차지할정도로 크다. FCN을 사용하면 이런 큰 scale을 바라보지 못하고, 오히려 유리창에 비친 자전거등을 인식하는 경우도 발생한다. 마찬가지로 물체가 너무 작을때도 문제가 발생한다. 작은 object는 무시되는 문제가 생기는데 이는 upconvolution 과정에서 pooling과정에서 국..

FCN : Fully Convolutional Network FCN은 Semnatic Segmentation task의 시초격인 모델이다. 초기 모델인 만큼 단점도 많지만 중요한 contribution 2개를 남겼다. 주요 Contribution 1. 1x1 Convolution 여기 32x32(HxW) x 512(C)의 shape를 갖는 feature map이 존재한다. 이 feature block을 fully connected layer에 집어 넣기 위해서는 Flatten해야 한다. 이 과정에서 32x32x512 = 524288의 1D vector가 생성되고 이 과정이 반복되면 될수록 pixel의 위치정보는 사라진다. 1x1 Conv를 사용하면 Resolution을 그대로 유지하면서 채널수만 원하는 ..

Level 2 두번째 과제는 바로 Semantic Segmentation입니다. 이번 글에서는 Semantic Segmentation이 어떤 task인지, 어떤 평가 metric을 사용하는지 대표적으로 사용하는 Loss와 그 간략한 계산에 대해 알아 보겠습니다. 1. Semantic Segmentation Semantic Segmentation은 각 pixel 단위로 classification을 한다. 왼쪽 이미지와 같이 '종이 쓰레기'를 분류하고 싶을 때 어떤 픽셀이 어떤 class인지 모든 pixel에 대하여 라벨링 한다. 자율주행, 의료등 다양한 실생활 분야에 사용되고 그만큼 실용적이고 어려운 주제이다. 2. 평가 Metric : mIOU Object Detection에서 사용했던 IOU가 기억나시..

2021 졸업프로젝트를 스마트팜을 주제로 참가하게 되었다! 큰 주제는 드론을 활용해 수집한 정보로 농작물 품질관리 및 재해예방을 도와주는 앱/웹이다. 프론트엔드 + 백엔드 + 드론 자율주행 Tech + 컴퓨터비전 네가지 분야로 역할을 분담했고, 저는 그 중 컴퓨터비전을 맡게 되었다! 이번 글의 목차는 아래와 같다. 1. 프로젝트 개요(딥러닝 측면) 2. Object Tracking : DeepSort 3. Object Detection : YOLOv5 4. DeepSort + YOLOv5 셋팅하기 5. 학습 결과 프로젝트 개요 그래서 프로젝트에 쓰이는 모델이 정확히 어떤 역할을 하는 거냐~! 우리가 사용하는 ipnut data는 각각의 농가에서 작물을 촬영한 영상이다. 어떤 작물/과수냐에 따라 학습된 모..

Semantic Segmentation Bible Level2 U Stage + P Stage 2021.10.18 ~ 2021.11.10 1. What is semantic segmentaion? Introduction, 평가 Metric, Loss 2. FCN 3. FCN의 한계를 극복한 모델들 FCN의 한계점 Deconv DeepLab PSPNet 4. Unet⭐️ Unet++ EfficientUnet, DenseUnet, ResidualUnet -> Encoder에 각기 다른 backbone을 활용함 5. Semantic Segmentation 대회 Tip! 6. Semantic Segmentation 연구 동향 HRNet의 필요성 WSSS 개요 CAM 기반의 접근 WSSS History

EfficientDet : The importance of Efficiency in Object Detection through Model Scaling Efficient Net이란? [주요 Contribution] Image Net competition이후 점점 deep 하고 방대한 모델들이 등장했고, 성능면에서도 향상을 보였다. 하지만 무조건 깊게 쌓는것만이 능사는 아니다. 모델이 깊어질 수록 파라미터 수가 많아지고, 그럼 계산속도와 효율 측면에서 오히려 역효과를 낳기도 한다. Efficient Det에서는 어떻게 하면 효과적으로 쌓을 수 있을지(=Model Scaling)방법에 대해 연구했다. EfficientNet 팀의 연구는 네트워크의 폭 (Width), 깊이 (Depth),해상도 (Resolu..

RetinaNet은 1stage detector가 가지고 있는 고질적인 문제점을 해결한 Paper이다. 그 고질적이 무엇이냐 하면 1. Class imbalance - positive sample ( 객체가 있는 영역 )

SSD - Single Shot Detection 1 stage detector의 대표인 Yolo와 SSD는 어떻게 다를까? SSD는 fully connected layer를 사용하지 않는다. 그 대신 extra convolution layer를 적용해 여러 scale의 feature map을 추출하고, 이런 중간과정의 feature map들을 전부 detection에 사용한다. Fully connected layer대신 conv layer를 사용해서 속도 향상 extra convolution layers (큰 feature map은 작은 물체를, 작은 feature map은 큰 물체를 탐지) Default box 사용 (=anchor box, 미리 scale과 비율을 계산해놓은 box. Fast RCN..

You Only Look Once ! Yolo는 v1~v5까지 다섯개의 버전이 있다 더보기 YOLO v1 : 1stage detector 최초 등장 YOLO v2 : faster, stronger, better . 3가지 측면에서 향상 YOLO v3 : multi-scale feature maps 사용 YOLO v4 : 최신 딥러닝 기술 BOS사용 YOLO v5 : 크기별로 모델 구성 - small, medium, large, xlarge.. YOLO의 특징은 1. Region Proposal 단계가 없다 2. 전체 이미지에서 bbox와 bbox의 클래스를 에측하는 일이 동시에 진행이 된다. (맥락 이해↑, 전체를 보니까) YOLO v1 1. Pipeline 1단계 : 입력이미지를 SxS 그리드 영역으로..

2-stage detector RCNN, FastRCNN, SPPNet...은 1. Localization, 2. Classification의 두단계로 이루어져 있기 때문에 속도가 매우 느리다는 단점이 존재한다. 1 stage detector는 단계를 하나로 통일해 real-time으로 응용가능한 Detector를 만들고자 했다. RPN과정 사라짐!!! 1 Stage Detector Localization, Classification 동시 진행 전체 이미지에 대해 특징 추출, 객체 검출 -> 간단하고 쉬운 디자인 속도 빠름. Real-time가능 영역을 추출하지 않고 전체의 이미지를 보기 때문에 객체에 대한 맥락적 이해가 높다 YOLO, SSD. RetinaNet... 정리 : 속도!!!! 왕중요