티스토리

미미로그

검색하기

블로그 홈

미미로그

memesoo99.tistory.com/m

Junior A.I Engineer - zero-shot learning, multimodal, segmentation -

구독자: 8

방명록 방문하기

주요 글 목록

Week 11/12/13 - Semantic Segmentation - 대회 꿀팁 대회나 Task를 진행할 때 주의해야할 사항들! 1. Debugging 디버깅 모드는 실험 환경이 잘 설정되어 있는지 체크하는 과정이다. 대부분의 모델 학습,테스트는 실행하자마자 뚝딱하고 나오는게 아니라 시간이 걸리는 경우가 많다. 따라서 자기 전에 모델을 돌려놓고 잠드는 개발자들이 많다. (잠자는 시간까지 헛투루 쓰지 않는 딥러닝 개발자들 ^.^이랄까 ㅎㅎ) 여하튼 그런식으로 작업을 하는 개발자들이 많은데, 종종 돌리고 일어났을때 에러 메세지와 함께 정상작동이 되지 않아 종료된 경우를 마주하기도 한다. 정말 대략 난감 ㅜㅇㅜ 그래서 해야하는건 Debugging!!!! 5분만 투자해서 잠자는 시간을 벌자 카이스트 김현우 마스터님이 공유해주신 방법이다. if cfg.debug = True: # 디버깅 모드.. 공감수 0 댓글수 0 2021. 12. 21.
Week 11/12/13 - Semantic Segmentation - UNet++ Unet에는 두가지 한계점이 있다. 1. 깊이가 4로 고정되어 있다, 2. SKip connection이 너무 simple하다 이 두가지 한계점을 극복한 더 나은 버전의 Unet이 Unet++이다. ( unet투플러스 라고 읽는다 ) 각각의 한계를 어떻게 극복했는지 살펴보면, 1. Encoder를 공유하는 다양한 깊이의 U-Net 생성 2. Dense Skip Connection 기존 : upsample한 feature map에 skip connection을 활용해 concat한 후, convolution Dense Skip connection 바로 단순 concat하지 않고 중간에 여러개의 단계를 두어 convolution을 겹겹이 한다. 그림의 물음표->X0,2는 X0,0과 X0,1과 upsample.. 공감수 0 댓글수 0 2021. 12. 16.
Week 11/12/13 - Semantic Segmentation - UNet Unet Unet은 바이오 메디털 분야에서 처음 발표된 논문이다. 의료 영상 분석에서 Segmentation은 꽤나 중요한 부분을 차지하는데, 위 그림과 같이 세포를 분석할때 매우 얇은 선을 기준으로 분리되기도 한다. 이때 인간이 놓치는 부분을 최소화 하고자 딥러닝 모델이 사용 되는데, 데이터도 너무 부족하고(병 걸린 사람을 늘릴수도 없고,, 데이터 수집 불가.. 레이블링도 심지어 일반인이 할 수 없다. 완전 Hogh Cost 데이터란 말씀! ) 기존의 모델들이 이정도로 정교하지는 않았어서 실질적으로 불가능한 태스크였다. 이런 장애물들을 상당 부분 극복한게 Unet이다!! 그럼 unet의 구조를 살펴보자 Unet Architecture 가장 큰 특징중 하나는 Contracting Path(encoder).. 공감수 0 댓글수 0 2021. 12. 16.
Week 11/12/13 - Semantic Segmentation - PSP2Net PSPNet 에는 세가지의 도입 배경이 있다. 1. Mismatched Relationship 이미지는 호수에 보트가 떠있는(굉장히 context상으로 말이 되는) 사진이다. 하지만 왼쪽에서 세번째, FCN의 결과를 보면 가장 오른쪽의 보트가 자동차(남색)으로 인식되었음을 확인 할 수 있다. 얼핏 보면 보트와 자동차의 외관이 닮았기 때문이다. 하지만 물에 떠있다는 context정보를 추가하면 정확도가 좀 더 올라가지 않을까? idea -> 주변의 특징을 고려 2. Confusion Categories 유사한 카테고리를 헷갈리는 문제점도 있다. 지역적인 부분만 봐서는 building인지 skyscraper인지 알기가 힘들다. idea -> contextual information 필요 3. Inconspi.. 공감수 0 댓글수 0 2021. 12. 16.
Week 11/12/13 - Semantic Segmentation - DeepLab v1 이번 포스팅에서는 DeepLab version 1에 대해 살펴보겠다. Receptive Field를 확장시킨 모델 Receptive Field란 하나의 뉴런이 얼마만큼의 정보를 바라봤는지를 나타낸다. Convolution을 진행하다 보면 레이어가 점차 깊어질수록 activation map의 한 점에 영향을 주는 Pixel들이 점차 많아진다. 이를 좀 더 직관적으로 보면, A,B,C 모두 같은 새를 바라보고 있다. A,C 와 B로 그림을 나눠볼 수 있다. 기준은 뭘까? 바로 B는 몸통을 집중적으로 보고 있고 A와 C는 새의 전반적인 정보를 모두 포함한다는 것이다. B와 C를 비교했을때는, 컴퓨터 입장에서 B를 새라고 인식하기 보다 C를 새라고 인식하기 더 수월할 것이다. -> 즉, receptive fie.. 공감수 0 댓글수 0 2021. 12. 15.
Week 11/12/13 - Semantic Segmentation - DeconvNet DeconvNet은 Deconvolution과정이 빈약해서 생기는 FCN의 한계점들을 보완하는 모델이다. DeconvNet. 이름에서 알 수 있듯이 Deconvolution과정에 힘을 준 모델이다. Architecture Decoder를 Encoder와 대칭으로 만든 형태 Conv BLock이 VGG16를 사용해, [ Conv - BN - ReLU ] x 2 - Max Pooling의 과정을 거친다. Deconvoliution Block은 정확히 반대순서로 간다. UnPooling - [ Transpose Conv - BN - ReLU ] x 2 Unpooling과 Deconvolution을 동시에 반복적으로 사용하는 방법의 장점은 아래와 같다. 1. Unpooling은 디테일한 경계 포착 2. Tran.. 공감수 0 댓글수 0 2021. 12. 15.
Week 11/12/13 - Semantic Segmentation - FCN 한계점 지난 글에서 요악한 FCN은 Transpose Convolution과 1x1 Convolution을 사용해 다양한 size의 feature map을 잘 섞어서 활용하였다. 이번 포스팅에서는 FCN의 한계점을 살펴보자. 1. 객체의 크기가 크거나 작은 경우 예측을 잘 하지 못한다. -> 한마디로 너무 작거나 큰, 그런 극단적인 상황은 예측을 잘 하지 못한다. 왼쪽의 예시를 보면 object가 이미지의 거의 90프로를 차지할정도로 크다. FCN을 사용하면 이런 큰 scale을 바라보지 못하고, 오히려 유리창에 비친 자전거등을 인식하는 경우도 발생한다. 마찬가지로 물체가 너무 작을때도 문제가 발생한다. 작은 object는 무시되는 문제가 생기는데 이는 upconvolution 과정에서 pooling과정에서 국.. 공감수 0 댓글수 0 2021. 12. 15.
Week 11/12/13 - Semantic Segmentation - FCN FCN : Fully Convolutional Network FCN은 Semnatic Segmentation task의 시초격인 모델이다. 초기 모델인 만큼 단점도 많지만 중요한 contribution 2개를 남겼다. 주요 Contribution 1. 1x1 Convolution 여기 32x32(HxW) x 512(C)의 shape를 갖는 feature map이 존재한다. 이 feature block을 fully connected layer에 집어 넣기 위해서는 Flatten해야 한다. 이 과정에서 32x32x512 = 524288의 1D vector가 생성되고 이 과정이 반복되면 될수록 pixel의 위치정보는 사라진다. 1x1 Conv를 사용하면 Resolution을 그대로 유지하면서 채널수만 원하는 .. 공감수 0 댓글수 0 2021. 12. 15.
Week 11/12/13 - What is Semantic Segmentation? Level 2 두번째 과제는 바로 Semantic Segmentation입니다. 이번 글에서는 Semantic Segmentation이 어떤 task인지, 어떤 평가 metric을 사용하는지 대표적으로 사용하는 Loss와 그 간략한 계산에 대해 알아 보겠습니다. 1. Semantic Segmentation Semantic Segmentation은 각 pixel 단위로 classification을 한다. 왼쪽 이미지와 같이 '종이 쓰레기'를 분류하고 싶을 때 어떤 픽셀이 어떤 class인지 모든 pixel에 대하여 라벨링 한다. 자율주행, 의료등 다양한 실생활 분야에 사용되고 그만큼 실용적이고 어려운 주제이다. 2. 평가 Metric : mIOU Object Detection에서 사용했던 IOU가 기억나시.. 공감수 0 댓글수 0 2021. 12. 15.
Week 11/12/13 Level2- P Stage [Semantic Segmentation] Semantic Segmentation Bible Level2 U Stage + P Stage 2021.10.18 ~ 2021.11.10 1. What is semantic segmentaion? Introduction, 평가 Metric, Loss 2. FCN 3. FCN의 한계를 극복한 모델들 FCN의 한계점 Deconv DeepLab PSPNet 4. Unet⭐️ Unet++ EfficientUnet, DenseUnet, ResidualUnet -> Encoder에 각기 다른 backbone을 활용함 5. Semantic Segmentation 대회 Tip! 6. Semantic Segmentation 연구 동향 HRNet의 필요성 WSSS 개요 CAM 기반의 접근 WSSS History 공감수 0 댓글수 0 2021. 11. 19.
Week 8/9/10 - Object Detection - EfficientDet EfficientDet : The importance of Efficiency in Object Detection through Model Scaling Efficient Net이란? [주요 Contribution] Image Net competition이후 점점 deep 하고 방대한 모델들이 등장했고, 성능면에서도 향상을 보였다. 하지만 무조건 깊게 쌓는것만이 능사는 아니다. 모델이 깊어질 수록 파라미터 수가 많아지고, 그럼 계산속도와 효율 측면에서 오히려 역효과를 낳기도 한다. Efficient Det에서는 어떻게 하면 효과적으로 쌓을 수 있을지(=Model Scaling)방법에 대해 연구했다. EfficientNet 팀의 연구는 네트워크의 폭 (Width), 깊이 (Depth),해상도 (Resolu.. 공감수 0 댓글수 0 2021. 11. 8.
Week 8/9/10 - Object Detection - RetinaNet RetinaNet은 1stage detector가 가지고 있는 고질적인 문제점을 해결한 Paper이다. 그 고질적이 무엇이냐 하면 1. Class imbalance - positive sample ( 객체가 있는 영역 ) 공감수 0 댓글수 0 2021. 11. 6.
Week 8/9/10 - Object Detection - SSD SSD - Single Shot Detection 1 stage detector의 대표인 Yolo와 SSD는 어떻게 다를까? SSD는 fully connected layer를 사용하지 않는다. 그 대신 extra convolution layer를 적용해 여러 scale의 feature map을 추출하고, 이런 중간과정의 feature map들을 전부 detection에 사용한다. Fully connected layer대신 conv layer를 사용해서 속도 향상 extra convolution layers (큰 feature map은 작은 물체를, 작은 feature map은 큰 물체를 탐지) Default box 사용 (=anchor box, 미리 scale과 비율을 계산해놓은 box. Fast RCN.. 공감수 0 댓글수 0 2021. 11. 6.
Week 8/9/10 - Object Detection - YOLOv1, v2, v3 You Only Look Once ! Yolo는 v1~v5까지 다섯개의 버전이 있다 더보기 YOLO v1 : 1stage detector 최초 등장 YOLO v2 : faster, stronger, better . 3가지 측면에서 향상 YOLO v3 : multi-scale feature maps 사용 YOLO v4 : 최신 딥러닝 기술 BOS사용 YOLO v5 : 크기별로 모델 구성 - small, medium, large, xlarge.. YOLO의 특징은 1. Region Proposal 단계가 없다 2. 전체 이미지에서 bbox와 bbox의 클래스를 에측하는 일이 동시에 진행이 된다. (맥락 이해↑, 전체를 보니까) YOLO v1 1. Pipeline 1단계 : 입력이미지를 SxS 그리드 영역으로.. 공감수 0 댓글수 0 2021. 11. 6.
Week 8/9/10 - Object Detection - 1-Stage-Detector 2-stage detector RCNN, FastRCNN, SPPNet...은 1. Localization, 2. Classification의 두단계로 이루어져 있기 때문에 속도가 매우 느리다는 단점이 존재한다. 1 stage detector는 단계를 하나로 통일해 real-time으로 응용가능한 Detector를 만들고자 했다. RPN과정 사라짐!!! 1 Stage Detector Localization, Classification 동시 진행 전체 이미지에 대해 특징 추출, 객체 검출 -> 간단하고 쉬운 디자인 속도 빠름. Real-time가능 영역을 추출하지 않고 전체의 이미지를 보기 때문에 객체에 대한 맥락적 이해가 높다 YOLO, SSD. RetinaNet... 정리 : 속도!!!! 왕중요 공감수 0 댓글수 0 2021. 11. 5.
Week 8/9/10 - Object Detection - BiFPN , NASFPN, AugFPN BiFPN , NASFPN, AugFPN은 모두 기존의 FPN에서 문제점을 발견하고 개선을 한 논문이다. 어떤 점을 문제로 삼았고 어떤 새로운 contribution을 했는지 살펴보자. Bi-directional Feature Pyramid EfficeintDet에서 제안한 FPN. Contribution 1. 간소화 기존의 PANet을 간소화했음을 알 수 있다. 화살표 몇개가 사라졌다. 효율성을 위해 feature map들이 한곳에서만 오는 노드들을 제거했다. BiFPN은 parameter와 FLOPS를 줄일 수 있기 때문에 여러 번 레이어를 쌓을 수 있게 되었다. 2. Weighted Feature Fusion feature map들을 합칠때 기존에는 단순합으로 더했다. high-level, low-.. 공감수 0 댓글수 0 2021. 11. 5.
Week 8/9/10 - Object Detection - DetectoRS Motivation -> Looking things twice? detectoRS는 같은것을 두번씩 반복적으로 보면 성능이 좋아질까?라는 의문점에서 출발한모델이다. 주 Contributio이 2개인데 그 중 Neck과 관련된 RFP만을 살펴보자!. 1. Recursive Feature Pyramid ( RFP ) : 말그대로 feature pyramid를 recursive하게 진행한 것이다. - 학습속도 극악 펼처서 보면, RFP 반복을 몇번할지는 선택이다. 한번 Neck을 통과한 stage들은 (왼쪽에서 두번쨰 스택) ASPP를 거쳐서 다시 한번 feature map들과 합쳐진다. [ASPP] - receptive field 늘리는 방법 공감수 0 댓글수 0 2021. 11. 5.
Week 8/9/10 - Object Detection - PANet Path Aggregation Network (PANet) 등장배경 : FPN모델이 간과한 점이 하나 있다. 바로 backbone이 resnet이라는 것!! 꼭 Resnet이 아니더라도 deep한 딥러닝 모델을 backbone으로 사용하면 low level feature가 high level feature map까지 온전하게 전달이 될 수 있을까???! 1. Bottom-up Path Augmentation - Bottom up Path 추가 = Bottom up을 한번 더해줬다. - High-level, Low-level정보가 골고루 섞이도록 하는 역할 2. Adaptive Feature Pooling 모든 feature map에 ROI projection을 하자. 공감수 0 댓글수 0 2021. 11. 5.
Week 8/9/10 - Object Detection - Neck의 개념 일반적으로 사용되는 2stage detector는 아래와 같다. 일반적으로 사용되는 2stage detector : Input이 Backbone 네트워크를 통과해서 맨 위에 다다랐을때, 마지막 feature map을 활용해 region proposla (ROI)를 검출한다. ->꼭 마지막 feature map을 사용할 필요가 있을까? 정답은 없다이다. Neck은 위와같은 의문점에서 출발해 굳이 마지막 feature map만을 사용하지 않고 중간 layer feature map들도 사용한다. Neck의 필요성 ? 객체는 크기가 다 제각각이다. 일반적으로 작은 feature map일수록 큰 범위를 보고, 큰 feature map일수록 작은 범위를 본다고 알려져 있다. (참고) - 다양한 크기의 객체를 더 잘.. 공감수 0 댓글수 0 2021. 11. 4.
Week 8/9/10 - Object Detection - Faster R-CNN 공감수 0 댓글수 0 2021. 10. 16.
Week 8/9/10 - Object Detection - Fast R-CNN Fast R-CNN은 이름에서 알 수 있듯이 R-CNN을 보완한 모델이다. 어떤 점이 달라졌는지 비교해보자. 주요 Contribution 1. input image를 바로 CNN에 넣어 추출한 feature에 ROI 적용 - RoI Projection 2. RoI Pooling 1. RoI Projection, RoI Pooling Ex) input image : 400x400x3 - selective search 사용해 2000개의 region을 추출 - CNN을 통과한 feature map에 해당 ROI를 추출 - 이때 ROI는 feature map의 비율에 맞게 축소 2. Hierarchical Training RCNN의 경우 여러개의 이미지에 존재하는 ROI들을 전부 저장해서 사용한다. 따라서 한.. 공감수 0 댓글수 0 2021. 10. 15.
Week 8/9/10 - Object Detection - SPPNet SPPNet은 Spatial Pyramid Pooling을 적용한 모델로, RCNN의 한계점 1. CNN의 입력 이미지 사이즈가 고정되어 있다 -> Crop/Resize등으로 정보 손실 2. ROI마다 CNN통과 -> 시간 너무 오래 걸림 을 Spatial Pyramid Pooling로 보완한다. 1. Spatial Pyramid Pooling - Binning이라고도 불리는 이 과정은 고정된 size의 feature vector를 정해놓고, BIN의 크기를 조정해가면서 pooling하는 방법 - Pooling은 Max pooling을 하든, Average pooling을 진행하든 어쨋든 고정된 하나의 feature를 추출한다! 2. ShortComing 1. CNN, SVM classifier, bbo.. 공감수 0 댓글수 0 2021. 10. 15.
Week 8/9/10 - Object Detection - R-CNN 2013년 발표된 RCNN은 최초의 Object Detection 모델이자, 이후 발표된 여러 모델들의 기준이 되는 중요한 연구다. 2 Stage는 이전 글에서 말했듯이 객체가 있을법한 위치 선정 + 클래스 판별 의 스테이지로 이루어진다. 1. Extracting Region Proposal Region Proposal 알고리즘 Extracting Region Proposals : input image에서 ROI 추출. 객체가 있을거라고 예상되는 부분을 bbox침 Sliding Window : 다양한 scale로 무수히 많은 영역을 검출한다. 이미지의 대부분은 배경이기 때문에 sliding window기법을 사용하면 당연히 객체가 포함될 가능성은 줄어든다. 비효율적 Selective Search : 이미.. 공감수 0 댓글수 0 2021. 10. 15.
Week 8/9/10 - Object Detection - 2 Stage Detectors Object Detection의 갈래에는 크게 두가지 one-stage 와 two-stage가 존재한다. 2 stage Detector는 사람의 객체인식 방법과 가장 유사하게 디자인된 방법이다 [사람] 일반적으로 사람은 이미지를 인식했을때 객체 위치를 인식후, 판별한다. 처음부터 이미지에 종이박스가 있다! 라고 인지하고 그 위치를 탐색하지 않습니다. [2 Stage] 2 stage도 마찬가지로 객체 있을 법한 위치 추정. 해당 객체가 무엇인지 체크 의 프로세스를 거친다. 여기서 객체가 있을 법한 위치를 ROI, Region of Interest 라고 부른다!! 그 위치를 판단하는 과정이 복잡하고 자원이 많이 들어가는 과정이기 때문에 Extracting Region Propsal에 관련된 알고리즘이 각 모.. 공감수 0 댓글수 0 2021. 10. 15.
Week 8/9/10 - Object Detection - Evaluation Metric (mAP, FPS, Flops) Object Detection Task의 평가지표는 크게 두가지로 나눌 수 있습니다. 1. 성능 - 얼마나 잘 검출했는가 (mAP) 2. 속도 - 얼마나 빠르게 검출했는가 (FPS, Flops) 그 중에서도 object detection은 real-time, real world 문제에 적용되는 경우가 많기 때문에, 다른 task들에 비해 속도또한 중요합니다. 1. mAP . mean average precision : 각 클래스별로 계산한 AP의 평균 [ mAP를 계산하기 위해 필요한 개념 ] 더보기 1. Confusion Matrix 2. Precision & Recall AP 계산을 위해서는 PR Curve를 필수적으로 알아야 합니다. 10개의 검출된 객체가 존재합니다. Confidence값으로 내림.. 공감수 1 댓글수 0 2021. 10. 15.
Week 8/9/10 - What is Object Detection? Object Detection Level 2에서는 본격적으로 Object Detection을 다룹니다. Object Detection tast를 처음 접할때 Classification과 헷갈릴 수 있습니다. 간단히 짚고 넘어가자면, - Classification : 이미지가 무엇을 나타내는지, label(정답)이 한개 - Object Detection : 이미지 속에 있는 모든 객체 식별. 어디에 있고? 무엇인지. 모두 고르시오 느낌 ㅎㅎ 현실 세계에서 정말 많이 쓰이고, 중요도가 점점 중요해지는 (원래도 중요했던) task 입니다. Two-stage Vs. One-stage object detection은 투스테이지, 원스테이지 크게 두 가닥으로 나뉩니다. 뒤에서 자세히 배우겠지만, 보통 two-sta.. 공감수 0 댓글수 0 2021. 10. 15.
Week 8/9/10 Level2- P Stage [Object Detection] Object Detection Bible Level2 U Stage + P Stage 2021.09.27 ~ 2021.10.14 1. What is Object Detection? Introduction, history 2. Object Detection - Evaluation Metric mAP, FPS, Flops 3. 2 Stage Object Detectors R-CNN SPPNet Fast R-CNN Faster R-CNN 4. 대표 Library mmdetection detectron2 5. Neck Neck이란? FPN PANet DetectorRS BiFPN, NASFPN, AugFPN 6. 1 Stage Object Detectors YOLO SSD RetinaNet 7. Efficien.. 공감수 0 댓글수 0 2021. 10. 15.
Week_7 CV-Perceptual Loss Perceptual Loss 는 GAN에서 사용되는 loss중 하나로 MAE(L1), MSE를 보완하기 위해 만들어진 손실함수입니다. Perceptual loss는 Content loss와 style loss 두 가지 종류가 있는데 Feature map을 그대로 사용하는 Content loss와 Gram matrix 연산을 한번 거쳐 Loss를 계산하는 Style loss가 있습니다. ▲ 왜 MAE, MSE가 적합하지 않은가?!! 더보기 MAE와 MSE는 둘 다 mean, 평균오차입니다. 여러가지 샘플이 존재할때, 그 평균에서 크게 벗어나지 않는것을 목표로 합니다. 따라서 generator의 목표가 진짜같은 이미지 a'보다는 a,b,c,d의 평균에서 최대한 가까운 a+b+c+d/4를 타겟으로 합니다. 그.. 공감수 1 댓글수 0 2021. 9. 24.
Week_7 CV-Autograd Autograd 는 Automatic Gradient calculating API의 약자로서, 자동으로 gradient를 계산해주는 Deep Learning 특화 library 이다. 과거에는 backward pass로 미분값을 구할때 수식으로 전개해 일일히 대입하는 방법을 썼다. autograd는 아래와 같은 computational graph를 사용해 자동으로 구할 수 있다. Autograd 1. backward backward는 backpropagation이다. 위 예시에서 눈에 띄는것은 보통 미분값을 구하고자 하는 변수가 y 라 할때, y.backward()를 사용하는데, 사진에서는 backward(gradients)라고 되어 있다. 이 기능은 backprop의 chain rule을 살짝쿵 적용한.. 공감수 0 댓글수 0 2021. 9. 16.
Week_6 CV-Focal Loss Focal Loss 잘 찾은 class에 대해서는 loss를 적게 줘서 loss 갱신을 잘 못하게 하고, 잘 찾지 못한 class에 대해서는 loss를 크게 줘서 loss 갱신을 크게 하는 것. Focal Loss는 object detection에서 파생된 Loss이다. 아래의 object detection 예시를 살펴보면, 일반적인 영상에서 실제 object보다 background의 비중이 훨씬 더 많음을 알 수 있다. positive sample 공감수 0 댓글수 0 2021. 9. 14.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.