미미로그

*본 글은 cs231n 13강의 내용을 정리 요악한 글입니다. 오늘은 비지도 학습의 대표격인 생성모델에 대해 알아보겠습니다. Supervised Learning vs. Unsupervised Learning Supervised 일명 지도학습은, 학습데이터의 label, 정답이 주어진 학습법입니다. 아래 그림과 같이 고양이 사진에 'cat'이라는 label이 주어지고, 또 여러 물체가 있을때 어떤 물체가 각각 어떤 클래스에 속하는지 label이 주어지기도 합니다. 이처럼 주어진 데이터와 그 label을 학습하며 새로운 data와 그에 따른 label을 맵핑하는 함수를 찾는데 지도학습이라고 할 수 있습니다. 반대로 Unsupervised Learning, 비지도 학습은 정답 레이블이 주어지지 않고 데이터를 ..

*본 글은 cs231n 12강의 내용을 정리 요악한 글입니다. 오늘은 ConvNet내부에서 어떤 일들이 벌어지는지 예쁘고ㅎㅎ 다양한 시각자료를 활용해 알아보겠습니다. CNN이 비난 아닌 비난(?)을 받는 가장 큰 이유는 바로 Black Box Problem때문입니다. Black-Box Problem이란 말 그대로 CNN안에서 일어나는 과정이 마치 Black Box안에 들어있는거같다는 비유로 붙혀진 이름입니다. 모델을 작성한 당사자도 CNN안에서 어떤 과정을 거쳐서 학습이 되는지 정확히 알 수가 없다는 문제가 있죠. 12강에서는 이런 문제점들에 맞서 CNN의 중관 과정들을 좀 더 직관적으로 나타내는 방법들을 배웁니다. 그 중에서도 input output과 직접적인 연관이 있는 first & last lay..

CS231n 11강 의 주제는 Detection and Segmentation이다. 여태까지는 Deep-Learning의 basic과 Image classification task를 중점적으로 다뤘다. 하지만 Computer Vision field에는 Image Classification 외에도 다양한 task들이 존재한다. 오늘은 그 중에도 Segmantation, Localization, Detection에 대해 다뤄보겠다. Semantic Segmentation : 이미지의 픽셀들이 어떤 클래스에 속하는지 예측하는 과정 Classification이 어떠한 객체를 단위로 분류했다면, Semantic Segmentation은 픽셀 단위로 분류한다. 모든 픽셀은 각자가 속해 있는 클래스 값을 가진다. 그..

Recurrent Neural Network, 줄여서 RNN은 여태까지 배웠던 CNN 이나 FCN과는 조금 다른 특성을 지닌다. 이름에서 힌트를 얻을 수 있는데, 'Recurrent'는 되풀이하다, 순환하다와 같은 뜻을 지닌다. 왜 Recurrent인지 이유를 생각해보면서 읽으면 이해에 도움이 될거 같다. "Vanilla" Neural Network 여태까지 배웠던 Neural Network들을 강의에서는 "Vanilla" Neural Network이라 했다. Input에서부터 Output까지 feed-for ward 하며 중간의 hidden-layer들을 거쳐 흘러간다. 이때, Input으로는 고정된 사이즈의 이미지나 벡터가 들어갔다. Output으로는 classification 결과 값 같은게 나올 ..

CS231n 7강 Training Neural Neworks II 2021.05.21 optimazation을 할때 맞닥뜨릴수 있는 문제들 SGD의 문제 - 만약 W가 w1,w2의 2차원 형태일때, w1의 변화에는 둔감하게 반응하고 w2의 변화에는 민감하게 loss가 반응할때→ 이거는 한 예시일뿐이고 실제로 loss function은 타코셸 모양으로 특정 방향으로 이동하는게 더 민감할 수가 있다 (??무슨소리지) // lecture note 참고 local minima, saddle point. Saddle point보다 local minimac가 더 유명하지만 실제로 레이어가 많은 모델들을 다루면 saddle point가 문제를 일으킨다. 그리고 saddle point에서 gradient가 매우 작아지..

CS231n_6강 Training Neural Networks Part I - Activation Function 중점으로 1. Activation Function Activation funtion, 활성화 함수는 다음 뉴런에게 값을 전달할지 말지를 정하는, 즉 뉴런의 활성화 여부를 정하는 역할을 한다. (활성화 풀어서 설명하는 예시 추가해야됨) 활성화 함수가 필요한 이유는, 활성화 함수가 Wx+b로 이루어진 linear function에 non-linearity를 더해주기 때문이다. XOR 같이 linear function으로는 절대 해결할수 없는 문제를 해결할수 있는 방법이 activation function의 사용이다. (XOR 예제 추가) Activation function에는 여러가지 종류가 있..