Week_6 Knowledge Distilation

Knowledge Distilation

"미리 잘 학습된 큰 네트워크(Teacher network) 의 지식을 실제로 사용하고자 하는 작은 네트워크(Student network) 에게 전달하는 것"

 

 

 

1x1 CONV

 

1x1 컨볼루션은 커널사이즈가 1x1로 채널수를 변형시키는게 목표인 레이어이다.

 

예를 들어, 1x1x512x714라면 HxWx512의 피처맵을 resolution 손실 없이 HxWx714로 바꿀수 있게 된다.

 

 

 

Week 6 회고

 

이번주는 강의와 과제를 매우 안정적으로 다 끝낼 수 있어서 좋았다.

팀결성에 좀 더 치중하라고 여유를 준거 같다.

그래서 밀린 visualization 강의를 들을 수 있었다.

밀린 블로그글을 다시 다 써야지...