Transfer Learning with a mixture of self-supervised experts
Federated Learning과 유사한 환경에서 Transfer Learning에서 Active Learning과 유사하게 Data를 가져오는 문제를 풀고자 하였음1 https://openreview.net/forum?id=r1lI3ertwH ...
Recent posts
Federated Learning with Knowledge Distillation
Federated Learning에서 Knowledge Distillation으로 Communication Burden을 줄임과 동시에 GAN을 사용해서 Non-i.i.d를 해결하고자 하였다. 사실 두번째
빠르게 행동하기
나는 고민 잡생각이 많은 사람이라서 느리다. 왜 느릴까에 대한 고민을 하곤 했는데 publy에서 또 좋은 먹을거리를 던져줬다.
Revisit Knowledge Distillation: A teacher-free framework
Knowledge Distillation을 Label Smoothing의 uniform Distribution 대신 Learned Distribution으로 해석하였음.
Relational Knowledge Distillation
Knowledge Distillation에서 soft targeting을 함과 동시에 좀 더 다양한 장치를 사용할 여지는 없을까?