Deep Learning with Differential Privacy
[Abadi et al. CCS 2016] 딥러닝은 많은 데이터를 통해 학습이 이루어지는데, 이 데이터 중에 보안에 민간함 데이터가 포함되어 있을 수 있다. 따라서 모델은 이렇게 민간함 정보를 표출시키면 안된다. 이 논문에서는 새로운 SGD 알고리즘을 통해 수정된 privacy c...
Posts by Year
2020
Differential Privacy - Part 1
Differential Privacy - Definition
Local Sensitive Hashing
논문1 읽다가 LSH를 공부하면서 미리 정리를 해두지 않으면 또 잊어버릴 것 같아서 정리를 해둠. 해쉬는.. 데이터 구조 수업을 엄청 날로 먹은 탓에 매번 공부해야지 하고 있었는데 이 참에 같이 공부를 해둔다…ㅠ,.ㅠ Lsh-sampling Breaks...
LSH for Stochastic Gradient Descent
SGD와 같은 optimization 알고리즘에 대해서 굉장히 이해도가 낮다고 생각해서 이번에 겸사겸사 세미나 주제를 이걸1로 정해버렸는데, 후회중ㅠㅠ 그냥 모르겠다. 뭘 모르고 왜 모르는지 정리해본다. Lsh-sampling Breaks the Com...
Deep Bayesian Active Learning with Image Data
Deep Learning에서 1) 많은 데이터를 사용해야한다는 점, 2) 모델에 대한 불확실성을 반영할 수 없다는 점을 해결하기 위해 Deep Bayesian Network를 사용함. 1 http://proceedings.mlr.press/v70/gal...
Transfer Learning with a mixture of self-supervised experts
Federated Learning과 유사한 환경에서 Transfer Learning에서 Active Learning과 유사하게 Data를 가져오는 문제를 풀고자 하였음1 https://openreview.net/forum?id=r1lI3ertwH ...
Federated Learning with Knowledge Distillation
Federated Learning에서 Knowledge Distillation으로 Communication Burden을 줄임과 동시에 GAN을 사용해서 Non-i.i.d를 해결하고자 하였다. 사실 두번째
빠르게 행동하기
나는 고민 잡생각이 많은 사람이라서 느리다. 왜 느릴까에 대한 고민을 하곤 했는데 publy에서 또 좋은 먹을거리를 던져줬다.
Revisit Knowledge Distillation: A teacher-free framework
Knowledge Distillation을 Label Smoothing의 uniform Distribution 대신 Learned Distribution으로 해석하였음.
Relational Knowledge Distillation
Knowledge Distillation에서 soft targeting을 함과 동시에 좀 더 다양한 장치를 사용할 여지는 없을까?
Constrative Representation Distillation
Knowledge Distillation에서 Contrastive learning을 활용한 CKD 모델
Federated Learning and Non-iid
FL에서는 non-iid 문제를 어떻게 해결하도록 시도할까에 대한 논문들 정리용. 아아아 어렵다 어려워
[번역] 똑똑하게 노트 작성하는 법
읽어가는 논문이 이것저것 많아지고 프린트한 논문은 쌓여가고 생산성 높이는 어플들은 많이 쓰는 가운데 머리는 뒤죽박죽 뒤엉켜 간다. 주변 사람들한테 물어봐도 자기들마다 어울리는 방법들이 있긴 하지만 나한테는 어울리지 않는 것 같고. 그러다가 하필이면 퍼블리 메일링에서 노트 테이킹에 ...
Paper Review - Short
이것저것 읽다보니깐 기억해야할 것들, 재미있었던 것들 등등 잘 떠오르지가 않는다. 트렐로에서 계속 추가하는 것은 눈에 보기 힘드니깐.. 일단 간단하게라도 정리를 해둬야겠다.
[Book] Object
요즘 오브젝트(Object)를 읽는 중인데, 챕터별로 간단하게 기억해볼만한 부분들을 남기고자 함. 모든 내용은 책1의 해당 챕터에서 모두 발췌함. 오브젝트(Object) ↩
Correlation vs Causal
Causality와 Probability의 Conditioning 부분이 너무 헛갈려서 애먹고 있는데, 몇몇 블로그12에서 아이디어를 얻고 연구실원의 도움을 받아 이해를 점점 하고 있는 중이다. 번역을 하면 나중에 까먹을 때 다시 돌아보기 좋겠지만, 그럴만한 시간은 없는 관계로 일...
MARL Review
읽은 논문들 간단하게 요약 정리. 중요한 논문은 따로 정리할 것. 아직 평가할 깜냥이 아니므로 나중에 안 봐도 되는 것들만 구별하기 위해서 별은 세개까지만.
2019
CPU, Core, Processor, Process, Thread
처음의 궁금점은 MARL 코드가 Multi-Process와 Multi-Thread로 구현이 많이 이루어져서, (그래서 ray를 봤건만 결국 활용은 못했다) 나중에 코드 짤 때에는 활용해보고자 찾아보기 시작했는데, 끝이 없이 공부해야할 것 같다(학부때 마이크로프로세서를 날로 먹어서 ...
Static Games with Complete Information
중간고사 대비 Game Theory 정리 PDF
Static Games with Incomplete Information
중간고사 대비 Game Theory 정리 PDF
Sequential Games with Complete Information
중간고사 대비 Game Theory 정리 PDF
Attention Is All You Need
이 논문을 읽게 된 이유: Communication 쪽에서 Attention이 사용되고 있고, Transformer 쪽으로 공부하기 위함. 그리고 연구실의 소스를 활용할 수도 있기 때문임! PDF
Actor-Attention-Critic for Multi-Agetn Reinforcement Learning
이 논문을 읽게 된 이유: 직접적으로 Attention을 언급하기도 했거니와 최근 알게된 multi attention을 여기서 보이고 있는 것 같아서. ICML 2019 PDF
Efficient Communication in MARL via Variance Based Control
이 논문을 읽게 된 이유: Communication 최근 논문 서칭 중 발견한 논문. 제목으로 봐서는 channel을 직접적으로 모델링 하는게 아니라 Message로 이슈를 넘기는 듯한 기분이 들었음. NIPS 2019 PDF
Efficient Communication in cooperative Multi Agent Environment
이 논문을 읽게 된 이유: Communication 최근 논문 서칭 중 발견한 논문. AAMAS 2019 PDF
Multi Agent Actor-Critic for Mixed Cooperation-Competitve Environments
이 논문을 읽게 된 이유: Homogeneity와 Heterogeneity에 대한 고민. Policy Parameter를 Agent 간에 공유가 이루어질 경우에는 Homogenous한 가정 밖에 할 수 없다. 이것을 어떻게 깰 것인가? NIPS 2017 PDF
Berkeley Cs294 Hw2
Problem 1-1
mujoco, gym 설치하기
버클리 CS294_112 강좌를 들으면서 과제를 하다가 시뮬레이션 환경을 설치해야되어서 이것저것 시간 날려먹은게 아까워서 기록해둔다. 가상환경이 엉망이 되어버리면 또다시 설치해야하므로…ㅋ
우리의 과거
아마 글의 마지막 결론은 능력이냐 운이냐로 귀결될 것일테다.
Papers Review
An Analysis of Stochastic Game Theory for Multiagent RL (M.Bowling et al. 2000)
Actor Critic And Policy Gradients
논문읽다가 여전히 제대로 모르는 것 같아서 Berkeley 강의를 들었다. 매번 강의 듣고 치워버렸는데, 다른 공부하기 이전에 정리를 해보고 넘어가려고 한다. (생각 정리용)
좋은 연구란
고맙게도 연구실원 중에 한 친구가 가끔씩 커피를 마시러 가자고 얘기를 해준다. 오늘도 논문 보면서 심란해하다가 이야기를 나누게 되었다. 다들 연차가 쌓여있는 친구들이라서 이해 안 되는 이야기를 할 때가 많지만, 그래도 도움이 되는 내용들이 항상 존재한다.
An Intro Lin.Prog & Game Theory-Chapter8
Multi-agent Systems의 극악무도한 내용 때문에 다른 강의들 뒤적이다가 뭔가 LP를 다시 봐야할 것 같아서, 예전에 대학원 시험 때문에 공부했던 “An Introduction Linear Programming and Game Theory”를 다시 펼쳐봤습니다..신세계를...
Multi-agent Systems-Chapter4
3장에서는 게임에 있어서 최적 솔루션이 무엇인가(혹은 Nash Euilibrium) 이외에 다른 대안이 없는지에 대해서다. 4장에서는 그 솔루션을 얻는데 있어 계산이 얼마나 복잡할 것인가에 대한 문제를 다루게 된다. 자연스럽게 가장 간단한 2명의 플레이어, 제로섬 normal-fo...
Ubuntu 18.04 설치
간만에 연구실 출근해서 컴퓨터에 우분투18.04+윈도우10 설치를 했습니다. 원래 맥북을 써왔는데 연구실에서 윈도우를 쓰려니 도무지 적응이 안되어서 벼르고 있던 우분투를 깔아버렸네요.
[번역] 성공하는 대학원생의 3가지 자질: 끈기, 고집 그리고 설득력
대학원 생활을 시작하기 직전에 Matt Might 교수님의 블로그를 우연하게도 접하게되어서 글을 찬찬히 읽어보니 좋은 글들이 많이 있네요.