Statistics
-
Edwith _ 최성준님의 Bayesian Deep Learning (일부 수강)Statistics 2022. 1. 25. 00:00
Gal, Y., & Ghahramani, Z. (2016, June). Dropout as a bayesian approximation: Representing model uncertainty in deep learning. In international conference on machine learning (pp. 1050-1059). PMLR. 이미지에 대한 준지도 학습에 대해서 공부하던 중, 준지도 학습, 특히 self training에서 unlabeled 데이터를 어떻게 학습시킬까에 대한 고민을 하게 되었다. 무식하게 다 때려 박아서 재학습을 진행하는 것보다는, 재학습 시 모델이 잘 알 수 있는 자료에 가까운 것들부터 배우는 것이 맞을 것이다. true label과 최대한 동일해야 하기 때문이다..
-
Hyperparameter optimization _ 하이퍼파라미터 최적화Statistics 2021. 2. 25. 00:00
1. Hyperparameter 2. Grid Search와 Random Search 3. Bayesian Optimization 4. Genetic Algorithm 5. 그 외의 것들 1. Hyperparameter 흔히 통계를 배울 때, Parameter라는 말을 정말 많이 듣게 된다. 관심을 갖는 모집단의 특징, 예를 들어 모집단의 평균이나, 표준편차, 또는 선형회귀의 회귀 계수 등을 보통 Parameter라고 하는데 이와 다르게 예측 모델 등에 있어서의 Hyperparameter란 n_estimator나 learning_rate 등과 같이 사용자가 학습에 앞서 세팅해주는 값이다. 한마디로, Parameter는 모델이 알아서 정하는 값 혹은 자동적으로 얻어지는 값이고, Hyperparameter는..
-
Naive Bayes Classification _ 나이브 베이즈 분류Statistics 2021. 1. 1. 00:00
1. Bayes theorem 2. Naive Bayes Classification 3. Strengths and Weaknesses 1. Bayes theorem 베이즈 정리를 설명하기 위해서 필요한 조건부 확률에 대한 정의는 아래와 같다. $$ p(C_k|X)={p(C_k,X) \over p(X)} $$$$ p(X|C_k)={p(C_k,X) \over p(C_k)} $$ 위의 조건부 확률 식 사이에 분모만 다르다는 점을 이용하면, $$ p(C_k|X)={p(C_k,X) \over p(X)}={p(C_k,X) \over p(C_k)}\cdot{p(C_k) \over p(X)} $$ $$\therefore\,p(C_k|X)={p(X|C_k)}\cdot{p(C_k) \over p(X)} $$ 두 조건부 확..