L1 Loss: L1 기반 loss function L2 Loss: L2 기반 loss function L1 regularization: loss function + |W| : feature selection 효과 강하게 L2 regularization: loss function + W^2 : 유하게 0 근처로만 감

k를 몇개로 두냐에 따라 결과가 달라진다. 초기 centroid를 어디에 두느냐에 따라 결과가 달라질 수 있다.(local minimum에 빠질 수 있다) 이상치에 영향을 받기 쉽다 (centroid는 결국 중심값이기 때문에)

딥러닝은 머신러닝의 한 부분이다. 머신러닝 알고리즘은 데이터가 적을 때 사용하면 좋고 딥러닝은 데이터가 많을 때 사용하면 좋다. 머신러닝 알고리즘은 입력으로 인간이 생각하는 피쳐들로 바꾸어서 넣어주어야 한다. 그렇기 때문에 전문가가 필요하다 딥러닝은 그럴 필요가 없고 데이터만 넣어주면 된다. 그 과정에서 더 깊은 레이어는 더 복잡한 표현을 처리하게 된다. 그리고 하나의 레이어에서는 레이어에서 표현하는 feature들을 동시에 학습하게 된다.

feature selection은 원래 있던 feature들 중 필요없는 것들을 제거하는 것이고 feature extraction은 원래 있던 feature들을 활용하여 새로운 feature들의 집합을 만드는 것이다. feature extraction에는 대표적으로 PCA가 있는데 주요한 성분 먼저 추출을 통해 압축을 하는 것으로 볼 수 있다. 입력 데이터의 공분산 행렬을 통해 고유벡터를 구하고 입력데이터와 고유벡터를 선형변환하여 차원을 축소하는 방법이다. Reference https://huidea.tistory.com/126 [Machine learning] 차원축소, PCA, SVD, LSA, LDA, MF 간단정리 (day1 / 201009) Q. 차원의 저주에 대해 설명해주세요. dimensio..

일단 임계점이라는 것은 지금 선택된 것에 대해 적용된다. 만약 모델이 참이라고 추론했다면 임계점은 여기에 적용된다. 두 번째로 임계점은 true, false일 때 반대로 적용된다. 참일 때 임계점이 1.0이면 거짓일 때 임계점은 0.0이다. 왜냐하면 이렇게 되지 않으면 다음 그래프를 설명할 수 없기 때문이다. 즉, TPR과 NPR이 모두 1이려면 FalseNegative와 TrueNegative 모두 0이여야 하고 이는 임계점이 거짓일 때 1.0으로 적용된 값일 것이다. 그리고 TPR과 NPR이 모두 0인 지점은 참일 때 임계점이 1.0인 경우일 것이다. 따라서 애초에 추론할 때 모두를 1.0으로 확신을 갖고 추론을 한다면 그래프는 1.0으로 일직선이 될 것이다. 개인적으로 이해하기로 f1과 auroc의..

Classification의 지표로 쓰일 수 있는 accuracy는 실제 정답 / 전체 예측이다. 이것의 문제는 정답이 A인게 80개 있고 정답이 B인게 20개 있는 데이터 불균형 상황에서 모든 예측을 A라고만 해도 정확도를 80% 달성할 수 있다. 근데 B는 하나도 못 맞추는 것이다.