[이론 정리] micro F1 score과 AUPRC에 대한 개인적 이해

micro F1 score

micro F1 score는 각각의 label에 대해서 구한 TP, FP, FN을 총합해 전체 TP, FP, FN을 구한다. 이 전체 TP, FP, FN을 이용해 f1 score를 구한다.

micro F1 score는 각각의 label에 대해서 구한 TP, FP, FN을 총합해 전체 TP, FP, FN을 구한다. 이 전체 TP, FP, FN을 이용해 f1 score를 구한다.

Reference

https://towardsdatascience.com/micro-macro-weighted-averages-of-f1-score-clearly-explained-b603420b292f

Micro, Macro & Weighted Averages of F1 Score, Clearly Explained

AUPRC

AUPRC는 Positive가 되기 위한 임계값을 변경하며 구한다. 예를 들어 첫번째 라벨에 대한 AUPRC를 구한다고 해보자. 만약 30개의 라벨에 대해서 가장 높은 값이 첫번째 라벨(예측값)이었고 실제 값도 첫번째 라벨이라면 TP(True Positive)이다. 이때 그 확률이 0.8이었다고 가정하자. 만약 여기서 임계값을 0.9로 두게 되면 예측값을 Negative라고 가정하고 따라서 FN(False Negative)가 되는 것이다. 이렇게 임계값을 조정하며 그래프를 그리는 것이 AUPRC이다.

임계값이 높아지면 질수록 Negative가 많이 생기고 따라서 FN이 생길 확률도 커지고 FP가 생길 확률은 낮아진다(애초에 Positive를 생성 안하게 되니까). 이에 따라 recall의 값은 낮아지고 precision의 값은 높아진다. 반대로 임계값이 낮아지면 recall의 값은 높아지고 precision의 값은 높아진다.

그런데 만약 예측을 1로 하게 되면 어떨까? 임계값이 0부터 1까지 되어도 positive로 예측하고 negative가 만들어지지 않기 때문에 precision과 recall 모두에서 최고의 점수를 가질 수 있게 된다. 요약하자면 정답에 대해서 확실하게 맞다라고(확률:1) 대답할 수 있어야 높은 점수를 주는 것이다.

Reference

https://heeya-stupidbutstudying.tistory.com/entry/ML-모델-평가지표-오차행렬-PRC-ROC-AUC