AI(28)
-
[AI] precision과 recall에 대한 고찰
Precision = (True Positive ) / (True Positive + False Positive)이다. 이걸 해석하면 내가 참이라고 예측해서 맞은 것의 비율이다. 예를 들어, 100개를 참이라고 예측했는데 100개 모두 참이였다면 정밀도 100%인 것이다. Recall = (True Positive) / (True Positive + False Negative)이다. 이걸 해석하면 실제 참인 것 중 맞춘 것의 비율이다. 예를 들어, 100개가 참인데 60개 정도만 참이라고 했다면 재현율 60%인 것이다. 그럼 Precision과 Recall을 서로 연관해서 생각해보자. 총 데이터가 200개가 있다고 하자. 내가 100개를 참이라고 예측했는데 그 중 80개가 실제 참이었다. 그러니까 정밀도..
2023.08.22 -
[그 외] pytorch, random 난수고정
def set_seed(random_seed): torch.manual_seed(random_seed) torch.cuda.manual_seed(random_seed) torch.cuda.manual_seed_all(random_seed) # if use multi-GPU torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False np.random.seed(random_seed) random.seed(random_seed) set_seed(42)
2023.06.06 -
[그 외] 허깅페이스에서 repo 내 Files에서 single file 다운 받기
from huggingface_hub import hf_hub_download hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json") hf_hub_download(repo_id="google/fleurs", filename="fleurs.py", repo_type="dataset") https://huggingface.co/docs/huggingface_hub/guides/download Download files from the Hub The huggingface_hub library provides functions to download files from the repositories stored on the Hub. You ca..
2023.05.29 -
[그 외] huggingface mt5 오류
mt5의 경우 precision에서 fp를 쓰게 되면 nan으로 출력됨 이를 해결하기 위해서는 precision을 사용하지 않으면 됨
2023.05.19 -
[이론 정리] 데이터 불균형
데이터의 불균형 데이터의 불균형으로 인해 과적합이 생길 수도 있다. 데이터의 불균형을 해결할 수 있는 방법 1. Under Sampling Under Sampling은 데이터의 균형을 맞출 때 더 많은 개수의 데이터를 줄이는 방식이다. 2. Over Sampling Over Sampling은 데이터의 균형을 맞출 때 더 적은 개수의 데이터를 높이는 방식이다.
2023.05.10 -
[그 외] Huggingface Trainer의 Early Stopping
trainer = Trainer( model=model, # the instantiated 🤗 Transformers model to be trained args=training_args, # training arguments, defined above train_dataset=RE_train_dataset, # training dataset eval_dataset=RE_dev_dataset, # evaluation dataset compute_metrics=compute_metrics, # define metrics function optimizers=optimizer, # define optimizer callbacks=[EarlyStoppingCallback(early_stopping_patienc..
2023.05.08