Generalization gap: Test error와 Training error 사이의 차이. 이 gap이 크면 좋지 않다. Overfitting: 학습 데이터는 충분하여 학습은 잘됐는데 예측을 못하는 경우. 즉 학습데이터에만 over해서 맞도록 fitting된 경우 Underfitting: 학습 데이터도 충분하지 않아 예측을 못하는 경우 Bias and Variance Bias: 평균적으로 봤을 때 얼마나 target에 정확하게 접근하는지 Variance: 비슷한 입력을 넣었을 때 출력이 얼마나 일관적인지 bias and variance trade-off: bias와 variance를 둘 다 줄이는 것은 불가능하다. Bootstrapping vs Boosting Bootstrapping: 같은 학습..

1. 데이터 2. 모델 3. 손실함수 4. 최적화기법 데이터 여기서 가장 중요한 것은 데이터이다. 현재 모델의 성능을 향상시키기 위한 연구는 충분히 진행되었다. 따라서 양질의 데이터를 얼마나 많이 확보하느냐가 중요하다. 모델 모델은 인풋을 원하는 아웃풋으로 바꾸어주는 시스템으로 아래와 같은 것들이 있다. Alexnet, DQN, Encoder/Decoder, Adam optimizer, GAN, ResNet, Transformer, Bert, Big language Model, Self-Supervised learning 내가 하고자 하는 것이 무엇인지에 따라 사용해야할 모델도 달라진다. 예를 들어, Alexnet은 이미지 분류 문제에서 GAN(Generative Adversarial Network)의 ..

torchvision.datasets.ImageFolder root/ ├── class1/ │ ├── img1.jpg │ ├── img2.jpg │ ├── ... ├── class2/ │ ├── img3.jpg │ ├── img4.jpg │ ├── ... ├── ... import torchvision.datasets as datasets # 이미지 데이터셋 경로 설정 data_path = 'root/' # ImageFolder 클래스를 사용하여 데이터셋 생성 dataset = datasets.ImageFolder(data_path, transform=transforms.ToTensor()) (source: https://openai.com) class별로 폴더를 나누고 하위 디렉토리에 img 파일들을 ..

Pageable memory는 하드디스크와 램(RAM)간 메모리 내용 전달이 가능하다. 그러나 Non-pageable memory는 이게 불가능하다.

PyTorch란 개발자가 파이썬을 활용하여 딥러닝 모델을 만들고 학습시킬 수 있는 오픈 소스 머신 러닝 프레임워크이다. PyTorch는 디버깅과 효율적인 모델 생성을 쉽게 해주는 동적 계산 그래프(dynamic computational graph)를 제공한다. 또한 데이터 로딩, 전처리, 시각화와 같은 광범위한 도구와 라이브러리를 제공한다. 특히, 컴퓨터 비전, NLP, 강화학습에 적합하다. (source: https://openai.com) 구글에서 개발한 TensorFlow 또한 이와 같은 머신 러닝 프레임워크이다. 두 시스템의 차이는 그래프를 그리는 방식에 있다. PyTorch는 dynamic comuputational graph로 런타임 때 그래프가 생성되기 때문에 학습 중간중간 그래프를 수정할 ..