GPU 메모리 확보하기

모델을 돌릴 때 OutofMemory error가 발생하는 경우가 있다.

 

보통은 이런 경우에는

 

- 커널을 재시작하기(나도 모르게 모델이 여러개 올라가 있는 경우가 있다)

- 사용하지 않는 변수를 제거하기

- Batch size를 줄여서 학습해보기

- 모델 자체의 네트워크 사이즈를 줄여보기

- inference 단계에서는 자동미분(torch.no_grad()) 사용하기

 

를 하는 경우가 일반적이지만, torch에서 캐쉬를 지워주는 함수도 사용해 볼 수 있다.

 

사용 방법은 torch.cuda.empty_cache()를 실행시켜 주면 된다.

 

torch.cuda.empty_cache