pytorch2 [Pytorch] RuntimeError: Error(s) in loading state_dict for RobertaForSequenceClassification 1. 에러 발생 상황 학습된 모델을 저장하고 다시 불러오는(model.load_state_dict()) 상황에서 발생하였다.. 에러 메시지는 다음과 같다. 2. 해결 방법 찾아보니 버전차이가 원인이였다. fine-tuning을 진행한 pytorch의 버전은 2.2버전이고, inference하기 위해 불러온 환경에서의 pytorch 버전은 1.7 버전이였다. 아마 버전차이로 인해 에러가 발생하는것 같다. 해결방법은 의외로 간단하다. load_state_dict의 인자 중 strict를 False로 주면 바로 해결된다.(load할 수 있는 key값만 불러오는 방식인듯) model.load_state_dict(torch.load("./model/saved_model.pt"),strict = False) 위와 .. 2024. 4. 9. Transformer를 이해하고 구현해보자! (1) 다음 글 : Transformer를 이해하고 구현해보자! (2)이번 포스트에서는 Transformer의 시초(?)인 'Attention is all you need' 라는 논문에서 나온 모델에 대해 나름대로 이해한 내용을 정리하며 그 내용을 토대로 Pytorch로 구현해보고자 합니다.Transformer는 크게 Encoder(왼쪽) 와 Decoder(오른쪽) 으로 구성되어 있습니다. 이번 포스트에서는 Encoder와 Decoder에서 모두 사용하는 Positional Encoding, Multi-Head Attention, Add&Norm 그리고 Feed-Forward에 대해 설명하며, 다음 포스트에서는 본격적으로 Encoder layer와 Decoder Layer를 정의하고 학습까지 진행해보도록 하곘습.. 2021. 10. 25. 이전 1 다음
