text classification2 HuggingFace를 활용하여 Text Classification task 수행하기 0. IntroductionHuggingFace는 빠르고 쉽게 데이터셋을 다운로드하고 모델을 만들 수 있게 도와줍니다. 또한 다양한 사람들이 사전학습한 모델을 다운로드 받아서 직접 실험해 볼 수 있습니다. 이번 포스트에서는 HuggingFace를 이용하여 가장 기본이라고도 볼 수 있는 Text Classification task를 수행해보고자 합니다.1. Data데이터는 HuggingFace에서 제공하는 'emotion dataset'을 사용합니다. emotion dataset은 train, validation, test dataset으로 구성되어 있으며, 각각의 데이터셋은 'text'와 'label'로 구성되어 있습니다. 이 데이터에서 예시를 하나 출력해보면 다음과 같이 text와 label이 dict.. 2024. 10. 10. [Pytorch] CNN을 이용한 문장 분류 모델 구현하기 이전 포스트에 설명한 CNN을 기반으로, 이번엔 직접 데이터 전처리부터 시작해서 CNN을 이용한 문장 분류까지의 이야기를 해보려고 합니다! 데이터는 한글 데이터 중 널리 알려진 "네이버 영화 리뷰"를 사용합니다! 우선 제가 구현한 컴퓨터의 라이브러리 버전들은 다음과 같습니다. OS : Linux Ubuntu 20.04 LTS python = 3.8.5 pytorch = 1.8.0 torchtext = 0.9.0 #Step 1. 데이터 다운받기 '네이버 영화 리뷰' 데이터는 https://github.com/e9t/nsmc/ 에서 다운받을 수 있습니다! 다운 받으시면 모델 훈련에 사용할 'ratings_train.txt' 파일과 모델 테스트에 사용할 'ratings_test.txt' 를 보실 수 있습니다... 2021. 8. 12. 이전 1 다음
