Transformer 구현2 Transformer를 이용한 번역모델 구축 이전글 1 : Transformer를 이해하고 구현해보자! (1) 이전글 2 : Transformer를 이해하고 구현해보자! (2) 이번 포스팅에서는 이전에 구현한 모델을 이용하여 간단히 한-영 번역기를 만들어 보도록 하겠습니다. 전체 코드를 보고 싶으신 분은 아래 깃허브를 참고해주세요. Github Link : (정리되면 링크 업로드 예정입니다!) 1. Data 데이터는 AI-Hub에서 공개한 '한국어-영어(병렬) 말뭉치' 데이터를 사용하였습니다. 해당 사이트에 회원가입을 진행 한 후, 전체 160만쌍의 데이터를 다운 받을 수도 있지만, 본 포스트에서는 오직 '샘플 데이터' 만 사용하였습니다. 샘플 데이터에 대해 간단히 요약하면 다음과 같습니다. 샘플 데이터는 총 6개의 파일로 구성되어 있으며 각각 다.. 2022. 1. 22. Transformer를 이해하고 구현해보자! (2) 이전글 : Transformer를 이해하고 구현해보자! (1) 다음글 : Transformer를 이용한 번역모델 구축 저번 포스팅에서는 Transformer의 구성요소인 Positional Encoding, Multi-Head Attention, LayerNorm, Feed-Forward에 대해 알아보고 구현해보았습니다. 이번 포스팅에서는 저번 포스팅에 이어 Encoder와 Decoder를 구현한 뒤, 전체 모델인 Transformer를 구현해보겠습니다. 사실 구현에 필요한 핵심적인 부분은 모두 저번 포스트에서 다루었기 때문에 이번 포스트에서는 전에 구현한 클래스들을 이어붙이는 작업이 주를 이룹니다. +) 다음 포스팅에서는 이번에 구현한 Transformer 모델을 이용하여 한-영 번역기 모델도 학습을 .. 2022. 1. 21. 이전 1 다음
