최근 핫한 chatgpt, Bert의 모든 것은 이 transformer에서부터 시작된 것이다. gpt계열을 transformer의 decoder부분을 Bert부분은 encoder부분만 사용하여 적합한 task를 해결하는데 사용한다. 보통 gpt계열은 decoder의 특성으로 generative model로 사용되고 bert는 보통 summarization이나 classification model로 활용된다. 이 transformer는 nlp분야에서 한 차원의 변화를 준 모델로 그 전에 있었던 RNN기반의 모델들의 단점을 보완하였다. https://arxiv.org/pdf/1706.03762.pdf Transformer : Attention is all you need Abstract 여기서 The do..
