Computing

Transformer 정리 두 번째 순서로 Transformer 개념을 처음 제안한 논문 [1]을 바탕으로 Transformer 개념에 대하여 정리하고자 한다. Machine translation task에서 RNN 개념을 완전히 제거하고 오로지 attention mechanism(=fully connected layer 개념)만을 사용해서 더 향상된 결과를 보여줄 수 있다는 것을 보이는 논문이다. Fully connected layer의 가능성(all-to-all 분석 가능 & 매우 쉬운 병렬화)을 위주로 분석하고자 한다. 이전글 2022.05.18 - [Deep Learning/개념] - Transformer 정리 (1) : Attention (Neural machine translation by j..

Transformer 정리 첫 번째 순서로 attention mechanism에 대하여 정리하고자 한다. 논문 [1]은 neural machine translation (NMT) 분야에 처음 attention 개념을 제안한 논문으로, 기존 NMT 분야에 사용되던 encoder - decoder 구조의 문제점 지적 및 그것을 해결하기 위한 추가적인 attention layer를 소개한다. 기존 Encoder - Decoder 구조의 문제 Fig 1. 은 NMT 문제를 해결하기 위해 가장 기본으로 사용되는 encoder - decoder (or seq2seq) 네트워크 구조를 나타낸 것이다. 위 예제는 독일어를 영어로 번역하는 예제이다. Encoder는 번역하고자 하는 문장 하나를 하나의 fixed leng..