[트랜스포머] Vanilla Transformer 관련

교재 : 구글 BERT의 정석 

 

Part 1.

 

Q. 셀프 어텐션의 전체 단계를 설명하라.

 

Q. Sclaed Dot Product Attention을 정의하라.

 

Q. Query, Key, Value 행렬은 어떻게 생성하는가?

 

Q. Positional Encoding이 필요한 이유는 무엇인가?

 

Q. Decoder의 sub-layer는 무엇이 있는가?

 

Q. Decoder의 Encoder-Decoder Attention layer의 입력은 무엇인가?

 

===========================

다른 질문,

Q. LSTM 과 Transformer의 차이는?

 

 

 

 

 

 

 

 

 

 

 

 

====================================================

출처 : https://donologue.tistory.com/406