[퀴즈] Transformer 결과 구하기, LSTM 모델 파라미터 수 구하기

문제

"I love you"라는 문장이 주어졌을 때, self-Attention을 통과한 후의 token 'I'의 representation을 구하세요.
이때,  key, query, and value of each word : I → [1, 1, 1, 1], love → [2, 2, 2, 2], you → [1, 1, 1, 1] 이고,
e^2 = 8e​2​​=8, d_k = 4d​k​​=4 로 가정합니다.

 

풀이

---

문제

LSTM 모델에 대한 설명이 다음과 같을 때, 모델의 총 파라미터 수를 구하시오 (정수값으로 입력).

 

풀이

RNN의 파라미터 개수를 계산하는 과정은 다음과 같다

 

출처