RNN, LSTM, GRU

<RNN>

Notice: The same function and the same set of parameters are used at every time step

우하하 발로 그렸습니다

 

 

<Types of RNNs>

One to one
- Standard Neural Networks
One to many

- Image Captioning
Many to one
- Sentiment Classification
Sequence to sequence
- Machine Translation
- Video classification on frame level

 

<Character level Language Model>

ex) "hello"

voca : [h,e,l, o] 이를 one-hot 벡터로 나타냄

- 'hell'이 주어졌을 때, 끝에 있는 'll'에서 첫 번째 'l'은 'l'을 예상, 두 번째 'l'은 'o'를 예상하도록 학습해야 함

- 예측값을 다음 입력값으로 활용

- 주식값 예측에 활용 가능

 

-Backpropagation through time (BPTT)

 

-RNN is excellent, but...

Multiplying the same matrix at each time step during backpropagation causes gradient vanishing or exploding

 

<실습>

1. 주어진 데이터를 RNN에 넣을 수 있는 형태로 만듦
2. 기본적인 RNN 사용법 및 적용법
3. PackedSquence의 필요성 및 적용법 실습

 

RNN 모델 및 초기 hidden state를 정의
RNN에 batch data를 넣으면 얻는 output
- hidden_states: 각 time step에 해당하는 hidden state들의 묶음.
- h_n: 모든 sequence를 거치고 나온 마지막 hidden state.
마지막 hidden state를 이용하여 text classification task에 적용

 

- PackedSquence

padding전 원래 길이 기준으로 정렬 - padding 무시 효과

pack_padded_sequence를 이용하여 PackedSquence object 사용

 

<LSTM>

Core Idea: pass cell state information straightly without any transformation

Solving long term dependency problem!

 

 

전 스텝에서 넘어오는 정보

1) Ct-1 : 완전한 정보를 포함하고 있음 

2) ht-1 : cell state를 가공해서 노출할 필요가 있는 필터링된 정보를 포함하고 있음

https://wegonnamakeit.tistory.com/7

[논문리뷰] RNN :: LSTM(Long Short Term Memory) 톺아보기

참고!

 

<GRU>

- LSTM에서 사용하는 ht, ct를 ht라는 한 가지 정보로!

- ft, it 두 개의 독립된 게이트 -> 하나의 게이트만으로 계산. 경량화

 

<실습>

LSTM - cell state 추가

GRU - cell state 없이 RNN과 동일하게 사용