딥러닝 자연어 처리 발전과정

고정된 크기의 context vector 사용

1. RNN

 - 시퀀스 데이터 처리에 특화된 신경망

 - 기계 번역, 음성 인식, 챗봇 등에 사용

2. LSTM

 - RNN의 장점을 유지하면서 장기 의존성 문제를 해결

 - 더욱 정확한 시퀀스 모델링 가능

3. Seq2Seq

 

입력 시퀀스 전체에서 전체를 추출

1. Attention

2. Transformer

 - 어텐션 메커니즘을 사용하여 시퀀스 간의 관계를 효율적으로 학습

 - 기계 번역, 텍스트 요약, 질의 응답 등에 사용

3. GPT(transformer 디코더), BERT(tranformer 인코더)