언어 모델이란

참고 : https://tech.kakao.com/2023/06/05/languagemodel-mlm-clm/

언어모델의 원리와 만들기

 

언어모델

• 언어 모델은 주어진 단어들의 시퀀스에 대해 임베딩표현/임베딩벡터를 만들어줌
• 임베딩 표현으로 해결할 수 있는 문제
  • 분류 문제 : 주제찾기, 감정분류, 개체명 인식 등
  • 생성 문제 : 기계번역, 요약 등
• 대표적인 언어 모델 : GPT = Generative Pretrained Transformer
  • ChatGPT, Copilot 등에 사용됨
  • 매우 큰 모델에 수많은 데이터를 학습. GPT-3는 1750억개의 파라미터.
• 거대한 모델에 수많은 데이터를 사전학습 & 각 작업에 맞게 미세조정(fine-tuning) => 챗봇, 문서 자동완성 등의 서비스가 됨
• 사전훈련 모델
  • 장점
    • 다양한 분야의 지식이 포함되어 있어 범용성 높음
    • 목표작업으로 미세조정을 하는데 작은 데이터셋으로도 가능
  • 단점
    • 특정 도메인에 맞게 맞춤화하는게 어려움
    • 모델의 크기가 커서 많은 리소스 필요 (도메인에 맞는 작은 모델이 필요하면 직접 구축해야됨)
• 대표적인 딥러닝 자연어 처리 기술
  • Masked Language Model (MLM)
  • Causal Language Model (CLM)