[AI 특강 요약]

[2023 AI연구원 겨울 콜로키움]

딥러닝 언어모델과 확률적 앵무새 (송상헌 / 고려대 언어학과 교수)

  • url: https://www.youtube.com/watch?v=P5xb2qyiQRw

  • 최근 딥러닝 언어모델: 빈도에 기반하는 기존 코퍼스 언어학과 차이. 적은 빈도의 ‘증폭’과정을 거쳐서 처리 → 성능 크게 개선
  • 하지만 여전히, 확률적 앵무새(Stochastic Parrots): 인공지능 언어모델은 자연 언어에 대한 실질적인 이해를 하고 있는 것이 아니라 단순히 확률에 기반하여 단어의 조합을 결과값으로 반환한다는 점에서 확률적 앵무새로 볼 수 있음
    • 소통 가능성(Communicability)의 문제
      • 학습데이터의 문제: 오래된 데이터(데이터 자체의 한계에 의존), 자극의 빈곤 문제
      • 모라베크의 역설
      • 아스퍼거 증후군: 행간의 의미 파악 어려움
      • 맥락 지식: 항진 명제 (예) “역시 손흥민은 손흥민이다”
    • 패턴인식: 사람 vs. 컴퓨터의 차이
  • 문면(surface form)
    • benchmark: 여러 가지 방법으로 측정하여 누구라도 인정할 수 있도록 표준화하는 과정
      • GLUE / SuperGLUE
        • Syntax(통사론): 수용성
        • Semantics(의미론): 문장간 의미적 유사도
        • Pragmatics(의미화용론): 추론 능력
      • 현황: 18개월 만에 평정자의 수행 점수를 넘어섬
  • 최근의 흐름
    • 문면 이상의 것: 수학 풀이 등
    • 상식: 학습 데이터에 명시적으로 포함되어 있지 않은 내용
      • 세계 지식의 패턴화, 상식과 윤리, 가추 추론 → 인간의 사고 패턴을 모방할 수 있도록.
  • 언어모델의 성능 개선
    • 인공주석물 주의: 찍기 신공, 주석자의 특성 반영
    • 적대적 사례(adversarial examples): 평가 데이터를 어렵게 만들기
    • 한국어 특성화 모델
    • 도메인 부합 모델