1. 생성형 AI와 LLM 소개 [0]

thumbnail 생성형 AI와 대규모 언어 모델(LLM)은 AI 기술의 정점을 보여주며, 과거에는 불가능하다고 여겨졌던 영역을 개척하고 있다.

1.1. 생성형 AI와 LLM의 등장 배경 [9]

  1. 생성형 AI의 부상 [10]
    • 최근 몇 년간 생성형 AI에 대한 관심이 폭발적으로 증가했지만, 그 기원은 1950-60년대까지 거슬러 올라간다.
  2. 초기 AI의 한계와 발전 [12]
    • 초기 AI는 전문가가 관리하는 지식 기반에 의존하는 챗봇 형태였으나, 확장성에 한계가 있었다. [12]
    • 1990년대 통계적 접근 방식이 도입되면서 머신러닝 알고리즘이 탄생했고, 이는 데이터에서 패턴을 학습하여 인간의 언어 이해를 모방하는 데 기여했다. [14]
    • 하드웨어 기술의 발전으로 신경망과 같은 고급 머신러닝 알고리즘이 개발되었고, 이는 단어의 맥락을 이해하는 자연어 처리(NLP) 능력을 크게 향상시켰다. [16]
    • 이러한 발전은 21세기 초 가상 비서의 탄생으로 이어졌으며, 이들은 인간의 언어를 해석하고 요구사항을 파악하여 작업을 수행했다. [18]
  3. 트랜스포머 아키텍처의 혁신 [20]
    • 딥러닝의 하위 분야인 생성형 AI는 트랜스포머(Transformer)라는 새로운 모델 아키텍처의 등장으로 혁신을 맞이했다. [20]
    • 트랜스포머는 어텐션 메커니즘을 기반으로 긴 텍스트 시퀀스를 처리하고, 입력 텍스트의 순서에 상관없이 가장 관련성 높은 정보에 집중할 수 있다. [21]
    • 현재의 생성형 AI 모델, 즉 LLM은 트랜스포머 아키텍처를 기반으로 하며, 이는 GPT의 'T'가 트랜스포머를 의미하는 이유이다. [22]
    • 방대한 양의 데이터(책, 기사, 웹사이트 등)로 학습된 LLM은 문법적으로 정확하고 창의적인 텍스트를 생성하는 능력을 갖추고 있다. [23]

1.2. LLM의 작동 방식: 토큰화와 예측 [26]

  1. 토큰화(Tokenization)의 중요성 [27]
    • LLM은 텍스트를 입력받아 텍스트를 출력하지만, 실제로는 숫자를 더 효율적으로 처리한다. [28]
    • 토큰화는 텍스트를 토큰이라는 작은 단위로 분할하는 과정이며, 이는 모델이 다음 토큰을 예측하는 데 도움을 준다. [30]
    • 모델은 최대 토큰 길이라는 제한이 있으며, 모델 가격은 입력 및 출력 토큰 수에 따라 계산된다. [31]
    • 토큰은 가변 길이의 텍스트 조각으로, 토크나이저의 주요 역할은 입력 텍스트를 토큰 배열로 분해하는 것이다. [34]
    • 이렇게 분해된 토큰은 토큰 인덱스라는 정수 형태로 변환되어 모델이 더 쉽게 처리하고 이해할 수 있게 한다. [35]
  2. 다음 토큰 예측 및 반복 [37]
    • LLM은 주어진 입력 토큰 시퀀스를 바탕으로 다음 출력 토큰을 예측한다. [37]
    • 예측된 토큰은 다음 반복의 입력으로 포함되어 지수적 창(exponential window) 패턴을 생성한다. [41]
    • 이 패턴을 통해 모델은 더 일관성 있고 맥락에 맞는 응답을 생성하며, 이는 하나 또는 여러 문장으로 확장될 수 있다. [42]
  3. 확률 기반 예측과 무작위성 도입 [43]
    • 모델은 현재 텍스트 시퀀스 다음에 나타날 확률이 가장 높은 토큰을 선택한다. [44]
    • 하지만 모델은 항상 가장 확률 높은 토큰을 선택하는 것은 아니다. [46]
    • 창의적인 사고를 모방하기 위해 예측 과정에 무작위성이 도입된다. [47]
    • 이 무작위성 덕분에 동일한 입력에 대해 매번 다른, 창의적이고 매력적인 결과물을 생성할 수 있다. [48]

1.3. LLM의 주요 기능: 프롬프트와 완료 [50]

  1. 프롬프트와 완료의 개념 [50]
    • LLM의 주요 기능은 텍스트 입력을 기반으로 텍스트를 처음부터 생성하는 것이다. [50]
    • 텍스트 입력은 프롬프트(prompt)라고 하며, 모델이 다음 토큰을 생성하여 현재 입력을 완성하는 과정을 완료(completion)라고 한다. [51]
  2. 다양한 프롬프트 유형 [52]
    • 지시사항 포함 프롬프트: 특정 유형의 출력을 요청할 수 있다. 예를 들어, 고등학생을 위한 루이 14세와 그의 궁정에 대한 과제를 네 개의 개방형 질문과 함께 작성하도록 요청할 수 있다. [53]
    • 대화형 질문 프롬프트: 에이전트에게 질문하는 형식으로, 루이 14세가 누구이며 왜 중요한 역사적 인물인지 묻는 질문에 대한 답변을 얻을 수 있다. [56]
    • 텍스트 완성 프롬프트: 텍스트의 시작 부분(incipit)을 제공하여 전체 문단을 완성하도록 요청할 수 있다. 이는 글쓰기 지원을 암묵적으로 요청하는 것이다. [59]
    • 이러한 예시들은 LLM의 잠재력을 보여주며, 특히 교육 분야에서 활용될 수 있다. [61]

2. 다음 단계 학습 내용 [62]

  1. 향후 학습 내용 소개 [62]
    • 다음 강의에서는 다양한 생성형 AI 모델 유형을 탐구할 것이다. [65]
    • 또한, 모델 성능을 테스트, 반복, 개선하는 방법과 특정 사용 사례에 가장 적합한 모델을 비교하는 방법을 다룰 것이다. [65]