이번 포스팅에서는 트랜스포머의 구조에 대해서 알아보겠습니다. 우선 최상위 구조를 알아보고, 각 구성요소에 대해서 자세히 설명하도록 하겠습니다. 트랜스포머의 구조 트랜스포머는 크게 인코더와 디코더로 구성되어 있습니다. 인코더 (Encoder): 소스 시퀀스의 정보를 압축해 디코더로 보내는 역할 디코더 (Decoder): 인코더가 보내 준 소스 시퀀스 정보를 받아서 타깃 시퀀스를 생성 인코더는 입력 시퀀스(예: 텍스트)를 처리하고, 이 시퀀스의 정보를 컨텍스트로 변환하는 역할을 합니다. 트랜스포머의 인코더는 여러 개의 인코더 레이어 층으로 구성됩니다. 트랜스포머 논문에서는 6개의 인코더 층을 제안했지만, 인코더 층의 개수는 성능에 크게 영향을 주는 요소는 아닙니다. 디코더는 인코더로부터 얻은 정보를 바탕으로..

최근 AI 분야에서 각광을 받는 LLM에 대해서 포스팅을 해보려고 합니다. 이론적인 지식뿐만 아니라 실무적인 코드도 다룰 예정입니다. 첫 시작은 사전 학습 (Transfer Learning)에 대해서 알아보는 것으로 하려고 합니다. 전이학습 (Transfer Learning)이란? 전이학습은 다음과 같이 정의하며, 다음과 같은 특징을 가지고 있습니다. 이미 학습된 모델을 다른 문제에 적용하는 기술 특정 Task를 학습한 모델을 다른 Task 수행에 재사용하는 기법 이미 학습된 모델의 지식을 활용하여 새로운 데이터에 대한 학습을 빠르게 진행할 수 있음 학습 데이터가 부족한 분야에서도 높은 성능을 발휘할 수 있음 사전학습(Pretraining)과 미세조정(Fine-tuning) 전이학습은 사전학습과 미세조정..