LLM 알고리즘의 시초 트랜스포머(Transformer)에 대해서 알아보곘습니다.트랜스포머의 개요 부터 시작해서 트랜스포머의 주요 엔티티 및 알고리즘까지 포스팅이 이어지겠습니다. 트랜스포머2017년 Google Research에서 발표한 자연어 처리 모델"Attention is All You Need"라는 논문에서 처음 제안논문 제목처럼 Attention 매커니즘을 이용주로 언어 번역, 문장 생성, 요약 등의 작업에 사용 트랜스포머의 장점병렬 처리 가능: RNN과 달리 트랜스포머는 시퀀스 내 모든 요소를 동시에 처리할 수 있어, 효율적이고 빠른 학습이 가능장거리 의존성 학습: 문장 내 멀리 떨어진 요소들 간의 관계도 잘 파악확장성: 큰 모델과 데이터에도 잘 확장되어, 더 정확한 결과를 낼 수 있음 트랜스..

데이터 프레임의 각종 정보를 확인하는 방법을 알아보겠습니다. 데이터 프레임은 생성 방법은 이전 포스팅을 참고하시면 됩니다. [Pandas] 데이터 프레임 생성하기 판단스로 데이터 프레임을 만드는 방법에 대해서 알아보겠습니다. 데이터 직접 입력해서 데이터 프레임 생성하기 데이터 프레임을 생성 할 때 데이터를 직접 입력해서 만드는 방법입니다. import jkim83.tistory.com 데이터 프레임 정보 보기 컬럼명, 컬럼 데이터 타입 등 데이터 프레임의 정보는 info() 함수를 이용해서 볼 수 있습니다. import pandas as pd df.info() 데이터 프레임 컬럼명 보기 데이터 프레임 컬럼명은 columns 속성을 통해서 알 수 있습니다. colums는 Index 타입으로 리스트 타입으로..

판단스로 데이터 프레임을 만드는 방법에 대해서 알아보겠습니다. 데이터 직접 입력해서 데이터 프레임 생성하기 데이터 프레임을 생성 할 때 데이터를 직접 입력해서 만드는 방법입니다. import pandas as pd df=pd.DataFrame( {'id':[1,2,3,4,5,6,7,8], 'fruit':['apple','apple','mango','orange','strawberry','orange','mango','pear'], 'count':[10,3,2,4,5,9,20,1], 'weight':[3.1,5.92,0.4,5.0,5.1129,3.442,2.1,9.999] }) DataFrame 선언할 때 값을 직접 입력해서 만드는 방법입니다. 딕셔너리 형태로 입력하고 딕셔너리의 키가 id, fruit, ..

WSL 터미널 접속을 도와주는 SSH 터미널 클라이언트 MobaXterm을 설치하고, WSL 세션을 설정하는 방법을 알아보겠습니다. MobaXterm 다운로드 및 설치 MobaXterm 홈페이지에 방문해서 다운로드 페이지로 들어갑니다. MobaXterm free Xserver and tabbed SSH client for Windows The ultimate toolbox for remote computing - includes X server, enhanced SSH client and much more! mobaxterm.mobatek.net Home Edition으로도 충분히 사용할 수 있으니 무료인 홈에디션을 다운로드 합니다. 다운로드 받은 파일을 설치한 후 MobaXterm을 실행합니다. WSL..

Windows10/11에서 docker를 설치하는 방법을 알아보겠습니다. 도커 설치 파일 다운로드 우선 도커 홈페이지에 접속해서 윈도우용 도서 설치 파일을 다운로드 합니다. Docker: Accelerated Container Application Development Docker is a platform designed to help developers build, share, and run container applications. We handle the tedious setup, so you can focus on the code. www.docker.com 홈페이지 접속해서 Get Started를 눌러서 다운로드 페이지로 들어갑니다. 다운로드 페이지에서 자신의 윈도우에 맞는 설치 파일을 다운로드..

최근 AI 분야에서 각광을 받는 LLM에 대해서 포스팅을 해보려고 합니다. 이론적인 지식뿐만 아니라 실무적인 코드도 다룰 예정입니다. 첫 시작은 사전 학습 (Transfer Learning)에 대해서 알아보는 것으로 하려고 합니다. 전이학습 (Transfer Learning)이란? 전이학습은 다음과 같이 정의하며, 다음과 같은 특징을 가지고 있습니다. 이미 학습된 모델을 다른 문제에 적용하는 기술 특정 Task를 학습한 모델을 다른 Task 수행에 재사용하는 기법 이미 학습된 모델의 지식을 활용하여 새로운 데이터에 대한 학습을 빠르게 진행할 수 있음 학습 데이터가 부족한 분야에서도 높은 성능을 발휘할 수 있음 사전학습(Pretraining)과 미세조정(Fine-tuning) 전이학습은 사전학습과 미세조정..