이번 포스팅에서는 트랜스포머의 구조에 대해서 알아보겠습니다. 우선 최상위 구조를 알아보고, 각 구성요소에 대해서 자세히 설명하도록 하겠습니다. 트랜스포머의 구조 트랜스포머는 크게 인코더와 디코더로 구성되어 있습니다. 인코더 (Encoder): 소스 시퀀스의 정보를 압축해 디코더로 보내는 역할 디코더 (Decoder): 인코더가 보내 준 소스 시퀀스 정보를 받아서 타깃 시퀀스를 생성 인코더는 입력 시퀀스(예: 텍스트)를 처리하고, 이 시퀀스의 정보를 컨텍스트로 변환하는 역할을 합니다. 트랜스포머의 인코더는 여러 개의 인코더 레이어 층으로 구성됩니다. 트랜스포머 논문에서는 6개의 인코더 층을 제안했지만, 인코더 층의 개수는 성능에 크게 영향을 주는 요소는 아닙니다. 디코더는 인코더로부터 얻은 정보를 바탕으로..

윈도우11 작업표시줄 우측 하단에 시계에 초 표시하는 방법을 알아보겠습니다. [설정 > 작업 표시줄]로 들어갑니다. 작업 표시줄 동작에서 시스템 트레이 클록에 초 표시(더 많은 전원 사용) 항목을 활성화하면 됩니다. 설정하면 작업표시줄 시계에 초가 활성화 됩니다. 이상 윈도우11에서 작업표시줄 시계에 초를 표시하는 방법을 알아보았습니다.

윈도우10의 작업표시줄 우측 하단에 시계에 초를 표시하도록 설정을 변경하는 방법을 알아보겠습니다. 1. 레지스트리 편집기 왼쪽 아래 검색창에서 검색 OR win + R -> regedit 실행 2. HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer\Advanced 경로를 찾기 3. advanced에서 우클릭하여 새로 만들기 -> DWORD(32비트) 값(D) 클릭 4. ShowSecondsinSystemClock 으로 이름 변경 5. ShowSecondsinSystemClock을 더블클릭하여 값 편집 값을 0->1로 변경 이렇게 변경하면 시계가 시:분:초로 표시됩니다.

파이썬에서 print 시 b'aaa' 로 출력 되는 경우 b''를 없애는 방법을 알아보겠습니다. 파이썬에서 변수 출력 시 b'aaa' 라고 출력되는 경우는 해당 변수가 string이 아닌 byte형이기 때문입니다. 해당 변수를 utf-8로 인코딩하면 byte 형태를 string으로 변환 할 수 있습니다. print (out.decode('utf-8')) 이상 파이썬에서 byte 형태인 b''로 출력되는 경우 해당 b''를 없애는 방법을 알아보았습니다.

Windows Docker로 Tensorflow GPU 버전 설치하는 방법을 알아보겠습니다. 윈도우의 Docker Desktop에서 설치하는 방법과 WSL의 우분투에서 설치하는 방법으로 설명합니다. Docker Desktop으로 Tensorflow GPU 설치하기 Tensorflow Docker Image Pull 하기 윈도우 Docker Desktop을 실행하고, 왼쪽 메뉴에서 Image를 눌러서 들어 갑니다. 그 후 상단의 검색바를 선택해서 검색을 수행합니다. tensorflow 검색어로 검색하면 tensorflow 도커 이미지를 볼 수 있습니다. tensorflow/tensorflow로 이름이 되어 있는 이미지가 텐서플로에서 정식으로 제공하는 이미지이므로 해당 이미지를 받도록 하겠습니다. GPU 버..

LLM 알고리즘의 시초 트랜스포머(Transformer)에 대해서 알아보곘습니다. 트랜스포머의 개요 부터 시작해서 트랜스포머의 주요 엔티티 및 알고리즘까지 포스팅이 이어지겠습니다. 트랜스포머 2017년 Google Research에서 발표한 자연어 처리 모델 "Attention is All You Need"라는 논문에서 처음 제안 논문 제목처럼 Attention 매커니즘을 이용 주로 언어 번역, 문장 생성, 요약 등의 작업에 사용 트랜스포머의 장점 병렬 처리 가능: RNN과 달리 트랜스포머는 시퀀스 내 모든 요소를 동시에 처리할 수 있어, 효율적이고 빠른 학습이 가능 장거리 의존성 학습: 문장 내 멀리 떨어진 요소들 간의 관계도 잘 파악 확장성: 큰 모델과 데이터에도 잘 확장되어, 더 정확한 결과를 낼 ..