이번 포스팅에서는 머신러닝의 학습 방법 중 비지도 학습 (Unsupervised Lenarning)에 대해서 알아보겠습니다. 비지도 학습이란? (Unsupervised Learning)비지도 학습은 훈련 데이터에 정답 레이블이 없이 모델이 스스로 데이터의 구조와 패턴을 학습하는 방식으로 시스템이 어떤 지도나 감독 없이 스스로 데이터를 분석하고 구조를 발견하는 방법으로 데이터에서 숨겨진 구조를 발견하고 이해하는 데 중점을 두며, 레이블이 없는 데이터로부터 의미있는 정보를 추출합니다.비지도 학습은 레이블이 없어 지도 학습처럼 명확하지 않기 때문에 모델의 성능평가가 어렵습니다. 또한, 사용자가 직접 모델을 해석하고 정답, 규칙을 추론하여 이를 활용해야 하기 때문에 사용자의 주관에 크게 의존할 수도 있는 특징이..

머신러닝의 학습 방법 중 지도학습(Supervised Learning)이 무엇인지 알아보겠습니다. 지도학습(Supervised Learning) 이란?지도학습은 알고리즘에 사용하는 훈련 데이터에 레이블(label)이라는 원하는 답이 포함되어 있는 상태에서 데이터와 정답을 함께 학습하는 방법입니다.지도학습은 모델이 데이터와 레이블 간의 관계를 학습하여, 새로운 데이터에 대한 정확한 예측이나 분류를 수행할 수 있도록 하는 학습 방법 입니다. 위 그림과 같이 개와 고양이로 레이블링 되어 있는 데이터를 주고 이를 학습 시키면, 개 인지 고양이 인지를 예측할 수 있는 지도학습 모델이 됩니다.지도학습은 레이블이 주어진 데이터를 바탕으로 모델을 훈련시키므로, 충분하고 다양한 데이터가 중요합니다. 또한, 모델이 훈련 ..

머신러닝 (Machine Learning)에 대해서 알아보는 포스팅을 시작하려고 합니다.머신러닝의 정의 부터 머신러닝의 알고리즘을 상세하게 다룰 예정입니다. 이번 포스팅에서는 머신러닝이 무엇인지 알아보도록 하겠습니다. 머신러닝의 정의 (Machine Learning)위키피디아를 보면 다음과 같이 머신러닝을 말하고 있습니다. 기계 학습(機械學習) 또는 머신 러닝(machine learning, ML)은 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구이다. 방대한 데이터를 분석해 '미래를 예측하는 기술'이자 인공지능의 한 분야로 간주된다. 기계 학습은 복잡한 패턴에 대한 학습을 통해 상황에 대한 예측과 의사 결정을 돕는다. 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야이다. 가령, 기..

트랜스포머의 마지막 포스팅 입니다. 피드 포워드 신경망, 잔차 연결, 레이어 정규화에 대해서 알아보겠습니다. 피드 포워드 신경망 (Feed Forward Neural Network)트랜스포머 모델 내의 각 인코더와 디코더 레이어는 피드포워드 신경망(FNN)을 포함하고 있습니다. FNN은 인코더와 디코더의 각 레이어에서 입력을 받아 비선형 변환을 수행하는 완전 연결 네트워크입니다. 구체적으로, FNN은 두 개의 선형 변환과 그 사이에 위치하는 활성화 함수(예: ReLU)로 구성됩니다.FNN은 어텐션 레이어의 출력에서 나온 정보를 처리하여, 각 위치의 숨겨진 상태를 독립적으로 업데이트 하여, 각 위치의 정보를 더 풍부하고 복잡한 표현으로 변환해주는 역할 수행합니다.  잔차 연결 (Residual Connec..

멀티 헤드 어텐션의 상세 동자 과정에 대해서 알아보겠습니다. 멀티 헤드 어텐션 (Multi-head Attention)멀티 헤드 어텐션을 간단히 말하면 셀프 어텐션을 여러번 수행하는것 입니다. 마스크드 멀티 헤드 어텐션은 멀티 헤드 어텐션과 동일한 과정을 수행하지만 타겟의 일부를 마스킹 처리하는것이 멀티 헤드 어텐션과 다른 점입니다. 멀티 헤드 어텐션은 수행 순서는 다음과 같습니다.각 헤드는 독립적으로 셀프 어텐션을 수행. 각 헤드는 동일한 입력에 대해 다른 Q,K,V 가중치 행렬을 사용하여 셀프 어텐션 계산모든 헤드의 셀프 어텐션 출력 결과를 이어 붙여 각 헤드의 분석결과 통합도출한 결과에 최종 가중치 W0를 곱하여 최종 출력 만듦결과적으로 결과는 각각의 헤드가 분석한 결과의..

이전 포스팅까지는 트랜스포머의 셀프 어텐션과 멀티 헤드 어텐션에 대해서 알아봤고, 이번 포스팅에서는 셀프 어텐션의 상세한 동작 과정에 대해서 알아보겠습니다. 셀프 어텐션의 계산 과정 (Self Attention in Detail) 셀프 어텐션의 동작 과정을 벡터 계산 과정과 행렬 계산 과정으로 두 번에 걸쳐서 설명하겠습니다. 벡터 계산으로 셀프 어텐션 과정 알아보기 (Self Attention using Vector) 셀프 어텐션을 계산하는 첫 단계는 인코더의 입력 벡터들로부터 각 단어에 대한 세 가지 벡터인 Query, Key, Value를 생성하는 것입니다. 이는 각 단어의 임베딩을 훈련 과정에서 학습한 세 개의 행렬(WQ, WK, WV)에 곱하여 이루어집니다. 예를 들어, x1을 WQ 가중치 행렬로..