이전 포스팅까지는 트랜스포머의 셀프 어텐션과 멀티 헤드 어텐션에 대해서 알아봤고, 이번 포스팅에서는 셀프 어텐션의 상세한 동작 과정에 대해서 알아보겠습니다. 셀프 어텐션의 계산 과정 (Self Attention in Detail)셀프 어텐션의 동작 과정을 벡터 계산 과정과 행렬 계산 과정으로 두 번에 걸쳐서 설명하겠습니다. 벡터 계산으로 셀프 어텐션 과정 알아보기 (Self Attention using Vector)셀프 어텐션을 계산하는 첫 단계는 인코더의 입력 벡터들로부터 각 단어에 대한 세 가지 벡터인 Query, Key, Value를 생성하는 것입니다.이는 각 단어의 임베딩을 훈련 과정에서 학습한 세 개의 행렬(WQ, WK, WV)에 곱하여 이루어집니다.예를 들어, x1을 WQ 가중치 행렬로 곱하면..

트랜스포머의 엔티티 중 가장 중요한 셀프 어텐션(Self Attention)과 멀티 헤드 어텐션(Multi-head Attention)에 대해 알아보겠습니다. 이번 포스팅에서는 어텐션, 셀프 어텐션, 멀티 헤드 어텐션에 대해서 대략적으로 설명하고, 셀프 어텐션과 멀티 헤드 어텐션의 동작 과정은 다음 포스팅에서 자세하게 설명하겠습니다. 어텐션 (Attention)어텐션(Attention)은 시퀀스 데이터를 처리하는 데 사용되는 기계 학습 기법입니다. 이 방법은 특히 시퀀스 형태의 데이터, 예를 들어 자연어 문장이나 시계열 데이터와 같은 연속된 정보를 다룰 때 효과적입니다. 어텐션 메커니즘은 시퀀스 내 각 요소(예: 문장 속의 각 단어)의 중요도를 평가하고, 이 중요도에 기반해 각 요소에 가중치를 부여합니다..

이번 포스팅에서는 트랜스포머가 어떤 순서로 훈련과 예측을 수행하는지 알아보겠습니다. 트랜스포머 훈련과 예측 스텝 1트랜스포머 모델이 '어제 카페 갔었어'라는 한글 문장을 영어로 번역하는 과정을 살펴보겠습니다. 이 과정을 통해 트랜스포머의 훈련과 예측이 어떤 과정을 거치는지 이해할 수 있습니다. - 인코더 입력: 한글 소스 시퀀스 전체- 디코더 입력: 인코더의 출력 + 토큰 (시작 스페셜 토큰)- 최종 출력: 영어 번역 출력 I 이 단계에서 인코더는 한글 문장을 처리해 디코더로 전달하고, 디코더는 이 정보와 시작 토큰을 바탕으로 첫 번째 영어 단어 'I'를 예측합니다.좀 더 자세히 설명하면 인코더는 입력 소스 시퀀스를 압축해 디코더로 보내고, 디코더는 인코더에서 보내온 정보와 현재 디코더 입력을 모두 고..