트랜스포머의 엔티티 중 가장 중요한 셀프 어텐션(Self Attention)과 멀티 헤드 어텐션(Multi-head Attention)에 대해 알아보겠습니다. 이번 포스팅에서는 어텐션, 셀프 어텐션, 멀티 헤드 어텐션에 대해서 대략적으로 설명하고, 셀프 어텐션과 멀티 헤드 어텐션의 동작 과정은 다음 포스팅에서 자세하게 설명하겠습니다. 어텐션 (Attention) 어텐션(Attention)은 시퀀스 데이터를 처리하는 데 사용되는 기계 학습 기법입니다. 이 방법은 특히 시퀀스 형태의 데이터, 예를 들어 자연어 문장이나 시계열 데이터와 같은 연속된 정보를 다룰 때 효과적입니다. 어텐션 메커니즘은 시퀀스 내 각 요소(예: 문장 속의 각 단어)의 중요도를 평가하고, 이 중요도에 기반해 각 요소에 가중치를 부여합니..

EBS 입이 트이는 영어 2024.4.2 April April 본문 If someone were to ask me my favorite month of the year, I would say without hesitation that it's April. First of all, I was born in April. I moved for the first time when I was in grade school and I had to transfer to a new school. That happened in April. In college, I got driver's license in April. And I also started my military service in April. So, April..

이번 포스팅 부터는 트랜스포머의 구성 요소에 대해서 상세하게 알아 볼 예정입니다. 상세 구성 요소의 첫번째는 트랜스포머의 입력과 출력 입니다. 이전 포스팅(https://jkim83.tistory.com/508)에서 트랜스포머의 훈련과 예측 단계를 설명하면서 어떤 입력이 들어오면 어떤 출력이 나오는지 살펴보았습니다. 이번 포스팅은 입력값으로 어떤 형식의 값이 들어오며, 출력은 어떤 형태로 되는지 좀 더 상세하게 알아보겠습니다. 트랜스포머의 입력과 출력 (Transformer Input and Output) 트랜스포머의 입력은 인풋 임베딩(Input Embedding)과 포지셔널 인코딩(Positional Encoding)으로 구성되어 있으며, 해당 과정을 거쳐 인코더의 입력으로 들어갑니다. 인풋 임베딩 ..

목디스크 때문에 항상 목과 어깨가 뻐근하여 구매한 풀리오 목 어깨 마사지기 입니다. 이렇게 어깨에 올려놓고 사용하는 무선 안마기입니다. 풀리오 목 어깨 마사지기는 45mm의 큰 마시지볼로 큼직한 손으로 주무르는 듯한 묵직한 마시지감을 선보이는 마사지기 입니다. 온열모드도 있어서 마사지를 받으면서 온열찜질까지 해서 일석이조의 마사지 효과를 누릴 수 있습니다. 풀리오 목 어깨 마사지기의 마사지볼이 커서 그런지 하고 나면 굉장히 시원합니다. 특히 차별화 된 '경락모드'는 뭉친곳에서 잠시 멈춰주는 주무름을 구현해주어서 정말 더 시원합니다. 풀리오 목 어깨 마시지기는 2500mAh 배터리 용량으로 한번 충전 후 최대 200분까지 오래 사용 가능해서 장소에 구애받지 않고 사용할 수 있어서 특히 TV 보면서 사용하기..

EBS 입이 트이는 영어 2024.4.1 Women Champers Women Champers 본문 I have gone camping with just the kids since they were young. My husband used to join us on our camping trips at first but now he sits them out. So I have come up with ways to go camping alone with the kids. First, I prefer campgrounds that are smaller in scale. This ensures that distances to facilities like sinks and restrooms are short. I..

EBS 입이 트이는 영어 2024년 3월 내용 모음 [입트영] English Diary - 2024.3.1 [입트영] Hobby Influencer - 2024.3.4 [입트영] Our Family's English Recitation - 2024.3.5 [입트영] Driving, Finally - 2024.3.6 [입트영] What's in my bag? - 2024.3.7 [입트영] Online Comments - 2024.3.8 [입트영] Air Conditioners - 2024.3.11 [입트영] The important of Self-esteem - 2024.3.12 [입트영] Earthquake - 2024.3.13 [입트영] Chinese Characters - 2024.3.14 [입트영]..