EBS 입이 트이는 영어2024.4.12 Daily Topics on "입트영"   Daily Topics on "입트영" 본문After going through various English content over the course of many years, I finally settled on 입트영. I participate in an English study group that starts every day at 5:30 A.M. We read the script for the day and take time to share our responses. I currently live in Shanghai, China, so it's 4:30 A.M. local time when we be..

트랜스포머의 마지막 포스팅 입니다. 피드 포워드 신경망, 잔차 연결, 레이어 정규화에 대해서 알아보겠습니다. 피드 포워드 신경망 (Feed Forward Neural Network)트랜스포머 모델 내의 각 인코더와 디코더 레이어는 피드포워드 신경망(FNN)을 포함하고 있습니다. FNN은 인코더와 디코더의 각 레이어에서 입력을 받아 비선형 변환을 수행하는 완전 연결 네트워크입니다. 구체적으로, FNN은 두 개의 선형 변환과 그 사이에 위치하는 활성화 함수(예: ReLU)로 구성됩니다.FNN은 어텐션 레이어의 출력에서 나온 정보를 처리하여, 각 위치의 숨겨진 상태를 독립적으로 업데이트 하여, 각 위치의 정보를 더 풍부하고 복잡한 표현으로 변환해주는 역할 수행합니다.  잔차 연결 (Re..

EBS 입이 트이는 영어2024.4.11 Neologism    Neologism 본문Many newly coined words have emerged recently that are not immediately understandable. They often require deciphering their meaning, like solving a quiz. Sometimes there is a sense of satisfaction when you correctly guess the meaning of a particular neologism. Generally, neologisms are often created by mixing together English and Korean, or ..

EBS 입이 트이는 영어2024.4.11 The Transformer Algorithm and English Studies    The Transformer Algorithm and English Studies 본문ChatGPT is an AI chatbot based on a pre-trained generative natural language processing system. The technology used here is the Transformer algorithm, developed by Google in 2017. This Transformer algorithm is remarkably similar to the conversational style we humans use. ..

멀티 헤드 어텐션의 상세 동자 과정에 대해서 알아보겠습니다. 멀티 헤드 어텐션 (Multi-head Attention)멀티 헤드 어텐션을 간단히 말하면 셀프 어텐션을 여러번 수행하는것 입니다. 마스크드 멀티 헤드 어텐션은 멀티 헤드 어텐션과 동일한 과정을 수행하지만 타겟의 일부를 마스킹 처리하는것이 멀티 헤드 어텐션과 다른 점입니다. 멀티 헤드 어텐션은 수행 순서는 다음과 같습니다.각 헤드는 독립적으로 셀프 어텐션을 수행. 각 헤드는 동일한 입력에 대해 다른 Q,K,V 가중치 행렬을 사용하여 셀프 어텐션 계산모든 헤드의 셀프 어텐션 출력 결과를 이어 붙여 각 헤드의 분석결과 통합도출한 결과에 최종 가중치 W0를 곱하여 최종 출력 만듦결과적으로 결과는 각각의 헤드가 분석한 결과의..

EBS 입이 트이는 영어 2024.4.9 Increased Utility Fees Increased Utility Fees 본문 It was recently decided that electricity and gas bills were each be increased by about 5 percent. Despite a steady rise in global energy prices, these increases were not reflected in utility fees. This led to increased operating losses for related companies, providing the backdrop for the higher fees. However, the rate hike ..