이번 포스팅에서는 BERT의 구조에 대해서 설명하겠습니다. BERT의 구조 개요트랜스포머의 인코더 부분만 사용두 가지 방의 사전학습 방법 이용Masked Language Model (MLM): 문장 중간을 마스킹 처리하고 해당 단어를 맞추는 학습Next Sentence Prediction (NSP): 두 문장이 관계가 있는지 없는지를 학습이를 통해 문장의 앞 뒤 문맥에 따른 예측이 가능입력값은 토큰 임베딩, 문장 세그먼트 임베딩, 포지션 임베딩을 합친 벡터로 최대 길이는 512 BERT 모델의 구조BERT는 트랜스포머의 인코더 부분만을 사용한 언어 모델 입니다. BERT는 주어진 텍스트의 문맥을 양방향으로 이해하는데 특화되어 있습니다.BERT 모델은 크기에 따라 두 가지 주요 버전을 제공합니다. BERT..

이번 포스팅 부터는 구글에서 발표한 언어 모델인 BERT(Bidirectional Encoder Representations from Transformers)에 대해서 알아보겠습니다.BERT란 어떤 언어 모델이고, 어떤 특징을 가지고 있으며, 어떻게 동작하는지 하나 하나 살펴볼 예정입니다. BERT(Bidirectional Encoder Representations from Transformers) 란?2019년도에 Google AI Language가 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019)에서 발표한 논..

이전 포스팅까지 트랜스포머 모델에 대해서 알아보았습니다. 이번 포스팅에서는 트랜스포머 기반 모델인 GPT와 BERT에 대해서 간략하게 알아보겠습니다. GPT와 BERTGPT (Generative Pre-trained Transformer)와 BERT (Bidirectional Encoder Representations from Transformers)는 둘 다 자연어 처리(NLP)에서 널리 사용되는 트랜스포머 기반 모델입니다.GPT는 트랜스포머의 인코더 부분만을 사용한 모델이고, BERT는 트랜스포머의 디코더만을 사용한 모델입니다.GPT와 BERT 각각의 특징에 대해서 알아보겠습니다.   GPT (Generative Pretrained Transformer)GPT는 Gnerative Pretrained ..