THE B.L.O.G.

4. 트랜스포머 훈련과 예측 단계 (Transformer Learning and Inference Step)

6. 어텐션, 셀프 어텐션, 멀티 헤드 어텐션 개요 (Transformer Attention, Self Attention, Multi-head Attention)

7. 셀프 어텐션 상세 동작 과정 (Transformer Self Attention Detailed Process)

8. 멀티 헤드 어텐션 상세 동작 과정 (Transformer Multi-head Attention Detailed Process)

9. 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

BERT

https://www.ilovepdf.com/ko/merge_pdf

2. BERT 구조

[Pandas] 데이터 프레임 컬럼 삭제, 추가하기

KJJ88 — Mon, 24 Jun 2024 16:11:17 +0900

데이터 프레임의 컬럼을 삭제하고, 추가하는 방법을 알아보겠습니다.

다음의 데이터 프레임에서 컬럼을 삭제하고, 추가해 볼 예정입니다.

데이터 프레임의 컬럼 삭제하기

drop 함수를 이용하면 컬럼을 삭제할 수 있습니다.

df.drop('col1', axis=1)

컬럼 col1이 삭제된 것을 볼 수 있습니다.

이렇게 한 후 df 데이터 프레임을 조회해보면, 실제 df 데이터 프레임에서는 컬럼이 삭제되지는 않음을 확인할 수 있습니다.

drop 한 후 다시 해당 데이터 프레임이 할당 해야 컬럼이 삭제됩니다.

df = df.drop(['col1','col2'],axis=1)
df

drop 후 df에 할 당하면 col1, col2이 데이터프레임 df에서 삭제되었음을 확인 할 수 있습니다.

데이터 프레임 컬럼 추가하기

데이터 프레임에 컬럼을 추가하기 위해서는 데이터프레임명['컬럼명']에 컬럼값을 할당 하면 됩니다.

df['col1'] = [1,2,3]

위에서 삭제해서 col3만 남아있는 데이터 프레임이 다시 col1이 추가되었음을 볼 수 있습니다.

지금까지 데이터 프레임의 컬럼을 삭제하고 추가하는 방법을 알아보았습니다.

[Pandas] 데이터 프레임 컬럼값 확인하기

KJJ88 — Fri, 21 Jun 2024 14:25:13 +0900

데이터프레임의 컬럼값을 확인하는 방법을 알아보겠습니다.

데이터 프레임 특정 컬럼값 확인하기

데이터 프레임 특정 컬럼의 값을 확인하기 위해서는 해당 컬럼에 접근하면 됩니다.

df['A']
df.A

위의 방법을 사용하거나 아래의 방법처럼 컬럼명으로 컬럼의 값을 가져올 수 있습니다. 가져오는 컬럼의 값을 시리즈형으로 리턴 합니다.

주의할 사항은 점(.)을 이용하여 접근하는 경우 컬럼명이 파이썬의 명령어와 동일하면 동작하지 않을 수 있기 때문에 위의 방법을 사용해야 합니다.

데이터 프레임의 모든 컬럼의 값 확인하기

데이터 프레임의 모든 컬럼값을 확인하기 위해서는 데이터 프레임을 그대로 출력하면 됩니다.

df

이상 데이터프레임에서 컬럼의 내용을 확인하는 방법을 알아보았습니다.

[Pandas] 데이터 프레임 컬럼명 확인하는 방법

KJJ88 — Thu, 20 Jun 2024 19:48:46 +0900

데이터프레임의 컬럼명 확인하는 방법과 컬럼명을 변경하는 방법을 알아보겠습니다.

데이터 프레임 컬럼명 확인하기

우선은 예제로 사용할 데이터 프레임을 생성해보겠습니다.

import pandas as pd

df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6],
    'C': [7, 8, 9]
})

생성한 데이터 프레임의 컬럼을 가져오기 위해서는 데이터프레임 이름에 columns로 접근 합니다.

print(df.columns)

columns를 사용하면 Index로 컬럼값을 가져옵니다. 이를 리스트 형태로 바꾸기 위해서는 to_list() 함수를 이용합니다.

column_names = df.columns.tolist()
print(column_names)

컬럼명 변경하기

전체 컬럼명 변경하기

 df.columns=['col1', 'col2','col3']
 print(df.columns)

변경 할 컬럼명을 리스트에 넣고 columns에 할당하면 전체 컬럼명을 변경할 수 있습니다. 이 때 데이터 프레임의 컬럼수와 리스트 항목수가 일치해야만 컬럼명이 정상적으로 변경됩니다.

일부 컬럼명 변경하기

일부 컬럼명을 변경할 떄는 rename() 함수를 이용합니다.

df.rename(columns={'A': 'X'}, inplace=True)
print(df)

A 컬럼의 이름이 X로 변경되었습니다.

이상 데이터프레임의 컬럼명을 확인하는 방법과 변경하는 방법을 알아보았습니다.

[Notion] 노션 페이지 PDF로 내보내는 방법

KJJ88 — Tue, 18 Jun 2024 15:47:36 +0900

노션 페이지를 PDF 파일로 export 하는 방법을 알아보겠습니다.

노션 페이지 PDF로 내보내는 방법

PDF로 저장하고 싶은 페이지로 이동한 후 노션 페이지 우측 상단에 삼점 아이콘을 눌러서 내보내기 (export)를 클릭합니다.

내보내기 창이 뜨면 내보내기 형식을 PDF로 선택한 후 내보내기를 누르면 PDF 파일로 저장됩니다.

글자 크기가 큰 것 같으면 크기 비율을 줄여서 저장합니다.

HTML로 내보낸 후 PDF로 변환하기

내보내기 형식을 PDF로 해서 저장하면 하단에 페이지 이름과 페이지수가 표시됩니다. 이 표시를 없애기 위해서는 HTML 형식으로 내보낸 뒤 PDF로 저장하는 방법을 사용합니다.

우선 내보내고 싶은 페이지를 HTML형식으로 저장합니다.

저장된 HTML 파일을 열고 출력(Print) 하여 출력 설정창을 띄웁니다. 대상을 PDF로 저장으로 하고 옵션에 머리글과 바닥글의 체크를 해제하면 하단에 페이지 이름과 페이지수가 출력되지 않습니다. 역시 글자가 좀 크다 싶으면 배율을 조정해주면 됩니다.

이상 노션 페이지를 PDF로 내보내는 방법을 알아보았습니다.

PDF 합치기 사이트 모음

KJJ88 — Tue, 18 Jun 2024 12:11:54 +0900

PDF 문서 합치는 작업할 떄 유용한 사이트들 입니다.

1. ilovePDF

온라인으로 PDF 파일을 병합하세요. PDF 병합 무료 서비스

여러 PDF 파일을 선택하고 몇 초 이내에 병합하세요. PDF 파일을 온라인으로 무료로 병합하세요.

www.ilovepdf.com

ilovePDF 사이트 들어가면 바로 보이는 빨간 버튼을 누른 뒤 원하는 파일을 선택하면 합칠 수 있습니다.

그 외에도 PDF 변환, 편집기능, PDF 서명기능도 제공해주는 사이트 입니다.

2. Smallpdf

https://smallpdf.com/kr/merge-pdf

PDF 합치기 - 무료로 인터넷에서 PDF 파일 병합하기

파일 제한, 광고 워터마크 없음 - 사용자가 원하는 대로 완벽하게 PDF를 합쳐주는 무료 온라인 툴입니다.

smallpdf.com

ilovePDF와 비슷한 사이트로 더 많은 기능을 제공하기는 하지만 유료로 제공 합니다.

사용법은 위 ilovePDF와 동일하게 원하는 파일을 선택해서 순서를 배열하고 저장하면 됩니다.

3. 폴라리스 오피스

https://www.polarisofficetools.com/

PolarisOffice Tools 문서를 간편하게 다루는 온라인툴

PolarisOfficeTools를 사용하여 문서들을(PDF, WORD, SLIDE, SHEET) 무료로 사용할 수 있습니다. PDF를 JPG로, PDF를 압축, PDF를 보호, PDF 잠금 해제, PDF 병합, PDF 분할, Word를 JPG로, 슬라이드를 JPG로, 시트를 JPG로,

www.polarisofficetools.com

pdf 합치는 기능 외에도 이미지 파일 변환, 워드 파일 편집 변환 기능 등도 제공하는 사이트 입니다.

파일 업로드 이후에는 순서를 바꾸지 못하므로 순서대로 업로드 해야 하는 단점이 있지만 다양한 기능을 무료로 제공하는 사이트 입니다.

이상 PDF파일을 합치는 기능을 제공하는 사이트를 알아보았습니다.

[Windows] 윈도우에서 유용한 단축키 모음

KJJ88 — Mon, 17 Jun 2024 16:22:12 +0900

윈도우에서 유용하게 사용 할 수 있는 단축키 입니다.

파일명 바꾸기

마우스로 파일 클릭 후 F2

창 전환

Alt + Tab

Alt 유지하면 열려 있는 창이 나열됨

화면잠금모드로 전환

Win + L

모든 창 최소화

Win + M

Win + Shift + M 다시 복원

모든 창 최소화

Win + D

다시 누르면 복원

활성화 된 창 외에 다른창 최소화

Win + Home

창 배치 하기

Win + 방향키

창을 다른 모니터로 보내기

Win + Shift + 방향키

영역지정 캡쳐

Win+ Shift + S

안물어보고 폴더에 화면 전체 저장

Win + Print Screen

클립보드 기능

Ctrl + C -> Win + V

지금까지 복사한거 다 나옴 (클립보드)

윈도우 탐색기 실행

Win + E

실행 창 열기

Win + R

창 닫기

Alt+F4

실행 중인 프로그램 재부팅하면서 자동 실행하기

Shift + 다시 시작

작업 표시줄 앱 실행

작업표시줄 첫번째 앱 실행: Win + 1
작업표시줄 두번째 앱 실행: Win + 2

[개발자를 위한 LLM] BERT 개요

KJJ88 — Fri, 7 Jun 2024 16:10:49 +0900

이번 포스팅 부터는 구글에서 발표한 언어 모델인 BERT(Bidirectional Encoder Representations from Transformers)에 대해서 알아보겠습니다.

BERT란 어떤 언어 모델이고, 어떤 특징을 가지고 있으며, 어떻게 동작하는지 하나 하나 살펴볼 예정입니다.

BERT(Bidirectional Encoder Representations from Transformers) 란?

2019년도에 Google AI Language가 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019)에서 발표한 논문(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)에 처음으로 소개된 언어 모델로 자연어처리 (NLP) 모델로 대량의 텍스트 데이터로 부터 문맥적 의미를 학습하여 각 단어의 양방향 문맥을 파악하는데 강점을 가지고 있습니다.

BERT의 특징

BERT (Bidirectional Encoder Representations from Transformers)는 위키 백과와 같은 대용량의 레이블이 지정되지 않은 데이터(unlabeled data)를 사용해 언어 모델을 사전 학습(pretraning)한 전이 학습(transfer learning) 모델입니다. BERT는 이렇게 다량의 단어 임베딩(word embedding)을 사전학습한 모델을 특정 목적에 맞는 레이블이 지정된 데이터(labeled data)를 미세 조정(fine-tuning)하여 문서 분류, 질의 응답, 개체명 인식 등과 같은 다양한 자연어 처리(NLP) 작업을 수행할 수 있는 모델 입니다.

전이학습 모델
사전학습으로 대용량의 언어를 학습하고, 미세조정을 통해 특정 Task를 수행할 수 있는 모델

BERT에서 사전학습과 미세조정

BERT에서 사용하고 있는 사전학습(Pre-training)과 미세조정(Fine-tuning)에 대해서 간략하게 알아보겠습니다.

BERT에서의 사전학습(Pre-training)

사전학습 단계에서 BERT는 레이블 되지 않은 대용량의 데이터를 기반으로 한 워드 임베딩을 학습합니다. 이 때 BERT는 주어진 문맥 안에서 단어의 의미를 이해할 수 있도록 설계된 두 가지 주요 작업을 수행합니다.

첫 번째는 Masked Language Model(MLM) 작업입니다. MLM은 문장 내에서 임의의 단어들을 가리고(마스킹) BERT가 이를 예측하도록 합니다. 예를 들어 “나는 학교에 간다.” 라는 문장에서 “학교”라는 단어를 가리고 BERT가 이를 예측하도록 합니다. 이를 통해 모델은 단어의 양방향 문맥을 이해하여 적절한 단어를 예측하도록 하는 능력을 키우는 방향으로 학습합니다.

두 번째는 Next Sentence Prediction(NSP) 작업입니다. NSP는 두 문장이 순차적인 관계에 있는지를 예측합니다. 예를 들어 “나는 학교에 간다. 그리고 친구를 만났다”라는 두 문장이 순차적으로 연결되어 있는지를 BERT가 예측합니다. 이를 통해 BERT는 두 문장 간의 관계에 대해 이해하는 학습을 하게 되어 다양한 자연어 처리 작업에서의 문맥 이해 능력이 향상됩니다. 이러한 능력은 특히 질문응답, 자연어 추론, 문서 요약 등에서 중요한 역할을 합니다. 또한, 이 과정은 BERT가 더 복잡한 텍스트 구조를 파악하고, 텍스트 내의 다양한 정보를 연결짓는 방법을 학습하는 데 도움을 주어 문장간 의미적 관계를 더 잘 파악할 수 있도록 합니다.

BERT에서의 미세조정(Fine-tuning)

미세조정은 다량의 데이터를 이용하여 사전 학습된 BERT 모델을 특정 자연어 처리(NLP) 작업에 맞게 조정하는 과정입니다. 이를 통해 특정 작업에 특화된 모델을 생성할 수 있습니다.

미세 조정은 원하는 특정 작업에 대한 레이블이 지정된 데이터를 사용하여 모델을 추가로 학습시키는 작업 자체를 의미합니다. 이 단계에서 모델의 모든 파라미터나 일부 파라미터를 조정하여 특정 작업에 적합하도록 만듭니다. 예를 들어, 문서 분류, 질의응답, 번역과 같은 작업에서 BERT 모델은 사전 학습을 통해 습득한 언어 이해 능력을 바탕으로 특정 작업에 필요한 세부적인 패턴이나 규칙을 학습합니다. 이를 통해 학습시간이 단축되고 상대적으로 적은 데이터로도 자연어 처리를 충분히 수행할 수 있게 됩니다.

지금까지 BERT에 대해서 간략하게 알아보았습니다. 다음 포스팅 부터 BERT에 대해서 자세히 알아볼 예정입니다.

트랜스포머

4. 트랜스포머 훈련과 예측 단계 (Transformer Learning and Inference Step)

6. 어텐션, 셀프 어텐션, 멀티 헤드 어텐션 개요 (Transformer Attention, Self Attention, Multi-head Attention)

7. 셀프 어텐션 상세 동작 과정 (Transformer Self Attention Detailed Process)

8. 멀티 헤드 어텐션 상세 동작 과정 (Transformer Multi-head Attention Detailed Process)

9. 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

BERT

입이 트이는 영어 오디오 어학당 다시듣기 (6.5 세무조사)

2. BERT 구조

[입트영] Tax Audits - 2024.6.6

KJJ88 — Fri, 7 Jun 2024 15:56:13 +0900

EBS 입이 트이는 영어

2024.6.6 Tax Audits

Tax Audits 본문

For business owners, the term 'tax audits' sends a chill down their spine.
Tax audits are categorized into regular and random audits.
The targets of the National Tax Service's tax audits are determined as follows.
Firstly, it is based on data obtained through the Property Consumption Income(PCI) system, which includes the taxpayer's asset changes, income, and expenses.
Secondly, tax audits may be conducted when tax evasion is reported.
And thirdly, voluntary correction requests are sent out after closely analyzing the contents of the tax declaration.
A tax audit may occur if this request is refused.
A 10% surtax is imposed if errors are made in the tax declaration.
But if intentional wrongdoing is proven, a 40% taxes levy along with various additional taxes.
Failure to pay taxes may lead to a seizure of assets registration as a credit delinquent , travel restrictions, and other severe financial penalties.

번역보기

사업주들에게 '세무조사'라는 용어는 등골이 오싹하게 만든다.
세무조사는 정기 조사와 무작위 조사로 분류된다.
국세청의 세무조사 대상은 다음과 같이 결정된다.
첫째, 이는 납세자의 자산 변화, 소득 및 지출을 포함하는 소득소비자료(PCI) 시스템을 통해 얻은 데이터를 기반으로 한다.
둘째, 탈세가 보고되면 세무조사가 실시될 수 있다.
셋째, 세금 신고 내용이 면밀히 분석된 후 자발적 수정 요청이 발송된다. 이 요청이 거부되면 세무조사가 발생할 수 있다.
세금 신고에 오류가 있을 경우 10%의 가산세가 부과된다.
하지만 고의적인 위법 행위가 입증되면 40%의 세금과 다양한 추가 세금이 부과된다.
세금을 납부하지 않으면 자산 압류, 신용 불량자로 등록, 여행 제한 및 기타 심각한 금융 제재로 이어질 수 있다.

Tax Audits 대화문

A: You must be really busy these days. You look spent.
B: Yes. I have my hands full because the company is undergoing a tax audit.
A: Is there a problem?
B: There is nothing wrong in particular. It's just a routine tax audit.
A: I see.
B: But there is a likelihood that we will have to pay more taxes.

번역보기

A: 요즘 정말 바쁜가 봐요. 지쳐 보여요.
B: 네. 회사가 세무조사를 받고 있어서 손이 꽉 차 있어요.
A: 문제가 있나요?
B: 특별히 잘못된 건 없어요. 그냥 정기 세무조사예요.
A: 그렇군요.
B: 하지만 더 많은 세금을 내야 할 가능성이 있어요.

Tax Audits 관련 단어

tax audits: 세무조사
audit: 회계 감사, 감사
spine: 척추, 가시
sends a chill down their spine: 등골이 오싹하다
taxpayer: 납세자
tax evasion: 탈세
voluntary: 자발적인, 임의적인, 자진한
declaration: 선언, 신고서
surtax: 가산세
wrongdoing: 점법행위, 비행
levy: 추가 부담금, 부과하다
seizure: 압수, 장악

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

입이트이는영어 스크립트 듣기

[입트영] Tempting Desserts - 2024.6.5

KJJ88 — Fri, 7 Jun 2024 15:52:12 +0900

EBS 입이 트이는 영어

2024.6.5 Tempting Desserts

Tempting Desserts 본문

I enjoy desserts even more than the main course in a meal.
A bowl of rice contains 300 calories, but most desserts are much higher in calories.
If I had eaten hearty meals and had less desserts, I might have a slimmer figure.
But there are so many delicious desserts in the world.
It's not easy to resist the temptation of sweets, like ice cream, chocolate, cake, cookies, and more.
Yakgwa, a traditional Korean cookie, has been all the rage recently.
They are readily available in convenience stores and supermarkets.
Even as I write in the middle of the night, I can't stop thinking about desserts.
I think I'll put a scoop of ice cream on a frozen Yakgwa and have just one bite.
Just thinking about it makes me happy.

번역보기

나는 식사에서 메인 코스보다 디저트를 더 좋아한다.
밥 한 그릇에는 300칼로리가 들어 있지만, 대부분의 디저트는 칼로리가 훨씬 높다.
만약 내가 든든한 식사를 하고 디저트를 덜 먹었다면, 내 몸매가 더 날씬했을지도 모른다.
하지만 세상에는 너무 많은 맛있는 디저트가 있다.
아이스크림, 초콜릿, 케이크, 쿠키 등 달콤한 것들의 유혹을 뿌리치기는 쉽지 않다.
약과는 전통 한국 과자로, 최근에 매우 인기를 끌고 있다.
약과는 편의점과 슈퍼마켓에서 쉽게 구할 수 있다.
한밤중에 글을 쓰면서도 디저트 생각을 멈출 수가 없다.
냉동 약과에 아이스크림 한 스쿱을 올려서 한 입만 먹어야겠다고 생각한다.
생각만 해도 행복해진다.

Tempting Desserts 대화문

A: How about some cake for dessert?
B: Sounds great. Let's go to that coffee shop over there and get some with coffee.
A: I'm in the mood for red velvet cake today.
B: Just thinking about it makes my mouth water.
A: I love desserts too much for my own good.
B: Me too. I try to eat it less because they are so high in calories, but it's hard to resist.

번역보기

A: 디저트로 케이크 어때?
B: 좋지. 저기 있는 커피숍에 가서 커피랑 같이 먹자.
A: 오늘은 레드 벨벳 케이크가 먹고 싶어.
B: 생각만 해도 군침이 돈다.
A: 나는 디저트를 너무 좋아해서 문제야.
B: 나도 그래. 칼로리가 너무 높아서 덜 먹으려고 노력하는데, 참기 힘들어.

Tempting Desserts 관련 단어

hearty: 따뜻한, 다정한
hardy: 강한, 내한성의
slim figure: 날씬한 몸매
resist: 저항하다, 참다
temptation: 유혹, 유혹하는 것
tempt: 유혹하다, 유도하다
all the rage: 인기 절정의
readily: 손쉽게, 순조롭게, 선뜻, 기꺼이
convenience store: 편의점
scoop: 스쿱
in the mood for: ~하고 싶은 기분이 나서, ~음식이 당긴다

입이 트이는 영어 오디오 어학당 다시듣기 (6.5 달콤한 유혹 디저트)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

입트영 스크립트 듣기

[입트영] Electronic Books - 2024.6.4

KJJ88 — Wed, 5 Jun 2024 15:36:34 +0900

EBS 입이 트이는 영어

2024.6.4 Electronic Books

Electronic Books 본문

As an avid reader collecting paper books has been a hobby of mine.
Whenever I happened to come across books with unique paper materials, beautiful covers, or lovely illustrations, I felt the urge to collect them.
But as I kept buying books left and right, I soon ran out of space on my bookshelf.
So, I had no choice but to purchase an ebook reader device.
Buying e-books naturally solved my problem with a lack of physical space on my bookshelf.
But the problem now is that I have started hoarding e-books, too.
In the past I had to visit a bookstore, browse through each book, and carefully consider each purchase.
But now I can buy a book with just a click of the mouse.
Before I knew it, my e-book reader's purchase history had piled up to nearly 2,000 books.

번역보기

열렬한 독자로서 종이책을 수집하는 것은 나의 취미 중 하나였습니다.
독특한 종이 재질, 아름다운 표지, 혹은 사랑스러운 삽화가 있는 책을 우연히 발견할 때마다, 그것들을 수집하고 싶은 충동을 느꼈습니다.
하지만 책을 마구 사들이면서 곧 책장에 공간이 부족해졌습니다.
그래서 어쩔 수 없이 전자책 리더기를 구입하게 되었습니다.
전자책을 사는 것은 책장에 물리적 공간이 부족한 문제를 자연스럽게 해결해주었습니다.
하지만 이제 문제는 전자책도 쌓아두기 시작했다는 것입니다.
과거에는 서점을 방문하여 각각의 책을 훑어보고 신중하게 구매를 고려해야 했습니다.
하지만 이제는 마우스를 클릭 한 번으로 책을 살 수 있습니다.
제가 알기도 전에 전자책 리더기의 구매 기록이 거의 2,000권에 달하게 되었습니다.

Electronic Books 대화문

A: It looks like you've got an e-book reader device.
B: Yeah. I hardly ever buy paper books anymore; I buy and read e-books instead.
A: But didn't you prefer paper books in the past?
B: Yes, that's right. But my bookshelf is full. So I've run out of space for new books.
A: You are such a bookworm. I'm really impressed.
B: Sometimes I feel nostalgic about paper books; that's why I sometimes re-read the ones I have.

번역보기

A: 전자책 리더기를 산 것 같네요.
B: 네. 이제 종이책을 거의 안 사고, 대신 전자책을 사고 읽어요.
A: 그런데 예전에는 종이책을 더 좋아하지 않았나요?
B: 맞아요. 그런데 제 책장이 꽉 찼어요. 그래서 새 책을 놓을 공간이 없어요.
A: 정말 책벌레군요. 정말 인상적이에요.
B: 가끔 종이책이 그리워져서 가끔 제가 가지고 있는 책들을 다시 읽어요.

Electronic Books 단어

avid: 열심인, 열렬히 원하는
urge: 욕구, 충고하다, 강력히 권고하다
left and right: 마구잡이, 정신없이
bookshelf: 책꽃이
naturally: 물론, 자연스럽게
hoard: 비축물, 비축하다
lack: 부족, ~이 부족하다
browse through: 훑어보다
before I know it: 어느새
pile up: 쌓이다, 많아지다
bookworm: 책벌레, 독서광
nostalgic: 향수어린

입이 트이는 영어 오디오 어학당 다시듣기 (6.4 전자책)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 유튜브 링크를 통해서도 스크립트를 들을 수 있습니다.

[입트영] How to Boil an Egg - 2024.6.3

KJJ88 — Tue, 4 Jun 2024 19:14:47 +0900

EBS 입이 트이는 영어

2024.6.3 How to Boil an Egg

How to Boil an Egg 본문

I like boiled eggs. But I prefer them soft-boiled rather than hard-boiled.
When I ask people how to boil eggs, they usually say to put enough water to cover the eggs in a pot and boil them for 10 to 20 minutes.
However, there is a much better way.
First, I take the eggs out of the fridge and let them sit at room temperature for at least 30 minutes.
Then I put enough water to immerse the eggs in a halfway in a small shallow pot and boil them.
A cheap nickel silver pot from the market is just the thing.
I boil the eggs for about 3 minutes on a gas stove or 4 minutes on an induction stove and then turn off the heat.
I let them sit for about 7 minutes and then cool them down with cold water.
This way I get perfectly soft-boiled eggs and I can save a lot of gas or electrocity.

번역보기

나는 삶은 달걀을 좋아하지만, 완숙보다 반숙을 더 선호한다.
사람들에게 달걀을 어떻게 삶느냐고 물어보면, 보통 냄비에 달걀이 잠길 정도로 물을 채우고 10분에서 20분 동안 삶으라고 한다.
하지만 더 나은 방법이 있다.
먼저, 냉장고에서 달걀을 꺼내어 실온에서 적어도 30분 동안 놓아둔다.
그 다음, 작은 얕은 냄비에 달걀이 반쯤 잠길 정도로 물을 넣고 끓인다.
시장에 있는 저렴한 니켈 은 냄비가 딱 좋다.
가스레인지에서는 약 3분, 인덕션 레인지에서는 약 4분 동안 달걀을 끓인 후 불을 끈다.
약 7분 동안 그대로 두었다가 찬물로 식힌다.
이 방법으로 완벽한 반숙 달걀을 만들 수 있으며, 많은 가스나 전기를 절약할 수 있다.

How to Boil an Egg 대화문

A: You must really have a thing for eggs.
B: Yes, there is nothing like a boiled egg when I'm hungry.
A: Wow, that's perfectly soft-boiled.
B: I like my eggs soft-boiled because they're so soft.
A: Do you have a secret recipe to boil them just right?
B: I use a timer to measure the time and get them just so.

번역보기

A: 너 정말 달걀을 좋아하나 봐.
B: 응, 배고플 때 삶은 달걀만한 게 없어.
A: 와, 이거 완벽하게 반숙이네.
B: 난 달걀이 부드러워서 반숙을 좋아해.
A: 달걀을 완벽하게 삶는 비법이 있어?
B: 시간을 재기 위해 타이머를 사용해서 딱 맞게 삶아.

How to Boil an Egg 관련 단어

let them sit at room temperature: 상온에 두다
halfway: 중간에, 부분적으로
immerse: 담그다, ~에 몰두하다
shallow: 얕은, 얄팍한
nickel silver pot: 양은냄비
have a thing for: ~을 좋아하다

입이 트이는 영어 오디오 어학당 다시듣기 (6.3 달걀을 잘 삶는 방법)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 링크를 통해서도 스크립트를 들을 수 있습니다.

[ML] 군집화 (Clustering)

KJJ88 — Tue, 4 Jun 2024 17:47:43 +0900

머신러닝의 비지도 학습 중 군집화에 대해서 알아보겠습니다.

군집화 (Clustering)

군집화(Clustering)은 사전 정의 범주가 없는 상태에서 어떤 대상들의 특징을 구분해서 그룹으로 묶는 과정 입니다.

군집들 사이의 관계를 분석하고, 데이터 전체의 구조에 대한 이해를 돕고자 하는 탐색적 분석 방법 입니다.

군집화는 다음과 같은 특징이 있습니다.

유사한 데이터 그룹을 찾아냄
전체 특징이 아닌 일부 특징만을 이용하여 군집화를 수행할 수 있음
범주형 데이터를 군집화 하는 방법도 있음

군집화의 종류 (Clustering Algorithm)

군집 방법에 따라서 다양한 군집화 알고리즘이 있습니다.

대표적인 군집 방법으로 계층적 군집( Hierarchical Clustering) 과 분할적 군집(Partional Clustering)이 있습니다.

계층적 군집화 (Hierarchical Clustering)

데이터 포인트들을 계층적인 구조로 군집화하는 방법으로 상향식(agglomerative)과 하향식(divisive) 접근법이 있습니다.

계층적 군집화는 군집 수를 미리 정할 필요가 없으며, 덴드로그램을 통해 군집 형성을 시각화할 수 있습니다.

대표적인 계층적 군집화 방법에는 응집형 (Agglomerative) 방법과 분리형 (Divisive) 방법이 있습니다.

분할적 군집 (Partional Clustering)

데이터셋을 미리 정해진 수의 군집으로 분할하는 방법입니다.

분할적 군집은 군집 방법이 간단하고 빠르며, 대규모 데이터셋에 적합하지만 초기 중심점 선택에 민감한 특징이 있습니다.

군집을 분할하는 방법에 따라 다음과 같은 분할적 군집화 방법이 있습니다.

프로토타입 기반 군집 (Prototype-based Clustering)
퍼지 군집 (Fuzzy Clustering)
분포 기반 군집 (Distribution-based Clustering)
밀도 기반 군집 (Density-based Clustering)
커널 기반 군집 (Kernel-based Clustering)
격자 기반 군집 (Grid-based Clustering)
그래프 기반 군집 (Graph-based Clustering)

지금까지 비지도 학습 중 군집화 (클러스터링)에 대해서 간략하게 알아보았습니다.

다음 포스팅 부터는 각 군집화 알고리즘의 자세한 사항에 대해서 포스팅 할 예정입니다.

머신러닝(Machine Learning)

[Pandas] 데이터 프레임 결측치(NaN) 행 추출

KJJ88 — Thu, 30 May 2024 17:14:58 +0900

DataFrame에 결측치(NaN)가 들어 있는 라인을 추출하고 싶은 경우 어떻게 해야할 지 알아보겠습니다.

데이터 프레임 결측치 확인 방법

우선 다음과 같이 결측치가 들어 있는 데이터 프레임을 만들어서 설명하겠습니다.

import numpy as np
import pandas as pd

raw_data = {'first_name': ['Jason', np.nan, 'Tina', 'Jake', 'Amy'], 
                   'last_name': ['Miller', np.nan, 'Ali', 'Milner', 'Cooze'], 
                   'age': [42, np.nan, 36, 24, 73],
                   'sex': ['m', np.nan, 'f', 'm', 'f'],
                   'preTestScore': [4, np.nan, np.nan, 2, 3],
                   'postTestScore': [25, np.nan, np.nan, 62, 70]}

df2 = pd.DataFrame(raw_data, columns = ['first_name', 'last_name', 'age', 'sex', 'preTestScore', 'postTestScore'])

데이터 프레임에 결측치가 있는지 확인하기 위해서는 isna() 함수를 사용합니다.

df2.isna()

isna() 함수를 이용하연 해당 데이터 프레임에 결측치 여부를 T/F 값으로 리턴합니다.

컬렴별로도 결측치 여부를 알 수 있습니다.

df2['postTestScore'].isna()

sum() 함수를 붙여주면 각 컬럼별로 결측차가 몇 개가 있는도 확인할 수 있습니다.

df2.isna().sum()

데이터 프레임 결측치 행만 추출하기

결측치(NaN)가 있는 행만 가져오기 위해서는 isna() 함수를 이용하여 데이터 프레임을 슬라이싱 하면 됩니다.

df2[df2['postTestScore'].isna()]

isna() 함수로 postTestScore 컬럼을 슬라이싱을 해주면 postTestScore 컬럼에서 결측치인 행만 가져올 수 있습니다.

이상 데이터 프레임에서 결측치(NaN)가 있는 행만 추출하는 방법을 알아보았습니다.

[Pandas] read_csv 시 tokenizing 에러 해결 방법

KJJ88 — Thu, 30 May 2024 16:50:53 +0900

판다스로 csv 파일을 읽어 왔을 때 Error tokenizing data. C error가 발생하는 경우 해결 방법에 대해서 알아보겠습니다.

Error tokenizing data. C error 발생 원인

read_csv로 csv 파일을 로딩할 떄 Error tokenizing data. C error가 발생하는 경우가 있습니다.

해당 오류는 쉼표로 분리되는 각 컬럼의 개수가 서로 다른 행이 존재하기 때문에 발생하는 에러로 csv 내 모든 데이터가 동일한 개수의 쉼표로 구분되어 있어야 하는데, 쉼표의 개수가 다른 행이 존재해서 발생하는 오류 입니다.

Error tokenizing data. C error 해결 방법

오류가 발생한 라인을 찾아서 삭제해도 해결할 수 있지만 이렇게 하면 해당 라인의 데이터를 사용할 수 없을 뿐더러 오류가 발생하는 행이 많을 경우 일일히 찾아서 삭제하기 힘듭니다.

그래서 직접 파일을 읽어서 데이터 프레임으로 변환하는 방법을 사용하면 해당 csv tokenizing data 에러를 해결 할 수 있습니다.

import csv
import pandas as pd

file = "CSV.csv"
f = open (file, encoding='utf8')
reader = csv.reader(f)
csv_list = [ l for l in reader]
f.close()
df = pd.DataFrame(csv_list)

위 코드를 이용해서 데이터 프레임을 생성하면 csv파일의 헤더(컬럼명)가 데이터 프레임의 첫번쨰 행으로 들어갑니다. 이를 다시 데이터 프레임의 컬럼으로 변경해 줍니다.

df = df.rename(columns=df.iloc[0]).drop(df.index[0])

이상 read_csv 시 Error tokenizing data. C error 발생 시 해결하는 방법을 알아보았습니다.

[개발자를 위한 LLM] 트랜스포머 기반 모델 GPT, BERT

KJJ88 — Tue, 28 May 2024 19:45:58 +0900

이전 포스팅까지 트랜스포머 모델에 대해서 알아보았습니다.

이번 포스팅에서는 트랜스포머 기반 모델인 GPT와 BERT에 대해서 간략하게 알아보겠습니다.

GPT와 BERT

GPT (Generative Pre-trained Transformer)와 BERT (Bidirectional Encoder Representations from Transformers)는 둘 다 자연어 처리(NLP)에서 널리 사용되는 트랜스포머 기반 모델입니다.

GPT는 트랜스포머의 인코더 부분만을 사용한 모델이고, BERT는 트랜스포머의 디코더만을 사용한 모델입니다.

GPT와 BERT 각각의 특징에 대해서 알아보겠습니다.

GPT (Generative Pretrained Transformer)

GPT는 Gnerative Pretrained Transformer의 약자로 이름 그대로 트랜스포머 기반 모델입니다. GPT는 OpenAI에서 공개한 모델로 트랜스포머의 디코더만을 사용한 모델입니다.

2018년에 GPT-1을 시작으로 2019년에는 15억개의 파라미터를 가진 GPT-2를 발표하였으며, GPT-3를 거쳐 현재는 GPT-4o까지 공개하였습니다.

GPT의 특징은 다음과 같습니다.

GPT의 특징

트린스포머의 디코더 아키텍처가 기반
일방향 (unidirectional) 언어 모델링으로 문자 왼쪽에서 오른쪽으로 순차적 계산
이전 단어가 주어졌을 때 다음 단어가 무엇인지 맞히는 과정으로 훈련
텍스트 생성, 대화형AI, 글쓰기 지원 같은 문장 생성 작업에 강점

BERT (Bidirectional Encoder Representations from Transformers)

BERT는 구글에서 2017년에 발표한 논문 "Attention is All You Need"에서 소개 언어 모델로 Bidirectional Encoder Representations from Transformers의 약어 입니다. BERT는 트랜스포머의 인코더만을 사용한 모델입니다.

페이스북AI에서 발표한 BERT의 성능을 개선한 RoBERTa, 경량화된 BERT인 ALBERT와 같은 다양한 변형 모델이 발표되었습니다.

BERT의 특징은 다음과 같습니다.

BERT의 특징

트랜스포머의 인코더 아키텍처가 기반
양방향 (bidirectional) 언어 모델링을 통해 빈칸 앞뒤 문맥을 모두 살필 수 있음
문장 중간에 빈칸을 만들고 해당 빈칸에 어떤 단어가 적절할지 맞히는 과정을 통한 훈련
문장 분류, 개체명 인식, 질문 응답과 같은 문장 의미 추출하는 작업에 강함

지금까지 트랜스포머 기반 모델인 GPT와 BERT에 대해 간략하게 알아보았습니다.

다음 포스팅에서는 BERT에 대해서 자세히 알아보도록 하겠습니다.

트랜스포머

4. 트랜스포머 훈련과 예측 단계 (Transformer Learning and Inference Step)

6. 어텐션, 셀프 어텐션, 멀티 헤드 어텐션 개요 (Transformer Attention, Self Attention, Multi-head Attention)

7. 셀프 어텐션 상세 동작 과정 (Transformer Self Attention Detailed Process)

8. 멀티 헤드 어텐션 상세 동작 과정 (Transformer Multi-head Attention Detailed Process)

9. 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

BERT

MS-링크드인, 2024 업무 트렌드 지수 연례 보고서

KJJ88 — Fri, 24 May 2024 08:17:33 +0900

마이크로소프트와 링크드인에서 '2024 업무 트렌드 지수 연례 보고서(2024 Work Trend Index Annual Report)'를 지난 5월 8일에 발표하였습니다.

보고서에는 'AI 통합: 경쟁 우위를 위한 필수 요소', '리더십 도전: 비전에서 실행으로', 'AI를 통한 전문성의 민주화', 'AI에 의한 직원의 임파워먼트 증가', '미래 전망: AI', '전문 개발의 새로운 표준' 등의 내용을 소개하고 있습니다.

자세한 내용은 2024 업무 트렌드 지수 연례 보고서 (2024 Work Trend Index Annual Report)를 참고하세요.

[ML] 머신러닝 학습 방법 - 비지도학습 (Unsupervised Learning)

KJJ88 — Thu, 2 May 2024 19:21:10 +0900

이번 포스팅에서는 머신러닝의 학습 방법 중 비지도 학습 (Unsupervised Lenarning)에 대해서 알아보겠습니다.

비지도 학습이란? (Unsupervised Learning)

비지도 학습은 훈련 데이터에 정답 레이블이 없이 모델이 스스로 데이터의 구조와 패턴을 학습하는 방식으로 시스템이 어떤 지도나 감독 없이 스스로 데이터를 분석하고 구조를 발견하는 방법으로 데이터에서 숨겨진 구조를 발견하고 이해하는 데 중점을 두며, 레이블이 없는 데이터로부터 의미있는 정보를 추출합니다.

비지도 학습은 레이블이 없어 지도 학습처럼 명확하지 않기 때문에 모델의 성능평가가 어렵습니다. 또한, 사용자가 직접 모델을 해석하고 정답, 규칙을 추론하여 이를 활용해야 하기 때문에 사용자의 주관에 크게 의존할 수도 있는 특징이 있습니다.

비지도 학습은 복잡한 데이터셋에서 숨겨진 인사이트를 발견하거나, 데이터의 전처리 과정에서 차원을 축소하는 것과 같은 중요한 역할을 하며, 레이블이 부족하거나 데이터의 탐색적 분석이 필요할 때 유용합니다. 또한, 데이터에서 비정상적인 패턴이나 이상치를 식별하는데 사용할 수 있습니다.

비지도 학습의 종류 (Types of Unsupervised Learning)

비지도 학습의 대표적인 방법은 군집화 (Clustering)과 차원 축소 (Dimensionality Reduction)이 있습니다.

군집화 (Clustering)

군집화는 데이터를 비슷한 특성을 가진 여러 그룹으로 분류하는 방법입니다.

군집화의 목적은 데이터 내에 존재하는 자연스러운 구분을 찾아 각 클러스터 내의 데이터 포인트들이 서로 유사하고, 클러스터 간에는 서로 다르게 만드는 것입니다.

군집을 형성하는 방법에 따라 계층적 군집 (Hierarchical Clustering), 분할적 군집 (Partional Clustering), 분포 기반 군집 (Distribution-based Clustering), 밀도 기반 군집 (Density-based Clustering) 등이 있습니다.

차원 축소 (Dimensionality Reduction)

차원 축소는 데이터의 차원을 축소하여 데이터의 가장 중요한 정보를 보존하는 새로운 차원을 찾는 방법입니다. 즉, 고차원 데이터에서 중요한 정보를 유지하면서 차원의 수를 줄이는 과정입니다.

차원 축소의 주된 목적은 데이터의 복잡성을 감소시키고, 계산 효율성을 높이며, 데이터의 시각화를 용이하게 하는 것입니다.

대표적인 방법으로 주성분 분석 (PCA)가 있습니다.

연관 규칙 학습 (Association Rule Learning)

연관 규칙 학습은 대규모 데이터에서 항목 간의 관계를 식별하는 방법입니다. 즉, 데이터셋에서 항목 간의 관심있는 연관성이나 빈번하게 발생하는 패턴을 식별하는 방법입니다. 주로 대규모 거래 데이터베이스에서 유용한 규칙들을 발견하는 데 사용되며, 이 규칙들은 항목 간의 강력한 관계를 나타냅니다.

대표적인 방법으로는 장바구니 분석(Apriori) 방법이 있습니다.

이상치 탐지 (Novelty (Anomaly) Detection)

이상치 탐지는 데이터셋에서 일반적인 패턴에서 벗어나는 데이터 포인트, 즉 이상치를 식별하는 과정으로 정상적인 패턴을 학습하고, 이 패턴과 크게 달라지는 경우를 이상치로 간주하는 방법입니다.

대표적인 알고리즘으로 아이솔레이션 포레스트 (Isolation Forest), LOF (Local Outlier Factor), 오토인코더 (Autoencoder) 등이 있습니다.

이상 비지도 학습에 대한 포스팅을 마치며, 다음 포스팅 부터는 지도학습, 비지도학습의 대표적인 알고리즘들을 자세하게 알아보겠습니다.

머신러닝(Machine Learning)

입이 트이는 영어 오디오 어학당 다시듣기 (4.17 소화기)

[입트영] Fire Extinguishers - 2024.4.17

KJJ88 — Wed, 1 May 2024 23:08:28 +0900

EBS 입이 트이는 영어

2024.4.17 Fire Extinguishers

Fire Extinguishers 본문

A Fire extinguisher is a fire-fighting device used to suppress fires in their early stages.
They are various types of fires, but if you look closely at fire extinguishers, they are usually labeledfor type A, B, and C fires.
They are are also color-coded.
Class A fires are ordinary fires indicated in white.
Class B fires are old fires marked by yellow.
Class C fires are electrical fires and they are labeled blue.
Powder-type fire extinguishers are most commonly used for installation in our homes.
To ensure their effectiveness, it is essential to shake them to check the consistency of the extinguishing agent.
You should also check to make sure that the pressure gauge indicater point to the green zone indicating normal pressure.
It's also important to check the condition of the handle and safety pin.
Finally, it's best to replace a powder fire extinguisher when it reaches its expiration date, 10 years after it was manufactured.

번역보기

소화기는 초기 단계의 화재를 진압하는데 사용되는 소방 장비입니다.
화재 유형은 다양하지만, 소화기를 자세히 살펴보면 일반적으로 A, B, C형 화재용으로 표시되어 있습니다.
또한 색상 코드로 구분됩니다.
A급 화재는 일반 화재로 하얀색으로 표시됩니다.
B급 화재는 오일 화재로 노란색으로 표시됩니다.
C급 화재는 전기 화재로 파란색으로 표시됩니다.
분말형 소화기는 가정에서 가장 일반적으로 설치되는 유형입니다.
그 효과를 보장하기 위해, 소화제의 일관성을 확인하기 위해 흔들어 보는 것이 필수적입니다.
압력 게이지 지시계가 정상 압력을 나타내는 녹색 구역을 가리키는지 확인하는 것도 중요합니다.
핸들과 안전핀의 상태를 확인하는 것 또한 중요합니다.
마지막으로, 분말 소화기는 제조된 지 10년 후 만료 날짜에 도달하면 교체하는 것이 가장 좋습니다.

Fire Extinguishers 대화문

A: I see you have a fire extinguisher at the entrance.
B: Yes, I thought it would be good to keep it in plain view.
A: I can even remember where the fire extinguisher is in our house.
B: It's important to check just in case there is a fire.
A: I'll make sure to do that.
B: Also, be sure to check the expiration date of the fire extinguisher.

번역보기

A: 입구에 소화기가 있는 걸 보니까요.
B: 네, 눈에 잘 띄는 곳에 두는 게 좋다고 생각했습니다.
A: 저는 우리 집에 소화기가 어디 있는지조차 기억나지 않네요.
B: 혹시 모를 화재에 대비해서 확인하는 게 중요합니다.
A: 그렇게 하겠습니다.
B: 소화기의 유효기간도 꼭 확인하세요.

Fire Extinguishers 관련 단어

suppress: 진압하다, 참다
fire-fighting: 소방활동
color-coded: 색깔로 표시된
indicated in: ~로 표시된
gauge: 게이지, 측정기
consistency: 한결같음, 일관성
extinguishing agent: 소화약제
expiration date: 유효기간
keep it in plain view: 잘 보이는 곳에 두다

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[ML] 머신러닝 학습 방법 - 지도학습 (Supervised Learning)

KJJ88 — Tue, 30 Apr 2024 19:34:41 +0900

머신러닝의 학습 방법 중 지도학습(Supervised Learning)이 무엇인지 알아보겠습니다.

지도학습(Supervised Learning) 이란?

지도학습은 알고리즘에 사용하는 훈련 데이터에 레이블(label)이라는 원하는 답이 포함되어 있는 상태에서 데이터와 정답을 함께 학습하는 방법입니다.

지도학습은 모델이 데이터와 레이블 간의 관계를 학습하여, 새로운 데이터에 대한 정확한 예측이나 분류를 수행할 수 있도록 하는 학습 방법 입니다. 위 그림과 같이 개와 고양이로 레이블링 되어 있는 데이터를 주고 이를 학습 시키면, 개 인지 고양이 인지를 예측할 수 있는 지도학습 모델이 됩니다.

지도학습은 레이블이 주어진 데이터를 바탕으로 모델을 훈련시키므로, 충분하고 다양한 데이터가 중요합니다. 또한, 모델이 훈련 데이터에 과적합하지 않도록 주의해야 합니다. 과적합이 되면 훈련 데이터에는 잘 작동하지만 새로운 데이터에는 잘 작동하지 않는 상황이 됩니다. 이를 해결하기 위해서는 교차검증과 같은 기법들을 사용해서 모델을 훈련해야 합니다.

지도학습의 종류 (Types of Supervised Learning)

지도학습으로 해결 하려는 문제의 종류에 따라 나눌 수 있는데, 예측 하려는 값이 연속 값이면 회귀로, 예측하려는 값이 이산 값이면 분류로 나눌 수 있습니다.

분류 (Classification)

분류(Classification)는 종류를 예측하는 것으로 여러 범주 중 하나로 예측하는 방법입니다.

다음과 같은 특징이 있습니다.

예측하고자 하는 타겟값이 범주형 변수인 경우
예측 결과가 이산값을 가지고 있음 (연속성을 지니지 않음)

분류 방법은 예측값이 어떻게 나오느냐에 따라서 이진 분류와 다중 분류로 나눌 수 있습니다.

이진 분류 (Binary Classifiction): 예측값이 두가지 범주 중 하나인 경우, 정상 or 악성
다중 분류 (Multiclass Classification): 예측값이 세 개 이상의 범주 중 하나인 경우

회귀 (Regression)

회귀(Regression)는 연속된 값을 예측하는 것으로 수치값으로 예측하는 방법입니다.

회귀는 다음과 같은 특징을 갖습니다.

예측하고자 하는 타겟값이 실수(숫자)인 경우
손해액, 매출량, 거래량, 파산 할 확률과 같은 수치를 예측

회귀 방법은 독립 변수의 갯수에 따라 단순 선형 회귀, 다중 선형 회귀가 있습니다.

단순 선형 회귀(Simple Linear Regression): 하나의 독립 변수와 하나의 종속 변수 간의 관계를 모델링
다중 선형 회귀(Multiple Linear Regression): 두 개 이상의 독립 변수와 하나의 종속 변수 간의 관계를 모델링

지도학습 알고리즘 (Supervised Learning Algorithm)

대표적인 지도학습 기법은 아래와 같은 기법들이 있습니다.

나이브 베이즈 (Naive Bayes)
최근접 이웃 (K-Nearest Neighbors)
서포트 벡터 머신 (Support Vector Machine, SVM)
의사결정나무 (Decision Tree)
앙상블 기법 (Ensemble)
로지스틱 회귀 (Logistic Regression)
선형 회귀 (Linear Regression)
다항 회귀 (Polynomial Regression)
스텝 와이즈 회귀 (Stepwise Regression)
릿지 회귀 (Ridge Regression)
라소 회귀 (Lasso Regression)
엘라스틱넷 회귀 (ElasticNet Regression)
사례 기반 추론 (Case-based Reasoning)
인공신경망 (Artificial Neural Network)

각 기법에 대한 자세한 사항은 차차 포스팅 할 예정입니다.

이상 머신러닝 학습 방법 중 지도 학습에 대해서 알아보았습니다.

머신러닝(Machine Learning)

[ML] 머신러닝이란? (Machine Learning?)

KJJ88 — Mon, 29 Apr 2024 15:53:16 +0900

머신러닝 (Machine Learning)에 대해서 알아보는 포스팅을 시작하려고 합니다.

머신러닝의 정의 부터 머신러닝의 알고리즘을 상세하게 다룰 예정입니다. 이번 포스팅에서는 머신러닝이 무엇인지 알아보도록 하겠습니다.

머신러닝의 정의 (Machine Learning)

위키피디아를 보면 다음과 같이 머신러닝을 말하고 있습니다.

기계 학습(機械學習) 또는 머신 러닝(machine learning, ML)은 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구이다.
방대한 데이터를 분석해 '미래를 예측하는 기술'이자 인공지능의 한 분야로 간주된다.
기계 학습은 복잡한 패턴에 대한 학습을 통해 상황에 대한 예측과 의사 결정을 돕는다.
컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야이다.
가령, 기계 학습을 통해서 수신한 이메일이 스팸인지 아닌지를 구분할 수 있도록 훈련할 수 있다.

머신러닝은 데이터를 구문 분석하고, 해당 데이터를 통해 학습한 후 학습한 정보를 바탕으로 결정을 내리는 알고리즘입니다. 머신러닝이 가능하다는 것은 주어진 데이터로 기능을 수행하고, 시간이 지남에 따라 그 기능이 점차 향상됨을 의미합니다.

Tom M.Mitchell이 1997년도에 제시한 머신러닝의 정의를 살펴보면, 환경 (Environement, E)과 상호작용을 통한 경험적인 데이터 (Data, D)를 기반 지식으로 모델(Model, M)을 구축하고, 스스로 성능(Performance, P)을 향상하는 시스템이라고 합니다.

머신러닝이란? (What is Machine Lenarning?)

머신러닝은 컴퓨터가 인간처럼 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 인공지능의 한 분야입니다.

머신러닝 기술은 컴퓨터가 알고리즘을 통해 데이터를 분석하게 하고, 그 결과를 스스로 학습하도록 함으로써 새로운 판단이나 예측을 할 수 있게 합니다. 머신러닝에서는 양질의 데이터가 핵심적인 역할을 하며, 우수한 데이터가 많을수록 시스템의 성능은 더욱 향상됩니다.

머신러닝의 발전은 빅데이터와 밀접한 관련이 있습니다. 빅데이터란 기존의 데이터베이스 관리 도구로는 다루기 어려운 매우 큰 규모의 데이터를 말합니다. 이러한 대규모 데이터는 기술의 발달과 함께 점점 쌓여가고, 이를 분석하여 인사이트를 도출하는 것이 머신러닝의 주요 작업 중 하나입니다.

머신러닝 개발자들은 데이터를 통해 모델을 학습시키며, 이 과정에서 인간의 노하우만큼이나 중요한 역할을 하는 것이 바로 데이터의 '라벨'입니다. 라벨은 데이터의 정답을 말하며, 이를 기반으로 컴퓨터는 오류를 줄이고 정확도를 높여가는 학습을 수행합니다. 이 과정을 통해 얻어진 모델을 실제 문제에 적용함으로써, 컴퓨터는 인간과 유사한 수준의 판단 능력을 발휘할 수 있게 됩니다. 이렇게 컴퓨터가 학습과 수정을 반복하면서 인간의 사고방식을 모방하는 과정 전체를 '머신러닝'이라고 합니다.

추가적으로 머신러닝에서 모델은 데이터로부터 패턴을 학습하여 예측이나 결정을 내리기 위한 수학적 구조를 의미합니다. 이 모델은 입력 데이터를 받아 처리하고, 출력을 생성하여 주어진 문제의 해답을 제시합니다. 모델은 학습 알고리즘에 의해 데이터로부터 생성되고 최적화되며, 다양한 형태와 복잡성을 가질 수 있습니다.

머신러닝의 학습 방법 (Machine Learning Method)

머신러닝의 학습 방법은 크게 세가지가 있습니다. 지도학습(Supervised Learninig), 비지도학습(Unsupervised Learning), 강화학습(Reinforce Learning)이 그 방법 입니다.

지도학습 (Supervised Learning)

지도학습은 정답이 있는 데이터를 활용해 데이터를 학습시키는 것입니다. 즉, 입력 값과 함께 결과 값(정답 레이블)을 같이 주고 학습을 시키는 방법입니다. 지도학습은 주어진 입력에 대한 정확한 출력을 예측하는 것이 목적입니다.

대표적으로 분류(Classification)와 회귀(Regression) 알고리즘이 있습니다.

분류는 주어진 데이터를 정해진 카테고리(라벨)에 따라 분류하는 방법으로 주로 데이터가 범주형인 경우에 사용합니다. 회귀는 연속된 값을 예측하는 문제로 주로 어떤 패턴이나 트렌드, 경향을 예측할 때 사용됩니다.

일반적으로 사용되는 지도 학습 알고리즘으로는 선형 회귀, 로지스틱 회귀, 결정 트리, 서포트 벡터 머신(SVM), 신경망 등이 있습니다.

비지도 학습 (Unsupevised Learning)

비지도학습은 정답(라벨)이 없는 데이터를 활용해 데이터를 학습시키는 것입니다. 즉, 정답을 알려주지 않고 예측하는 방법으로 데이터에서 숨겨진 패턴이나 구조를 찾는 데 사용됩니다.

대표적으로 클러스터링(Clustering), 차원축소(Dimension Reduction)가 있습니다.

클러스터링은 특정 기준에 따라 유사한 데이터 사례들을 하나의 세트로 그룹화 하는 방법입니다. K-평균 클러스터링, 계층적 클러터링 알고리즘 등이 있습니다. 차원축소는 고려 중인 변수의 개수를 줄이는 작업을 통해 변수의 관계 도출을 용이하게 하는 방벙입니다. 주성분석(PCA)이 가장 대표적인 알고리즘입니다.

강화학습 (Reinforcement Learning)

강화학습은 보상 및 벌칙과 함께 여러 번의 시행착오를 거쳐 스스로 학습하는 방법입니다. 주로 시행착오를 통한 학습이며, 특정 상황에서 어떤 행동이 최적인지를 결정하도록 하는 학습방법 입니다.

대표적인 알고리즘으로 DQN과 A3C가 있습니다.

머신러닝의 장단점 (Machine Learning Pros and Cons)

머신러닝의 장점은 다음과 같습니다.

효율성 증가와 자동화
머신러닝 모델은 반복적이고 일상적인 작업을 자동화하여 인간의 개입을 최소화할 수 있습니다. 이는 시간과 비용을 절약하며, 오류 발생 가능성을 줄일 수 있으며, 인간이 놓칠 수 있는 데이터 추세와 패턴을 식별할 수도 있습니다.
복잡한 문제 해결
머신러닝은 대규모 데이터셋에서 복잡한 패턴과 통찰력을 추출할 수 있습니다. 이는 다양한 데이터를 처리할 수 있기 때문에 인간이 처리하기 어려운 문제를 해결하는 데 도움을 줄 수 있습니다.
맞춤화 및 개인화
머신러닝은 사용자의 행동, 선호도, 이전 구매 내역 등을 분석하여 개인화된 경험을 제공할 수 있습니다. 이는 추천 시스템, 타깃 마케팅, 개인화된 의료 등에 활용됩니다.

머신러닝은 다음과 같은 단점을 갖습니다.

데이터 의존성
머신러닝의 성능은 사용된 데이터의 양과 질에 크게 좌우됩니다. 데이터가 부족하거나 편향되어 있으면, 모델의 예측이 부정확할 수 있습니다.
알고리즘의 복잡성
일부 머신러닝 알고리즘은 매우 복잡하며, 이해하고 해석하기 어려울 수 있습니다. 이는 '블랙박스' 문제로 인해 의사 결정 과정이 투명하지 않게 되는 원인이 될 수 있습니다.
고비용 및 자원 소모
효과적인 머신러닝 시스템을 구축하고 유지하기 위해서는 상당한 계산 자원과 전문 지식이 필요할 수 있으며, 이는 초기 비용이 많이 들 수 있습니다.

이상 머신러닝에 대해서 알아보았습니다.

다음 포스팅에서는 학습 방법에 따른 머신러닝 알고리즘에 대해서 자세히 알아보겠습니다.

머신러닝(Machine Learning)

입이 트이는 영어 오디오 어학당 다시듣기 (4.16 새벽기상)

[입트영] Waking up early - 2024.4.16

KJJ88 — Mon, 29 Apr 2024 13:38:17 +0900

EBS 입이 트이는 영어

2024.4.16 Waking up early

Waking up early 본문

Before I had a child, I slept a lot.
It wasn't a big deal since I only had to take care of myself.
I could sleep to my heart's content and still have plenty of time to do what I wanted to do.
But after giving birth, especially during the early infant stage when our baby needed a lot of attention from her mother, I couldn't have any time to myself.
I had to sleep less to get some alone time.
So when my child turned 8, I started waking up early to spend some time alone.
I've been doing it 5 years now.
During that time, I study 입트영 and read books in English.
I chose to study English because I wanted my child to feel proud of me when she turns 20.
Seeing me wake up so early despite my love of sleeping in, my husband expressed admiration, saying 'Where there is a will, there's a way.'

번역보기

이전에는 자신만 돌보면 되었기 때문에 큰 문제가 아니었다.
내 마음대로 잘 수 있었고, 원하는 것을 할 충분한 시간이 있었다.
그러나 출산 후, 특히 초기 영아기에는 아기가 어머니의 많은 관심을 필요로 했기 때문에 나 혼자만의 시간을 가질 수 없었다.
혼자만의 시간을 갖기 위해 잠을 덜 자야만 했다.
그래서 내 아이가 8살이 되었을 때, 혼자만의 시간을 갖기 위해 일찍 일어나기 시작했다.
이제 5년째 그렇게 하고 있다.
그 시간 동안 입트영을 공부하고 영어로 책을 읽는다.
내가 선택한 영어 공부는 내 아이가 20살이 되었을 때 나를 자랑스럽게 생각하게 하기 위해서였다.
잠을 많이 자는 것을 좋아하는 나지만 이렇게 일찍 일어나는 모습을 보고, 남편은 감탄하며 '의지가 있는 곳에 길이 있다'고 말했다.

Waking up early 대화문

A: Raising two kids, it's really hard to get any me time.
B: I agree. That's why I started waking up early in the morning.
A: Oh, really?
B: Yes, I wake up around 5 A.M. and have my own routine for about two hours every day.
A: Do you get enough sleep that way?
B: I go to bed early with the kids at bedtime.

번역보기

A: 두 아이를 키우면서, 정말 나만의 시간을 갖기 어렵네요.
B: 동의해요. 그래서 저는 아침 일찍 일어나기 시작했어요.
A: 정말요?
B: 네, 저는 매일 아침 5시에 일어나서 약 2시간 동안 제 나름의 일과를 가지고 있어요.
A: 그렇게 하면 충분한 수면을 취할 수 있나요?
B: 저는 아이들과 같이 일찍 잠자리에 들어요.

Waking up early 관련 단어

my heart's content: 중분히 만족함
admiration: 존경
sleep in: 늦잠자다
despite: ~에도 불구하고, 자기도 모르게
at bedtime: 취침 시

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[입트영] Views on Life - 2024.4.15

KJJ88 — Mon, 29 Apr 2024 13:03:46 +0900

EBS 입이 트이는 영어

2024.4.15 Views on Life

Views on Life 본문

Living into my 40s, I've gained a different perspective that I hadn't seen before.
In my 20s, I only cared about my own life. I did not concern myself with the lives or pains of others.
In my 30s, I had my hands full, juggling marriage, parenting, and career all at once.
Now in my 40s, I have begun to see glimpses of other people's lives.
If I shift my gaze just a little, I can start to understand why they endure and sustain their lives what perpose they live for.
Everyone is just living their own life, and I don't think there is a single correct answer.
I can see a person's life now without passing judgment.
Just as I give my best to walk my own path, I want to root for everyone and the great lives they are living.

번역보기

내가 40대에 들어서면서 전에 보지 못했던 다른 시각을 얻게 되었다.
20대 때는 오직 내 삶만 생각했고, 다른 사람들의 삶이나 고통에는 신경 쓰지 않았다.
30대에는 결혼, 육아, 직장 생활을 한꺼번에 jongling하느라 정신이 없었다.
이제 40대에 들어서면서 다른 사람들의 삶을 조금씩 엿보기 시작했다.
시선을 조금만 옮기면 그들이 왜 그렇게 삶을 견디고 유지하는지, 그들이 무슨 목적으로 살고 있는지 이해할 수 있게 된다.
모두가 저마다의 삶을 살고 있으며, 정답은 단 하나도 없다고 생각한다.
이제 난 사람의 삶을 판단하지 않고 볼 수 있다.
내 길을 가는 데 최선을 다하는 것처럼, 나는 모든 사람들이 살고 있는 멋진 삶을 응원하고 싶다.

Views on Life 대화문

A: As I enter my 40s, I have the breadth of mind to take in my surroundings.
B: I feel the same way.
A: I've started to understand others a bit more.
B: Exactly. It feels like my personality has become a bit more flexible.
A: I also feel like I've matured.
B: I think this breadth of mind is one of the good things about getting older.

번역보기

A: 40대에 들어서면서 주변을 더 넓게 바라볼 수 있는 마음의 여유가 생겼어요.
B: 저도 그렇게 느껴요.
A: 남을 좀 더 이해하기 시작했어요.
B: 정말이죠. 제 성격이 좀 더 유연해진 것 같아요.
A: 저도 성숙해진 것 같아요.
B: 이런 마음의 여유가 나이 들어가는 것의 좋은 점 중 하나인 것 같아요.

Views on Life 관련 단어

concerned oneself with: ~에 신경을 쓰다
have one's hands full: 아주 바쁘다
all at once: 갑자기, 모두 함께, 동시에
gaze: 응시하다, 시선
sustain: 계속시키다, 살아가게 하다
endure: 견디다, 지속되다
root for: 응원하다
take in: 구독하다, 받아들이다
breadth of mind: 마음의 여유

입이 트이는 영어 오디오 어학당 다시듣기 (4.15 인생을 바라보는 시선)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[입트영] Daily Topics on "입트영" - 2024.4.12

KJJ88 — Fri, 26 Apr 2024 21:04:17 +0900

EBS 입이 트이는 영어

2024.4.12 Daily Topics on "입트영"

Daily Topics on "입트영" 본문

After going through various English content over the course of many years, I finally settled on 입트영.
I participate in an English study group that starts every day at 5:30 A.M.
We read the script for the day and take time to share our responses.
I currently live in Shanghai, China, so it's 4:30 A.M. local time when we begin.
One day I found myself thinking about that day's 입트영 topic all day long.
I ask everyone I need about their thoughts on the subject and listen to their reasons.
I especially enjoy topics that encourage creative thinking.
I like topics that lead to more progressive directions or allow for reflections of individual life expriences.
That’s why 입트영 isn't just a means for learning English.
It also provides an opportunity to dive deep into various topics.

번역보기

여러 해 동안 다양한 영어 콘텐츠를 접한 끝에, 마침내 입트영에 정착했습니다.
매일 아침 5시 30분에 시작하는 영어 학습 그룹에 참여하고 있습니다.
그 날의 스크립트를 읽고 서로의 반응을 공유하는 시간을 가집니다.
현재 중국 상하이에 살고 있어서, 현지 시간으로는 4시 30분에 시작합니다.
어느 날, 하루 종일 그날의 입트영 주제에 대해 생각하고 있었습니다.
필요한 모든 사람에게 그 주제에 대한 생각을 물어보고 그들의 이유를 듣습니다.
창의적 사고를 장려하는 주제들을 특히 좋아합니다.
더 진보적인 방향으로 나아가거나 개인의 삶의 경험을 반영할 수 있게 하는 주제들을 좋아합니다.
그래서 입트영은 영어 학습 수단에 그치지 않습니다.
또한 다양한 주제에 깊이 파고들 기회를 제공합니다.

Daily Topics on "입트영" 대화문

A: How long have you been studying 입트영?
B: I first got into it 13 years ago, back in my college days.
A: Have you been studying it constantly since then?
B: No, I took a break for a while. But I started again in earnest 3 years ago.
A: I see.
B: I really like the daily topics on 입트영. They give me a lot to think about.

번역보기

A: 입트영을 얼마나 오래 공부해 왔어요?
B: 처음 시작한 건 대학 시절로부터 13년 전이에요.
A: 그때부터 계속 공부해 온 건가요?
B: 아니요, 잠시 휴식기를 가졌어요. 하지만 3년 전에 본격적으로 다시 시작했어요.
A: 알겠어요.
B: 입트영의 매일 주제들이 정말 마음에 들어요. 생각할 거리를 많이 줘요.

Daily Topics on "입트영" 관련 단어

settle on: ~을 결정하다.
over the course of: ~동안
in the course of time: 충분한 시간이 지나면
participate: 참여하다
all day long: 하루종일
one day: 언젠가
progressive: 진보적인, 점진적인
means: 수단
in earnest: 본격적로, 진심으로
earnest: 성실한, 진심 어린

입이 트이는 영어 오디오 어학당 다시듣기 (4.12 ‘입트영’이 던지는 그날그날의 화두)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[개발자를 위한 LLM] 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

KJJ88 — Thu, 25 Apr 2024 19:35:28 +0900

트랜스포머의 마지막 포스팅 입니다. 피드 포워드 신경망, 잔차 연결, 레이어 정규화에 대해서 알아보겠습니다.

피드 포워드 신경망 (Feed Forward Neural Network)

트랜스포머 모델 내의 각 인코더와 디코더 레이어는 피드포워드 신경망(FNN)을 포함하고 있습니다. FNN은 인코더와 디코더의 각 레이어에서 입력을 받아 비선형 변환을 수행하는 완전 연결 네트워크입니다. 구체적으로, FNN은 두 개의 선형 변환과 그 사이에 위치하는 활성화 함수(예: ReLU)로 구성됩니다.

FNN은 어텐션 레이어의 출력에서 나온 정보를 처리하여, 각 위치의 숨겨진 상태를 독립적으로 업데이트 하여, 각 위치의 정보를 더 풍부하고 복잡한 표현으로 변환해주는 역할 수행합니다.

잔차 연결 (Residual Connection) 과 레이어 정규화 (Layer Normalization)

잔차 연결 (Residual Connection)

잔차 연결은 트랜스포머 모델의 각 서브 레이어(어텐션과 FNN)의 입력과 출력 사이에 추가됩니다. 간단히 말해, 입력이 서브 레이어의 처리 과정을 거친 후, 원래의 입력과 출력이 합쳐지는 방식입니다.

잔차 연결은 깊은 네트워크에서 그래디언트가 효과적으로 전파되도록 돕는 역할을 수행합니다. 이를 통해 모델이 깊어질 때 발생할 수 있는 학습 문제(예: 그래디언트 소실)를 완화하고, 학습 과정을 안정화시킵니다.

레이어 정규화 (Layer Normalization)

레이어 정규화는 각 서브 레이어의 출력 후에 적용됩니다. 이는 서브 레이어의 출력을 정규화하여, 특정 범위 내의 값을 유지하도록 조정합니다.

레이어 정규화는 모델의 훈련을 더 안정적이고 빠르게 만드는 역할을 수행합니다. 각 레이어의 입력이 정규화되므로, 학습 중 발생할 수 있는 값의 급격한 변동을 방지하고, 더 빠른 수렴을 돕습니다.

이상 9개의 포스팅을 통해 트랜스포머에 대해서 자세히 알아보았습니다.

트랜스포머에 대해서 자세한 사항이 궁금하시면 아래 링크에 있는 포스팅을 확인 해보시면 됩니다.

트랜스포머

4. 트랜스포머 훈련과 예측 단계 (Transformer Learning and Inference Step)

6. 어텐션, 셀프 어텐션, 멀티 헤드 어텐션 개요 (Transformer Attention, Self Attention, Multi-head Attention)

7. 셀프 어텐션 상세 동작 과정 (Transformer Self Attention Detailed Process)

8. 멀티 헤드 어텐션 상세 동작 과정 (Transformer Multi-head Attention Detailed Process)

9. 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

BERT

입이 트이는 영어 오디오 어학당 다시듣기 (4.11 신조어 현상)

[입트영] Neologism - 2024.4.11

KJJ88 — Wed, 24 Apr 2024 22:14:32 +0900

EBS 입이 트이는 영어

2024.4.11 Neologism

Neologism 본문

Many newly coined words have emerged recently that are not immediately understandable.
They often require deciphering their meaning, like solving a quiz.
Sometimes there is a sense of satisfaction when you correctly guess the meaning of a particular neologism.
Generally, neologisms are often created by mixing together English and Korean, or by combining the initial letters of Korean words to form shortened new words.
Neologisms tend to be good for a laugh and easy to pronounce.
Some argue that these neologisms should be accepted naturally as part of the current zeitgeist.
But some have raised concerns that if this trend goes too far and leads to severe destruction of our language, our unique cultural heritage may be damaged.

번역보기

최근에 많은 새로 만들어진 단어들이 등장했으며, 이해하기 쉽지 않습니다.
이들은 종종 그 의미를 풀어내야 하며, 퀴즈를 푸는 것과 같습니다.
특정 신조어의 의미를 정확히 짐작했을 때 때로는 만족감을 느낄 수 있습니다.
일반적으로, 신조어는 영어와 한국어를 섞거나, 한국어 단어의 첫 글자를 조합하여 짧은 새 단어를 만드는 방식으로 창조됩니다.
신조어는 종종 웃음을 자아내고 발음하기 쉽습니다.
일부는 이러한 신조어들이 현재의 시대정신의 일부로 자연스럽게 받아들여져야 한다고 주장합니다.
하지만 일부는 이러한 추세가 지나치게 진행되어 언어가 심각하게 파괴되고, 우리의 독특한 문화유산이 손상될 수 있다고 우려를 표합니다.

Neologism 대화문

A: There are so many times when I can't make sense of the neologisms my daughter uses.
B: I feel the same way.
A: The new words the kids these days use feel so unfamiliar.
B: Some of them can be clever and inventive.
A: Sure. Of course they can.
B: But I sometimes get the impression that it's going too far and destroying our language.

번역보기

A: 제 딸이 사용하는 신조어들을 이해할 수 없을 때가 정말 많아요.
B: 저도 같은 생각이에요.
A: 요즘 아이들이 쓰는 새로운 단어들이 너무 낯설게 느껴져요.
B: 그 중 일부는 창의적이고 기발할 수 있죠.
A: 그렇죠. 물론 그럴 수 있어요.
B: 하지만 가끔 너무 지나치다는 생각이 들어요. 우리 말을 파괴하고 있는 것 같아요.

Neologism 관련 단어

emerge: 나오다, 드러나다, 생겨나다
new coinage: 신조어
deciphering: 복호화
combine: 결합하다, 갖추다
shorten: 짤게 하다, 단축하다, 짧아지다
pronounce: 발음하다
zeitgeist: 시대정신
destruction: 파괴
destroy: 파괴하다
severe: 극심한, 심각한, 가혹한, 엄격한
heritage: 유산
concerns: 걱정, 염려, 관심사
inventive: 창의적인, 독창적인

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[입트영] The Transformer Algorithm and English Studies - 2024.4.10

KJJ88 — Wed, 24 Apr 2024 21:53:17 +0900

EBS 입이 트이는 영어

2024.4.11 The Transformer Algorithm and English Studies

The Transformer Algorithm and English Studies 본문

ChatGPT is an AI chatbot based on a pre-trained generative natural language processing system.
The technology used here is the Transformer algorithm, developed by Google in 2017.
This Transformer algorithm is remarkably similar to the conversational style we humans use.
Even without free will, ChatGPT is capable of naturally engaging in conversations with humans.
Seeing this, I found myself questioning whether the words we speak as humans are expressions of our free will, or if we're saying familiar phrases as a matter of probability.
I also contemplated a similar idea for English speaking practice.
If we speak in English as much as possible and thereby increase the likelihood of using English expressions, it could lead to more natural English speaking, similar to the principle behind ChatGPT.

번역 보기

ChatGPT는 사전 훈련된 생성형 자연어 처리 시스템을 기반으로 한 AI 챗봇입니다.
여기서 사용된 기술은 2017년 구글이 개발한 트랜스포머 알고리즘입니다.
이 트랜스포머 알고리즘은 우리 인간이 사용하는 대화 스타일과 놀랍도록 유사합니다.
자유 의지가 없음에도 불구하고, ChatGPT는 인간과 자연스럽게 대화를 나눌 수 있는 능력이 있습니다.
이를 보며, 인간이 말하는 단어가 자유 의지의 표현인지, 아니면 단순히 확률에 따라 익숙한 표현을 말하는 것인지에 대해 의문을 가졌습니다.
저는 이와 비슷한 생각을 영어 말하기 연습에 적용해보기도 했습니다.
가능한 많이 영어로 말하고, 영어 표현 사용 가능성을 높임으로써, ChatGPT의 원리와 유사하게 더 자연스러운 영어 말하기로 이어질 수 있습니다.

The Transformer Algorithm and English Studies 대화문

A: When I talk with ChatGPT these days, it feels just like I'm talking to a real person.
B: I often feel the same way.
A: If we train constantly with ChatGPT, our English skills are sure to improve, right?
B: Yes, with constant practice, we can develop expressions that we can say instinctively.
A: That's right.
B: We should actively make use of ChatGPT to practice speaking and listening in English.

번역보기

A: 요즘 ChatGPT와 대화하면 실제 사람과 이야기하는 것 같아요.
B: 저도 자주 그런 느낌이 들어요.
A: 만약 우리가 계속해서 ChatGPT와 연습한다면, 우리의 영어 실력이 분명히 향상될 거죠, 맞죠?
B: 네, 지속적인 연습을 통해 우리는 본능적으로 말할 수 있는 표현들을 개발할 수 있습니다.
A: 맞아요.
B: 우리는 영어 말하기와 듣기 연습을 위해 ChatGPT를 적극적으로 활용해야 해요.

The Transformer Algorithm and English Studies 관련 단어

generative: 발생의, 생성의
remarkably: 놀라울정도의
conversational: 대화의
free will: 자유 의지의
capable of: ~할 수 있는
engage somebody in conversation: ~를 대화에 끌어들이다
contemplate: 심사숙고하다, 고려하다
thereby: 그렇게 함으로써, 그것 때문에
principle: 원칙
instinctively: 본능적으로, 직관적으로

입이 트이는 영어 오디오 어학당 다시듣기 (4.10 트랜스포머 알고리즘과 영어 학습의 유사성)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[개발자를 위한 LLM] 멀티 헤드 어텐션 상세 동작 과정 (Transformer Multi-head Attention Detailed Process)

KJJ88 — Tue, 23 Apr 2024 18:55:39 +0900

멀티 헤드 어텐션의 상세 동자 과정에 대해서 알아보겠습니다.

멀티 헤드 어텐션 (Multi-head Attention)

멀티 헤드 어텐션을 간단히 말하면 셀프 어텐션을 여러번 수행하는것 입니다. 마스크드 멀티 헤드 어텐션은 멀티 헤드 어텐션과 동일한 과정을 수행하지만 타겟의 일부를 마스킹 처리하는것이 멀티 헤드 어텐션과 다른 점입니다.

멀티 헤드 어텐션은 수행 순서는 다음과 같습니다.

각 헤드는 독립적으로 셀프 어텐션을 수행. 각 헤드는 동일한 입력에 대해 다른 Q,K,V 가중치 행렬을 사용하여 셀프 어텐션 계산
모든 헤드의 셀프 어텐션 출력 결과를 이어 붙여 각 헤드의 분석결과 통합
도출한 결과에 최종 가중치 W0를 곱하여 최종 출력 만듦
결과적으로 결과는 각각의 헤드가 분석한 결과의 총 합

멀티 헤드 어텐션은 입력 데이터를 다양한 관점에서 분석할 수 있고, 복잡한 단어 간 관계를 포착하는데 강점이 있습니다.

멀티 헤드 어텐션 상세 동작 (Multi-head Attention Process)

멀티 헤드 어테션은 레이어의 성능을 두 가지 방식으로 향상시킵니다.

첫째, 모델이 다양한 위치에 더 효과적으로 집중할 수 있도록 합니다. 예를 들어 "The animal didn’t cross the street because it was too tired"와 같은 문장에서 "it"가 가리키는 단어를 정확히 파악하는 데 도움을 줍니다.

둘째, 어텐션 레이어에 여러 표현 공간을 제공함으로써, 입력 데이터를 다양한 관점에서 분석할 수 있습니다. 이는 트랜스포머 모델이 8개의 어텐션 헤드를 사용하며, 각 인코더와 디코더에 대해 8세트의 Query/Key/Value 가중치 행렬을 사용함으로써 이루어집니다. 각 행렬 세트는 무작위로 초기화 되고, 훈련을 통해 입력 임베딩 또는 하위 인코더/디코더의 벡터들을 다른 표현 공간으로 투영하는 데 사용됩니다.

멀티 헤드 어텐션에서는 각 헤드마다 별도의 Q(쿼리), K(키), V(값) 가중치 행렬이 있습니다. 이를 통해 각 헤드는 서로 다른 Q, K, V 행렬을 생성합니다. 이 과정은 입력 행렬 X를 각각의 WQ(쿼리 가중치), WK(키 가중치), WV(값 가중치) 행렬과 곱하여 수행됩니다.

결과적으로, 각 헤드는 입력 데이터를 서로 다른 방식으로 해석하고 처리할 수 있는 고유한 Q, K, V 행렬을 갖게 됩니다.

멀티 헤드 어텐션에서는 동일한 셀프 어텐션 계산을 8개의 서로 다른 가중치 행렬 세트를 사용하여 8번 수행합니다. 이 과정을 통해 8개의 서로 다른 Z 행렬이 생성됩니다.

각 행렬은 독립된 어텐션 헤드에 해당하는 데이터의 다른 측면을 나타내며, 결과적으로 각각의 헤드가 입력 데이터를 다르게 해석하고 처리한 결과를 반영합니다.

멀티 헤드 어텐션에서 생성된 8개의 Z 행렬은 피드 포워드 레이어에 대한 도전 과제를 제시합니다. 왜냐하면 피드 포워드 레이어는 8개의 분리된 행렬이 아닌, 하나의 통합된 행렬(각 단어에 대한 벡터)을 입력으로 기대하기 때문입니다.

이 문제를 해결하기 위해, 이 8개의 행렬을 하나의 큰 행렬로 결합합니다. 그런 다음 이 결합된 행렬에 추가적인 가중치 행렬 WO를 곱하여, 최종적으로 피드 포워드 레이어에 적합한 단일 행렬을 생성합니다.

이제 처음에 보여드렸던 그림을 보면서 다시 한 번 정리하겠습니다.

입력 문장을 받습니다.
문장의 각 단어를 임베딩하여 벡터 형태로 변환합니다.
임베딩된 단어들을 8개의 어텐션 헤드로 나누고, 각 헤드는 입력 행렬 X(또는 R)을 해당 가중치 행렬과 곱하여 Q, K, V 행렬을 생성합니다.
생성된 Q, K, V 행렬을 사용하여 어텐션 점수를 계산합니다.
각 헤드에서 얻어진 결과(Z 행렬)를 연결한 후, 가중치 행렬 W0와 곱하여 멀티 헤드 어텐션 레이어의 최종 출력을 생성합니다.

예시 문장에서 "it"이 인코딩될 때 각기 다른 어텐션 헤드들이 어디에 집중하는지 살펴보겠습니다.

멀티 헤드 어텐션이 어떻게 다양한 문맥 요소에 집중하는지를 파악할 수 있는 예시입니다.

여기서 보면 하나의 어텐션 헤드가 "the animal"에 집중할 수 있으며, 다른 헤드는 "tired"에 집중할 수 있습니다. 이는 "it"이라는 단어가 문장 내에서 다른 단어들과 어떻게 연관되어 있는지, 모델이 어떻게 이 단어의 의미를 다양한 관점에서 해석하는지를 보여줍니다.

모든 어텐션 헤드를 함께 고려하면, 해석이 더 복잡해질 수 있습니다. 각 어텐션 헤드는 다른 부분에 집중하며, 이들 모두를 동시에 고려할 때, 전체적인 문맥의 이해는 더 풍부해지지만, 각 헤드의 특정 초점을 이해하고 해석하는 데는 더 많은 주의가 필요합니다.

트랜스포머

4. 트랜스포머 훈련과 예측 단계 (Transformer Learning and Inference Step)

6. 어텐션, 셀프 어텐션, 멀티 헤드 어텐션 개요 (Transformer Attention, Self Attention, Multi-head Attention)

7. 셀프 어텐션 상세 동작 과정 (Transformer Self Attention Detailed Process)

8. 멀티 헤드 어텐션 상세 동작 과정 (Transformer Multi-head Attention Detailed Process)

9. 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

BERT

입이 트이는 영어 오디오 어학당 다시듣기 (4.9 공공요금 인상)

[입트영] Increased Utility Fees - 2024.4.9

KJJ88 — Fri, 19 Apr 2024 17:07:03 +0900

EBS 입이 트이는 영어

2024.4.9 Increased Utility Fees

Increased Utility Fees 본문

It was recently decided that electricity and gas bills were each be increased by about 5 percent.
Despite a steady rise in global energy prices, these increases were not reflected in utility fees.
This led to increased operating losses for related companies, providing the backdrop for the higher fees.
However, the rate hike has been postponed by a year for basic livelihood recipients and people in lower income groups
This is meant to alleviate the burden on these vulnerable groups.
A staggered payment system will also be offered to small business owners.
Countries like ours, lacking in natural resources, are inevitably hit hard by a rise in international energy prices.
Plus, the production and supply of electricity or gas generate a huge amount of carbon emissions.
Our efforts to conserve energy are a necessity, not a choice.

번역보기

최근에 전기 및 가스 요금이 각각 약 5퍼센트 인상될 것으로 결정되었습니다.
글로벌 에너지 가격이 지속적으로 상승함에도 불구하고, 이러한 인상분은 공공요금에 반영되지 않았습니다.
이로 인해 관련 기업들의 운영 손실이 증가하게 되었으며, 이는 요금 인상의 배경이 되었습니다.
그러나, 기본생활 수급자 및 저소득층을 위한 요금 인상은 1년간 유예되었습니다.
이는 이러한 취약 계층의 부담을 덜어주기 위한 조치입니다.
또한, 소상공인을 위한 분할 납부 시스템도 제공될 예정입니다.
자원이 부족한 우리와 같은 나라는 국제 에너지 가격 상승에 따른 타격을 불가피하게 크게 받고 있습니다.
더욱이, 전기나 가스의 생산 및 공급은 막대한 탄소 배출을 발생시킵니다.
따라서, 에너지 절약 노력은 선택이 아닌 필수입니다.

Increased Utility Fees 대화문

A: It has been decided that electricity and gas bills will each be increased by 5 percent.
B: It will likely have an impact not only on households but also on various industries.
A: Do you think so?
B: Yes. Industries like semiconductors, steel, and cars will all shoulder increased costs.
A: That could lead to a price hike for various goods, too.
B: Exactly. It could also affect the competitiveness of our exported goods.

번역보기

A: 전기 및 가스 요금이 각각 5퍼센트 인상될 것으로 결정되었습니다.
B: 그것은 가정뿐만 아니라 다양한 산업에도 영향을 미칠 것입니다.
A: 그렇게 생각하세요?
B: 네. 반도체, 철강, 자동차와 같은 산업은 모두 비용 증가를 감당해야 할 것입니다.
A: 또한 다양한 상품의 가격 인상으로 이어질 수도 있습니다.
B: 정확합니다. 또한 수출 상품의 경쟁력에도 영향을 미칠 수 있습니다.

Increased Utility Fees 관련 단어

lead to: ~로 이어지다
livelihood: 생계
basic livelihood recipient: 기초생활수급자
rate hike: 대폭 인상
price hike: 물가 인상
alleviate: 완하다
vulnerable: 취약한, 연약한
backdrop: 배경
vulnerable group: 취약계층
stagger: 비틀거리다, 시차를 두다
mean to: ~할 셈이다
inevitably: 필연적이다시피
carbon emission: 탄소 배출
conserve: 아끼다, 보호하다
necessity: 필요성, 불가피한 일, 필수품
impact on: ~에 충격을 주다

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

AI 인덱스 리포트 2024

KJJ88 — Thu, 18 Apr 2024 08:37:25 +0900

미 스탠포드대학교 (Stanford University)의 스탠포드 인간중심 인공지능연구소 ( Human-Centered Artificial Intelligence, HAI)에서 인공지능 인덱스 2024 (AI Index 2024)를 공개하였습니다.

AI 분야의 10가지 시사점을 이야기하고 있는 500페이지 분량의 보고서 입니다. 10가지 시사점은 다음과 같습니다.

1. AI는 일부 작업에서 인간을 능가하지만 모든 작업에서 그렇지는 않습니다.
AI는 이미지 분류, 시각적 추론 및 영어 이해 등 몇 가지 벤치마크에서 인간의 성능을 뛰어넘었습니다. 그러나 경쟁 수준의 수학, 시각적 상식 추론 및 계획과 같은 더 복잡한 작업에서는 뒤처져 있습니다.

2. 산업은 프론티어 AI 연구를 지속적으로 주도하고 있습니다.
2023년에 산업은 주목할 만한 51개의 머신러닝 모델을 생산했으며, 학계는 15개만 기여했습니다. 또한 2023년에는 산업-학계 협력으로 21개의 주목할 만한 모델이 나왔습니다.

3. 프론티어 모델은 비용이 크게 증가했습니다.
AI 인덱스 추정에 따르면 최첨단 AI 모델의 훈련 비용이 사상 최고 수준에 도달했습니다. 예를 들어, OpenAI의 GPT-4는 훈련에 약 7,800만 달러 상당의 컴퓨팅 비용이 사용되었고, Google의 Gemini Ultra는 1억 9,100만 달러가 들었습니다.

4. 미국은 중국, EU, 영국을 앞서 최고의 AI 모델의 주요 출처입니다.
2023년에 미국 기반 기관에서 61개의 주목할 만한 AI 모델이 출발하여, 유럽 연합의 21개와 중국의 15개를 크게 앞질렀습니다.

5. LLM 책임 평가에 대한 견고하고 표준화된 평가가 심각하게 부족합니다.
새로운 연구에 따르면 책임 있는 AI 보고의 표준화에 상당한 부족이 있습니다. OpenAI, Google, Anthropic 등 주요 개발자들은 주로 모델을 다양한 책임 있는 AI 벤치마크에 대해 테스트합니다. 이러한 관행은 최고 AI 모델의 위험과 한계를 체계적으로 비교하는 노력을 복잡하게 합니다.

6. 생성적 AI 투자는 급증합니다.
작년 전체 AI 사설 투자가 감소했음에도 불구하고, 생성적 AI에 대한 자금은 2022년에 비해 거의 8배 증가하여 252억 달러에 이르렀습니다. OpenAI, Anthropic, Hugging Face, Inflection 등 생성적 AI 분야의 주요 업체들은 상당한 자금 조달 라운드를 보고했습니다.

7. 데이터는 AI가 근로자의 생산성을 높이고 작업 품질을 향상시킨다는 것을 보여줍니다.
2023년에 여러 연구가 AI의 노동에 대한 영향을 평가하여 AI가 근로자들이 작업을 더 빨리 완료하고 출력의 품질을 개선할 수 있게 함을 보여주었습니다. 이러한 연구는 또한 AI가 저숙련 및 고숙련 근로자 간의 기술 격차를 메우는 잠재력을 입증했습니다. 그러나 적절한 감독 없이 AI를 사용하는 경우 성능이 저하될 수 있다고 경고하는 연구도 있습니다.

8. 과학적 진보가 AI 덕분에 더욱 가속화되고 있습니다.
2022년에 AI는 과학 발견을 촉진하기 시작했습니다. 그러나 2023년에는 알고리즘 정렬을 더 효율적으로 만드는 AlphaDev부터 재료 발견 과정을 용이하게 하는 GNoME에 이르기까지 더욱 중요한 과학 관련 AI 애플리케이션이 출시되었습니다.

9. 미국의 AI 규제가 급격히 증가했습니다.
미국에서는 지난 한 해 동안 뿐만 아니라 지난 5년 동안 AI 관련 규제가 크게 증가했습니다. 2023년에는 AI 관련 규제가 25건으로, 2016년의 단 한 건에서 증가했습니다. 지난해에만 AI 관련 규제의 총 수는 56.3% 증가했습니다.

10. 전 세계적으로 AI의 잠재적 영향에 대해 더 많이 인식하고 있으며 더욱 불안해합니다.
Ipsos의 조사에 따르면 지난해 동안 AI가 향후 3년에서 5년 사이에 자신의 삶에 혁명적인 영향을 미칠 것이라고 생각하는 사람들의 비율이 60%에서 66%로 증가했습니다. 또한 AI 제품 및 서비스에 대해 불안함을 표시하는 사람들의 비율은 2022년에 비해 13% 포인트 증가한 52%입니다. 미국에서는 Pew 자료에 따르면 52%의 미국인들이 AI에 대해 흥분하기보다는 우려를 느낀다고 보고했으며, 이는 2022년의 37%에서 증가한 수치입니다.

자세한 내용 아래 링크에 들어가셔서 AI Index Report 2024 보고서를 보시면 됩니다.

https://aiindex.stanford.edu/report/

AI Index Report 2024 – Artificial Intelligence Index

Welcome to the seventh edition of the AI Index report. The 2024 Index is our most comprehensive to date and arrives at an important moment when AI’s influence on society has never been more pronounced. This year, we have broadened our scope to more exten

aiindex.stanford.edu

[입트영] Photography Classes - 2024.4.8

KJJ88 — Wed, 17 Apr 2024 21:40:37 +0900

EBS 입이 트이는 영어

2024.4.8 Photography Classes

Photography Classes 본문

Lately, I have been taking offline classes on photography.
Unlike other photography classes, this one doesn't teach photography techniques.
Instead, it makes me constantly think about what to look at, how to view it before taking a picture.
Thanks to this approach, I haven't been practicing the same old photos of breathtaking scenery or mouth-watering food that anyone can take.
Instead, I am traning myself to find what is special in the ordinary day-to-day.
This perspective training also does a lot of good for family relationships.
In the past, I only took photographs of what I wanted to see from my children or spouse.
But now I can see things I hadn't notice before and appreciate them.
Ordinary daily life, in and of itself, is not ordinary at all.

번역보기

요즘 저는 오프라인 사진 수업을 듣고 있어요.
다른 사진 수업과 달리 이 수업은 사진 기술을 가르치지 않아요.
대신 사진을 찍기 전에 무엇을 보고, 어떻게 바라볼지에 대해 계속 생각하게 해요.
이런 접근 덕분에 저는 누구나 찍을 수 있는 놀라운 풍경이나 맛있어 보이는 음식 사진을 계속 찍지 않게 되었어요.
대신, 평범한 일상에서 특별한 것을 찾아내는 훈련을 하고 있어요.
이런 관점의 훈련은 가족 관계에도 많은 도움이 돼요.
과거에는 제가 원하는 모습만을 아이들이나 배우자에게서 사진으로 찍곤 했어요.
하지만 이제는 전에 눈치채지 못했던 것들을 보고 감사하게 생각하게 되었어요.
보통의 일상은 그 자체로 전혀 평범하지 않아요.

Photography Classes 대화문

A: Wow, this photo has a great vibe. Did you take it yourself?
B: Thank you. I recently started taking photography classes.
A: What do they teach in photography classes?
B: They teach us how to find what is special in the ordinary day-to-day.
A: That sounds like a really meaningful class.
B: I've gained a different perspective on everyday things.

번역보기

A: 와, 이 사진 정말 멋진 분위기가 있네요. 혹시 직접 찍으신 건가요?
B: 감사합니다. 최근에 사진 수업을 시작했어요.
A: 사진 수업에서는 무엇을 가르치나요?
B: 우리에게 일상 속에서 특별한 것을 찾는 법을 가르쳐줘요.
A: 정말 의미 있는 수업 같네요.
B: 일상적인 것들에 대해 다른 관점을 얻게 되었어요.

Photography Classes 관련 단어

scenery: 경치, 풍경
breathtaking: 숨이 턱 막히
the same old: 흔히 있는
day-to-day: 그날 그날 꾸려 가는, 매일 행해지는
ordinary: 보통의, 일상적인, 평범한
perspective: 관점, 시각, 균형감, 원근법
spouse: 배우자
appreciate: 고마워하다, 인식하다, 진가를 알아보다
in and of itself: 그것 자체는
in itself: 그것 자체가
vibe: 분위기, 낌새, 느낌

입이 트이는 영어 오디오 어학당 다시듣기 (4.8 사진수업)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[개발자를 위한 LLM] 트랜스포머 셀프 어텐션 상세 동작 과정 (Transformer Self Attention Detailed Process)

KJJ88 — Tue, 16 Apr 2024 19:38:58 +0900

이전 포스팅까지는 트랜스포머의 셀프 어텐션과 멀티 헤드 어텐션에 대해서 알아봤고,

이번 포스팅에서는 셀프 어텐션의 상세한 동작 과정에 대해서 알아보겠습니다.

셀프 어텐션의 계산 과정 (Self Attention in Detail)

셀프 어텐션의 동작 과정을 벡터 계산 과정과 행렬 계산 과정으로 두 번에 걸쳐서 설명하겠습니다.

벡터 계산으로 셀프 어텐션 과정 알아보기 (Self Attention using Vector)

셀프 어텐션을 계산하는 첫 단계는 인코더의 입력 벡터들로부터 각 단어에 대한 세 가지 벡터인 Query, Key, Value를 생성하는 것입니다.

이는 각 단어의 임베딩을 훈련 과정에서 학습한 세 개의 행렬(WQ, WK, WV)에 곱하여 이루어집니다.

예를 들어, x1을 WQ 가중치 행렬로 곱하면 해당 단어에 대한 Query 벡터 q1이 생성됩니다. 이런 방식으로 입력 문장의 각 단어에 대해 Query, Key, Value 투영을 생성합니다. 생성된 이 새로운 벡터들은 원래 임베딩 벡터보다 차원이 작습니다. 이들의 차원은 64인 반면, 원래의 임베딩과 인코더 입력/출력 벡터의 차원은 512입니다.

이렇게 차원을 줄이는 것은 필수적이지 않지만, 다중 헤드 어텐션 계산을 대체로 일정하게 유지하기 위한 아키텍처적 선택입니다.

셀프 어텐션을 계산하는 두 번째 단계는 각 단어에 대한 점수를 계산하는 것입니다.

예를 들어, "Thinking"이라는 첫 번째 단어에 대한 셀프 어텐션을 계산한다고 할 때, 이 단어에 대해 입력 문장의 다른 모든 단어를 점수 매깁니다. 이 점수는 입력 문장의 다른 부분에 얼마나 초점을 맞출지를 결정하는 데 사용됩니다.

점수 계산은 Query 벡터와 각 단어의 Key 벡터의 내적을 취함으로써 이루어집니다. 예를 들어, 첫 번째 단어의 경우, 첫 번째 점수는 Query 벡터 q1과 첫 번째 Key 벡터 k1의 내적이 됩니다. 마찬가지로, 두 번째 점수는 q1과 두 번째 Key 벡터 k2의 내적이 됩니다. 이렇게 계산된 점수를 통해 모델은 각 단어가 전체 문장에서 어떤 역할을 하는지, 어떻게 다른 단어들과 상호 작용하는지를 파악할 수 있습니다.

셀프 어텐션 계산의 세 번째와 네 번째 단계에서는 먼저 계산된 점수를 8로 나눕니다. 이는 Key 벡터의 차원인 64의 제곱근에 해당하며, 더 안정적인 기울기를 얻기 위해 사용됩니다. 다른 값들도 사용될 수 있지만, 8은 기본값으로 설정되어 있습니다.

이렇게 조정된 점수는 소프트맥스 연산을 통해 정규화됩니다. 소프트맥스는 점수들을 모두 양수로 변환하고, 이들의 총합이 1이 되도록 만듭니다. 소프트맥스 점수는 각 단어가 특정 위치에서 얼마나 영향력을 가질지를 결정합니다. 일반적으로 해당 위치에 있는 단어가 가장 높은 점수를 받지만, 현재 단어와 관련된 다른 단어에 주의를 기울이는 것이 때로는 유용할 수 있습니다.

이러한 메커니즘을 통해 모델은 문장 내의 각 단어의 중요도와 상호작용을 더 잘 파악하고, 전체 문맥을 고려한 정확한 인코딩을 수행할 수 있습니다.

셀프 어텐션 계산의 다섯 번째 단계에서는 각 Value 벡터에 소프트맥스 점수를 곱합니다. 이는 주목하고자 하는 단어들의 값을 유지하고 관련 없는 단어들을 축소하는 데 목적이 있습니다.

여섯 번째 단계에서는 이렇게 가중치가 적용된 Value 벡터들을 합산하여, 해당 위치에서의 셀프 어텐션 레이어의 출력을 생성합니다. 이 출력은 피드 포워드 신경망으로 전달될 벡터입니다.

이상으로 벡터 계산을 통한 셀프 어텐션의 동작 과정을 알아보았습니다. 실제 구현에서는 이러한 계산이 행렬 형태로 수행되어 더 빠르게 처리되기 때문에 행렬 계산을 통한 셀프 어텐션의 동작도 알아보겠습니다.

행렬 계산을 통한 셀프 어텐션 동작 과정 (Self Attention using Matrix)

행렬을 이용한 셀프 어텐션 계산의 첫 단계는 Query, Key, Value 행렬을 만드는 것입니다.

이를 위해 우리는 임베딩을 행렬 X로 구성하고, 훈련된 가중치 행렬 WQ, WK, WV와 곱합니다. X 행렬의 각 행은 입력 문장의 각 단어를 나타냅니다. 임베딩 벡터는 512차원이고, q/k/v 벡터는 64차원으로 크기가 다릅니다.

행렬을 사용하는 덕분에, 셀프 어텐션 레이어의 출력을 계산하는 데 필요한 두 번째 단계부터 여섯 번째 단계까지의 과정을 하나의 공식으로 요약할 수 있습니다. 이렇게 하면 셀프 어텐션 계산을 훨씬 효율적으로 처리할 수 있습니다.

셀프 어텐션 계산을 파이토치 코드로 구현해봤습니다.

import torch
import numpy as np
from torch.nn.functional import softmax

x = torch.tensor([
    [1.0, 0.0, 1.0, 0.0],
    [0.0, 2.0, 0.0, 2.0],
    [1.0, 1.0, 1.0, 1.0],
])
w_query = torch.tensor([
    [1.0, 0.0, 1.0],
    [1.0, 0.0, 0.0],
    [0.0, 0.0, 1.0],
    [0.0, 1.0, 1.0]
])
w_key = torch.tensor([
    [0.0, 0.0, 1.0],
    [1.0, 1.0, 0.0],
    [0.0, 1.0, 0.0],
    [1.0, 1.0, 0.0]
])
w_value = torch.tensor([
    [0.0, 2.0, 0.0],
    [0.0, 3.0, 0.0],
    [1.0, 0.0, 3.0],
    [1.0, 1.0, 0.0]
])

querys = torch.matmul(x, w_query)
keys = torch.matmul(x, w_key)
values = torch.matmul(x,w_value)

attn_scores = torch.matmul(querys, keys.T)
key_dim_sqrt = np.sqrt(keys.shape[-1])
attn_probs = softmax(attn_scores / key_dim_sqrt, dim=1)
weighted_values_Z = torch.matmul(attn_probs, values)

지금까지 셀프 어텐션의 상세한 동작 과정을 알아보았습니다.

다음 포스팅에서는 멀티 헤드 어테션의 상세 동작을 알아보겠습니다.

트랜스포머

4. 트랜스포머 훈련과 예측 단계 (Transformer Learning and Inference Step)

6. 어텐션, 셀프 어텐션, 멀티 헤드 어텐션 개요 (Transformer Attention, Self Attention, Multi-head Attention)

7. 셀프 어텐션 상세 동작 과정 (Transformer Self Attention Detailed Process)

8. 멀티 헤드 어텐션 상세 동작 과정 (Transformer Multi-head Attention Detailed Process)

9. 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

BERT

입이 트이는 영어 오디오 어학당 다시듣기 (4.5 출산준비)

[입트영] Preparing for Childbirth - 2024.4.5

KJJ88 — Mon, 15 Apr 2024 21:00:52 +0900

EBS 입이 트이는 영어

2024.4.5 Preparing for Childbirth

Preparing for Childbirth 본문

My due date is just a few days away. It's my third delivery, but I still feel nervous each time.
I toss and turn at night because I'm scared of going to the hospital, but I feel excited at the thought of meeting the baby.
I have prepared various baby items while waiting for the baby's arrival.
I bought a second-hand baby crib at a low price through an online preowned goods platform.
I also bought a nursing pillow and newborn diapers at a special online rate.
I washed all the baby clothes and handkerchief in advance.
I'm practicing Lamaze breathing techniques for the delivery.
Practicing how to breathe in advance was very helpful during the delivery of the my first and second children.
I'm training myself to release tension and alternate between slow and quick breaths.

번역보기

출산 예정일이 며칠 남지 않았어요. 세 번째 출산이지만, 매번 긴장돼요.
밤에는 병원에 가는 게 무서워서 잠을 설치지만, 아기를 만날 생각에 설레요.
아기가 오기를 기다리며 여러 아기용품을 준비했어요.
저렴한 가격에 중고 아기 침대를 온라인 중고품 플랫폼에서 샀어요.
그리고 특별한 온라인 가격으로 모유 수유 베개와 신생아 기저귀도 샀어요.
미리 아기 옷과 손수건을 다 세탁해두었어요.
분만을 위해 라마즈 호흡법을 연습하고 있어요.
미리 호흡 연습을 하는 것은 첫째와 둘째 출산 때 많은 도움이 됐어요.
긴장을 풀고 천천히 그리고 빠르게 숨을 쉬는 것을 번갈아 하면서 훈련 중이에요.

Preparing for Childbirth 대화문

A: When is your due date?
B: It's not far off. It's at the end of next month.
A: This will be your third child, right?
B: Yes, that's correct.
A: You deserve a lot of credit for having a third child in the this day and age.
B: My first and second children are really looking forward to meeting their younger sibling, too.

번역보기

A: 출산 예정일은 언제인가요?
B: 멀지 않았어요. 다음 달 말입니다.
A: 이번이 세 번째 아이죠, 맞나요?
B: 네, 맞아요.
A: 요즘 같은 시대에 세 번째 아이를 가지는 건 정말 대단한 일이에요.
B: 첫째와 둘째도 동생을 만나는 것을 정말 기대하고 있어요

Preparing for Childbirth 관련 단어

toss and turn: 뒤척이다
at the thought of: ~을 생각하면, ~생각에
cradle: 아기침대
baby crib: 아기침대
preowned: 중고의
pre-owned: 중고의, 다른 사람이 소유하고 있던
nursing pillow: 수유 쿠션
diaper: 기저귀
handkerchief: 손수건
alternate: 번갈아 생기는, 하나 거르는

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[입트영] 4D Theaters - 2024.4.4

KJJ88 — Sat, 13 Apr 2024 22:31:20 +0900

EBS 입이 트이는 영어

2024.4.4 4D Theaters

4D Theaters 본문

I recently watched a movie in a 4D theater for the first time.
Although 4D theaters have been around for quite some time, I hadn't ever been to one.
They seemed too expensive, and I thought that they would feel like being on an amusement park ride.
But that day I decided to give it a try.
I liked that the seats were larger and set farther apart than in regular theaters.
It was a novel experience, and I had a better time than I was expecting.
The seat moved in all directions depending on what was going on in the movie, wind blew in my face as well as water drops.
There are also lighting effects and various smells.
I felt a little dizzy at first as if I had motion sickness, but I soon got used to it.
I was able to immerse myself in the movie because it felt like I was moving along with characters.
Next time, I plan to bring the kids along to experience it together.

번역보기

최근에 처음으로 4D 영화관에서 영화를 봤어요.
4D 영화관은 꽤 오래전부터 있었지만, 저는 한 번도 가본 적이 없었어요.
비싼 것 같았고, 놀이공원 놀이기구에 탄 것 같은 느낌일 것 같다고 생각했어요.
하지만 그 날, 한 번 해보기로 결심했어요.
좌석이 일반 극장보다 크고 더 멀리 떨어져 있어서 좋았어요.
새로운 경험이었고, 기대했던 것보다 더 재미있었어요.
영화 속 상황에 따라 좌석이 모든 방향으로 움직였고, 바람과 물방울이 얼굴에 느껴졌어요.
조명 효과와 다양한 냄새도 있었어요.
처음엔 멀미가 날 것 같은 어지러움을 느꼈지만, 곧 익숙해졌어요.
영화 속 캐릭터와 함께 움직이는 것 같은 느낌이라 몰입할 수 있었어요.
다음에는 아이들과 함께 경험하러 갈 계획이에요.

4D Theaters 대화문

A: Do you go to the movies often?
B: Not as often as before. I mostly stream them at home these days.
A: I went to the theater with my kids and watched an animated film in 4D; they loved it.
B: Oh, really?
A: Yes, it felt like we were on an amusement park ride throughout the entire movie.
B: That sounds fun. I should take the kids sometime, too.

번역보기

A: 영화 자주 보러 가세요?
B: 예전만큼 자주는 아니에요. 요즘 대부분 집에서 스트리밍으로 봐요.
A: 저는 아이들과 극장에 가서 4D로 애니메이션 영화를 봤어요; 아이들이 정말 좋아했어요.
B: 정말요?
A: 네, 영화 내내 놀이공원 놀이기구에 탄 것 같은 느낌이었어요.
B: 재미있겠다. 나도 언젠가 아이들 데리고 가봐야겠어요

4D Theaters 관련 단어

farther: 더 멀리, 더 먼
novel: 새로운, 신기한
immerse: 담그다, ~에 몰두하다
along: ~을 따라, ~화 함께, 앞으로
motion sickness: 멀미
throughout: 도처에, ~동안 쭉, 내내
for the first time: 처음으로

입이 트이는 영어 오디오 어학당 다시듣기 (4.4 4D 상영관 경험)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[입트영] Lifestyle diseases - 2024.4.3

KJJ88 — Fri, 12 Apr 2024 20:22:20 +0900

EBS 입이 트이는 영어

2024.4.3 Lifestyle diseases

Lifestyle diseases 본문

Lifestyle diseases refer to chronic conditions caused by daily habits, such as an unhealthy diet, lack of exercise, smoking, excessive drinking, and stress.
Frequently eating salty and high-calorie foods can lead to this condition, hypertension and high cholesterol.
Excessive stress, smoking, and irregular lifestyle habits can also cause cancer, cardiovascular diseases, and cerebrovascular diseases.
However, these habits can be changed by adopting a positive mindset and strengthening one's wills.
In other words, it's important to manage daily habits since lifestyle diseases are preventable.
I spent a lot of time sitting at work, so I don't get enough exercise.
Also, I enjoy flour-based foods, which is another unhealthy habit.
I need to make an effort to adopt a healthier lifestyle starting today.

번역보기

생활습관병은 건강에 해로운 식습관, 운동 부족, 흡연, 과음, 스트레스와 같은 일상적인 습관에 의해 발생하는 만성 질환이다.
자주 짠 음식과 고칼로리 음식을 먹으면 이러한 상태, 고혈압과 고콜레스테롤에 이를 수 있다.
과도한 스트레스, 흡연, 불규칙한 생활 습관은 또한 암, 심혈관 질환, 뇌혈관 질환을 유발할 수 있다.
하지만, 이러한 습관은 긍정적인 마인드셋을 채택하고 의지를 강화함으로써 변경할 수 있다.
다시 말해, 생활습관병은 예방할 수 있으므로 일상 습관을 관리하는 것이 중요하다.
나는 일에서 많은 시간을 앉아서 보내기 때문에 충분한 운동을 하지 못한다.
또한, 밀가루 음식을 즐기는 것은 또 다른 건강에 해로운 습관이다.
오늘부터 더 건강한 생활 방식을 채택하기 위해 노력을 기울여야겠다.

Lifestyle diseases 대화문

A: My shoulder has been bothering me every time I move it lately.
B: Isn't that a symptom of frozen shoulder?
A: Yeah, I think so. I should have it looked at.
B: Do you exercise regularly?
A: Yes. I exercise often. But I think I might have bad posture when I am sitting.
B: Age might be a factor, too. We're at an age where our bodies start to break down.

번역보기

A: 요즘 어깨를 움직일 때마다 통증이 있어요.
B: 그거 어깨결림 증상 아닌가요?
A: 네, 그럴 수도 있어요. 병원에 가봐야겠어요.
B: 규칙적으로 운동하세요?
A: 네, 자주 운동해요. 하지만 앉아 있을 때 자세가 좋지 않은 것 같아요.
B: 나이도 한 요인일 수 있어요. 우리 나이가 되면 몸이 서서히 약해지니까요.

Lifestyle diseases 관련 단어

excessive: 과도한
calorie: 칼로리
hypertension: 고혈압
cholesterol: 콜레스테롤
high cholesterol: 고지혈증
cardiovascular: 심혈관계
cerebro: 뇌
vascular : 혈관의
cerebrovascular: 뇌혈관계
strengthen: 강화되다, 강화하다
adopt: 입양하다, 쓰다, 채택하다
preventable: 예방 가능한
frozen shoulder: 오십견
posture: 자세

입이 트이는 영어 오디오 어학당 다시듣기 (4.3 생활 습관병)

※ 제가 딕테이션을 통해 들은 것을 적은 후 GPT를 통해 오류를 수정하였지만 실제 스크립트와 다를 수 있습니다.

아래 링크에서 TTS 사이트에 들어가셔서 스크립트를 재생하시면 영어 음성을 들을 수 있습니다.

영어 문장 읽어주는 사이트 (TTS)

영어공부 다들 관심 많으시죠? 한국어에는 영어처럼 강세나 억양이 없어서 영어 문장을 소리 내어 읽을 때 ...

blog.naver.com

아니면 아래 유튜브 채널에 들어가시면 음성을 들으실 수 있습니다.

[개발자를 위한 LLM] 트랜스포머 어텐션, 셀프 어텐션, 멀티 헤드 어텐션 개요 (Transformer Attention, Self Attention, Multi-head Attention)

KJJ88 — Thu, 11 Apr 2024 19:50:23 +0900

트랜스포머의 엔티티 중 가장 중요한 셀프 어텐션(Self Attention)과 멀티 헤드 어텐션(Multi-head Attention)에 대해 알아보겠습니다.

이번 포스팅에서는 어텐션, 셀프 어텐션, 멀티 헤드 어텐션에 대해서 대략적으로 설명하고, 셀프 어텐션과 멀티 헤드 어텐션의 동작 과정은 다음 포스팅에서 자세하게 설명하겠습니다.

어텐션 (Attention)

어텐션(Attention)은 시퀀스 데이터를 처리하는 데 사용되는 기계 학습 기법입니다.

이 방법은 특히 시퀀스 형태의 데이터, 예를 들어 자연어 문장이나 시계열 데이터와 같은 연속된 정보를 다룰 때 효과적입니다.

어텐션 메커니즘은 시퀀스 내 각 요소(예: 문장 속의 각 단어)의 중요도를 평가하고, 이 중요도에 기반해 각 요소에 가중치를 부여합니다. 이를 통해 모델은 전체 데이터의 맥락을 더 잘 이해하고, 특정 작업에 필요한 중요 정보에 집중하게 해줍니다.

어텐션의 특징
- 시퀀스 입력에 수행하는 기계 학습 방법
- 시퀀스 요소 가운데 중요한 요소에 집중하고, 그렇지 않은 요소는 무시하여 성능을 끌어올리는 방법
- Query, Key, Value 세 가지 요소로 작동
  - Query: 현재 처리하고 있는 출력의 일부
  - Key: 입력의 각 부분에 대응하는 값으로, Query와 비교
  - Value: Key에 대응하는 입력의 부분으로, 어텐션 가중치에 따라 결합되어 최종 출력을 생성

셀프 어텐션 (Self Attention)

셀프 어텐션(Self Attention)은 입력 시퀀스 내의 요소들 사이에서 이루어지는 어텐션 메커니즘의 한 형태입니다. 셀프 어텐션은 입력된 시퀀스(예: 문장) 내의 각 요소(단어나 문자)가 서로에게 어떻게 영향을 미치는지를 분석하고, 이러한 상호작용을 바탕으로 정보를 재조정합니다.

셀프 어텐션의 핵심은 각 요소가 시퀀스 내의 모든 요소(자기 자신을 포함)와의 관계를 계산한다는 점입니다. 이를 통해 모델은 각 단어가 전체 문맥 속에서 어떤 역할을 하는지, 어떤 단어들과 밀접한 관련이 있는지를 파악합니다. 이는 특히 복잡한 문장 구조를 해석하거나, 문맥적 의미를 추출하는 데 유용합니다.

셀프 어텐션 특징
- 자 자신에게 수행하는 어텐션으로 입력 시퀀스 내 정보를 동적으로 재조정
- 입력 시퀀스 모두 어텐션 계산 수행
- 시퀀스 내의 각 단어가 자기 자신을 포함한 다른 모든 단어와의 관계를 평가하여 한 단어가 문장 내에서 어떻게 다른 단어와 상호 작용하는지를 이해함
- 시퀀스의 장거리 의존성을 이해하는데 유용함

멀티 헤드 어텐션 (Multi-head Attention)

멀티 헤드 어텐션(Multi-head Attetion)은 기본적인 셀프 어텐션 메커니즘을 확장한 개념으로, 셀프 어텐션을 여러 "헤드"를 통해 동시에 여러 번 수행하는 방식입니다. 이는 모델이 다양한 방식으로 데이터를 분석할 수 있도록 하여, 입력 시퀀스의 정보를 더욱 풍부하고 세밀하게 추출합니다.

각 헤드는 독립적으로 셀프 어텐션 계산을 수행하며, 서로 다른 가중치 행렬을 사용하여 입력 데이터의 다른 특징들을 포착합니다. 이렇게 하면, 모델은 같은 데이터를 여러 각도에서 바라보고, 다양한 관점의 정보를 동시에 고려할 수 있습니다.

멀티 헤드 어텐션의 결과는 각 헤드에서 얻어진 정보를 종합하여 하나의 통합된 출력으로 만들어냅니다.

멀티 헤드 어텐션 특징
- 셀프 어텐션을 동시에 여러 번 수행하는 것
  - 수행 순서
    - 각 헤드는 독립적으로 셀프 어텐션을 수행. 각 헤드는 동일한 입력에 대해 다른 Q,K,V 가중치 행렬을 사용하여 셀프 어텐션 계산
    - 모든 헤드의 셀프 어텐션 출력 결과를 이어 붙여 각 헤드의 분석결과 통합
    - 도출한 결과에 최종 가중치 W0를 곱하여 최종 출력 만듦
    - 결과적으로 결과는 각각의 헤드가 분석한 결과의 총 합
  - 차원의 계산
    - 단어수 2개, 차원 수 4, 헤드 3개 → 2x24 * 24x4 = 2X4
    - 각 헤드의 차원 수가 24(즉, 원래 차원 4를 헤드 수 3으로 나눈 값)이고, 이를 모두 합친 후 최종 차원 수 4로 줄이는 것을 의미
  - 멀티 헤드 어텐션은 입력 데이터를 다양한 관점에서 분석할 수 있고, 복잡한 단어 간 관계를 포착하는데 강점이 있음

어텐션, 셀프 어텐션, 멀티 헤드 어텐션

어텐션 (Attention)

시퀀스 입력에 대한 집중: 어텐션은 연속된 데이터, 예를 들어 문장과 같은 시퀀스 데이터를 처리하는데 사용됩니다. 이 기법은 모델이 입력된 시퀀스의 각 요소(단어나 문자 등)에 주주목하고, 중요한 정보에 집중하며, 상대적으로 덜 중요한 정보는 무시하도록 합니다. 이를 통해 모델은 시퀀스 내에서 각 요소의 중요도를 평가하고, 특정 작업을 보다 효과적으로 수행하게 됩니다.
중요한 요소에 가중치 부여: 어텐션은 입력 시퀀스의 각 요소에 가중치를 할당하여 모델의 성능을 향상 시킵니다. 모델은 이 과정에서 중요한 요소에 더 높은 가중치를 부여하고, 그렇지 않은 요소는 상대적으로 적게 고려하도록 가중치를 조절합니다. 이를 통해 모델은 입력 데이터에서 특정 작업에 더 중요한 부분에 집중하여 보다 정확하고 효과적인 처리를 할 수 있습니다.
Query,Key, Value 구조: 어텐션 메커니즘은 Query, Key, Value라는 세 가지 주요 요소를 활용합니다. Query는 현재 처리하고 있는 단어나 시퀀스 부분을 나타내며, Key는 비교 대상인 다른 단어나 시퀀스 부분입니다. Value는 최종적으로 가중치를 적용 받는 단어나 시퀀스 부분으로, 이들 간의 상호작용을 통해 모델이 어떤 정보에 집중할지 결정합니다.

셀프 어텐션 (Self-Attention)

자기 자신에게 수행하는 어텐션: 셀프 어텐션은 동일한 입력 시퀀스 내의 요소들 간의 관계를 분석하는 기법입니다. 이 메커니즘은 시퀀스의 각 요소가 자신을 포함하여 시퀀스 내의 다른 모든 요소들과 어떻게 상호작용 하는지를 평가합니다. 이를 통해 모델은 각 요소가 서로 어떻게 연관되어 있는지 이해하고, 시퀀스 내에서 각 단어의 역할과 그들 사이의 관계를 더 깊게 파악할 수 있습니다. 셀프 어텐션은 모델이 입력 데이터의 문맥을 더 효과적으로 해석하는 데 중요한 역할을 합니다.
입력 시퀀스의 모든 요소에 대한 계산: 셀프 어텐션은 입력 시퀀스의 모든 요소에 대해 어텐션 계산을 수행합니다. 이 과정에서 시퀀스 내의 각 단어는 자신을 포함해 다른 모든 단어들과의 관계를 평가하게 됩니다. 셀프 어텐션은 모든 위치에서 이러한 계산을 진행함으로써, 각 단어가 전체 문맥에서 어떤 역할을 하는지, 어떻게 다른 단어들과 상호 작용하는지를 모델이 파악할 수 있도록 합니다. 이를 통해 모델은 입력 데이터의 복잡한 구조와 문맥을 더 깊이 이해할 수 있습니다.
시퀀스 내 상호작용 이해: 셀프 어텐션을 통해 모델은 시퀀스 내의 각 단어가 문장 전체에서 어떻게 다른 단어들과 상호 작용하는지를 이해할 수 있습니다. 이는 특히 문장 내의 장거리 의존성(멀리 떨어진 두 단어 사이의 관계)을 이해하는 데 유용합니다.
Query, Key, Value: 셀프 어텐션 역시 Query, Key, Value 개념을 사용합니다. 다만 여기서는 모든 Query, Key, Value가 동일한 시퀀스(즉, 자기 자신)에서 파생됩니다. 이는 각 단어가 자기 자신과 다른 단어들과의 관계를 계산하는 데 사용됩니다.

멀티 헤드 어텐션 (Multi-Head Attention)

셀프 어텐션의 병렬 수행: 멀티 헤드 어텐션은 하나의 셀프 어텐션을 여러 헤드로 나누어 동시에 수행하는 방식입니다. 이는 모델이 입력 데이터를 여러 각도에서 분석할 수 있게 하여, 정보를 더 풍부하게 처리합니다.
다양한 관점에서의 분석: 각 어텐션 헤드는 독립적인 가중치 세트를 가지고, 입력 시퀀스를 다르게 해석합니다. 이를 통해 모델은 데이터의 여러 측면을 동시에 파악하고, 다양한 관점에서 정보를 수집합니다.
Query, Key, Value 가중치 분리: 각 헤드는 자체 Query, Key, Value 가중치 행렬을 가지며, 이를 통해 각기 다른 데이터 표현을 생성합니다. 이는 입력 데이터를 다양한 서브스페이스로 투영하며, 복잡한 패턴과 관계를 포착하는 데 유리합니다.
통합된 결과 생성: 각 헤드에서 얻어진 결과는 연결(concatenation)되고, 추가적인 가중치 행렬을 통해 최종 출력으로 통합됩니다. 이 과정을 통해, 멀티 헤드 어텐션은 입력 데이터에 대한 깊은 이해를 바탕으로 보다 정확한 표현을 제공합니다.
효율적인 문맥 파악: 멀티 헤드 어텐션을 통해 모델은 문장 내 단어들 사이의 복잡한 관계를 더욱 효과적으로 파악할 수 있으며, 특히 장거리 의존성과 같은 문맥적 특성을 잘 포착합니다.

요약하자면, 어텐션은 시퀀스 내의 중요한 부분에 집중하는 데 모델을 지원하며, 셀프 어텐션은 시퀀스 내 각 요소들이 서로 어떻게 연관되어 있는지 깊이 파악하는 데 중점을 둡니다. 어텐션은 모델이 중요한 정보에 집중하도록 도와주고, 셀프 어텐션은 요소들 사이의 상호작용을 이해하는 데 기여합니다. 이러한 기법을 통해 모델은 입력 데이터의 다양한 특성을 효과적으로 이해하고, 더 정확한 결과를 생성할 수 있습니다.

멀티 헤드 어텐션은 이러한 어텐션 메커니즘을 확장합니다. 여기서는 여러 개의 어텐션 "헤드"가 동시에 동작하여, 각각 다른 방식으로 시퀀스 데이터를 분석합니다. 이를 통해 모델은 데이터의 다양한 측면을 동시에 고려하며, 복잡한 패턴과 의존성을 더 효과적으로 포착합니다. 각 헤드는 독립적인 가중치 행렬을 사용해 다른 서브스페이스에서 데이터를 투영하고, 이들 결과는 결합되어 더 풍부하고 포괄적인 데이터 표현을 생성합니다. 멀티 헤드 어텐션은 특히 복잡한 문맥과 장거리 의존성을 이해하는 데 강점을 가지며, 모델이 더 정확하고 세밀한 해석을 가능하게 합니다.

이번 포스팅에서는 어테션, 셀프 어텐션, 멀티 헤드 어테션에 대해서 알아보았습니다.

다음 포스팅에서는 셀프 어텐션과 멀티 헤드 어텐션의 상세한 동작 과정에 대해서 설명 할 예정 입니다.

트랜스포머

4. 트랜스포머 훈련과 예측 단계 (Transformer Learning and Inference Step)

6. 어텐션, 셀프 어텐션, 멀티 헤드 어텐션 개요 (Transformer Attention, Self Attention, Multi-head Attention)

7. 셀프 어텐션 상세 동작 과정 (Transformer Self Attention Detailed Process)

8. 멀티 헤드 어텐션 상세 동작 과정 (Transformer Multi-head Attention Detailed Process)

9. 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

BERT