AI딥러닝 실무 - LLM, 생성형 AI에 대해 정리한다.

3회차 교안을 정리하고, 이번 강의에서 좀더 다루고자 하는 LLM과 생성성 AI에 대해 틈틈히 정리하고 있다.

<여러가지 재미있는 도구와 서비스가 있네>

---

그리고, 틈틈히 공부하고 살펴보는 내용

<트랜스포머 모델의 특징을 잘 설명해 주시는 영상>

트랜스포머 모델에서의 어텐션 메커니즘은 입력 문장을 처리하는 과정에서 각 단어가 서로 다른 단어들과 어떤 정도로 연관되어 있는지를 파악하고 이를 바탕으로 각 단어의 중요성을 계산한다. 이를 통해 모델은 문장 내에서 다양한 단어 간의 상호작용을 고려하여 문맥을 이해하고 효과적으로 표현할 수 있다.

여기서 어텐션 메커니즘은

1) 쿼리(Query), 키(Key), 값(Value)의 생성: 입력 문장의 각 단어들에 대해 쿼리, 키, 값 벡터를 생성. 각각은 해당 단어의 표현을 나타내며, 쿼리는 어떤 단어에 집중할지를 결정하고, 키와 값은 다른 단어들과의 상호작용을 위한 정보를 제공.

2) 어텐션 스코어 계산: 각 쿼리와 키 벡터 간의 유사도를 측정하여 어텐션 스코어를 계산. (쿼리 단어와 다른 단어들 간의 상대적인 관련성)

3) 어텐션 가중치 계산: 어텐션 스코어를 소프트맥스 함수를 통과시켜 각 단어의 중요성을 나타내는 어텐션 가중치를 계산. (각 단어가 전체 문맥에서 차지하는 상대적인 중요성)

4) 가중 평균 계산: 값 벡터와 어텐션 가중치를 곱하여 각 단어의 가중 평균을 계산합. 이를 통해 모델은 각 단어의 중요성을 고려하여 문맥을 표현.

과 같이 동작한다. 이러한 과정을 모든 단어에 대해 반복하여 전체 문장의 특성을 적절하게 반영한 표현을 얻고 어텐션 메커니즘을 통해 트랜스포머 모델은 문장을 더 잘 이해하고 다양한 자연어 처리 작업을 수행할 수 있게 된다.

---

올 가을 쯤 논문을 작성하려고 한다. 지금은 그 과정을 즐기고 있는 상황 ^^