AI딥러닝 실무 - LLM, 생성형 AI에 대해 정리한다.
3회차 교안을 정리하고, 이번 강의에서 좀더 다루고자 하는 LLM과 생성성 AI에 대해 틈틈히 정리하고 있다.그리고, 틈틈히 공부하고 살펴보는 내용트랜스포머 모델에서의 어텐션 메커니즘은 입력 문장을 처리하는 과정에서 각 단어가 서로 다른 단어들과 어떤 정도로 연관되어 있는지를 파악하고 이를 바탕으로 각 단어의 중요성을 계산한다. 이를 통해 모델은 문장 내에서 다양한 단어 간의 상호작용을 고려하여 문맥을 이해하고 효과적으로 표현할 수 있다.여기서 어텐션 메커니즘은1) 쿼리(Query), 키(Key), 값(Value)의 생성: 입력 문장의 각 단어들에 대해 쿼리, 키, 값 벡터를 생성. 각각은 해당 단어의 표현을 나타내며, 쿼리는 어떤 단어에 집중할지를 결정하고, 키와 값은 다른 단어들과의 상호작용을 위한 ..
