거꾸로 바라본 세상

[AI LLM] LLM 중추, 트랜스포머 아키텍처

트랜스포머 아키텍처트랜스포머는 순환신경망(RNN: Recurrent Neural Network)의 문제를 해결하기 위해 입력을 하나씩 순차적으로 처리하는 방식을 버리고 셀프 어텐션(Self-Attention)개념을 도입했다.셀프 어텐션(Self-Attention) : 입력된 문장 내의 각 단어가 서로 어떤 관련이 있는지 계산하여 각 단어의 표현(representation)을 조정하는 역할을한다.현재 대부분의 LLM은 트랜스포머 아키텍처를 활용하고 있다.[장점]확장성 : 더 깊은 모델을 만들어도 학습이 잘되며, 동일한 블록을 반복해 사용하기 때문에 확장이 용이하다.효율성 : 학습할 때 병렬 연산이 가능하기 때문에 학습시간이 단축된다.더 긴 입력 처리 : 입력이 길어져도 성능이 거의 떨어지지 않는다.트랜스포..

[AI LLM] 대규모 언어 모델 소개 (언어 AI 역사)

언어 AI 역사1. BoW로 언어 표현언어 모델의 역사는 비구조적인 텍스트를 표현하는 방법인 BoW(bag-of-words)라는 기법으로 시작작동방식수치 표현을 만들려는 두 개의 문장이 있다고 가정BoW 모델의 첫 단계 : 문장을 개별 단어 또는 부분 단어(subword)(토큰token)로 분할하는 과정인 토큰화(Tokenization)가장 널리 사용되는 토큰화 방법 : 공백을 기준으로 개별 단어를 분할 [ But, 개별 단어 사이 공백이 없는 언어는 불리]토큰화를 한 다음 각 문장의 고유한 단어를 모두 합쳐 어휘사전(vocabulary)를 생성하여 문장을 표현어휘사전을 사용하여 각 문장에 단어가 얼마나 많이 등장하는지 확인. 이 방법을 단어 가방(bag of words)라 고하며, BoW는 벡터 또는 ..