[250207] LLM 특강 정리~

LLM 톺아보기 ⚙️

들어가기에 앞서 톺아보기라는 순수 우리 말을 애플에서 처음 사용하기 시작했다며,,,

LLM(Large Language Model)이란?

대량의 많은 텍스트 데이터를 학습해서 자연어를 생성해내는 모델이다~

LLM은 트랜스포머(Transfomer)를 사용하고 난 후로 기능이 급격히 좋아졌는데~

트랜스포머는 MLP보다 좀 더 발전한 기술인데

MLP가 무엇이냐~

다층 퍼셉트론(MultiLayer Perceptron)이다~

퍼셉트론 자체는 사람의 뉴런을 본따 만든 구조임

우리가 생각을 하고 결정을 내리는 과정과 비슷하게 만든 것이라 볼 수 있음

수학 수식으로는

$$z = w1x1 + w2x2 + b$$

인데 이제 가중치와 입력값을 곲한 것에 바이어스를 더해준 z값을

특정 임계값을 기준으로 하는 함수 f(z)를 통과해서

특정 임계값을 넘었을 시 에 판단하여 1 혹은 0의 값을 뱉어냄

퍼셉트론은 선형 모델이라 직선을 그어서 구분을 하는데~

우리 현실세계는 하나의 선만으로는 구분지을 수 없는 좀더 복잡한 문제들이 존재하는 곳임

(= XOR problem, 단순한 직선(선형 분리)으로 분류할 수 없는 대표적인 비선형 문제,

p1값과 p2값이 서로 달라야 트루값(=1)을 뱉어냄)

그래서 다층 퍼셉트론이라는게 생성되는데~

중간에 더 많은 여러 은닉층(쉽게 말하면 더 많은 선)을 추가할 수 있다~

그럼에도 MLP는 숨어있는 패턴을 찾아 결과를 내놓는 구조이기 때문에

(앞의 단어들의 계산을 뒤로 이월시키면서 추가 계산을 하였음)

결과의 순서를 고려하지 않는다는 단점이 있었음~

그리고 문장의 맥락이 길어지면 앞의 내용들을 날려먹는다는 단점과

느리다는 단점이 존재했다~

결론은? 아아아주 긴 문장은 학습 불가

그래서? 트랜스포머를 만들었다~

그게 뭔데~

텍스트 데이터들을 벡터로 일괄 변환하여 단어간의 유사성 점수를 계산하는 것임

이렇게 되면 순차적으로 계산을 하지 않아도 되고 병렬 연산이 가능하게 된다

그리고 유사성 점수를 계산하게 되니까 문장을 더 잘 알아들을 수 있게되었다는 장점~

결론:

LLM은 무언가를 생성해내는 녀석이다

쉽게 말해 추론엔진인 것임

RAG는 LLM이 한 추론에 외부 데이터 검색으로 DB를 덧붙인 것임

프롬프팅과 RAG의 활용으로도 충분히 LLM의 성능을 많이 향상시킬 수 있다~

 

+)

ollama라는 애를 튜터님이 깔아보라고 해서 다운받고 실행해보았는데,,,

(지피티 말고도 무료로 LLM 모델을 로컬에서 실행시킬 수 있다고 해서 깔라고 하신거였음)

llama3.2 반응 속도는 빨라도 한국말을 진짜 못알아듣더라고,,

메모리 아까워서 바아로 삭제했음다^__^

 

오늘 특강 느낀 점:
아 그렇구나~ 재밌다~