Tinkerbell Glitter
[250210] LLM ํŠน๊ฐ• ๋‘๋ฒˆ์งธ ์‹œ๊ฐ„~
AI ๐Ÿค–/DL ๐Ÿง 
LLM ํ†บ์•„๋ณด๊ธฐ โš™๏ธ 2๏ธโƒฃLLM์˜ ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๋ฐ์—๋Š” ๋ณดํŽธ์ ์œผ๋กœ ์„ธ๊ฐ€์ง€ ๋ฐฉ๋ฒ•์ด ์žˆ๋‹ค~ํ”„๋กฌํ”„ํŒ…RAGFine-TuningRAG๋ž€?LLM์ด ์ด๋ฏธ ์•Œ๊ณ  ์žˆ๋Š” ๋Œ€๋‹ต(ํ˜น์€ ๋””๋น„์—์„œ ์ฐพ์ง€ ๋ชปํ–ˆ๋˜ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์ •๋ณด)์„์ธํ„ฐ๋„ท์— ๋‹ค์‹œ ํ•œ๋ฒˆ ๊ฒ€์ƒ‰์„ ๊ฑฐ์ณ์„œ ๊ทธ๊ฒƒ์„ ํ† ๋Œ€๋กœ ๋‹ต๋ณ€์„ ์ƒ์„ฑํ•ด๋‚ด๋Š” ๊ฒƒ์ด๋‹ค~NLP๋ž€?๋ง ๊ทธ๋Œ€๋กœ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ๊ธฐ์ˆ (Natural Language Processing)์ธ๋ฐLLM๋„ ์ž์—ฐ์–ด๋ฅผ ์ฒ˜๋ฆฌํ•˜์ง€ ์•Š๋‚˜์š”???์ด๊ฑฐ๋Š” ์‰ฝ๊ฒŒ ์–˜๊ธฐํ•ด๋ณด์ž๋ฉด ๊ณผ์ผ๊ณผ ์‚ฌ๊ณผ๋Š” ๊ฐ™๋‚˜? ๊ฐ™์€ ์˜๋ฏธ์ž„๊ณผ์ผ ์•ˆ์— ์‚ฌ๊ณผ๊ฐ€ ํฌํ•จ๋ผ์žˆ๋“ฏ์ด NLP์˜ ํฐ ๊ฐˆ๋ž˜ ์•ˆ์— LLM์ด ํฌํ•จ๋˜์–ด ์žˆ๋Š” ๊ฒƒRAG์—์„œ Retrieval์€ ์ปดํ“จํ„ฐ์— ์žˆ๋Š” ํŠน์ • ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์˜ค๋Š” ๊ฒƒ์„ ์˜๋ฏธํ•˜๋Š”๋ฐ,์‰ฝ๊ฒŒ ๋งํ•˜์ž๋ฉด ์—๋ ˆ๋ ˜์ด ๊ฐ€์ง€๊ณ  ์žˆ์ง€ ์•Š์€ ์ •๋ณด๋ฅผ ๊ฐ€์ ธ์˜ค๋Š” ๊ฒƒ์ž„ex. ์—๋ ˆ๋ ˜ํ•œํ…Œ ..
[250207] ํผ์…‰ํŠธ๋ก (Perceptron)์ด๋ž€?
AI ๐Ÿค–/DL ๐Ÿง 
ํผ์…‰ํŠธ๋ก (Perceptron)์ด๋ž€?1. ํผ์…‰ํŠธ๋ก  ์ •์˜ํผ์…‰ํŠธ๋ก (Perceptron)์€ ์ธ๊ณต ์‹ ๊ฒฝ๋ง(Artificial Neural Network, ANN)์˜ ๊ฐ€์žฅ ๊ธฐ์ดˆ์ ์ธ ํ˜•ํƒœ๋กœ, 1958๋…„์— ํ”„๋ž‘ํฌ ๋กœ์  ๋ธ”๋ผํŠธ(Frank Rosenblatt)๊ฐ€ ๊ฐœ๋ฐœํ•œ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด๋‹ค. ํผ์…‰ํŠธ๋ก ์€ ์ž…๋ ฅ ๋ฐ์ดํ„ฐ๋ฅผ ๋ฐ›์•„ ๊ฐ€์ค‘์น˜๋ฅผ ์ ์šฉํ•˜๊ณ , ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ตœ์ข… ์ถœ๋ ฅ์„ ๊ฒฐ์ •ํ•˜๋Š” ๊ตฌ์กฐ๋ฅผ ๊ฐ–๋Š”๋‹ค.ํผ์…‰ํŠธ๋ก ์€ ์ธ๊ณต ๋‰ด๋Ÿฐ ๋ชจ๋ธ์ด๋ฉฐ, ์ƒ๋ฌผํ•™์  ๋‰ด๋Ÿฐ(Neuron)์—์„œ ์˜๊ฐ์„ ๋ฐ›์•„ ์„ค๊ณ„๋˜์—ˆ๋‹ค. ์ด ๋ชจ๋ธ์€ ์ด์ง„ ๋ถ„๋ฅ˜ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ๋ฐ์ฃผ๋กœ ์‚ฌ์šฉ๋œ๋‹ค. 2. ํผ์…‰ํŠธ๋ก ์˜ ๊ตฌ์กฐํผ์…‰ํŠธ๋ก ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๊ตฌ์„ฑ ์š”์†Œ๋ฅผ ๊ฐ€์ง„๋‹ค:1) ์ž…๋ ฅ(Input)์—ฌ๋Ÿฌ ๊ฐœ์˜ ์ž…๋ ฅ ์‹ ํ˜ธ(`x1, x2, ..., xn`)๋ฅผ ๋ฐ›์Œ2) ๊ฐ€์ค‘์น˜(Weight)๊ฐ ์ž…๋ ฅ์— ๊ฐ€์ค‘์น˜(`w1..
[250207] LLM ํŠน๊ฐ• ์ •๋ฆฌ~
AI ๐Ÿค–/DL ๐Ÿง 
LLM ํ†บ์•„๋ณด๊ธฐ โš™๏ธ๋“ค์–ด๊ฐ€๊ธฐ์— ์•ž์„œ ํ†บ์•„๋ณด๊ธฐ๋ผ๋Š” ์ˆœ์ˆ˜ ์šฐ๋ฆฌ ๋ง์„ ์• ํ”Œ์—์„œ ์ฒ˜์Œ ์‚ฌ์šฉํ•˜๊ธฐ ์‹œ์ž‘ํ–ˆ๋‹ค๋ฉฐ,,,LLM(Large Language Model)์ด๋ž€?๋Œ€๋Ÿ‰์˜ ๋งŽ์€ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šตํ•ด์„œ ์ž์—ฐ์–ด๋ฅผ ์ƒ์„ฑํ•ด๋‚ด๋Š” ๋ชจ๋ธ์ด๋‹ค~LLM์€ ํŠธ๋žœ์Šคํฌ๋จธ(Transfomer)๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ๋‚œ ํ›„๋กœ ๊ธฐ๋Šฅ์ด ๊ธ‰๊ฒฉํžˆ ์ข‹์•„์กŒ๋Š”๋ฐ~ํŠธ๋žœ์Šคํฌ๋จธ๋Š” MLP๋ณด๋‹ค ์ข€ ๋” ๋ฐœ์ „ํ•œ ๊ธฐ์ˆ ์ธ๋ฐMLP๊ฐ€ ๋ฌด์—‡์ด๋ƒ~๋‹ค์ธต ํผ์…‰ํŠธ๋ก (MultiLayer Perceptron)์ด๋‹ค~ํผ์…‰ํŠธ๋ก  ์ž์ฒด๋Š” ์‚ฌ๋žŒ์˜ ๋‰ด๋Ÿฐ์„ ๋ณธ๋”ฐ ๋งŒ๋“  ๊ตฌ์กฐ์ž„์šฐ๋ฆฌ๊ฐ€ ์ƒ๊ฐ์„ ํ•˜๊ณ  ๊ฒฐ์ •์„ ๋‚ด๋ฆฌ๋Š” ๊ณผ์ •๊ณผ ๋น„์Šทํ•˜๊ฒŒ ๋งŒ๋“  ๊ฒƒ์ด๋ผ ๋ณผ ์ˆ˜ ์žˆ์Œ์ˆ˜ํ•™ ์ˆ˜์‹์œผ๋กœ๋Š”$$z = w1x1 + w2x2 + b$$์ธ๋ฐ ์ด์ œ ๊ฐ€์ค‘์น˜์™€ ์ž…๋ ฅ๊ฐ’์„ ๊ณฒํ•œ ๊ฒƒ์— ๋ฐ”์ด์–ด์Šค๋ฅผ ๋”ํ•ด์ค€ z๊ฐ’์„ํŠน์ • ์ž„๊ณ„๊ฐ’์„ ๊ธฐ์ค€์œผ๋กœ ํ•˜๋Š” ํ•จ์ˆ˜ f(z)๋ฅผ ํ†ต๊ณผ..