[241209] 가중치와 선형회귀 정리

가중치와 선형회귀 정리

가중치(weight)는
특정 데이터나 요소의 중요도를 나타내기 위해
사용되는 값.
주로 다음과 같은 상황에서 사용된다.

1. 통계 및 수학

• 데이터를 분석하거나 계산할 때, 특정 항목이 전체 계산에서 더 중요한 역할을 하도록 가중치를 부여한다.
• 예: 평균을 계산할 때, 각 데이터에 동일한 비중을 주지 않고 중요한 데이터에는 높은 가중치를 부여하여 계산하는 가중평균.

2. 머신러닝 및 인공지능

• 모델이 학습할 때 입력 데이터의 중요도를 조정하는데 사용.
• 예: 신경망(Neural Network)에서 각 연결(노드 간의 연결)은 가중치를 가지며, 학습 과정에서 이 값이 조정된다. 가중치가 
  클 수록 해당 입력이 결과에 더 큰 영향을 미친다.

3. 의사결정 및 최적화 문제

• 여러 옵션 중에서 선택하거나 최적화할 때, 각각의 기준에 따라 중요도를 나타내기 위해 가중치를 사용한다.
• 예: 다중 기준 의사결정에서 특정 기준이 더 중요하다면 높은 가중치를 부여한다.

---

선형회귀(Linear Regression)는 독립 변수와 종속 변수 사이의
선형적인 관계를 모델링 하는 가장 기본적인 통계 및 머신러닝
기법 중 하나.
데이터를 기반으로 특정 변수(종속 변수)를 예측하거나 설명하는데
사용된다.

1. 선형회귀의 목표

• 선형회귀의 목표는 데이터의 분포에 가장 잘 맞는 직선을 찾는 것이다.
• 이를 위해 가중치와 절편을 학습 데이터에 기반하여 최적화한다.

2. 종류

1. 단순 선형회귀(Simple Linear regression):

• 독립 변수가 하나인 경우.
• 예: 광고비(x)와 매출(y)간의 관계를 모델링.

2. 다중 선형회귀(Multiple Linear Regression):

• 독립 변수가 여러 개인 경우.
• 예: 여러 요인(온도, 습도, 시간 등)을 사용해 전력 소비량 예측.

3. 활용 예시

• 집값 예측(평수, 방 개수, 위치 등의 데이터를 바탕으로 함).
• 판매량 예측(광고비, 계절, 가격 등의 기준).
• 주식 시장 분석(거래량, 뉴스, 과거 가격 등을 활용).

4. Python으로 구현(예시)

from sklearn.linear_model import LinearRegression
import numpy as np

# 예제 데이터
X = np.array([[1], [2], [3], [4], [5]])  # 독립 변수
y = np.array([2, 4, 6, 8, 10])          # 종속 변수

# 모델 생성 및 학습
model = LinearRegression()
model.fit(X, y)

# 예측
y_pred = model.predict(X)

# 결과 출력
print("가중치 (w):", model.coef_)
print("절편 (b):", model.intercept_)
print("예측값:", y_pred)

5. 장점과 한계

• 장점
  • 단순하고 이해하기 쉬움.
  • 계산이 빠르고 해석이 쉬움.
• 한계
  • 독립 변수와 종속 변수 사이의 관계가 선형적이어야 한다.
  • 이상치(outlier)에 민감함.
  • 독립 변수 간 다중 공선성 문제가 있을 경우 정확도가 저하됨.

6. 확장 개념

• 다항 회귀(Polynomial Regression): 선형 회귀를 확장하여 비선형 데이터를 모델링.
• 릿지 회귀(Ridge Regression), 라쏘 회귀(Lasso Regression): 정규화를 추가하여 과적합(overfitting)
  을 방지한다.