[241203] 결측치와 이상치

어려운 개념 또 나왔다~~

정리 가보자고^^,,,

 

결측치와 이상치

 

결측치(Missing Values)란,

누락된 값/ 비어있는 값을 말한다
일반적으로
NaN, None, NULL 로 표현

결측치 확인

import pandas as pd
import numpy as np

# 데이터프레임 예시
data = { 'name' : ['Alice', 'Bob', 'Charlie', 'David'],
         'age' : [25, 30, np.nan, 22],
         'score' : [85, np.nan, 75, 90]}

df = pd.DataFrame(data)

# 결측치 확인
print(df.isnull())  # 각 값이 결측치인지 확인
print(df.isnull().sum())  # 열 별 결측치 갯수​

 

1. 결측치 삭제

df.dropna(inplace = True)  # 결측치가 있는 행 삭제

2. 결측치 대체

• 평균값, 중앙값, 최빈값으로 대체

df['age'.fillna(df['age'].mean(), inplace = True)  # 평균값으로 대체, 대표적인 대체 방법
df['score'].fillna(df['score'].median(), inplace = True)  # 중앙값으로 대체, 데이터에 이상치가 많아 평균 값이 대표성이 없을 경우 이용

• 특정 값으로 대체

df.fillna(0, inplace = True)  # 모든 결측치를 0으로 대체

3. 결측치 예측

• 머신러닝 모델로 예측
• sklearn 또는 fancyimpute 패키지 사용

---

이상치(Outlier)란,

관측된 데이터 범주에서 크게(±) 벗어난 값을 말한다
데이터 삭제 시 품질은 좋아질 수 있어도 정보손실을 동반하기 때문에 주의가 필요함

 

이상치 탐지 방법

ESD (Extreme Studentized Deviation)

• 데이터가 정규 분포를 따른다고 가정했을 때, 좌우로 평균에서 표준편차의 3배 이상 떨어진 값
• 한 번에 하나 또는 여러 개의 이상치를 탐지할 수 있음
• 모든 데이터가 정규 분포를 따르는 것은 아니기 때문에 다음 상황에서는 제한됨

1. 데이터가 크게 비대칭일 때 
2. 샘플의 크기가 작을 때

ESD 사용 과정
1. 통계량 계산:
   - 각 데이터 포인트의 평균과 표준편차를 기준으로 변환 점수(Deviation)를 계산합니다.
    -가장 큰 변환 점수를 가진 값을 선택합니다.

2. 통계적 검정:
    -선택된 값이 주어진 유의 수준(ex. 0.05)에서 이상치인지 판단합니다.
    -판단 기준은 Studentized Deviate Test의 임계값입니다.

3. 반복 수행:
    -이상치로 확인된 데이터를 제거하고 나머지 데이터로 위 과정을 반복합니다.

파이썬에서 ESD를 사용한 이상치 탐지

 

scipy 라이브러리 또는 사용자 정의 코드를 사용해 ESD를 구현할 수 있습니다.

import numpy as np
from scipy.stats import t

def esd_test(data, alpha=0.05, max_outliers=5):
    data = np.array(data)
    outliers = []
    
    for i in range(max_outliers):
        mean = np.mean(data)
        std_dev = np.std(data, ddof=1)
        
        # ESD 통계량 계산
        deviations = np.abs(data - mean) / std_dev
        max_dev = np.max(deviations)
        max_idx = np.argmax(deviations)
        
        # 임계값 계산
        n = len(data)
        p = 1 - alpha / (2 * (n - i))
        t_value = t.ppf(p, df=n-i-2)
        lambda_crit = t_value * (n-i-1) / ((n-i-2 + t_value**2) ** 0.5)
        
        # 이상치 판정
        if max_dev > lambda_crit:
            outliers.append(data[max_idx])
            data = np.delete(data, max_idx)  # 이상치 제거
        else:
            break

    return outliers

# 데이터 예시
data = [10, 12, 12, 14, 15, 100, 12, 13, 14]
outliers = esd_test(data, alpha=0.05, max_outliers=3)
print("이상치:", outliers)

import numpy as np

mean = np.mean(data)
std = np.std(data)

upper_limit = mean + 3 * std
lower_limit = mean - 3 * std

ESD의 장점

• 데이터를 정규분포로 가정하는 상황에서 매우 효율적
• 이상치가 몇 개 있는지 사전에 추정하지 않아도 됨

ESD의 단점

• 정규 분포 가정이 불확실할 경우 성능 저하
• 데이터에 이상치가 많거나 분포가 왜곡된 경우 효과가 떨어질 수 있음

통계 기반 방법

• IQR (Interquartile Range) 방법

Q1 = df['Score'].quantile(0.25)  # 1사분위수
Q3 = df['Score'].quantile(0.75)  # 3사분위수
IQR = Q3 - Q1  # IQR 계산

# 이상치 기준
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 이상치 탐지
outliers = df[(df['Score'] < lower_bound) | (df['Score'] > upper_bound)]
print(outliers)

시각화 기반 방법

• 박스플롯(Boxplot)

import matplotlib.pyplot as plt

df['Score'].plot(kind='box')
plt.show()

Z-score 방법

from scipy.stats import zscore

df['zscore'] = zscore(df['Score'])
outliers = df[(df['zscore'] < -3) | (df['zscore'] > 3)]  # Z-score가 ±3을 초과하면 이상치로 간주
print(outliers)

1. 이상치 제거

df = df[(df['score'] >= lower_bound & (df['score'] <= upper_bound)]

2. 이상치 대체

• 중앙값 또는 평균값으로 대체

median = df['Score'].median()
df['Score'] = df['Score'].apply(lambda x: median if x > upper_bound or x < lower_bound else x)

3. 이상치 처리하지 않고 모델링

• 이상치에 덜 민감한 모델 사용: 랜덤포레스트, 부스팅 계열