[241128] 판다스와 넘파이 정리

판다스와 넘파이
 1. 판다스

 

판다스란?
데이터(정보)를 정리하고 다루기 쉽게 도와주는 도구이다.

예를 들어, 표(table)나 엑셀 파일처럼 여러 줄과 칸으로
이뤄진 정보를 컴퓨터에서 다루고 싶을 때 사용한다.

 

판다스는 무엇일까?

 

판다스는 데이터를 깔끔하게 정리하고, 필요한 부분만 골라내거나 계산하는 걸 쉽게 해주는 프로그램이다.

책상 위에서 엑셀 파일을 보는 것처럼, 판다스를 이용하면 파이썬 안에서 데이터를 다룰 수 있다.

 

판다스가 할 수 있는 일

• 정보를 불러오기 : 엑셀파일, CSV파일을 불러와 파이썬에서 쓸 수 있다.
• 정보 보기 : 표가 너무 크다면, 처음 몇 줄만을 보거나 필요한 부분만 골라 볼 수 있다.
• 필요한 부분만 골라내기 : 예를 들어, 사람의 신장을 기록한 표가 있을 때, 키가 180cm 이상인 사람의 데이터만 골라낼 수 있다.
• 계산하기 : 평균, 합계 같은 계산도 할 수 있다.

# 데이터 불러오기
df = pd.read_csv("data.csv")  # CSV 파일 불러오기
df = pd.read_excel("data.xlsx")  # 엑셀 파일 불러오기

# 필요한 데이터만 보기
print(df['점수'])  # 점수 열 데이터만 보기
print(df[df['점수'] > 80])  # 특정 조건(>80)을 만족하는 행만 보기

# 데이터 요약과 계산
print(df['점수'].mean))  #평균 점수
print(df['점수'].sum))  # 점수 총합
print(df['점수'].max))  # 최고 점수
print(df.describe())  # 데이터 전체 통계(평균, 표준편차, 최대/최솟값 등) 확인

# 데이터 정렬하기
sorted_df = df.sort_values(by = '점수', ascending = False)  # 점수 기준으로 내림차순 정렬
print(sorted_df)

# 데이터 수정하기
df.at[0, '점수'] = 95  # 특정 셀(첫번째 줄)의 값(점수)을 변경
df['합격 여부'] = df['점수'] > 80  # 열/칸 에 새 데이터(80점 이상 합격)를 추가

# 데이터 정리하기
df = df.fillna(0)  # 빈칸을 0으로 채우기
df = df.dropna()  # 빈칸이 있는 줄 삭제
df = df.drop_duplicates()  # 중복 데이터 삭제

# 데이터 합치기
merged_df = pd.concat([df1, df2])  # 여러 표를 하나로 합치기
merged_df = pd.merge(df1, df2, on = '이름')  # 공통된 열(이름 열) 기준으로 합치기(like SQL JOIN)

# 데이터 저장하기
df.to_csv("cleaned_data.csv", index = False)  # CSV 파일로 저장
df.to_excel("cleaned_data.xlsx", index = False)  # 엑셀 파일로 저장

# 데이터 분석하기
grouped = df.groupby('반')['점수'].mean  # 반 별 평균 점수 구하기
print(grouped)

 

판다스를 사용하는 이유

 

데이터가 아주 많고, 복잡하게 얽혀있다면 사람이 일일이 정리하기 어렵다.

하지만 판다스를 사용하면 몇 줄의 코드만으로 원하는 결과를 쉽게 얻을 수 있다.

특히, 수학이나 과학 데이터를 다루는데 유용하다.

 

판다스 사용 예시

 

아래와 같은 표가 있다고 가정해보자.

이름	점수
철수	85
영희	90
민수	78
수지	95

 

이것을 파이썬에서 판다스를 사용해 다룬다면:

import pandas as pd

# 데이터를 만들어보자
data = {'이름' : ['철수', '영희', '민수', '수지'], '점수' : [85, 90, 78, 95]}
df = pd.DataFrame(data)  # 데이터프레임이라는 표를 만들어준다

print(df)  # 표를 출력한다

 

결과는:

     이름     점수
0   철수     85
1    영희     90
2    민수     78
3    수지     95

 

80점 넘은 사람만 골라보기:

high_scores = df[df['점수'] > 80]  # 점수가 80점보다 큰 사람의 데이터만 골라준다
print(high_scores)

 

결과:

     이름     점수
0   철수     85
1    영희     90
3    수지     95

 

쉽게 정리하자면,

1. 데이터를 정리한다
2. 필요 없는 건 지운다
3. 계산기를 대신하여 계산한다
4. 필요한 데이터만 뽑아낸다

 

판다스와 넘파이
 2. 넘파이

 

넘파이란?
파이썬에서 숫자 데이터를 빠르고 효율적으로 다룰 수 있도록
도와주는 도구이다.

데이터를 정리하고, 계산하고, 분석할 때 많이 쓰인다.
특히, 수학 계산과 배열(array)을 다루는데 강력한 기능을 제공한다.

 

넘파이는 무엇을 할 수 있나?

 

넘파이는 숫자 데이터 계산의 전문가이고, 하는 일은 아래와 같다:

• 배열(array) 만들기와 다루기 : 배열은 엑셀 표처럼 숫자가 줄과 칸으로 정리된 데이터이다.
• 복잡한 수학 계산 : 덧셈, 곱셈, 평균과 같은 간단한 계산부터, 행렬(matrix) 연산과 같은 고급 계산까지 가능하다.
• 데이터 처리 속도 : 일반 파이썬 코드보다 훨씬 빠르게 데이터를 계산할 수 있다.

넘파이를 써야 하는 이유

• 빠르다 : 넘파이는 컴퓨터의 숫자 계산 속도를 최대한 활용하기 때문에, 큰 데이터도 빠르게 처리할 수 있다.
• 효율적이다 : 일반 리스트보다 메모리를 적게 사용하면서 더 많은 데이터를 다룰 수 있다.
• 수학 기능이 강력하다 : 복잡한 계산을 몇 줄의 코드로 해결 가능하다.

넘파이에서 사용하는 배열(array)이란?

 

넘파이의 배열(array)은 파이썬의 리스트와 비슷하게 생겼지만, 훨씬 더 강력하다:

• 파이썬 리스트는 데이터를 하나씩 처리하지만, 넘파이 배열은 한꺼번에 계산이 가능하다.
• 넘파이 배열은 한가지 데이터 타입만 저장할 수 있어서 더 빠르고 효율적이다.

import numpy as np

# 파이썬 리스트
list_data = [1, 2, 3, 4, 5]

# 넘파이 배열
array_data = np.array([1, 2, 3, 4, 5])

# 리스트는 반복문으로 계산
list_squared = [x ** 2 for x in list_data]
print(list_data)  # [1, 4, 9, 16, 25]

# 넘파이는 한 줄로 가능
array_squared = array_data ** 2
print(array_squared)  # [1 4 6 9 16 25]

 

넘파이의 주요 기능

 

1) 배열 생성 : 넘파이를 사용하면 배열을 쉽게 만들 수 있다.

import numpy as np

# 기본 배열
arr = np.array([1, 2, 3, 4])
print(arr)  # [1 2 3 4]

# 0으로 채워진 배열
zeros = np.zeros((2, 3))  # 2행 3열 배열
print(zeros)

# 1로 채워진 배열
ones = np.ones((3, 3))  # 3행 3열 배열
print(ones)

# 1부터 10까지의 숫자로 채운 배열
range_arr = np.arange(1, 11)
print(range_arr)  # [1 2 3 4 5 6 7 8 9 10]

 

2) 배열 크기 바꾸기 : 넘파이에서는 배열의 모양(크기)을 쉽게 바꿀 수 있다.

arr = np.arange(1, 7)  # [1 2 3 4 5 6]
reshaped = arr.reshape((2, 3)) # 2행 3열로 바꾸기
print(reshaped)

 

3) 수학 연산 : 넘파이는 배열에 직접 수학 연산을 할 수 있다.

arr = np.array([1, 2, 3, 4])

# 모든 요소에 수학 연산
print(arr + 10)  # [11 12 13 14]
print(arr * 2)  # [2 4 6 8]

# 배열끼리 연산
arr2 = np.array([10, 20, 30, 40])
print(arr + arr2)  # [11 22 33 44]

# 평균, 합계, 최대/최소값
print(arr.mean())  # 평균: 2.5
print(arr.sum())  #	합계: 10
print(arr.max())  # 최대값: 4
print(arr.min())  # 최소값: 1

 

4) 특정 조건의 데이터 선택 : 넘파이를 사용하면 조건을 걸어서 원하는 데이터만 골라낼 수 있다.

arr = np.array([10, 15, 20, 25, 30])

# 20보다 큰 값만 선택
filtered = arr[arr > 20]
print(filtered)  # [25 30]

 

5) 랜덤 데이터 생성 : 넘파이로 임의의 데이터를 만들 수 있다.

# 0과 1 사이의 랜덤 숫자
random_nums = np.random.random((2, 3))
print(random_nums)

# 정수 범위의 랜덤 숫자
random_ints = np.random.randint(1, 10, size = (3, 3))  # 1~9 사이의 정수
print(random_ints)

 

6) 행렬 연산 : 넘파이는 수학에서 쓰이는 행렬(matrix)을 다루는데 최적화 되어있다.

# 두 행렬 곱하기
matrix1 = np.array([[1, 2], [3, 4]])
matrix2 = np.array([[5, 6], [7, 8]])
result = np.dot(matrix1, matrix2)  # 행렬 곱
print(result)

 

배열(Array) 생성 및 다루기
넘파이의 핵심은 배열(array)이다. 배열은 데이터를 행과 열로 표현한 형태로, 숫자 데이터를 효율적으로 처리할 수 있다.

 

배열생성

• np.array(): 리스트나 튜플을 배열로 변환
• np.zeros(): 모든 값이 0인 배열 생성
• np.ones(): 모든 값이 1인 배열 생성
• np.empty(): 초기화되지 않은 배열 생성
• np.arange(): 특정 간격으로 숫자를 생성
• np.linspace(): 시작과 끝 값을 기준으로 일정 간격의 숫자 생성

배열 속성 확인

• array.shape: 배열의 크기(행, 열) 확인
• array.ndim: 배열의 차원 확인 (1D, 2D, 3D 등)
• array.size: 배열의 총 요소 개수
• array.dtype: 배열에 저장된 데이터 타입

배열 조작

 

배열 모양 변경

• array.reshape(): 배열의 모양을 변경 (예: 1D-> 2D)
• array.flatten(): 다차원 배열을 1차원으로 변환
• array.transpose(): 배열의 행과 열을 바꿈

배열 결합과 분리

• np.concatenate(): 배열을 이어붙이기
• np.stack(): 새로운 축을 추가하여 배열 결합
• np.split(): 배열을 여러 조각으로 나누기

수학 연산
넘파이는 배열의 요소에 대해 수학 연산을 효율적으로 수행한다.

 

기본 연산

• 배열 간의 덧셈( + ), 뺄셈( - ), 곱셈( * ), 나눗셈( / )
• 지수 계산: np.exp(), 제곱근: np.sqrt()
• 삼각 함수: np.sin(), np.cos(), np.tan()

통계 계산

• np.mean(): 평균값
• np.sum(): 합계
• np.min(), np.max(): 최소값, 최대값
• np.median(): 중간값
• np.std(): 표준 편차
• np.var(): 분산

조건 기반 작업
넘파이는 조건을 활용한 데이터 필터링과 연산에 강력하다.

• 조건 선택: array[array > 10] -> 배열에서 값이 10보다 큰 요소만 선택
• np.where(condition, x, y): 조건에 따라 값을 선택

랜덤 데이터 생성
넘파이는 랜덤 숫자와 배열을 생성하는 기능도 제공한다.

• np.random.random(): 0과 1 사이의 랜덤 실수 생성
• np.random.randint(): 특정 범위의 랜덤 정수 생성
• np.random.normal(): 정규분포에서 랜덤 값 생성

파일 입출력

• np.loadtxt():
• np.savetxt():
• np.save() 와 np.load(): 넘파이 전용 파일 형식(.npy)으로 저장/읽기

선형대수 및 행렬 연산
넘파이는 행렬 연산과 선형대수 계산에 적합하다.

• np.dot(): 행렬 곱셈
• np.linalg.inv(): 행렬의 역행렬
• np.linalg.det(): 행렬의 행렬식
• np.linalg.eig(): 고유값과 고유벡터 계산

배열의 정렬 및 검색

• np.sort(): 배열 정렬
• np.argsort(): 정렬된 배열의 인덱스 반환
• np.argmax(), np.argmin(): 최대값/최소값의 위치 반환

배열의 논리 연산

• np.all(): 모든 조건이 True인지 확인
• np.any(): 조건 중 하나라도 True인지 확인
• np.logical_and(), np.logical_or(): 논리 연산 수행

빠른 계산을 위한 브로드캐스팅
넘파이는 크기가 다른 배열을 연산할 때 자동으로 크기를 맞춰 계산한다.

a = np.array([1, 2, 3])
b = np.array([[10], [20], [30]])
result = a + b  # 자동으로 크기를 맞춰 더하기

넘파이는?

1. 데이터 분석: 대량의 데이터를 빠르게 계산하고 다룰 때
2. 수학, 과학 계산: 복잡한 행렬 연산, 통계 계산 등에 적합
3. AI/머신러닝: 모델을 훈련하거나 데이터 처리할 때 기본 도구로 사용