크롤링 (Web Crawling)이란?1. 크롤링(Web Crawling) 정의크롤링(Web Crawling)은 웹사이트에서 데이터를 자동으로 수집하는 기술을 의미합니다. 주로 검색 엔진, 데이터 분석, 가격 비교,연구 목적으로 활용되며, 웹 페이지의 HTML 정보를 가져와 원하는 데이터를 추출하는 과정이 포함됩니다.크롤링을 수행하는 프로그램을 웹 크롤러(Web Crawler) 또는 봇(Bot, Spider) 라고 부르며, 일정한 규칙에 따라 웹사이트를탐색하고 데이터를 수집합니다.2. 크롤링의 주요 과정크롤링은 다음과 같은 단계로 이루어집니다:🔹 1) URL 요청 (Request)크롤러는 `requests` 등의 HTTP 라이브러리를 사용하여 특정 웹 페이지에 접근합니다.GET 또는 POST 요청을 통..

데이터 시각화란 👀?데이터 시각화는 데이터를 그래프, 차트, 맵 등 시각적인 형식으로 표현하여 데이터를 쉽게 이해하고, 패턴이나 인사이트를 빠르게 파악할 수 있도록 돕는 과정임대표적으로 사용하는 툴과 라이브러리는 Python의 Matplotlib, Seaborn, Plotly, Altair, ggplot 등이 있음1.데이터 시각화의 목적데이터 이해복잡한 데이터를 단순화하여 중요한 정보를 파악데이터 간 관계와 패턴을 시각적으로 분석커뮤니케이션데이터를 비전문가도 이해할 수 있도록 전달다양한 이해관계자에게 데이터를 효과적으로 설명의사결정 지원명확한 정보를 통해 빠르고 정확한 의사결정을 지원이상치(outliers)나 트렌드 파악 가능2. 주요 데이터 시각화 유형막대 그래프 (Bar Chart)범주형 데이터를 ..

머신러닝이란???어제에 이은 두번째 시간입니다^__^다항 선형회귀란???일차함수 n개를 수식으로 나열한 겁니다~왜 n개를 나열하나요??세상에 변수가 한 개만 존재하지 않으니까요~$$y = XW$$X는 변수 행렬,쉽게 말하면 변수 뭉치들: x1, x2, x3 ••• 을 묶어준 것임W는 가중치 행렬을 의미한다~가중치 뭉치들: w1, w2, w3 •••다항 선형회귀 실제 사례:교통 정체 예측날씨 예측환율 예측이중 분류의 기본 원리는 오로지0과 1뿐0: False1: True확률로 판단합니다1에 가까워질 수록 정답에 가까워지는 것임0.5 이상 >> 정답에 가까움0.5 미만 이런 식으로 분류해서 카테고리화 할 수 있다~~다중 분류란~쉽게 말해 이중 분류를 여러개 한 것~근데 이제 각 확률 별로 합이 1이어야 함$..

머신러닝이란???마법사가 아니다!실제로는 개꿀잼 수업이었다는 것,,~과거의 데이터 방식~가설을 세운 뒤, 가설을 입증하기 위한 과정을 시작함~현재의 데이터 방식~데이터 안에서 패턴을 발견하고, 패턴을 기반으로 예측(가설)함가설식이란??세상에 일어나는 모든 현상을 수식으로 표현하려는 컴퓨터의 시도이 가설식을 통해서 데이터를 설명하거나/ 패턴을 찾거나/ 미래를 예측하려는 시도$$H(x)=wx+b$$H: 가설x(변수): 어떤 현상을 설명하는 요소들w(가중치): 각 변수(x)가 얼마나 중요한지 나타내는 값b(편향): 데이터가 전체적으로 얼마나 치우쳐 있는 지를 표현하는 값~가중치가 어려운데~예:운동이 건강에 얼만큼 중요한가 = $$w1$$식습관은 얼만큼 중요한가 = $$w2$$각 변수의 중요도를 나타내는 값그래..

가중치와 선형회귀 정리가중치(weight)는특정 데이터나 요소의 중요도를 나타내기 위해사용되는 값.주로 다음과 같은 상황에서 사용된다.1. 통계 및 수학데이터를 분석하거나 계산할 때, 특정 항목이 전체 계산에서 더 중요한 역할을 하도록 가중치를 부여한다.예: 평균을 계산할 때, 각 데이터에 동일한 비중을 주지 않고 중요한 데이터에는 높은 가중치를 부여하여 계산하는 가중평균.2. 머신러닝 및 인공지능모델이 학습할 때 입력 데이터의 중요도를 조정하는데 사용.예: 신경망(Neural Network)에서 각 연결(노드 간의 연결)은 가중치를 가지며, 학습 과정에서 이 값이 조정된다. 가중치가 클 수록 해당 입력이 결과에 더 큰 영향을 미친다.3. 의사결정 및 최적화 문제여러 옵션 중에서 선택하거나 최적화할 때,..

어려운 개념 또 나왔다~~정리 가보자고^^,,, 결측치와 이상치 결측치(Missing Values)란,누락된 값/ 비어있는 값을 말한다일반적으로NaN, None, NULL 로 표현결측치 확인import pandas as pdimport numpy as np# 데이터프레임 예시data = { 'name' : ['Alice', 'Bob', 'Charlie', 'David'], 'age' : [25, 30, np.nan, 22], 'score' : [85, np.nan, 75, 90]}df = pd.DataFrame(data)# 결측치 확인print(df.isnull()) # 각 값이 결측치인지 확인print(df.isnull().sum()) # 열 별 결측치 갯수​ 1. 결측..