크롤링 (Web Crawling)이란?1. 크롤링(Web Crawling) 정의크롤링(Web Crawling)은 웹사이트에서 데이터를 자동으로 수집하는 기술을 의미합니다. 주로 검색 엔진, 데이터 분석, 가격 비교,연구 목적으로 활용되며, 웹 페이지의 HTML 정보를 가져와 원하는 데이터를 추출하는 과정이 포함됩니다.크롤링을 수행하는 프로그램을 웹 크롤러(Web Crawler) 또는 봇(Bot, Spider) 라고 부르며, 일정한 규칙에 따라 웹사이트를탐색하고 데이터를 수집합니다.2. 크롤링의 주요 과정크롤링은 다음과 같은 단계로 이루어집니다:🔹 1) URL 요청 (Request)크롤러는 `requests` 등의 HTTP 라이브러리를 사용하여 특정 웹 페이지에 접근합니다.GET 또는 POST 요청을 통..