우리는 일반적으로 웹브라우저를 통해 HTTP 요청을 주고받는다.즉, 웹브라우저에서 요청(Request)을 보내면 응답(Response)을 받게 된다.이때, 응답의 헤더(Header)에는 상태 코드가 포함되며, 본문(Body)에는 HTML 문서가 담겨 있다. 웹 브라우저는 단지 HTML을 렌더링 해주는 프로그램이 역할을 파이썬 코드로 대신할 수 있다. 그리고 원하는 정보를 가져오기 위해서는 HTML 태그를 정확히 파악해야 한다 .웹 크롤링 vs 웹 스크래핑 크롤링은 웹 크롤러 라고 불리는 데이터 수집 소프트웨어 및 봇을 활용크롤러는 한 페이지에서 시작해 그 페이지에 연결된 모든 링크를 따라가며 데이터를 수집 크롤링은 구글, 네이버와 같은 검색 엔진이 웹 페이지를 인덱싱(Indexing)하는 데 사용인덱싱은..