춘천교육지원청 영재교육원 과학 - 데이터과학 : 뚜이를 사용한 데이터 크롤링 (by 성림초등학교 고준) 춘천교육지원청 영재교육원 과학 - 데이터과학 : 뚜이를 사용한 데이터 크롤링 (by 성림초등학교 고준) 크롤링을 위해 개발된 소프트웨어를 크롤러(crawler)라 한다. 크롤러는 주어진 인터넷 주소(URL)에 접근하여 관련된 URL을 찾아내고, 찾아진 URL들 속에서 또 다른 하이퍼링크(hyperlink)들을 찾아 분류하고 저장하는 작업을 반복함으로써 여러 웹페이지를 돌아다니며 어떤 데이터가 어디에 있는지 색인(index) 을 만들어 데이터베이스(DB)에 저장하는 역할을 한다. 크롤링과 유사 개념으로 소프트웨어를 통해 대상 웹사이트와 같은 데이터 소스에서 데이터 자체를 추출하여 특정 형태로 저장하는 스..
