호기심 많은 분석가

포스팅 개요 여느 날과 같이 공부하고 있던 와중, 친구가 급하게 도움을 요청했다. 엔젤 클럽의 팀장을 맡고 있는 친구였는데, 어떤 페이지 크롤링을 하고 싶은데 어떻게 해야할 지 모르겠다는 것이었다. "마! 함 보자!", 호기롭게 외쳤지만 웬걸? 난생 처음 보는 화면이 등장했다. 과연 이 둘은 절체절명의 위기를 어떻게 극복할 것인가! 포스팅 본문 크롤링을 시도했을 때 서버에서 봇으로 인지하고 정보를 주지 않는 경우가 있다고 합니다. 그럴 땐 저희가 사람인 것을 서버에게 입증해주어야 합니다. 다음과 같이 입증할 수 있습니다. headers = {'User-Agent' : '유저정보'} url = '접속하고자 하는 사이트 주소' soup = requests.get(url, headers = headers).t..