호기심 많은 분석가

목차Python에서 구글 스프레드시트 연동하기구글 스프레드시트를 활용해 데이터 관리를 하거나 대시보드를 운영하는 경우 DB의 데이터를 python으로 전처리한 뒤 자동으로 업데이트하는 등 업무를 하다 보면 Python에서 구글 스프레드시트 연동해야 하는 니즈가 존재합니다. 이번 포스팅에서는 어떻게 Python에서 구글 스프레드시트를 연동하는지 예시를 통해 알아보고자 합니다.필요 라이브러리 불러오기 및 설치# !pip install pydata_google_auth# !pip install gspread# !pip install gspread_dataframeimport pydata_google_authimport gspreadfrom gspread_dataframe import set_with_dataf..

목차 전국 행정구역별 지도 시각화 - 법정동코드 체계의 이해 저는 법정동을 기준으로 지도 시각화를 진행할 것인데요, 그에 앞서 법정동코드 체계에 대한 이해가 바탕이 되어야 추후의 작업에도 도움이 되기에 이번 포스팅에서는 법정동코드의 체계에 herjh0405.tistory.com 우리나라 행정구역 중 가장 넓은 곳 지난 글을 작성했는데 아래 사진처럼 우리나라 행정구역 중 가장 넓은 곳을 궁금해하시는 분들이 굉장히 많아 짧게 공유드리고자 합니다. 우리나라는 법정동 기준 전국 총 17개 시도, 260개 시군구, 5055개 읍면동, 15219개 리로 이루어져 있습니다. 우리나라 행정구역별 가장 넓은 곳은 아래와 같습니다. 시도 : 경상북도, 19027㎢ 시군구 : 강원도 홍천군, 1817㎢ 읍면동 : 강원도 홍..

목차 저는 법정동을 기준으로 지도 시각화를 진행할 것인데요, 그에 앞서 법정동코드 체계에 대한 이해가 바탕이 되어야 추후의 작업에도 도움이 되기에 이번 포스팅에서는 법정동코드의 체계에 대해 알아보겠습니다. 우리나라에는 구역을 구분 짓는 기준이 다양합니다. 우편번호, 법정동, 행정동, 가장 최근에는 기초구역번호를 신설하여 사용 중이죠. 과거의 6자리 우편번호에서 5자리로 바뀐 그 숫자가 기초구역번호입니다. 기초구역번호는 너무 세분화되어 있어 지도 시각화를 하였을 때 가시성이 조금 떨어지고 아직은 법정동도 우리에게 친숙하기에 법정동을 기준으로 작업하였습니다. 법정동이란? 법정동이란 대한민국 행정구역의 일종으로 법(법령과 조례와 관습법)으로 지정되어 있다고 하여 법정동이라 불립니다. 또한 행정동과 다르게 법정..

목차 GeoJson 사용 중에 ValueError: Cannot render objects with any missing geometries: 0 에러 만나신 적이 있나요? 저는 folium을 이용하여 지도 시각화 중에 저 Error를 만났는데요, 결론적으로는 maximum recursion error 때문입니다. POLYGON 유형이 있는 Pandas DataFrame 유형에 .to_json() 메소드를 실행하면 maximum recursion error(최대 재귀 오류)가 발생하기 때문입니다. 따라서 DataFrame을 GeoPandas 유형으로 바꾸어주면 에러를 해결할 수 있습니다. 조금 더 에러 상황을 자세히 알아보겠습니다. 데이터 확인 대한민국 읍면동별 경계를 지도시각화하기 위해 그 데이터가 담..

목차 [Python] 전국 행정구역별 지도 시각화 (Folium, 일부-경기도/인천) Python 지도 시각화 Library folium을 사용해 행정구역별 시각화를 진행해보겠습니다. 필요 Site : SGIS(통계지리정보서비스), QGIS, 지도 셰이퍼 기존의 folium을 이용한 행정구역별 시각화 자료는 굉장히 herjh0405.tistory.com 이전 포스팅에서 우리는 지도 시각화를 하기 위해 SGIS의 shp 형태의 데이터를 QGIS와 지도 셰이퍼라는 사이트를 통해 JSON 파일로 변환시켜주었는데요. 추가 공부 중에 이 과정을 대폭 간소화시켜줄 수 있는 GeoPandas라는 라이브러리를 발견하게 되어, 이번 포스팅에서는 그 과정을 여러분들께 소개드리고자 합니다. 필요 Site : GIS DEVE..

목차 전국 행정구역별 지도 시각화 - 법정동코드 체계의 이해 저는 법정동을 기준으로 지도 시각화를 진행할 것인데요, 그에 앞서 법정동코드 체계에 대한 이해가 바탕이 되어야 추후의 작업에도 도움이 되기에 이번 포스팅에서는 법정동코드의 체계에 herjh0405.tistory.com 지난번 포스팅의 법정동 코드 체계 이해에 이어 그 기준을 바탕으로 지도 시각화를 진행해보겠습니다. Python 지도 시각화 Library folium을 사용해 행정구역별 시각화를 진행해보겠습니다. 필요 Site : SGIS(통계지리정보서비스), QGIS, 지도 셰이퍼 기존의 folium을 이용한 행정구역별 시각화 자료는 굉장히 많지만 다들 전국 단위이거나 서울특별시만을 기준으로 하고 있어 일부 지역만 표시하고 싶은 니즈를 충족시키..

부스트캠프 개발자의 지속 가능한 성장을 위한 학습 커뮤니티 boostcamp.connect.or.kr 📔개인학습 Competition Overview(EDA&Metric) 1. COCO Dataset 1-1. COCO Format info, license, images, categories, annotations info에는 data set에 대한 high-level의 정보가 포함되어 있음 생산일, Contributor, 간단한 설명 등 images에는 data set의 image 목록 및 각각의 width, height, file_name(path), id 등을 포함 categories에는 class 정보가 입력 됨 annotations의 밑에 있는 segmentation에는 각 class에 해당되는 ..

온라인의 인연을 오프라인에서 - Boostcamp [BoostCamp] Week1_Day3. 예상치 못한 인연의 시작 부스트캠프 개발자의 지속 가능한 성장을 위한 학습 커뮤니티 boostcamp.connect.or.kr 개요 3일 차에 접어들면서 들을 것도 많고 과제도 점점 많아지고 내 herjh0405.tistory.com 저번 포스팅에서는 부스트캠프에서 만난 소중한 분들과의 이야기를 다뤘다. 그분들에 이어 나에겐 연예인과 같았던 강천성 멘토님(캐글코리아 단톡방에서만 봄)과 학교에서 특강도 듣고 조언이 필요할 때 도움도 주신 김태진 마스터님과 식사를 하고 3번째 대회부터 함께하고 있는 앞으로도 오랫동안 만날 우리 팀과도 만남을 가졌다.🌟 이번 부스트캠프에서는 3번째 대회부터는 쭉 한 팀으로 지속하게 되..

부스트캠프 개발자의 지속 가능한 성장을 위한 학습 커뮤니티 boostcamp.connect.or.kr Object Detection Overview 1. Object Detection Classification vs. Object Detection Object Detection 이미지에서 객체를 식별해내는 테스트 / 분류보다 어려움 이미지에서 객체를 찾고 이것이 무엇인가 1-1. Real World 자율주행 / 사진 속에서 텍스트를 추출 (OCR) / 의료 도메인(굉장히 중요하게 쓰이고 있음) 1-2. History 1-3. Evaluation 성능 mAP (얼마나 잘 검출했는 지) 속도 FPS Flops 2-1. mAP (mean average precision) 각 클래스당 AP의 평균 이것을 계산하..

Weather Observation Station 6 | HackerRank Query a list of CITY names beginning with vowels (a, e, i, o, u). www.hackerrank.com select city from station where city regexp '^[a|e|i|o|u]' 오랜만에 SQL 연습을 위해 사이트를 찾아보던 중 hackerrank라는 좋은 사이트를 발견했다. Python으로 구현하면 간단하게 했을 것 같은데 SQL에서는 starts with를 어떻게 구할 수 있을까? LIKE를 사용하면 간단하지만 이번 문제는 후보군이 있다. 모든 후보군에 대해서 LIKE를 사용해주는 건 아름답지 않으니 새로운 방식을 고민해보자. 그러던 중 찾은 것이 ..