호기심 많은 분석가

일전에 포스팅했던 2021.05.04 - [Machine Learning] - [SQL] DB(데이터베이스)의 data를 csv로 추출하는 법이 Local에서는 별 무리 없이 돌아갔는데 서버에서 하나의 문제점이 발생했다. [SQL] DB(데이터베이스)의 data를 csv로 추출하는 법 포스팅 개요 보통의 공모전이나 캐글은 csv 형태의 파일을 제공하고 시작하기에 데이터를 추출하는 역량이 필요해 보이지 않을 수 있습니다. 하지만 현업에서는 그런 편한 상황은 주어지지 않 herjh0405.tistory.com 서버에서 작업을 편하게 하기 위해 VS code로 연결해서 사용하고 있었는데 /var/lib/mysql-files/라는 폴더를 가시화시킬 수 없었다. 데이터를 모두가 편하게 쓸 수 있도록 보기 쉬운 곳..

포스팅 개요 보통의 공모전이나 캐글은 csv 형태의 파일을 제공하고 시작하기에 데이터를 추출하는 역량이 필요해 보이지 않을 수 있습니다. 하지만 현업에서는 그런 편한 상황은 주어지지 않을 것입니다. 고로 데이터가 주어지지 않을 때를 대비하여 DB에서 data를 직접 추출하여 csv로 변환하는 2가지 작업에 대해 알아보겠습니다. 포스팅 본문 Python의 pymysql 라이브러리를 활용한 방법과 MySQL Workbench를 이용하는 방법을 소개하겠습니다. 여러분들은 username, password, db명, host Name(or IP address)만 준비해주시면 됩니다. 1. Python을 이용한 data 추출 1-1. Library pymysql 설치 !pip install PyMySQL 1-2...

포스팅 개요 데이터 분석할 때 Pandas 이용을 많이들 하실 겁니다. 저 또한 편리하기에 주로 쓰는 Library였습니다. 하지만 Pandas는 기본적으로 data type을 동일하게 불러오기 때문에 데이터 용량이 커지는 상황이 종종 발생합니다. 그러던 와중 오승우 님의 뚱뚱하고 굼뜬 판다(Pandas)를 위한 효과적인 다이어트 전략이라는 좋은 자료를 보게 되어 공유하고자 포스팅을 하게 되었습니다. 우리 함께 판다의 다이어트를 도우러 가시죠! 포스팅 본문 대용량 데이터를 다룰 때는 Memory가 버티지 못할 때가 많습니다. 간단한 두 가지 방법을 통해 줄여보겠습니다. 1. 코드화 문자열로 된 데이터를 숫자 / 영어로 변환하여 데이터 크기 축소 - 남자 -> 0 여자 -> 1 - 서울특별시 -> 11 대..