호기심 많은 분석가

포스팅 개요 SQL 문법과 익숙해지고자 프로그래머스의 SQL Coding Test 문제들을 풀어봄. 그중 SUM, MAX, MIN 파트의 문제들을 기록해두었습니다. 그 전 문제들은 2021.05.06 - [Coding Test & Algorithm] - [SQL] 프로그래머스 Coding_Test SELECT (2) 포스팅에서 확인할 수 있습니다. 포스팅 본문 아래의 문제들은 모두 동일한 TABLE을 기준으로 문제가 주어졌습니다. TABLE 설명 1. 최댓값 구하기 가장 최근에 들어온 동물은 언제 들어왔는지 조회하는 SQL 문을 작성해주세요. SELECT MAX(AI.DATETIME) FROM ANIMAL_INS AS AI; SELECT AI.DATETIME FROM ANIMAL_INS AS AI ORD..

포스팅 개요 SQL 문법과 익숙해지고자 프로그래머스의 SQL Coding Test 문제들을 풀어봄. 그중 SELECT 파트의 문제들을 모아두었다. 2021.05.06 - [Coding Test & Algorithm] - [SQL] 프로그래머스 Coding_Test SELECT (1) 포스팅에 이어 다음 문제들도 다뤄보겠습니다. 포스팅 본문 아래의 문제들은 모두 동일한 TABLE을 기준으로 문제가 주어졌습니다. TABLE 설명 5. 동물의 아이디와 이름 동물 보호소에 들어온 모든 동물의 아이디와 이름을 ANIMAL_ID순으로 조회하는 SQL문을 작성해주세요. SQL을 실행하면 다음과 같이 출력되어야 합니다. SELECT AI.ANIMAL_ID, AI.NAME FROM ANIMAL_INS AS AI ORDE..

포스팅 개요 SQL 문법과 익숙해지고자 프로그래머스의 SQL Coding Test 문제들을 풀어봄. SELECT 파트의 문제들 중 앞 파트를 기록해두었습니다. 포스팅 본문 아래의 문제들은 모두 동일한 TABLE을 기준으로 문제가 주어졌습니다. TABLE 설명 1. 모든 레코드 조회하기 동물 보호소에 들어온 모든 동물의 정보를 ANIMAL_ID순으로 조회하는 SQL문을 작성해주세요. SQL을 실행하면 다음과 같이 출력되어야 합니다. SELECT * FROM ANIMAL_INS ORDER BY ANIMAL_INS.ANIMAL_ID; 모든 레코드를 불러오기 위해 * 를 사용했고, ANIMAL_ID로 정렬해주기 위해 ORDER BY를 사용함 2. 역순 정렬하기 동물 보호소에 들어온 모든 동물의 이름과 보호 시작..

포스팅 개요 Project를 진행하다 보면 올리고 싶지 않은 파일이나, 보안상 올리면 안 되는 파일도 있습니다. 그럴 때 .gitignore 파일을 사용하면 문제를 해결할 수 있습니다. 포스팅 본문 1. .gitignore 파일 만들기 .gitignore 파일은 항상 Directory의 최상위에 위치해야 합니다. 아래와 같이 간단하게 메모장 파일을 하나 만들어서 .gitignore으로 저장해주면 됩니다. 2. 문법 # .a로 저장된 파일 모두 ignore *.a # 위의 문법으로 .a 파일을 모두 ignore하더라도, lib.a는 제외 !lib.a # TODO 폴더 위치의 파일만 ignore하고, TODO의 하위폴더는 ignore하지 않음 /TODO # build 폴더 안의 모든 파일 ignore, ve..

2021.05.04 - [Machine Learning & Data] - [SQL] DB(데이터베이스)의 data를 csv로 추출하는 법에서 다뤘던 것처럼 DB의 데이터를 csv로 저장하고 2021.05.02 - [Machine Learning & Data] - [Python] Pandas 대용량 데이터 처리하기로 용량을 줄여서 평화롭게 작업하면 될 줄 알았다. 하지만 이게 웬걸? 전처리를 하기 위해 수백만 건의 데이터에 groupby를 쓰자 내 노트북은 견뎌내지 못했다. 다른 방법을 사용할 수도 있었지만, 이럴 때를 대비해 SQLD 자격증을 따며 배운 SQL 문법과 친숙해지기로 했다. 늘 Python의 DataFrame으로 작업하다가 SQL로 작업하다 보니 코드가 깔끔하지 못한 점 이해 부탁드립니다. ..

Jupyter Notebook으로 작업을 하면서 내가 만든 함수를 import 하여서 쓰고 싶었는데 종종 ImportError가 떠서 진행하지 못한 적이 있었다. 분명 reduce.py 파일도 같은 위치에 존재하고 import reduce도 되는데 왜 안에 있는 reduce_mem_usage 함수만 import가 안될 까 궁금하여 알아보던 중 너무 간단한 이유를 깨달아버려서 조금 허탈했다. reduce라는 module이 이미 존재하는 module이기 때문이었다. reduce.py 파일을 my_reduce.py로 변경해주었고 다음과 같이 작동되는 것을 확인할 수 있었다. 여러분들도 저와 같은 ImportError를 마주친다면 이 방법을 한 번 시도해보시길 추천드립니다. 참고로 Python에서 자신이 만든 ..

포스팅 개요 머신러닝 서비스들을 만들다 보면 이걸 웹이나 앱에서 어떻게 바로 적용할 수 있을까 궁금했습니다. 그러던 중 Flask라는 웹 프레임워크를 알게 되어 공부하고 사용한 경험을 기록한 포스팅입니다. 2021.05.03 - [Machine Learning] - [Machine Learning] Sklearn으로 학습한 model 저장 및 재사용 방법에서 저장한 model을 가지고 작업하겠습니다. 2021.05.04 - [Machine Learning] - [Python] 파이썬(Python) Flask로 웹서버에서 ML model 적용시키기 (1)에 이어 이번 포스팅에서는 ML model을 적용시켜보겠습니다. 포스팅 본문 플라스크(Flask)는 파이썬으로 작성된 마이크로 웹 프레임워크의 하나로, W..

포스팅 개요 머신러닝 서비스들을 만들다 보면 이걸 웹이나 앱에서 어떻게 바로 적용할 수 있을까 궁금했습니다. 그러던 중 Flask라는 웹 프레임워크를 알게 되어 공부하고 사용한 경험을 기록한 포스팅입니다. 2021.05.03 - [Machine Learning] - [Machine Learning] Sklearn으로 학습한 model 저장 및 재사용 방법에서 저장한 model을 가지고 작업하겠습니다. 이번 포스팅에서는 ML model을 적용시키기 앞서 Flask의 사용법에 대해 익혀보겠습니다. 포스팅 본문 플라스크(Flask)는 파이썬으로 작성된 마이크로 웹 프레임워크의 하나로, Werkzeug 툴킷과 Jinja2 템플릿 엔진에 기반을 둔다. 더보기 그렇다면 웹 프레임워크란 무엇일까? 웹 프레임워크란 웹..

포스팅 개요 보통의 공모전이나 캐글은 csv 형태의 파일을 제공하고 시작하기에 데이터를 추출하는 역량이 필요해 보이지 않을 수 있습니다. 하지만 현업에서는 그런 편한 상황은 주어지지 않을 것입니다. 고로 데이터가 주어지지 않을 때를 대비하여 DB에서 data를 직접 추출하여 csv로 변환하는 2가지 작업에 대해 알아보겠습니다. 포스팅 본문 Python의 pymysql 라이브러리를 활용한 방법과 MySQL Workbench를 이용하는 방법을 소개하겠습니다. 여러분들은 username, password, db명, host Name(or IP address)만 준비해주시면 됩니다. 1. Python을 이용한 data 추출 1-1. Library pymysql 설치 !pip install PyMySQL 1-2...

포스팅 개요 대용량의 데이터의 경우 sklearn으로 model을 학습시키는 데만 많은 시간이 소요되곤 합니다. 이 과정을 매번 반복하기엔 우리들의 시간이 너무 아깝습니다. 고로 이번에는 그 model을 저장하여 재사용할 수 있는 방법을 알아보겠습니다. 포스팅 본문 model은 pickle 형태로 저장할 것이고, 저장할 때는 sklearn의 joblib라는 Library를 사용하겠습니다. pickle은 텍스트 상태의 데이터가 아닌 파이썬 객체 자체를 파일로 저장하기 위해 사용됩니다. 일반 덱스트의 경우 파일로 저장할 때 파일 입출력을 이용하나, 리스트나 클래스 같은 텍스트가 아닌 자료형은 일반적인 파일 입출력으로 저장하거나 불러올 수 없기 때문입니다. LogisticRegression 기법을 활용한 코드..