[TIL]180618

1. redshift

SQL 공부를 하던 중에 예제 쿼리들이 mysql 5.x 버전에서 지원되지 않는 것이 많아, 처음에는 변환해서 학습했었다. 그런데 중첩되는 부분들이 점차 많아져서 우선은 빅쿼리로 해결하려고 했다. mysql의 데이터를 embulk로 빅쿼리에 올려서 처리 후 tableau로 연동하는 작업을 해보았으나, mysql to bigquery, bigquery to tableau는 무난하게 해결했는데 bigquery에서도 legacy sql이든, standard sql이든 mysql 8 (혹은 ORACLE)에서 지원하는 함수들이 안먹힌다. 그래서 aws emr로 하려고 했으나, 처음 sbt 라이브러리받는데 너무 오랜 시간이 걸리고 무엇보다 내가 spark를 모름 ㄷㄷ.. 해서 redshift로 올려보았고 해결하였다. 과정 중에 몇가지 삽질한 부분이 있어 남겨둔다.

우선 AWS 가이드에서는 workbench/J와 DBvisualizer라는 툴 두가지로 안내하는데, 후자의 경우는 왜인지 접속이 안되었고, 전자의 경우도 최신 버전 driver는 안되고 JDBC 4.1버전만 되었다. 

https://s3.amazonaws.com/redshift-downloads/drivers/jdbc/1.2.12.1017/RedshiftJDBC41-1.2.12.1017.jar

그리고 redshift를 처음에 세팅하면 자동으로 security group 정책에 5439 포트 오픈이 설정되지 않아 따로 세팅해주어야 한다.

그리고 autocommit도 선택해주자

어쨋든 그렇게 성공.. (날짜별 매출 집계)