You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
8G 메모리(VIRTUALBOX_MEMORY=8000)를 갖는 docker machine 이미지(VirtualBox) 생성
$> make create # DOCKER_MACHINE_NAME=cdh5 로 생성
생성한 docker machine 이미지에 공유 폴더 설정
생성한 docker machine 실행
$> make start
생성한 docker machine 환경 설정 (한번만 하면 됨!!)
make start 이후에 해야함!!
$> make env-init stop start # 환경 설정 정보를 변경하고 docker machine 을 재기동 해야함!!
생성한 docker machine 에 docker image 만들기
make start 이후에 해야함!!
$> make build-all
본인에게 필요한 docker-compose 실행
$> make hdfs-up # for HDFS, MR, Yarn, Hue
OR
$> make hive-up # for hdfs-up + Hive
OR
$> make oggre-up # for hive-up + Oozie, MongoDB, ElasticSearch
docker-compose 실행후 환경 설정 필요
hue 는 초기 한번 SQLite3 -> MySQL 로 DB Migration 이 진행되며, Migration 완료후 conf/conf.hue/migration-done 생성됨. (hue/migration.sh 참조)
hue 초기화 방법
MySQL 에서 hue database drop 및 재생성 (hive-metastore/mysql-init.sql 참조)
migration-done 파일 삭제후 hue 재기동
# oggre-up 일 경우
## /etc/hosts 편집
192.168.99.100 hdfsnamenode.cdh5-local hiveserver.cdh5-local hivemetastore.cdh5-local yarnresourcemanager.cdh5-local mapreducehistory.cdh5-local hue.cdh5-local clusternode.cdh5-local oozie.cdh5-local mongodb.cdh5-local es.cdh5-local
192.168.99.100 clusternode
## ~/.bashrc 편집
export HADOOP_CONF_DIR=${CDH5 절대경로}/conf/cluster-conf.local
export HADOOP_USER_NAME=${hdfs 에서 사용할 USER NAME}
export OOZIE_CLIENT_OPTS=-Duser.name=${oozie 에서 사용할 USER NAME}
로컬 Client 설치
hadoop, hive 는 brew 필요!!
oozie, sqoop 은 wget 필요!!
hadoop 2.8.0
$> cd appendix/brew-pkg
$> brew install hadoop.rb
hive 1.1.0
$> cd appendix/brew-pkg
$> brew install hive.rb
mongodb 2.4.9
$> cd appendix/mongodb
$> ./mongo_client_install.sh
oozie 4.1.0
$> cd appendix/oozie
$> ./oozie_client_install.sh
sqoop 1.4.7
$> cd appendix/sqoop
$> ./sqoop_install.sh
Test
sqoop 은 테스트를 위해서 MySQL 에 sqoop test 용 계정 및 Database 및 Table 생성 필요
mysql 에 root 로 접속해서 test/sqoop/sqoop.sql 실행
$> make test-all # 혹은 개별 테스트 ex) make test-mr
기타 명령어
$> make ssh # 실행한 docker machine 에 ssh 접속
$> make stop # 실행한 docker machine 중지
$> make hdfs-down # 실행한 docker-compose 종료. ex) make hdfs-up 일 경우
$> make hdfs-stop # 실행한 docker-compose 중지
$> make hdfs-start # 중지한 docker-compose 재시작
$> make remove # 생성한 docker machine 이미지 삭제. 왠만해서는 실행할 일 없음!!
Trouble Shooting Guide
make create Error checking TLS connection: Error checking and/or regenerating the certs: There was an error validating certificates
에러 메시지
Error checking TLS connection: Error checking and/or regenerating the certs: There was an error validating certificates
조치
Local 머신의 Network 가 꼬였을 수 있으므로 Reboot
docker-machine 재생성
$> make remove-network
$> make remove
make build-all ERROR: SSL error: [SSL: TLSV1_ALERT_PROTOCOL_VERSION]