CentOS 개발환경 세팅 (jdk, mysql, python, sublimeText, fileZilla, tomcat, mysql workbench, playonlinux, eclipse, pycharm, pip, tensorflow, hadoop, hive, spark)

크롬 설치

참고 url: http://saksin.tistory.com/1182

$ sudo vi /etc/yum.repos.d/google-chrome.repo

repo파일에 아래 내용 넣기

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

$ :wq로 저장

$yum install google-chrome-stable

하면 설치완료

open-jdk 1.7.0 설치

JDK리스트 확인

$ yum list java*jdk-devel

설치

$ yum install java-1.7.0-openjdk-devel.x86_64

설치확인

$ javac -version

참고 url: https://zetawiki.com/wiki/CentOS_JDK_%EC%84%A4%EC%B9%98

oracle jdk 1.7.0 설치

jdk 다운로드

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

 다운로드

jdk 설치

$ mkdir /usr/local/java

$ mv jdk-7u80-linux-x64.tar.gz /usr/local/java

$ cd /usr/local/java

$ tar -xvzf jdk-7u80-linux-x64.tar.gz

명령어 등록

$ alternatives --install /usr/bin/java java /usr/local/java/jdk1.7.0_80/bin/java 1

$ alternatives --install /usr/bin/java javac /usr/local/java/jdk1.7.0_80/bin/javac 1

$ alternatives --install /usr/bin/javac /usr/local/java/jdk1.7.0_80/bin/javac 1

자바 버전 확인

$ java -version

참고 url

https://gongzza.github.io/linux/install/java/

https://www.lesstif.com/pages/viewpage.action?pageId=6979659

MYSQL 5,7 설치

$ rpm -ivh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

mysql패키지 목록 확인

$ yum search mysql-community

필요한 패키지 목록

mysql-community-common

mysql-community-libs

mysql-community-client

mysql-community-server

패키지 설치

$ yum install mysql-community-common.x86_64

$ yum install mysql-community-libs.x86_64

$ yum install mysql-community-client.x86_64

$ yum install mysql-community-server.x86_64

mysql구동

$ systemctl start mysqld

mysql -u root -p mysql or mysql로 접속

mysql> grant all privileges on *.* to root@"localhost" identified by '비밀번호' with grant option;

mysql> grant all privileges on *.* to root@"%" identified by '비밀번호' with grant option;

mysql> flush privileges;

mysql 접속 오류시

error: 'Access denied for user 'root'@'localhost' (using password: YES)' 일때

1. 설정파일 수정

$ vi /etc/my.cnf

맨 밑에 작성 후 저장

skip-grant-tables

[mysqld]

2. mysql 재기동

$ service mysqld restart

3.mysql 접속 및 설정 변경

$ mysql -u root -p

mysql> flush privileges;

mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '새로운비밀번호';

4. skip-grant-tables [mysqld] 글 삭제

5. mysql 재기동

$ service mysqld restart

6. mysql 접속

$ mysql -u root -p

참고 url

- http://zero-gravity.tistory.com/274

- http://gnujava.com/board/article_view.jsp?article_no=1732&page_no=10&menu_cd=29&idx_notice=NOTICE_FLAG+DESC%2C&board_no=16

DBeaver 디비버 설치

1. 디비버 설치

- https://dbeaver.io/ 에서 download 클릭

- Linux 64bit (tar.gz archive) 다운로드

2. 압축해제

$ tar -xvzf dbeaver-ce-5.1.0-linux.gtk.x86_64.tar.gz 

3. 디비버 실행

$ cd dbeaver/

$ nohup ./dbeaver &

참고 url

- http://lifeones.tistory.com/129

PYTHON 3.5.1 설치

python3.5.1 파일다운

$ wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz

압축풀고 설치

$ tar xzf Python-3.5.1.tgz

$ cd Python-3.5.1

$ ./configure

$ make && make altinstall

python버전 확인

$ python3.5 -V

기본 버전 변경

$ sudo ln -sf /usr/local/bin/python3.5 /usr/bin/python

참고 url

http://estenpark.tistory.com/347 

https://janikarhunen.fi/how-to-install-python-3-5-1-on-centos-7.html

SublimeText 3 설치

sublimeText3 다운로드

$ wget http://c758482.r82.cf2.rackcdn.com/sublime_text_3_build_3065_x64.tar.bz2

sublimeText3 압축풀기

$ sudo tar -vxjf sublime_text_3_build_3065_x64.tar.bz2

sublimeText3 실행

$ cd sublime_text_3/

$ nohup ./sublimeText3 &

참고 url: http://software-engineer.gatsbylee.com/how-to-install-sublime-3-on-centos-7-rhel-7/

FileZilla 설치

fileZilla 다운로드

$ sudo yum install filezilla

$ nohup filezilla & 또는 프로그램 -> 인터넷 -> 파일질라 실행

참고 url: http://egloos.zum.com/ragreen/v/6292918

Tomcat 8.0 설치

tomcat 8.0 다운로드

$ sudo wget http://apache.tt.co.kr/tomcat/tomcat-8/v8.0.48/bin/apache-tomcat-8.0.48.tar.gz

tomcat 8.0 압축풀기

$ sudo tar -xvf apache-tomcat-8.0.48.tar.gz 

참고 url: http://yakolla.tistory.com/26

DB client (mysql-workbench) 설치

workbench 설치

$ sudo yum install mysql-workbench

추가 패키지 설치

$ sudo yum install libzip.x86_64

$ sudo yum install tinyxml.x86_64

Playonlinux (heidiSql 설치)

playonlinux 설치

$ sudo wget -O /etc/yum.repos.d/playonlinux.repo http://rpm.playonlinux.com/playonlinux.repo

$ sudo yum install playonlinux

playonlinux 실행

프로그램 -> 게임 -> playonlinux

heidisql 설치

 버튼 클릭

개발 -> heidisql 설치

다음 -> 다음으로 설치

위의 playonlinux로 heidisql설치가 안된다면

https://www.heidisql.com/download.php 에서 heidisql.exe를 다운받고 wine으로 실행하는 방법

터미널에서 명령실행

$ wine heidisql.exe

db접속시 libmysql.dll이 없다고 할 경우 exe파일과 libmysql.dll파일을 같은경로에 두고 실행한다.

libmysql.dll다운 url: http://www.dlldownloader.com/libmysql-dll/

Eclipse Mars2 설치

eclipse mars2 다운로드

$ sudo wget http://mirrors.neusoft.edu.cn/eclipse/technology/epp/downloads/release/mars/2/eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz

또는 직접 다운로드

http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/mars/2/eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz&mirror_id=1142

eclipse mars2 압축풀기

$ tar -xvzf eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz

eclipse mars2 실행

$ nohup ./eclipse &

Eclipse luna 설치

eclipse luna 다운로드

http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/luna/SR2/eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz&mirror_id=1268

압축풀기

$ tar -xvzf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz

eclipse luna 실행

$ cd eclipse

$ nohup ./eclipse &

Pycharm 설치

pycharm community 다운로드

http://www.jetbrains.com/pycharm/download/download-thanks.html?platform=linux&code=PCC

pycharm 압축풀기

$ tar -xvzf pycharm-community-2017.3.2.tar.gz

pycharm 실행

$ cd pycharm-community-2017.3.2/bin

$ nohup pycharm.sh &

참고 url: http://hunit.tistory.com/268

pip3 설치

pip3 설치

$ sudo easy_install-3.4 pip

Tensorflow 설치

tensorflow Linux 64-bit, CPU only, Python 3.5용 설치정보 export

$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0-cp35-cp35m-linux_x86_64.whl

tensorflow 설치

$ sudo pip3 install --upgrade $TF_BINARY_URL

tensorflow 테스트

$ python3.5

>>> import tensorflow as tf

>>> hello = tf.constant('Hello, TensorFlow!')

>>> sess = tf.Session()

>>> print(sess.run(hello))

b'Hello, TensorFlow!'

>>> a = tf.constant(10)

>>> b = tf.constant(32)

>>> print(sess.run(a + b))

42

참고 url: https://m.blog.naver.com/PostView.nhn?blogId=kimmingul&logNo=220871293129&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F

Hadoop 2.7.3 설치

1. 파일복사

2. 환경변수 추가

$ vi .bash_profile

export HADOOP_HOME=~/dev/Apps/hadoop-2.7.3

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

3. ssh 로그인 설정

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub localhost

ssh localhost

4. 네임노드, 데이터노드 dir 생성

$ sudo mkdir /data

$ sudo mkdir /data/hadoop

$ sudo chown nation909:nation909 /data/*  (nation909대신 자신의 id로)

$ sudo chmod 755 /data/

$ mkdir /data/hadoop/tmp

$ mkdir /data/hadoop/dfs

$ mkdir /data/hadoop/dfs/name

$ mkdir /data/hadoop/dfs/data

5. sh 권한설정

$ cd ~/dev/Apps/hadoop-2.7.3/bin

$ chmod 755 *

$ cd ~/dev/Apps/hadoop-2.7.3/sbin

$ chmod 755 *

6. 네임노드 포맷

$ name node format

$ hdfs namenode -format

hive 설치

1. 파일복사

2. hdfs 폴더 생성

$ hadoop fs -mkdir /tmp

$ hadoop fs -mkdir /user

$ hadoop fs -mkdir /user/hive

$ hadoop fs -mkdir /user/hive/warehouse

$ hadoop fs -chmod g+w /tmp

$ hadoop fs -chmod g+w /user/hive/warehouse

3. metastore 추가

$ mysql -u root -p

$ create database hive_metastore_db;

$ grant all privileges on hive_metastore_db.* to 'hive'@'localhost' identified by 'hive@hivedev' with grant option;

$ grant all privileges on hive_metastore_db.* to 'hive'@'%' identified by 'hive@hivedev' with grant option;

4. 환경변수 등록

$ vi .bash_profile

export HIVE_HOME=~/dev/Apps/apache-hive-2.1.1-bin

export PATH=$HIVE_HOME/bin:$PATH

5. sh chmode 수정

$ cd ~/dev/Apps/apache-hive-2.1.1-bin/bin

$ chmod 755 *

6. 스키마 초기화

$ cd ~/dev/Apps/apache-hive-2.1.1-bin/bin

$ ./schematool -dbType mysql -initSchema

오류가 뜰 경우

$ mv metastore_db metastore_db.tmp

$ schematool -initSchema -dbType derby

7. mysql connector 설치

mysql connector를 다운로드하여 HIVE_HOME/lib에 복사

(http://www.mysql.com/downloads/connector/j/ 에서 다운로드하여 압축해제후 mysql-connector-java-5.1.41-bin.jar만 복사)

8. hive 실행 테스트

$ ./hive

hive> show databases;

hive> use default;

9. beeline으로 hive 접속하기

$ nohup ./hive --service metastore &

$ nohup ./hiveserver2 &

$ ./beeline

$ !connect jdbc:hive2://localhost:10000 hive hivedev

show databases;

use default;

Spark 2.1.0 설치

1, 파일복사

2. 환경변수 등록

$ gedit .bash_profile

export SPARK_HOME=~/dev/spark-2.1.0-bin-hadoop2.7

export PATH=$PATH:$SPARK_HOME/bin

export SPARK_LOCAL_IP=127.0.0.1

3. spark-env.sh 수정

$ cd /home/nation909/dev/Apps/spark-2.1.0-bin-hadoop2.7/conf

$ gedit spark-env.sh

export PYSPARK_PYTHON=~/dev/Apps/Python-3.5.1/python

export HADOOP_CONF_DIR=~/dev/Apps/hadoop-2.7.3/etc/hadoop

export PYTHONHASHSEED=0

export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0

4. sh chmod 수정

$ cd ~/dev/Apps/spark-2.1.0-bin-hadoop2.7/bin

$ chmod 755 *

$ cd ~/dev/Apps/spark-2.1.0-bin-hadoop2.7/sbin

$ chmod 755 *

5. pyspark 실행