CentOS 개발환경 세팅 (jdk, mysql, python, sublimeText, fileZilla, tomcat, mysql workbench, playonlinux, eclipse, pycharm, pip, tensorflow, hadoop, hive, spark)
크롬 설치
참고 url: http://saksin.tistory.com/1182
$ sudo vi /etc/yum.repos.d/google-chrome.repo
repo파일에 아래 내용 넣기
[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub$ :wq로 저장
$yum install google-chrome-stable
하면 설치완료
open-jdk 1.7.0 설치
JDK리스트 확인
$ yum list java*jdk-devel
설치
$ yum install java-1.7.0-openjdk-devel.x86_64
설치확인
$ javac -version
참고 url: https://zetawiki.com/wiki/CentOS_JDK_%EC%84%A4%EC%B9%98
oracle jdk 1.7.0 설치
jdk 다운로드
http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
jdk 설치
$ mkdir /usr/local/java
$ mv jdk-7u80-linux-x64.tar.gz /usr/local/java
$ cd /usr/local/java
$ tar -xvzf jdk-7u80-linux-x64.tar.gz
명령어 등록
$ alternatives --install /usr/bin/java java /usr/local/java/jdk1.7.0_80/bin/java 1
자바 버전 확인
$ java -version
참고 url
https://gongzza.github.io/linux/install/java/
https://www.lesstif.com/pages/viewpage.action?pageId=6979659
MYSQL 5,7 설치
$ rpm -ivh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm
mysql패키지 목록 확인
$ yum search mysql-community
필요한 패키지 목록
mysql-community-common
mysql-community-libs
mysql-community-client
mysql-community-server
패키지 설치
$ yum install mysql-community-common.x86_64
mysql구동
$ systemctl start mysqld
mysql -u root -p mysql or mysql로 접속
mysql> grant all privileges on *.* to root@"localhost" identified by '비밀번호' with grant option;
mysql> grant all privileges on *.* to root@"%" identified by '비밀번호' with grant option;
mysql> flush privileges;
mysql 접속 오류시
error: 'Access denied for user 'root'@'localhost' (using password: YES)' 일때
1. 설정파일 수정
$ vi /etc/my.cnf
맨 밑에 작성 후 저장
skip-grant-tables
[mysqld]
2. mysql 재기동
$ service mysqld restart
3.mysql 접속 및 설정 변경
$ mysql -u root -p
mysql> flush privileges;
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '새로운비밀번호';
4. skip-grant-tables [mysqld] 글 삭제
5. mysql 재기동
$ service mysqld restart
6. mysql 접속
$ mysql -u root -p
참고 url
- http://zero-gravity.tistory.com/274
- http://gnujava.com/board/article_view.jsp?article_no=1732&page_no=10&menu_cd=29&idx_notice=NOTICE_FLAG+DESC%2C&board_no=16
DBeaver 디비버 설치
1. 디비버 설치
- https://dbeaver.io/ 에서 download 클릭
- Linux 64bit (tar.gz archive) 다운로드
2. 압축해제
$ tar -xvzf dbeaver-ce-5.1.0-linux.gtk.x86_64.tar.gz
PYTHON 3.5.1 설치
python3.5.1 파일다운
$ wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz
압축풀고 설치
$ tar xzf Python-3.5.1.tgz
$ cd Python-3.5.1
$ ./configure
$ make && make altinstall
python버전 확인
$ python3.5 -V
기본 버전 변경
$ sudo ln -sf /usr/local/bin/python3.5 /usr/bin/python
참고 url
http://estenpark.tistory.com/347
https://janikarhunen.fi/how-to-install-python-3-5-1-on-centos-7.html
SublimeText 3 설치
sublimeText3 다운로드
$ wget http://c758482.r82.cf2.rackcdn.com/sublime_text_3_build_3065_x64.tar.bz2
sublimeText3 압축풀기
$ sudo tar -vxjf sublime_text_3_build_3065_x64.tar.bz2
sublimeText3 실행
$ cd sublime_text_3/
$ nohup ./sublimeText3 &
참고 url: http://software-engineer.gatsbylee.com/how-to-install-sublime-3-on-centos-7-rhel-7/
FileZilla 설치
fileZilla 다운로드
$ sudo yum install filezilla
$ nohup filezilla & 또는 프로그램 -> 인터넷 -> 파일질라 실행
참고 url: http://egloos.zum.com/ragreen/v/6292918
Tomcat 8.0 설치
tomcat 8.0 다운로드
$ sudo wget http://apache.tt.co.kr/tomcat/tomcat-8/v8.0.48/bin/apache-tomcat-8.0.48.tar.gz
tomcat 8.0 압축풀기
$ sudo tar -xvf apache-tomcat-8.0.48.tar.gz
DB client (mysql-workbench) 설치
workbench 설치
$ sudo yum install mysql-workbench
추가 패키지 설치
$ sudo yum install libzip.x86_64
$ sudo yum install tinyxml.x86_64
Playonlinux (heidiSql 설치)
playonlinux 설치
$ sudo wget -O /etc/yum.repos.d/playonlinux.repo http://rpm.playonlinux.com/playonlinux.repo
$ sudo yum install playonlinux
playonlinux 실행
프로그램 -> 게임 -> playonlinux
heidisql 설치
개발 -> heidisql 설치
다음 -> 다음으로 설치
위의 playonlinux로 heidisql설치가 안된다면
https://www.heidisql.com/download.php 에서 heidisql.exe를 다운받고 wine으로 실행하는 방법
터미널에서 명령실행
$ wine heidisql.exe
db접속시 libmysql.dll이 없다고 할 경우 exe파일과 libmysql.dll파일을 같은경로에 두고 실행한다.
libmysql.dll다운 url: http://www.dlldownloader.com/libmysql-dll/
Eclipse Mars2 설치
eclipse mars2 다운로드
$ sudo wget http://mirrors.neusoft.edu.cn/eclipse/technology/epp/downloads/release/mars/2/eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz
또는 직접 다운로드
http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/mars/2/eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz&mirror_id=1142
eclipse mars2 압축풀기
$ tar -xvzf eclipse-jee-mars-2-linux-gtk-x86_64.tar.gz
eclipse mars2 실행
$ nohup ./eclipse &
Eclipse luna 설치
eclipse luna 다운로드
http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/luna/SR2/eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz&mirror_id=1268
압축풀기
$ tar -xvzf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz
eclipse luna 실행
$ cd eclipse
$ nohup ./eclipse &
Pycharm 설치
pycharm community 다운로드
http://www.jetbrains.com/pycharm/download/download-thanks.html?platform=linux&code=PCC
pycharm 압축풀기
$ tar -xvzf pycharm-community-2017.3.2.tar.gz
pycharm 실행
$ cd pycharm-community-2017.3.2/bin
$ nohup pycharm.sh &
참고 url: http://hunit.tistory.com/268
pip3 설치
pip3 설치
$ sudo easy_install-3.4 pip
tensorflow Linux 64-bit, CPU only, Python 3.5용 설치정보 export
$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0-cp35-cp35m-linux_x86_64.whl
tensorflow 설치
$ sudo pip3 install --upgrade $TF_BINARY_URL
tensorflow 테스트
$ python3.5
>>> import tensorflow as tf
>>> hello = tf.constant('Hello, TensorFlow!')
>>> sess = tf.Session()
>>> print(sess.run(hello))
b'Hello, TensorFlow!'
>>> a = tf.constant(10)
>>> b = tf.constant(32)
>>> print(sess.run(a + b))
42
참고 url: https://m.blog.naver.com/PostView.nhn?blogId=kimmingul&logNo=220871293129&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F
Hadoop 2.7.3 설치
1. 파일복사
2. 환경변수 추가
$ vi .bash_profile
4. 네임노드, 데이터노드 dir 생성
$ sudo mkdir /data
$ sudo mkdir /data/hadoop
$ sudo chown nation909:nation909 /data/* (nation909대신 자신의 id로)
$ sudo chmod 755 /data/
$ mkdir /data/hadoop/tmp
$ mkdir /data/hadoop/dfs
$ mkdir /data/hadoop/dfs/name
$ mkdir /data/hadoop/dfs/data
5. sh 권한설정
$ cd ~/dev/Apps/hadoop-2.7.3/bin
$ chmod 755 *
$ cd ~/dev/Apps/hadoop-2.7.3/sbin
$ chmod 755 *
6. 네임노드 포맷
$ name node format
$ hdfs namenode -format
hive 설치
1. 파일복사
2. hdfs 폴더 생성
$ hadoop fs -mkdir /tmp
$ hadoop fs -mkdir /user
$ hadoop fs -mkdir /user/hive
$ hadoop fs -mkdir /user/hive/warehouse
$ hadoop fs -chmod g+w /tmp
$ hadoop fs -chmod g+w /user/hive/warehouse
3. metastore 추가
$ mysql -u root -p
$ create database hive_metastore_db;
$ grant all privileges on hive_metastore_db.* to 'hive'@'localhost' identified by 'hive@hivedev' with grant option;
$ grant all privileges on hive_metastore_db.* to 'hive'@'%' identified by 'hive@hivedev' with grant option;
4. 환경변수 등록
$ vi .bash_profile
6. 스키마 초기화
$ cd ~/dev/Apps/apache-hive-2.1.1-bin/bin
$ ./schematool -dbType mysql -initSchema
오류가 뜰 경우
$ mv metastore_db metastore_db.tmp
$ schematool -initSchema -dbType derby
7. mysql connector 설치
mysql connector를 다운로드하여 HIVE_HOME/lib에 복사
(http://www.mysql.com/downloads/connector/j/ 에서 다운로드하여 압축해제후 mysql-connector-java-5.1.41-bin.jar만 복사)
8. hive 실행 테스트
$ ./hive
hive> show databases;
hive> use default;
9. beeline으로 hive 접속하기
$ nohup ./hive --service metastore &
$ nohup ./hiveserver2 &
$ ./beeline
$ !connect jdbc:hive2://localhost:10000 hive hivedev
show databases;
use default;
Spark 2.1.0 설치
1, 파일복사
2. 환경변수 등록
$ gedit .bash_profile
export SPARK_HOME=~/dev/spark-2.1.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export SPARK_LOCAL_IP=127.0.0.1
3. spark-env.sh 수정
$ cd /home/nation909/dev/Apps/spark-2.1.0-bin-hadoop2.7/conf
$ gedit spark-env.sh
export PYSPARK_PYTHON=~/dev/Apps/Python-3.5.1/python
export HADOOP_CONF_DIR=~/dev/Apps/hadoop-2.7.3/etc/hadoop
export PYTHONHASHSEED=0
export SPARK_YARN_USER_ENV=PYTHONHASHSEED=0
4. sh chmod 수정
$ cd ~/dev/Apps/spark-2.1.0-bin-hadoop2.7/bin
$ chmod 755 *
$ cd ~/dev/Apps/spark-2.1.0-bin-hadoop2.7/sbin
$ chmod 755 *
5. pyspark 실행