메모장

설치가능한 jdk 리스트 확인$ yum list java*jdk-devel jdk 설치$ yum install java-1.7.0-openjdk-devel.x86_64 설치확인$ javac -version 참고 url: https://zetawiki.com/wiki/CentOS_JDK_%EC%84%A4%EC%B9%98

텐서플로우로 linear regression 구현 소스코드(설명을 달려고 편의상 //로 주석넣음 실행하려면 주석 삭제필요) import tensorflow as tf // 트레이닝 데이터x_data = [1, 2, 3] y_data = [1, 2, 3] // 텐서플로우가 지정하는 Variable로 W, b을 지정 (-1에서 1까지 랜덤한 값을 설정)W = tf.Variable(tf.random_uniform([1], -1.0, 1.0))b = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) hypothesis = W * x_data + b cost = tf.reduce_mean(tf.square(hypothesis - y_data)) // GradientDescent알..

나눔폰트체 설치$ sudo apt-get install fonts-nanum* wine 설치$ sudo apt-get install software-properties-common$ sudo dpkg --add-architecture i386$ sudo add-apt-repository ppa:wine/wine-builds$ sudo apt-get update$ sudo apt-get install --install-recommends winehq-staging$ which wine$ wine --version playonlinux 설치$ wget -q "http://deb.playonlinux.com/public.gpg" -O- | apt-key add -$ wget http://deb.playonli..

hadoop에서 localhost: Error: JAVA_HOME is not set and could not be found. 오류시 /home/nation909/dev/Apps/hadoop-2.7.3/etc/hadoop/hadoop-env.sh (계정명+하둡경로)에서 export JAVA_HOME=${JAVA_HOME} 되있는 부분을 jdk 경로로 바꿔준다.아래처럼 변경export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

openjdk-8 설치sudo apt-get install openjdk-8-jdk 버전확인java -version

정규표현식 - 문자열검색(search and match) - 문자열의 부분을 변환(sub) - 작은조각으로 문자열 자르기(split) 정규식 -> appleex. Scrapple from the apple. 정규식 -> b[eor]atex. beat a brat on a boat [x]는 x의 문자 리스트중 어느 하나와 매칭ex. "[abc]"는 'a' 또는 'b' 또는 'c'와 매칭 [^x]는 x의 문자 리스트에 포함되지 않는 한 문자와 매칭ex. "[^abc]"는 'a' 또는 'b' 또는 'c'를 제외한 나머지와 매칭 "."모든 하나의 문자와 매칭괄호는 그룹으로 만들때 사용ex. "(abc)+"는 'abc', 'abcabc', 'abcabcabc'등과 매칭 x|y는 x 또는 y와 매칭ex. "this..

스파크 - 하둡과는 달리 메모리를 이용한 데이터 저장방식을 제공 - 머신러닝 등 반복적인 데이터 처리가 필요한 분야에서 높은 성능을 보여줌 - 스파크2.0부터는 자바, 스칼라, 파이썬, R스크립트로도 스파크 애플리케이션 작성 가능 스파크 라이브러리스파크SQL: 하이브와 연동이 가능한 스키마기반 데이터분석 모듈스파크 스트리밍: 실시간 스트리밍 데이터를 다루는 모듈GraphX: 그래프 알고리즘 처리 모듈SparkR: 통계분석프로그램인 R과의 연동을 지원하는 모듈MLlib: 머신러닝 알고리즘 수행 모듈 하둡 파일시스템 기본적인 동작 방법 - 분석할 데이터를 하둡파일시스템인 HDFS에 저장해 두고 HDFS상에서 맵리듀스 프로그램을 이용해 데이터를 처리 - 하둡파일시스템은 하나의 네임노드와 여러개의 데이터노드로 ..

우분투 16.04 py스파크(2.1.0) 설치 1. spark-2.1.0-bin-hadoop2.7.tgz 파일 압축풀기$ tar -xvzf spark-2.1.0-bin-hadoop2.7.tgz 2. 압축푼 파일 위치 이동$ mv spark-2.1.0-bin-hadoop2.7 ../Apps/ 3. 스파크 환경설정- spark-2.1.0-bin-hadoop2.7/conf/spark-env.sh.template 파일을 복사해서 spark-env.sh로 만든다. 해당 spark-env.sh 파일 밑에 환경설정 세팅export HADOOP_CONF_DIR=~/dev/Apps/hadoop-2.7.3/etc/hadoop#export PYSPARK_PYTHON=~/anaconda3/envs/py35/bin/python..

하둡 설치가 되었다고 보고 WordCount 테스트 로컬호스트 접속$ ssh localhost yarn, hdfs실행$ start-all.sh wordcount구글링을 할 때 어떤 페이지는 하위버전이여서 bin/hadoop-examples-*.*.*jar로 제공하고 있다고 하고어떤 페이지는 직접 wordcount를 복붙으로 소스를 해야해서 귀찮고 헷갈렸다.좀 더 찾아보니 하둡 2.7.3 버전일 경우 hadoop-mapreduce-examples-2.7.3.jar파일에 wordcount.class가 있다.(아마 하둡2.*.*부터 위치가 변경된 것 같다) jar 파일 위치hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar 하둡 디렉..

로컬호스트 접속ssh localhost hdfs, yarn실행start-all.sh metastore 실행nohup hive --service metastore & hiveserver2 실행 nohup hiveserver2 & 프로세스 확인jps결과창 - NameNode - SecondaryNameNode - Jps - ResourceManager - DataNode - RunJar - RunJar beeline 으로 접속beeline!connect jdbc:hive2://localhost:10000 hive hivedev