메모장

eclipse jdk 환경변수 설정 eclipse.ini (리눅스, 윈도우) jdk를 설치했는데도 eclipse가 안켜지고 에러가 뜬다면 jdk설치 위치가 기본이 아니여서 에러가 뜨는 이유일 가능성이 높은데eclipse.ini파일에 java경로를 적어주면 된다. 윈도우와 리눅스 둘다 동일하지만 리눅스에서는 .exe파일을 사용할 수 없으므로 조금의 차이만 있다. windows일 경우윈도우일 경우 eclipse 파일의 eclipse.ini를 워드패드나 텍스트에디터로 킨다.(메모장도 인코딩 깨지지만 않으면 상관없음) 수정전 eclipse.ini 파일내용-startupplugins/org.eclipse.equinox.launcher_1.3.100.v20150511-1540.jar--launcher.library..

특정 폴더안의 파일, 폴더들을 삭제해야 할 배치프로그램을 만들 경우가 있어서 사용함 기본적으로 폴더를 삭제하려면 폴더안의 파일들을 삭제시켜야 삭제할 수 있다. 그렇기 때문에 재귀함수를 사용해야 한다 public class FileDeleteTest { public static void deleteFileFn(String path) {File file = new File(path); // 매개변수로 받은 경로를 파일객체선언 (/home/nation909/test 경로의 폴더를 지정함)File[] files = file.listFiles(); // 해당 폴더 안의 파일들을 files 변수에 담음if(files.length > 0) { // 파일, 폴더가 1개라도 있을경우 실행for (int i=0; i

텐서플로우로 linear regression 구현 소스코드(설명을 달려고 편의상 //로 주석넣음 실행하려면 주석 삭제필요) import tensorflow as tf // 트레이닝 데이터x_data = [1, 2, 3] y_data = [1, 2, 3] // 텐서플로우가 지정하는 Variable로 W, b을 지정 (-1에서 1까지 랜덤한 값을 설정)W = tf.Variable(tf.random_uniform([1], -1.0, 1.0))b = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) hypothesis = W * x_data + b cost = tf.reduce_mean(tf.square(hypothesis - y_data)) // GradientDescent알..

하둡 설치가 되었다고 보고 WordCount 테스트 로컬호스트 접속$ ssh localhost yarn, hdfs실행$ start-all.sh wordcount구글링을 할 때 어떤 페이지는 하위버전이여서 bin/hadoop-examples-*.*.*jar로 제공하고 있다고 하고어떤 페이지는 직접 wordcount를 복붙으로 소스를 해야해서 귀찮고 헷갈렸다.좀 더 찾아보니 하둡 2.7.3 버전일 경우 hadoop-mapreduce-examples-2.7.3.jar파일에 wordcount.class가 있다.(아마 하둡2.*.*부터 위치가 변경된 것 같다) jar 파일 위치hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar 하둡 디렉..

로컬호스트 접속ssh localhost hdfs, yarn실행start-all.sh metastore 실행nohup hive --service metastore & hiveserver2 실행 nohup hiveserver2 & 프로세스 확인jps결과창 - NameNode - SecondaryNameNode - Jps - ResourceManager - DataNode - RunJar - RunJar beeline 으로 접속beeline!connect jdbc:hive2://localhost:10000 hive hivedev

우분투 16.04에서 하둡2.7.3 설치 hadoop-2.7.3.tar.gz 파일을 다운로드 받는다. .bash_profile에 export정보 저장 # javaexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 # Hadoopexport HADOOP_HOME=~/dev/hadoop-2.7.3export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native source .bash_profile 모드 설정- 독립모드(Stan..