빅데이터 분산 컴퓨팅 정리(3~4강 하둡설치 및 기본 명령어)

하둡 설치

...

하둡 기본 명령어

hadoop fs -ls /

 - hdfs안에 root 디렉토리의 내용을 봄

cd ~/training_materials/developer/data

 - change directory로 디렉토리로 경로 변경

tar zxvf shakespeare.tar.gz

 - shakespeare라는 tar.gz파일을 압축해제

hadoop fs -put shakespeare /user/training/shakespeare (hadoop fs -put(파일복사) local(로컬경로) hdfs(복사할 hdfs경로))

 - 로컬파일시스템에 shakespeare 디렉토리를 HDFS상의 /user/training/shakespeare 디렉토리에 복사를 한다

put

 - 파일 복사

get

 - 파일 가져옴

hadoop fs -mkdir weblog

 - 홈디렉토리에 weblog라는 디렉토리 생성

hadoop fs -mkdir /user/ weblog

 - /user/에 weblog라는 디렉토리 생성

gunzip -c access_log.gz \

| hadoop fs -put - weblog/access_log ( \로 압축해제한 파일이 hadoop fs -put - (<-이위치에 들어감. local경로) weblog/access_log )

 - 압축해제와 업로드 한번에 진행 gunzip -c로 압축을 해제하고 hadoop fs -put으로 HDFS상의 데이터를 올림

hadoop fs -mkdir testlog

gunzip -c access_log.gz | head -n 5000 \

| hadoop fs -put - testlog/test_access_log

 - testlog라는 디렉토리를 생성

 - gunzip -c옵션으로 access_log.gz 압축을 해제하는데 앞의 5000줄만 포함된 작은파일로 만들고, HDFS상에 저장

hadoop fs -rm shakespeare/glossary

 - glossary를 파일 삭제

hadoop fs -cat shakespeare/histories | tail -n 50 (head, tail, more, less 명령어 추가 가능)

 - 맨 마지막 50줄을 출력한다

hadoop fs -get shakespeare/poems(HDFS경로) ~/shakepoems.txt(로컬경로)

less ~/shakepoems.txt

 - HDFS상의 파일을 다운로드하고 로컬경로에 .txt로 가져온다.

그외 mv(이동), cp(복사)등