[Hadoop] 명령어

하둡 실행

start-dfs.sh \
&& start-yarn.sh \
&& mr-jobhistory-daemon.sh start historyserver

하둡 종료

mr-jobhistory-daemon.sh stop historyserver \
&& stop-yarn.sh \
&& stop-dfs.sh

네임노드 포맷

hdfs namenode -format

디렉토리

# 목록
hdfs dfs -ls

# 생성
hdfs dfs -mkdir -p /user/$USER/example

# 삭제
hdfs dfs -rm -r /user/$USER/example

# 사용량 확인
hdfs dfs -du -s

파일 복사 및 이동

# 복사
hdfs dfs -cp ~/input/test.txt ~/input/test2.txt

# 이동
hdfs dfs -mv ~/input/test.txt ~/input/test2.txt

파일 내용 출력

# 텍스트 파일 출력
hdfs dfs -cat README.txt

# 마지막 내용 출력
hdfs dfs -tail README.txt

# 압축 파일 출력
hdfs dfs -text example.zip

# 압축 파일 머리 출력
hdfs dfs -text example.zip | head -10

# 압축 파일 꼬리 출력
hdfs dfs -text example.zip | tail -10

하둡에 파일 업로드

# 업로드
hdfs dfs -put /home/ubuntu/test.txt /user/test.txt
hdfs dfs -copyFromLocal /home/ubuntu/test.txt /user/test.txt

# 업로드 후 기존 파일 삭제
hdfs dfs -moveFromLocal /home/ubuntu/test.txt /user/test.txt

하둡의 파일 다운로드

# 다운로드
hdfs dfs -get ~/output/* /home/ubuntu
hdfs dfs -copyToLocal ~/output/* /home/ubuntu

# 파일을 합쳐서 다운로드
hdfs -getmerge ~/output /home/ubuntu/result.txt

하둡 프로그램 실행

• hadoop jar /home/ubuntu/test.jar wordcount /input/AAA.txt ~/output
• test.jar의 wordcount라는 프로그램을 실행해서 AAA.txt를 읽어 분석 결과를 output 디렉토리에 저장

도움말 보기

# ls 명령어에 대한 도움말
hdfs dfs -help ls

권한 변경

hdfs dfs -chmod 777 /input

잡

# 목록
hadoop job -list

# 종료
hadoop job -kill

리소스 사용량 확인

hadoop dfsadmin -report