[Hadoop] 설치하기

Hadoop 설치

Java 설치

• 하둡은 Java 기반으로 돌아가므로 사전에 자바가 설치되어있어야 함
• 참고
  • https://sg-choi.tistory.com/99

Hadoop 설치

mkdir -p /home/ubuntu/app \
&& cd /home/ubuntu/app \
&& wget "http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz" \
&& tar xvfz hadoop-*.tar.gz \
&& rm hadoop-*.tar.gz \
&& ln -s /home/ubuntu/app/hadoop-* hadoop
jboss-clicopy

환경변수 설정

• 파일 경로 : ~/.profile
• 아래 내용 추가

export HADOOP_HOME=/home/ubuntu/app/hadoop

export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
routeroscopy

환경변수 적용

source ~/.profile
vimcopy

Hadoop 버전 확인

hadoop version
applescriptcopy

테스트

hadoop jar \
/home/ubuntu/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar \
wordcount \
/home/ubuntu/app/hadoop/LICENSE.txt \
/home/ubuntu/result
awkcopy

의사분산 모드 설정

hadoop-env.sh

• 경로 : $HADOOP_HOME/etc/hadoop/hadoop-env.sh
• 아래 작업을 해주지 않으면 하둡 실행시 JAVA_HOME을 못찾는다는 오류 발생

# 아래 내용을
export JAVA_HOME=${JAVA_HOME}

# 아래처럼 절대경로로 수정
export JAVA_HOME=/home/ubuntu/app/jdk
routeroscopy

core-site.xml

• 경로 : $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost/</value>
    </property>
</configuration>
xmlcopy

hdfs-site.xml

• 경로 : $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
xmlcopy

mapred-site.xml

• 경로 : $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
xmlcopy

yarn-site.xml

• 경로 : $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
xmlcopy

시작 / 종료 스크립트 추가

• 경로 : $HADOOP_HOME/sbin/
• start-hadoop.sh

  #!/bin/bash
  
  start-dfs.sh
  start-yarn.sh
  mr-jobhistory-daemon.sh start historyserver
  bashcopy

• stop-hadoop.sh

  #!/bin/bash
  
  mr-jobhistory-daemon.sh stop historyserver
  stop-yarn.sh
  stop-dfs.sh
  bashcopy

SSH 설정

ssh-keygen
ebnfcopy

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
arcadecopy

ssh localhost
ebnfcopy

HDFS 파일시스템 포맷

hdfs namenode -format
doscopy

데몬 시작

start-hadoop.sh
crmshcopy

데몬 확인

jps
ebnfcopy

4327 DataNode
4761 ResourceManager
5258 JobHistoryServer
4156 NameNode
4588 SecondaryNameNode
4925 NodeManager
basiccopy

테스트

hadoop fs -mkdir -p /user/$USER
awkcopy

hadoop fs -ls /user
dockerfilecopy

데몬 종료

stop-hadoop.sh
vimcopy

참고

• https://opentutorials.org/module/1239/8547