[Hadoop] 이슈

http://masterhost:50070으로 접속 후 Summarry에서 Live Nodes가 2지만 Datanodes 탭에서 노드가 2개가 아닌 이슈

• 여러 노드가 동일 hostname을 사용할 경우 노드가 목록에 올바르게 나타나지 않음
• 적절하게 서로 다른 hostname으로 설정한 후 재시작하여 확인

"java.io.IOException: All specified directories have failed to load." 로그 발생하며 datanode가 실행되지 않는 이슈

• namenode의 clusterID와 datanode의 clusterID를 일치시키고 재시작하여 해결
• namenode clusterID 확인 : vi $HADOOP_HOME/namenode/current/VERSION
• datanode clusterID 확인 : vi $HADOOP_HOME/datanode/current/VERSION

디렉토리 삭제 시도시 "rm: Cannot delete /output. Name node is in safe mode."라는 문구가 뜨는 이슈

• 안전 모드 해제 명령어를 수행하여 해결
• 명령어 : hadoop dfsadmin -safemode leave
• 하둡이 올바르게 종료되지 않으면 발생하는 이슈

큰 작업 처리시 데이터 노드에서 "org.apache.hadoop.util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC): pause of approximately" 로그가 발생하며 멈추는 이슈

• 원인 : 적은 메모리 사용으로 자주 GC가 발생하면서 생기는 이슈
• 네임노드에서 HEAP 사이즈를 늘려 문제 해결
• vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
• export HADOOP_NAMENODE_OPTS="-Xms1024m -Xmx1024m"