[Hadoop] 용어

Mapper

• key와 value로 구성된 입력 데이터를 전달받아 데이터를 가공하고 분류해 새로운 데이터 목록을 생성
• Map Task 결과는 보통 Reducer의 입력으로 전달됨

Reducer

• Map Task의 출력 데이터를 입력 데이터로 전달받아 집계 연산을 수행

Combiner

• Mapper의 출력 데이터를 입력 데이터로 전달받아 연산을 수행하여 Shuffle할 데이터의 크기를 줄일 경우 사용

Partitioner

• Map Task의 출력 데이터가 어떤 Reduce Task로 전달될지를 결정

Shuffle

• Map Task와 Reduce Task 사이의 데이터 전달 과정

Hive

• 데이터 분석 로직을 SQL 형태로 수행할 수 있도록 해주는 것