Hadoop 2 버전 설치

YARN의 특징은 Resource Manager를 분리했다는 것!

 

프로토콜 버퍼

일단 프로토콜 버퍼라는 걸 설치해야한다. 프로토콜 버퍼는 데이터를 연속된 비트로 만들고 할수 있다. 이종간 데이터 통신을 원할하게 하기위해 하는 것이다. 하둡2도 내부 데몬간의 데이터 통신을 위해 프로토콜 버퍼 적용했다.

https://developers.google.com/protocol-buffers/docs/downloads?hl=ko

이상하게 컴파일을 해야한다.

./configure make make install

 

하둡다운로드 및 설치

http://mirror.apache-kr.org/hadoop/common/hadoop-2.6.0/

JAVA_HOME 만 설정해주면 되는데 이 변수는

$ vi /etc/profile.d/class.sh $ source /etc/profile.d/class.sh

를 통해 설정해주면 된다.

 

SSH기본 포트가 22번이 아니라면 다음과 같은 문장을 etc/hadoop/hadoop-env.sh에 적는다.

Export HADOOP_SSH_OPTS=”-p 9999 –o ConnectTimeout=1 SendEnv=HADOOP_CONF_DIR”

 

이제 실질적으로 해줄것은

./sbin/yarn-start.sh 혹은 ./sbin/dfs.sh