Hadoop入れてみた

Hadoop用のユーザーとグループを作ってから。

ダウンロード
# cd /tmp/

# wget http://ftp.jaist.ac.jp/pub/apache/hadoop/common/hadoop-0.21.0/hadoop-0.21.0.tar.gz

# tar xvzf hadoop-0.21.0.tar.gz
# mv hadoop-0.21.0 /usr/local/
# chown -R hadoop:hadoop /usr/local/hadoop-0.21.0
# ln -s /usr/local/hadoop-0.21.0 /usr/local/hadoop
# cd hadoop

JAVA_HOMEとHADOOP_HOMEを/etc/bashrcに設定

export JAVA_HOME=/usr/java/latest/
export HADOOP_HOME=/usr/local/hadoop

※完全分散モードで動かすときはスレーブサーバーにも環境変数は設定しておく

SSHでlocalhostに接続できるようにする必要があるため
/etc/hosts.allow
に127.0.0.1を追記

疑似分散モードの設定

${HADOOP_HOME}/conf/core-site.xmlに

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

   </property>

</configuration>

分散ファイルシステムの設定

${HADOOP_HOME}/conf/hdfs-site.xmlに

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>
    </property>

</configuration>

MapReduce実行環境の設定

${HADOOP_HOME}/conf/mapred-site.xmlに

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>localhost:9001</value>

   </property>

</configuration>

HDFSをフォーマット

$ bin/hadoop namenode -format

成功すると/tmp/hadoop-<username>というディレクトリが出来てる。

$ bin/start-all.sh
でHadoop起動。
$ bin/stop-all.sh
で停止。