Hadoop

はじめてのHive

http://blog.katsuma.tv/2009/09/hive_introduction.html を参考にさせてもらいながら、Hiveのbuildまで終わり。 $HIVE_HOME/bin/hive Invalid maximum heap size: -Xmx4096m うぅ。。VMwareで512MBしか割り当てしてないからなぁ。。 ということで情報を探し…

Hiveのインストール

clouderaを使えばyumで一発らしいが、Hadoopをソースから入れてるのでHiveもソースから入れることにする。 http://wiki.apache.org/hadoop/Hive/AdminManual/Installation続きは明日。

はじめてのHadoop Streaming

perlでmap/reduceを書きたいのでHadoop Streamingにトライしてみる。 チュートリアル まずはhttp://hadoop.apache.org/common/docs/r0.20.2/streaming.html#Hadoop+Streamingを真似してみるところから。 データはMap/Reduce TutorialのWordCountを使うことに…

はじめてのHDFS

http://hadoop.apache.org/common/docs/r0.20.2/hdfs_shell.html を一通り試してみる。UNIXコマンドっぽく作られているので簡単に覚えられそう。 前提 $HADOOP_HOME/binにPATHを通しておく HDFSのディレクトリを表示 hadoop fs -ls /users/kotaro/ HDFSに新…