2010-05-04から1日間の記事一覧

はじめてのHadoop Streaming

perlでmap/reduceを書きたいのでHadoop Streamingにトライしてみる。 チュートリアル まずはhttp://hadoop.apache.org/common/docs/r0.20.2/streaming.html#Hadoop+Streamingを真似してみるところから。 データはMap/Reduce TutorialのWordCountを使うことに…

はじめてのHDFS

http://hadoop.apache.org/common/docs/r0.20.2/hdfs_shell.html を一通り試してみる。UNIXコマンドっぽく作られているので簡単に覚えられそう。 前提 $HADOOP_HOME/binにPATHを通しておく HDFSのディレクトリを表示 hadoop fs -ls /users/kotaro/ HDFSに新…