GoogleAppEngineでMapReduceする、というプロジェクトのexampleが不親切過ぎる(Javaの)。
自分のGAEにuploadしたら、以下のようなURLにアクセスしないといけない。
http://???.appspot.com/mapreduce/status
とはいえ、まだ何をしているのか分かっていない。。
GoogleAppEngineでMapReduceする、というプロジェクトのexampleが不親切過ぎる(Javaの)。
自分のGAEにuploadしたら、以下のようなURLにアクセスしないといけない。
http://???.appspot.com/mapreduce/status
とはいえ、まだ何をしているのか分かっていない。。
以下のようなエラーが出るときは、$HADOOP_HOME/buildディレクトリを$HADOOP_HOME/build.xxxみたいにリネームすることで解決する。
11/10/23 01:40:24 INFO metastore.HiveMetaStore: 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
11/10/23 01:40:24 INFO metastore.ObjectStore: ObjectStore, initialize called
Exception in thread "MetaServerThread" javax.jdo.JDOFatalInternalException: Unexpected exception caught.
at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1186)
確かに、そのとき上がっているHadoopプロセス一式を停止(stop-all.sh)してからでないと、buildのリネームができないところを見ると、build/を使って起動している様子。
Azkaban、まだまだαなミドルですが、面白いですね。 cygwinの場合、パス記号違いのソース書き換え等必要そうですが、いったんは以下のように入れれば起動しました。
+ <target name="run" description="azkaban server."> + <echo message="Running Azkaban!"/> + <java fork="yes" + classname="azkaban.app.AzkabanApp" + failonerror="true"> + <sysproperty key="file.encoding" value="UTF-8" /> + + <classpath> + <fileset dir="dist"> + <include name="**/*.jar"/> + </fileset> + <fileset dir="lib"> + <include name="**/*.jar"/> + </fileset> + </classpath> + <sysproperty key="log4j.configuration" value="file:azkaban/log4j.xml"/> + <arg value="sitatic-dir azkaban/web/static" /> + <arg value="-p8088" /> + <arg value="-jjobs" /> + </java> + </target>
みんなからのpullリクエストを、もう少し受けたらいいのに。
cygwinを使っていると、hiveコマンドにパスを通しても、hive/build/sidt/binとかにカレントを移動してからでないとキック出来ないことがあるが、これは同Hiveコマンド内で、
00962724@WK0306 /cygdrive/d/work2/hive $ diff bin/hive build/dist/bin/hive 131c131 < CLASSPATH=`cygpath -p -w "$CLASSPATH"` --- > #CLASSPATH=`cygpath -p -w "$CLASSPATH"` 00962724@WK0306 /cygdrive/d/work2/hive
といったようにcygpathを通さなくすれば(どこからでも)キックできるようになる。
ivyのcacheは、WindowsとしてのHOMEに格納される。
ので、手でダウンロードする場合は、
D:\Documents and Settings\00962724\.ivy2\cache\hadoop\core\sources
などに格納しなくてはならない。
debianで語られていたスレッドにあったpatchを当てたら、動いた。
HIVEで”SELECT TRANSFORM”したくて調べた。
ことで動かすことができる。やっぱりwin32でexecできるバイナリから書かなくてはいけないようで、”.pl”にperl.exeが紐づいているだけではダメ。
このVirtualディレクトリというやつが(jlineの見つかる見つからないに)影響していそう。
00962724@WK0306 /cygdrive $ jps Error: Current working directory is a virtual Cygwin directory which does not exist for a native Windows application. Can't start native Windows application from here. bash: /cygdrive/c/Progra~1/java/jdk1.6.0_22/bin/jps: Not a directory 00962724@WK0306 /cygdrive $
しかし、ここまで無理してcygwinで頑張る理由はなんだろう。。