まだブロ(ミニ)

Geek Chic >> Canada's Geek Store for Geek Ware and Geek Gifts

JDOエラーでTaskTrackerが上がらないときに

以下のようなエラーが出るときは、$HADOOP_HOME/buildディレクトリを$HADOOP_HOME/build.xxxみたいにリネームすることで解決する。

11/10/23 01:40:24 INFO metastore.HiveMetaStore: 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
11/10/23 01:40:24 INFO metastore.ObjectStore: ObjectStore, initialize called
Exception in thread "MetaServerThread" javax.jdo.JDOFatalInternalException: Unexpected exception caught.
        at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1186)

確かに、そのとき上がっているHadoopプロセス一式を停止(stop-all.sh)してからでないと、buildのリネームができないところを見ると、build/を使って起動している様子。

Azkabanをantで起動する@cygwin

Azkaban、まだまだαなミドルですが、面白いですね。 cygwinの場合、パス記号違いのソース書き換え等必要そうですが、いったんは以下のように入れれば起動しました。

+ <target name="run" description="azkaban server.">
+  <echo message="Running Azkaban!"/>
+  <java fork="yes"
+   classname="azkaban.app.AzkabanApp"
+   failonerror="true">
+   <sysproperty key="file.encoding" value="UTF-8" />
+
+   <classpath>
+     <fileset dir="dist">
+       <include name="**/*.jar"/>
+     </fileset>
+     <fileset dir="lib">
+       <include name="**/*.jar"/>
+     </fileset>
+   </classpath>
+  <sysproperty key="log4j.configuration" value="file:azkaban/log4j.xml"/>
+  <arg value="sitatic-dir azkaban/web/static" />
+  <arg value="-p8088" />
+  <arg value="-jjobs" />
+  </java>
+ </target>

みんなからのpullリクエストを、もう少し受けたらいいのに。

Hiveが特定ディレクトリからしか動かない場合@cygwin

cygwinを使っていると、hiveコマンドにパスを通しても、hive/build/sidt/binとかにカレントを移動してからでないとキック出来ないことがあるが、これは同Hiveコマンド内で、

00962724@WK0306 /cygdrive/d/work2/hive
$ diff bin/hive build/dist/bin/hive
131c131
<     CLASSPATH=`cygpath -p -w "$CLASSPATH"`
---
>     #CLASSPATH=`cygpath -p -w "$CLASSPATH"`

00962724@WK0306 /cygdrive/d/work2/hive

といったようにcygpathを通さなくすれば(どこからでも)キックできるようになる。

cygwinとivy

ivyのcacheは、WindowsとしてのHOMEに格納される。
ので、手でダウンロードする場合は、

D:\Documents and Settings\00962724\.ivy2\cache\hadoop\core\sources

などに格納しなくてはならない。

ijの文字化けを解消する

英語モードにしてしまえばよい!(JVMへのオプションですね)

export DERBY_OPTS=”-Duser.language=en -Duser.region=US”

ttyrecが動かない

debianで語られていたスレッドにあったpatchを当てたら、動いた。

cygwinでJavaからPerlをexec

HIVEで”SELECT TRANSFORM”したくて調べた。

• “/cygwin -> /”というシンボリックリンクを張る
• using ‘perl /cygwin/home/tf0054/work/scripts/condense.pl’ と書く

ことで動かすことができる。やっぱりwin32でexecできるバイナリから書かなくてはいけないようで、”.pl”にperl.exeが紐づいているだけではダメ。

Virtual Cygwin directory

このVirtualディレクトリというやつが(jlineの見つかる見つからないに)影響していそう。

00962724@WK0306 /cygdrive
$ jps
Error: Current working directory is a virtual Cygwin directory which does
not exist for a native Windows application.
Can't start native Windows application from here.

bash: /cygdrive/c/Progra~1/java/jdk1.6.0_22/bin/jps: Not a directory

00962724@WK0306 /cygdrive
$

しかし、ここまで無理してcygwinで頑張る理由はなんだろう。。