November 2011
2 posts
Geek Chic >> Canada's Geek Store for Geek Ware and... →
October 2011
5 posts
1 tag
JDOエラーでTaskTrackerが上がらないときに
以下のようなエラーが出るときは、$HADOOP_HOME/buildディレクトリを$HADOOP_HOME/build.xxxみたいにリネームすることで解決する。
11/10/23 01:40:24 INFO metastore.HiveMetaStore: 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
11/10/23 01:40:24 INFO metastore.ObjectStore: ObjectStore, initialize called
Exception in thread "MetaServerThread" javax.jdo.JDOFatalInternalException: Unexpected exception...
1 tag
Azkabanをantで起動する@cygwin
Azkaban、まだまだαなミドルですが、面白いですね。...
1 tag
Hiveが特定ディレクトリからしか動かない場合@cygwin
cygwinを使っていると、hiveコマンドにパスを通しても、hive/build/sidt/binとかにカレントを移動してからでないとキック出来ないことがあるが、これは同Hiveコマンド内で、
00962724@WK0306 /cygdrive/d/work2/hive
$ diff bin/hive build/dist/bin/hive
131c131
< CLASSPATH=`cygpath -p -w "$CLASSPATH"`
---
> #CLASSPATH=`cygpath -p -w "$CLASSPATH"`
00962724@WK0306 /cygdrive/d/work2/hive
といったようにcygpathを通さなくすれば(どこからでも)キックできるようになる。
cygwinとivy
ivyのcacheは、WindowsとしてのHOMEに格納される。 ので、手でダウンロードする場合は、
D:\Documents and Settings\00962724\.ivy2\cache\hadoop\core\sources
などに格納しなくてはならない。
ijの文字化けを解消する
英語モードにしてしまえばよい!(JVMへのオプションですね)
export DERBY_OPTS=”-Duser.language=en -Duser.region=US”
September 2011
4 posts
ttyrecが動かない
debianで語られていたスレッドにあったpatchを当てたら、動いた。
cygwinでJavaからPerlをexec
HIVEで”SELECT TRANSFORM”したくて調べた。
“/cygwin -> /”というシンボリックリンクを張る
using ‘perl /cygwin/home/tf0054/work/scripts/condense.pl’ と書く
ことで動かすことができる。やっぱりwin32でexecできるバイナリから書かなくてはいけないようで、”.pl”にperl.exeが紐づいているだけではダメ。
Virtual Cygwin directory
このVirtualディレクトリというやつが(jlineの見つかる見つからないに)影響していそう。
00962724@WK0306 /cygdrive
$ jps
Error: Current working directory is a virtual Cygwin directory which does
not exist for a native Windows application.
Can't start native Windows application from here.
bash: /cygdrive/c/Progra~1/java/jdk1.6.0_22/bin/jps: Not a directory
00962724@WK0306 /cygdrive
$
しかし、ここまで無理してcygwinで頑張る理由はなんだろう。。
cygwinでHadoopを動かすときのログファイル名
なぜ/cygdrive/dという系のディレクトリ(windowsと互換を取っているほう)に移ってからなら、Jlineのエラーが消えるのだろう。。？
00962724@WK0306 ~ $ /cygdrive/d/work2/hive-0.7.1/src/build/dist/bin/hive -S -e ‘set;’ Exception in thread “main” java.lang.NoClassDefFoundError: jline/ArgumentCompletor$ArgumentDelimiter at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:247) ...
August 2011
4 posts
derbyでlimit文
limit文がない！
SELECT * FROM ( SELECT ROW_NUMBER() OVER() AS rownum, SDS.* FROM SDS ) AS tmp WHERE rownum <= 1;
とする。
derbyでexport/import
Hiveのwarehouse位置を変更したかったのでトライ。
[tf0054@tstmapr01nam vca-all]$ cat export.sql connect ’jdbc:derby://tstmapr01nam:1528/metastore_db’; CALL SYSCS_UTIL.SYSCS_EXPORT_TABLE (null,’SDS’,’/var/tmp/m.del’,null,null,null); [tf0054@tstmapr01nam vca-all]$ cat import.sql connect ’jdbc:derby://tstmapr01nam:1528/metastore_db’; CALL SYSCS_UTIL.SYSCS_IMPORT_TABLE...
derbyの上げシェル
#!/bin/sh export DERBY_OPTS=”-Dderby.stream.error.file=/home/tf0054/derby/derby.log” nohup ./bin/startNetworkServer -h 0.0.0.0 &
これでサーバのログ出力は固定できる。でもデータファイルはカレントディレクトリになっちゃうのはどうしようもない？
July 2011
6 posts
Harはcygwinでは。。
hiveでのharフォーマットは、(cygwinでは)使えなさそう。
$ cat har.txt
set hive.archive.enabled=true;
set hive.archive.har.parentdir.settable=true;
ALTER TABLE src2 ARCHIVE PARTITION(ds='2008-04-08',hr='12');
$ ./hive -f har.txt
Hive history file=/tmp/00962724/hive_job_log_00962724_201107251104_891719630.txt
Creating data.har for hdfs://localhost:9000/user/hive/warehouse/src2/ds=2008-04-08/hr=12
in...
Hiveでderbyをリモートで使うために
以下でHiveのmetastore用derbyを上げる(bin/metastoreにデータが置かれるが)。
D:\work2\db-derby-10.7.1.1-bin\bin>setNetworkServerCP
D:\work2\db-derby-10.7.1.1-bin\bin>startNetworkServer
そして、以下のとおりderbyのクライアントライブラリをlib/に入れること。
$ cp -pir /cygdrive/d/work2/db-derby-10.7.1.1-bin/lib/derbyclient.jar ../lib/
Hive@cygwinのソース変更
Hive(v0.7.1)をcygwinで動かすためには、以下tmpディレクトリの変更(参考)と、
<property>
<name>mapred.child.tmp</name>
<value>../work2/tmp</value>
</property>
以下ソース変更が必要だった(参考)。
if (gWork == null) {
String jtConf = HiveConf.getVar(job, HiveConf.ConfVars.HADOOPJT);
String path;
//if (jtConf.equals("local")) {
// String planPath =...
cygwinでHadoopを動かすときのログファイル名
cygwinでhadoopを実行すると、デフォルトでは$USER環境変数が設定されないので、
logs/hadoop--namenode-localhost.out
logs/hadoop-tf0054-datanode-localhost.out
となる(tf0054がユーザ名。namenodeのほうの識別子が入っていない)。 なので、”export USRE=$USERNAME”とした後に、conf/hadoop-env.shにて
export HADOOP_IDENT_STRING=$USER
におけるコメントを外す(有効化する)と、しかし、
logs/hadoop-tf0054-namenode-localhost.out
logs/hadoop-SYSTEM-datanode-localhost.out
...
Hiveのlock機構をtrueにすると
以下のようなエラーは、lock情報を格納するzookeeperがいないから発生する。
00962724@WK0306 /cygdrive/d/work2/hive-0.7.1/lib
$ ./hive --config conf.lock -e 'show tables;'
Hive history file=/tmp/00962724/hive_job_log_00962724_201107241943_953889817.txt
OK
pokes
Time taken: 2.89 seconds
$ ./hive --config conf.lock -
Hiveをcygwin上で動かすときに
$ export USERPROFILE=”\\\\\\tmp”
とすれば、動きました(半角￥を６個＝これでfile:///となるので動くのだと思う)。
June 2011
5 posts
“日本にいて気になるのは電話番号の維持ですが、AirTimeのリフィルを行う毎に有効期限が延長されます。
$15の追加リフィル —> 30日延長...”
– Newton アロハ通信 » Blog Archive » ハワイでAT&T
“「コマンドプロンプト」が起動するので
for /l %i in (0,1,255) do ping -w 1 -n...”
– ネットワークに存在する（使用している）IPアドレス調べる方法（確認） - MiuxMiu
cygwin依存なThriftベースのDLL群？
A) 以下でThriftをcygwinでコンパイルし、thriftのcppランタイム(.dll)を作る。 http://wiki.apache.org/thrift/ThriftInstallationWin32 https://issues.apache.org/jira/browse/THRIFT-757 (Thrift (CPP) library, compiler, and the example built and working successfully on Cygwin.)
B) 公開されてるthrift.exeで各種”.thrift”から(普通なUNIXな)”.cpp”を生成する。 それら”.cpp”をcygwinのgccにてコンパイル、各種.dllを作る？
...
“> Trying to do the equivalent of…byte[] buffer = new byte[1024];
var...”
– Re: Byte arrays in Rhino
May 2011
2 posts
openJDKの削除!
[root@localhost ~]# rpm -e java-1.6.0-openjdk openoffice.org-ure-3.1.1-19.5.el5.x86_64 openoffice.org-core-3.1.1-19.5.el5.x86_64 openoffice.org-draw-3.1.1-19.5.el5.x86_64 openoffice.org-calc-3.1.1-19.5.el5.x86_64 openoffice.org-math-3.1.1-19.5.el5.x86_64 openoffice.org-xsltfilter-3.1.1-19.5.el5.x86_64 openoffice.org-writer-3.1.1-19.5.el5.x86_64 openoffice.org-graphicfilter-3.1.1-19.5.el5.x86_64...
April 2011
3 posts
1 tag
Teenager faces jail after he admits flooding... →
読んだ。
なんかわかってきた！
Akinator has guessed that I thought about Yourself. You can also challenge the genius on your mobile. http://www.akinator.mobi/share.php?l=en
March 2011
1 post
February 2011
4 posts
KNIMEの変なselect文は
なるほど！
select * from (select * from pokes) test where 1 = 0
これって、もちろんデータは戻ってこないんだけど、結果で出てくるカラム名とかが、JDBC的にはMETAで戻ってくるんですね。
http://twitpic.com/42xqsk
1 tag
Pig, Making Hadoop Easy →
Y!のやつ。
January 2011
2 posts
ringojsのTIPS
bin/ringojs gae-test/WEB-INF/app/main.js
とかでウェブアプリをローカル起動して確認をすることがあるが、このとき(アプリで)必要となるjarや、js用のpackagesなど(通常はgae-test/packagesなどにある)は、このringoのホームディレクトリ上の、つまりbin/などの並びにあるlibやpackagesから読みだされるものらしい。
そのため、きちんと格納していないと、起動することができない。
さらに、起動したとしてもGAE独自の、たとえばblogサンプルのwrap.js内でいきなり使っているgoogle/appengine/api/users.jsなどが軒並みエラーとなる。やはりGoogle謹製のdev_serverを使わないとだめなのか。
“ringo.jsにもがんばってほしいですね!”
– 2011年はサーバサイドJavaScriptの年になる － Publickey (via yhojo)
November 2010
2 posts
Pentaho
EE版をインストール。
併せて入るmysqlに、ファクトテーブルとかも突っ込んで、ThinkITの練習課題で実験開始。いくつかはまりどころがある。
◆SechmaWorkbenchにmysqlのドライバが入っていない。
C:\Program Files\pentaho\server\data-integration-server\tomcat\lib
から、
mysql-connector-java-5.1.10.jar
をとってきて、
C:\Program Files\pentaho\design-tools\schema-workbench\drivers
に入れることで、接続が通るようになります。
◆SchemaWorkbenchからpublishするときのpublisherパスワードがわからない。
system
でした。C:\Program...
Rhinoを調べてみた →
JavaImporter() を使用することで import 宣言と同様にパッケージ名を省略することが出来ます (ただし with の使用はあまり効率が良くないと Rhino 公式サイトで言及されています)。
Rhino
var ns = JavaImporter(java.awt, javax.swing);
with(ns){
var button = new JButton();
button.setFont(new Font("Dialog", Font.PLAIN, 12));
button.setLabel("ボタン");
button;
}
September 2010
1 post
php-pecl-ssh2
http://packages.sw.be/libssh2/ http://packages.sw.be/php-pecl-ssh2/
にCentOS5用のphp+ssh2があった．
Wordpressのファイル置き方について．
May 2010
12 posts
