今回は Apache Hadoop について、これまた既に色々なウェブサービスで利用されているので、ご存じの方も多いはず。

そのうち隙をみてインストールとか色々試してみたいと思います。

■概要
---
　Apache HadoopはフリーのJavaソフトウェアフレームワークであり、
　大規模データの分散アプリケーションをサポートする。
　Hadoopはアプリケーションが数千ノードおよびペタバイトクラスのデータを
　処理することを可能としている。

■前提条件
---
　・コンピュータやストレージは故障する
　・高いサーバを必要とせずパフォーマンスを確保する
　・１度しか書き込まれない大規模なファイルにストリーミング・アクセス

■特徴
---
　HDFS(Hadoop Distributed File System)
　　Hadoop独自のファイルシステム。
　　各OSが提供するファイルシステム上で動作し、 数ペタバイトの容量まで
　　スケールするよう設計されている。

　・大きなファイルをブロックに分割し、複数のコンピュータにまたがって格納
　　　→ブロックサイズは通常64MB
　・データの複製を複数のコンピュータに格納
　　　→RAID不要で信頼性向上
　・データノードはHTTPによりデータを提供することができる
　・スケーラビリティに富み１台のコンピュータに高スペックは必要としない
　　　→台数が多いほど並列化の原則により高速化
　・Java言語で作成されたフレームワークがあり、親和性が高い
　　　→C++、Perl でも
　・クライアントからは従来の階層構造のファイルシステムのように見える
　　　→ファイルの作成、削除、移動、リネーム等可能
　・通常のオペレーティングシステムにはマウントできない
　　　→Linux では FUSE(Filesystem in Userspace) により、解決可能？

■構成要素
　ネームノード：
　　全てのファイル操作を司る。
　　ファイルシステムの名前空間を管理し、クライアントによるアクセスを制御。
　　HDFSにおける single point of failure（単一障害点）。
　　ネームノードがダウンした場合、ファイルシステムはオフラインとなる。
　　プライマリ・ネームノード、セカンダリ・ネームノードがあるが、セカンダリは
　　プライマリの代替ではなく、ディレクトリ情報のスナップショットをダウンロードし、
　　最新のディレクトリ構造を作成するなど、動作上の補助を行う。
　　実際の I/O トランザクションはネームノードを通過せず、ブロックとデータノードとの
　　間でのファイルのマッピングを示すメタデータのみがネームノードを通過する。
　　データノードから送信されてくるハートビート・メッセージのブロック・レポートと
　　自身の持つメタデータと突合せ検証し、問題があれば修復アクションを実行。

　データノード：
　　HDFS クライアントからの読み書きリクエストに応答する。
　　ネームノードから受信されるブロック作成、削除複製のコマンドにも応答。
　　ブロック・レポートを含めたハートビート・メッセージを定期的にネームノードに送信。

　簡易構成図：
　　http://www.ibm.com/developerworks/jp/linux/library/l-hadoop/

■ファイル操作の流れ
---
　1. クライアントから HDFS へのファイル書き込みが発生
　　→ローカル一時ストレージにキャッシング
　2. ブロックサイズを超えるとファイル作成リクエストをネームノードに送信
　　→ネームノードはデータノードの ID と宛先ブロックをクライアントに返す
　　→同じくレプリカデータノード群にも通知
　3. ブロックをデータノードに送信
　　→パイプライン方式で即座にレプリカデータノード群にも送信
　4. クライアントでチェックサムファイルを作成し
　　→同じ HDFS 名前空間に保存
　5. 最後のブロックの送信が完了
　　→ネームノードは永続メタデータ・ストレージに対してファイルの作成をコミット

■主要なユーザ
---
　・Yahoo!
　・Amazon EC2/S3
　・A9.com
　・Facebook
　・Fox Interactive Media
　・IBM
　・ImageShack
　・ISI
　・Joost
　・Last.fm
　・Powerset
　・ニューヨーク・タイムズ
　・Rackspace
　・Veoh
　・Metaweb

■参考ＵＲＬ
---
　http://ja.wikipedia.org/wiki/Hadoop
　http://www.ibm.com/developerworks/jp/linux/library/l-hadoop/
　http://d.hatena.ne.jp/naoya/20080511/1210506301
　http://www.db.is.kyushu-u.ac.jp/rinkou/cloudcomputing/hadoopinstall.html

実際に、iPhone（Safari）では既に多くの機能が使用できるため、単純なWebアプリであっても、オフライン利用や、キャッシュによる高速化と言った事が可能です。

ということで、今回は、ストレージ部分にフォーカスして投稿しておきます。（主目的は自分の備忘録ｗ）

■Web Storage
---
　データをブラウザに蓄積する仕組みで、キー、ペアの対となるデータを格納することができる。
　クッキーよりも大きなデータを保存することができるため、オフラインアプリケーションの開発に役立つ。

　[1] sessionStorage
　　キーと値のペアを永続的に保存できる。
　　ただし、sessionStorageはウィンドウごとにストレージが異なり、ウィンドウが閉じられるとデータは削除される。
　　ドメインごとにストレージは異なる。
　　　http://ayuta.co.jp/html5-samples/storage/simple-sessionStorage/sessionStorage.html

　　(1) setItemメソッド
　　　キー、値のペアをセットする
　　　　sessionStorage.setItem(key, value);

　　(2) getItemメソッド
　　　キーから値を取得する
　　　　sessionStorage.getItem(key)

　　(3) removeItemメソッド
　　　指定されたキーのペアを削除する
　　　　sessionStorage.removeItem(key)

　　(4) clearメソッド
　　　全てのデータを削除する
　　　　sessionStorage.clear()

　　(5) lengthプロパティ
　　　sessionStorageに格納されているペアの数
　　　　sessionStorage.length

　　(6) keyメソッド
　　　n 番目の key を返す。
　　　　sessionStorage.key(n)

　[2] localStorage
　　キーと値のペアを永続的に保存できる。
　　sessionStorageとの違いはウィンドウが閉じられてもデータは削除されない点にある。
　　ドメインごとにストレージは異なる。
　　　http://ayuta.co.jp/html5-samples/storage/simple-localStorage/localStorage.html

　　(1) setItemメソッド
　　　キー、値のペアをセットする
　　　　localStorage.setItem(key, value);

　　(2) getItemメソッド
　　　キーから値を取得する
　　　　localStorage.getItem(key)

　　(3) removeItemメソッド
　　　指定されたキーのペアを削除する
　　　　localStorage.removeItem(key)

　　(4) clearメソッド
　　　全てのデータを削除する
　　　　localStorage.clear()

　　(5) lengthプロパティ
　　　localStorageに格納されているペアの数
　　　　localStorage.length

　　(6) keyメソッド
　　　n 番目の key を返す。
　　　　localStorage.key(n)

■Offline Web Applications
---
　[1] SQL
　　SQL を用いたデータ保存を実現。
　　※2009/12/25 現在 Safari のみ？（Chromeは未確認）

　　(1) openDatabase
　　　window オブジェクトに定義されている。
　　　データベースを定義し、実際に使うために最初に実行するメソッド。

　　　使用方法：
　　　　var db = openDatabase(DBName, Version, ViewName, MaxSize);
　　　　　DBName: データベース名
　　　　　Version: データベースバージョン
　　　　　ViewName: 表示名
　　　　　MaxSize: データベースの最大サイズ（バイト）

　　　例：
 var db = openDatabase("DB", "1.0", "Custom Database", 10000000);
　　　※このメソッドが存在しない場合、SQLはサポートされていない

　　(2) transaction/executeSql
　　　transactionメソッドはopenDatabaseで生成したオブジェクトに定義されるメソッド。
　　　SQL はこのメソッドのコールバック中で実行する。
　　　実際には、transactionの第一引数に定義されるexecuteSql メソッドで実行する。
　　　SQL は次の特徴を持つ。
　　　　・ドメインごとに保存される永続データ
　　　　・SafariではSQLiteが使用されている
　　　　・2009/12/25 現在サポートブラウザは少ない（Safari, Chrome）

　　　使用方法：
　　　　・transaction
　　　　　db.transaction(FUNC, ERROR, SUCCESS);
　　　　　　FUNC: トランザクション処理
　　　　　　ERROR: エラーコールバック
　　　　　　SUCCESS: サクセスコールバック

　　　　・executeSql
　　　　　db.transaction(function(tx) {
　　　　　 tx.executeSql(SQL, PARAMS, SCB, ECB);
　　　　　});
　　　　　　SQL: 実行するSQL文字列
　　　　　　PARAMS: 値の配列
　　　　　　SCB: サクセスコールバック
　　　　　　ECB: エラーコールバック

　　　例：
 db.transaction(function(tx) {
  tx.executeSql("SELECT DATA FROM CUSTOM_TABLE WHERE ID=?", [id], function(tx, rs) {
   var row = rs.rows.item(0);
   return(row.data);
  }, function(tx, error) {
   alert("error!");
  });
 });

　　(3) changeVersion
　　　changeVersionメソッドはexecuteSqlメソッド同様、transactionの第一引数に定義される。
　　　データベースの定義を変更（バージョン変更）したい場合に使用します。

　　　使用方法：
 db.changeVersion(OLD_VERSION, NEW_VERSION, FUNC, ERROR, SUCCESS);
　　　　　OLD_VERSION: 以前のデータベースバージョン
　　　　　NEW_VERSION: 新しいデータベースバージョン
　　　　　FUNC: トランザクション処理
　　　　　ERROR: エラーコールバック
　　　　　SUCCESS: サクセスコールバック

　　　例：
 db.changeVersion("1.0", "2.0", function(tx) {
　　　　 // 変更処理
　　　　}, function(error) {
　　　　 // エラー処理
　　　　}, function() {
　　　　 // サクセス処理
　　　　});

〜〜〜サンプル〜〜〜
var dbWrapper = {
 initialize: function() {
  if (window.openDatabase) {
   try {
    this.db = openDatabase("DAisdb", "1.0", "DA INSUITE(R)Enterprise Web Storage", 10000000);
   } catch (e) {
   }
  }
 },
 getTime: function() {
  var date = new Date();
  var time = parseInt(date.getTime() / 1000, 10);
  return(time);
 },
 select: function(table, params, success, error) {
  var id  = parseInt(params.id, 10);
  var type = parseInt(params.type, 10);
  if (this.db) {
   this.db.transaction(function(tx) {
    tx.executeSql("SELECT * FROM " + table + " WHERE ID=? AND TYPE=?", [id, type], function(tx, rs) {
     var row = rs.rows.item(0);
     return(row.data);
    }, error);
   });
  }
 },
 update: function(table, json) {
  var id = parseInt(json.id, 10);
  var type = parseInt(json.type, 10);
  var data = json.data;
  var modify = this.getTime();

  if (this.db) {
   this.db.transaction(function(tx) {
    tx.executeSql("CREATE TABLE IF NOT EXISTS " + table + "(id INTEGER PRIMARY KEY,type INTEGER,modify INTEGER,data TEXT)", [], function(tx, rs) {
     tx.executeSql("DELETE FROM " + table + " WHERE ID=? AND TYPE=?", [id, type], function(tx, rs) {
     }, function(tx, error) {
      alert("delete failed.");
     });
     tx.executeSql("INSERT INTO " + table + " (id,type,modify,data) VALUES (?,?,?,?)", [id,type,modify,data], function(tx, rs) {
     }, function(tx, error) {
      alert("insert failed.");
     });
    }, function(tx, error) {
     alert("update failed.");
    });
   });
  }
 }
};
〜〜〜サンプル〜〜〜

　[2] Offline Application Caching API
　　オフライン時にもコンテンツの表示に支障がないようキャッシュすべきファイルを指定する

　　・HTML
　　　<html manifest="cache.manifest">
　　　※cache.manifest ファイルをマニフェストファイルとして定義する

　　・cache.manifest

〜〜〜サンプル〜〜〜
CACHE MANIFEST
index.html
help.html
style/default.css
images/logo.png
images/backgound.png

NETWORK:
server.cgi
〜〜〜サンプル〜〜〜

　　　CACHE MANIFEST: キャッシュさせるリスト
　　　NETWORK: キャッシュさせないリスト

　　・.htaccessなど

〜〜〜サンプル〜〜〜
AddType text/cache-manifest .manifest
〜〜〜サンプル〜〜〜

　　・event-source？
　　　HTML 5 日本語公式サイトに、「event-source 要素は、サーバがWebページに更新情報を連続的に流すことができるようにする HTML 5 の新機能です。」とあるが、詳細不明。

〜〜〜サンプル〜〜〜
<event-source src="server.cgi">
〜〜〜サンプル〜〜〜

■参考
---
　http://www.html5.jp/trans/w3c_webstorage.html
　http://ayuta.co.jp/html5-samples/index.html
　http://d.hatena.ne.jp/amachang/20080327/1206607704

■特徴
---
・アプリケーションレベルでの実装（カーネル変更必要なし）
・プロトコルはHTTP
・ファイルシステムに依存しない
・簡単にディスク追加が可能
・自動レプリケーション
・自動フェイルオーバー

→ネットワーク障害などでいずれかのサーバがダウンしても、他のサーバにコピーされた
　ファイルにアクセスできるた冗長性に富んだシステム構築が可能

■動作原理と用語説明
---
下記のサイトが参考になります。
http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html

上記参考サイトより抜粋

　domain：ファイル名の名前空間最上位に位置するもので、すべての key は何らかの domain に所属します。
　key：一般的なローカルファイルシステムのファイル名にあたる部分です。
　trackers：client と storage nodes との仲介役。
　　database からファイルの URL を生成し client に返す。client はその URL に対して HTTP でアクセス。
　database：ファイルのノード情報、storage nodes の情報を保持するデータベース。
　　storage node のホスト名
　　storage node のポート番号
　　storage node 上で管理されているファイル名（keyとは異なる、MogileFS内部で使用するファイル名です）
　storage nodes：ファイルの実体を保持する HTTP サーバー。

■インストール
---
インストールも下記参考サイト様が詳しいので、割愛ｗ

http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html

とりあえず以下のように設定しました。

===
# mogadm check
Checking trackers...
  127.0.0.1:7001 ... OK

Checking hosts...
  [ 1] localhost ... OK

Checking devices...
  host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
  ---- ------------ ---------- ---------- ---------- ------ ---------- -----
  [ 1] dev1            17.340      4.358     12.982  25.13%  writeable   0.0
  [ 1] dev2            17.340      4.358     12.982  25.13%  writeable   0.0
  [ 1] dev3            17.340      4.358     12.982  25.13%  writeable   0.0
  ---- ------------ ---------- ---------- ---------- ------
             total:    52.020     13.075     38.945  25.13%
===
※ステータス情報
alive：書き込み、読み込み可能。
down：一時的に使用不可。
dead：使用不可。ファイルは別の場所にコピーされている。
readonly：読み込み専用。

===
# mogadm domain list
 domain               class                mindevcount   replpolicy
-------------------- -------------------- ------------- ------------
 darts                default                   2        MultipleHosts()
 darts                normal                    2        MultipleHosts()
===
※mindevcount で指定されている数の node でコピーを保存します

■Client API
---
下記参考サイト様を（以下略）ｗ

http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html

■起動
---
# /etc/rc.d/init.d/mysqld start
# sudo -u mogile mogilefsd
# sudo mogstored -d

■サンプルコードと実験
---
書き込み、読み込みのサンプルコードを書いて色々試してみました。

[1] 書き込み
===
#!/usr/bin/perl
use strict;
use warnings;

use MogileFS::Client;

die "Please input parameters." if (!$ARGV[0] || !$ARGV[1]);

## MogileFS インスタンス作成
my $mogfs = MogileFS::Client->new(
    domain => 'darts',
    hosts  => [ '127.0.0.1:7001' ],
);
die "Unable to initialize MogileFS object." unless $mogfs;

## key 名 "hello" のファイルを normal クラス（mindevcount=2）で新規ファイル作成
my $fh = $mogfs->new_file($ARGV[0], "normal") or die $mogfs->errstr;

## 書き込み
$fh->print($ARGV[1]) or die $mogfs->errstr;

## 閉じる
$fh->close or die $mogfs->errstr;
===
※ls -la /var/mogdata/*/*/*/*

[2] 読み込み
===
#!/usr/bin/perl
use strict;
use warnings;

use MogileFS::Client;

die "Please input parameters." if (!$ARGV[0]);

## MogileFS インスタンス作成
my $mogfs = MogileFS::Client->new(
    domain => 'darts',
    hosts  => [ '127.0.0.1:7001' ],
);
die "Unable to initialize MogileFS object." unless $mogfs;

## key 名 hello のファイルを読み込んで表示
my $data = $mogfs->get_file_data($ARGV[0]);
die $mogfs->errstr unless $data;
print $$data . "\n";
===

[3] 実験
(1) レプリケーションされたファイルを削除する
　→一定時間後にファイルが復元

(2) レプリケーションされたファイルを強制書き換え
　→一定時間後にも特に変化なし

ということで、どうやらファイル消失時の復旧は自動で行われるようですが、
破損時には復旧されないようですね。

Perlで利用できるファイルシステムなので、memcached同様様々な利用シーンが
ありそうですが、破損時に関しては注意が必要ですね。

■参考ＵＲＬ
---
http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html
http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html
http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html
http://builder.japan.zdnet.com/sp/open-source-software-moonlinx-2009/story/0,3800096543,20391825,00.htm

かなり前にmemcachedについて調べてた内容を、今更ながらアップしてみる。

既に多くのウェブサービスで利用されているので、ほんとに今更なんだけども、、、

実際ビジネスユースで使うには、32bitOSではセッション情報と簡単な設定くらいしか（サイズ的に）利用が難しいかなぁ。それなりのデータを保存するには、それこそ台数でカバーするしか、、、

でも、64bitOSだと利用可能なメモリサイズが段違いなので、色々と利用シーンがありそうですよね。

　　サーバＡ|サーバＢ|サーバＣ
　------------------------------
　　（共有メモリ空間）ハッシュ

■インストール
---
　(1) libevent
　　# yum install libevent libevent-devel
　　※RPMでも可

　(2) memcached
　　・下記よりソースをダウンロード
　　　http://memcached.org/

　　・コンパイル
　　　# tar xvfz memcached-1.4.4.tar.gz -C /tmp
　　　# ./configure
　　　# make
　　　# make install

　　・起動
　　　/usr/local/bin/memcached -d -m 256 -l 10.1.136.124 -p 11211
　　　　-d: デーモンとして起動
　　　　-m: メモリサイズ（MB）
　　　　-l: Listenアドレス
　　　　-p: Listenポート
　　　# su - apache
　　　$ /usr/local/bin/memcached -d -m 256 -l 10.1.136.124 -p 11211
　　　※rootでは起動できない

　　・接続確認
　　　# telnet 10.1.136.124 11211
■コマンド
---
　telnet で接続後

　(1) 基本クライアント・コマンド
　　1. set, add, replace

　　　コマンド構文：
　　　　command <key> <flags> <expiration time> <bytes>(改行)
　　　　<value>

　　　　　key: キャッシュのキー
　　　　　flags: キーと値のペアに関連付ける付加情報（整数）
　　　　　expiration time: キャッシュに保持する期間 (0 は永続的、単位は秒)
　　　　　bytes: キャッシュに保存するバイト数
　　　　　value: キャッシュの値

　　・set
　　　新しいキーと値のペアーを追加します。既に同じキーが存在する場合は上書きします。

〜〜〜サンプル〜〜〜
set user 0 0 5  << 入力
12345           << 入力
STORED          >> 出力
〜〜〜サンプル〜〜〜

　　・add
　　　新しいキーと値のペアーを追加します。既に同じキーが存在する場合は NOT_STORED が返されます。

〜〜〜サンプル〜〜〜
set userId 0 0 5
12345
STORED
〜〜〜サンプル〜〜〜

　　・replace
　　　指定したキーが存在する場合にのみ、上書きします。存在しない場合は NOT_STORED が返されます。

〜〜〜サンプル〜〜〜
replace userId 0 0 5
6789
STORED
〜〜〜サンプル〜〜〜

　　2. get, delete

　　　コマンド構文：
　　　　command <key>

　　　　　key: キャッシュのキー

　　・get
　　　指定したキーが存在する場合には値を返します。存在しない場合には何も返しません。

〜〜〜サンプル〜〜〜
get userId
VALUE userId 0 5
12345
END
get undefined
END
〜〜〜サンプル〜〜〜

　　・delete
　　　指定したキーが存在する場合には削除します。存在しない場合には NOT_FOUND が返されます。

〜〜〜サンプル〜〜〜
delete userId
DELETED
delete undefined
NOT_FOUND
〜〜〜サンプル〜〜〜

　(2) 拡張クライアント・コマンド
　　・gets
　　　指定したキーが存在すれば、更新番号を付加して返す。

〜〜〜サンプル〜〜〜
gets userId
VALUE userId 0 5 5
12345
〜〜〜サンプル〜〜〜

　　・cas(check and set)
　　　setと同様であるが、上記の更新番号を指定して実行するため、更新番号が最新でない場合エラーになる。
　　　SELECT FOR UPDATE のようなイメージ。

〜〜〜サンプル〜〜〜
set userId 0 0 5
12345
STORED

gets userId
VALUE userId 0 5 3
6789
END

cas userId 0 0 5 2
11111
EXISTS
〜〜〜サンプル〜〜〜

　(3) キャッシュ管理用コマンド
　　・stats
　　　キャッシュの使用効率などの統計情報が返されます。

〜〜〜サンプル〜〜〜
stats
STAT pid 7376
STAT uptime 768
STAT time 1261131795
STAT version 1.4.4
STAT pointer_size 32
STAT rusage_user 0.000000
STAT rusage_system 0.020996
STAT curr_connections 5
STAT total_connections 6
STAT connection_structures 6
STAT cmd_get 2
STAT cmd_set 1
STAT cmd_flush 0
STAT get_hits 1
STAT get_misses 1
STAT delete_misses 1
STAT delete_hits 1
STAT incr_misses 0
STAT incr_hits 0
STAT decr_misses 0
STAT decr_hits 0
STAT cas_misses 0
STAT cas_hits 0
STAT cas_badval 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 92
STAT bytes_written 63
STAT limit_maxbytes 268435456
STAT accepting_conns 1
STAT listen_disabled_num 0
STAT threads 4
STAT conn_yields 0
STAT bytes 0
STAT curr_items 0
STAT total_items 1
STAT evictions 0
END
〜〜〜サンプル〜〜〜

　　　・flush_all
　　　　キャッシュを全てクリアする。

〜〜〜サンプル〜〜〜
flush_all
OK
〜〜〜サンプル〜〜〜

　　　・quit
　　　　コネクションの終了

■php-memcache
---
　・インストール
　　# /usr/local/bin/pecl search memcache

　・/usr/local/lib/php.ini

〜〜〜サンプル〜〜〜
extension=memcache.so
〜〜〜サンプル〜〜〜

　・テストスクリプト（起動処理）

〜〜〜サンプル〜〜〜
<?php

$memcache = new Memcache;
$memcache->connect('centos5.dreamarts.co.jp', 11211) or die ("Can't connect.");

if ($memcache) {
        $object = new StdClass;
        $object->objectkey = 'test';
        $memcache->set("object", $object);

        echo "OK!";
} else {
        echo "Undefined memcache object.";
}

?>
〜〜〜サンプル〜〜〜

　・テストスクリプト（取得処理）

〜〜〜サンプル〜〜〜
<?php

$memcache = new Memcache;
$memcache->connect('hoge.com', 11211) or die ("Can't connect.");

if ($memcache) {
        $object = $memcache->get("object");

        echo $object->objectkey;
} else {
        echo "Undefined memcache object.";
}

?>
〜〜〜サンプル〜〜〜

■参考
---
　http://www.ibm.com/developerworks/jp/java/library/j-memcached1/#resources