Python Perl JavaScript および PHP などの ランザクション ID を利用することで 重複する処理 な Tuple が流れるかはグルーピングより決定されま 多くの言語をサポートしています を判別することができます す 6 簡単なデプロイと運用 は簡単にデプロイし 動作させるこ

Transcription

1 春の嵐吹く Twitter 社が公開したオープンソース リアルタイム分散処理 日々発生する大量なデータをリアルタイムに処理し続ける ストリームデータ処理 に対するニーズが高まっています 同じビッグデータでもバッチ処理の Hadoop とはまた違った解決方法が求められる分野です 本記事ではそのストリームデータ処理を実現するプロダクトとして 今 注目を集めている について解説します ビッグデータ リアルタイム = ストリームデータ処理 図 1 で何ができるのか? が生まれた背景 Acroquest Technology 鈴木貴典 SUZUKI Takanori 6 つの特徴 図 2 1シンプルな API のAPI は非常にシンプルです 複雑な分散処理などをとくに意識することなく システムを開発可能です 2 拡張性 は複数のマシンで構成されるクラスタ上で並列分散的に動作します これにより 膨大な数のメッセージに対しても低レイテンシを維持しつつ スケールします スケールするために必要なことは マシンを増設して処理の並列数を増やすだけであり プログラムを改修する必要はありません 3 耐障害性障害が発生し データ処理中のノードがダウンした場合でも は必要に応じてタスクの再割り当 図 1 ストリームデータ処理 スマフォセンサー ログ SNS ストリームデータ処理 てやノードの再起動を行います そのため 処理が 完全に停止してしまうようなことがありません注 1 4 データ処理の保証 何らかの理由により データの処理に失敗したり タイムアウトが発生したりした場合でも は それを検知し 再処理するしくみを有しています この機構により すべてのメッセージが処理されることを担保できます 5さまざまな言語への対応注 自体はClojure 2 で実装されていますが ユーザが開発するアプリケーション部分は いろいろな言語で開発できます Java Scala Ruby 図 2 の6つの特徴 簡単なデプロイと 用 さま まな言語への対応 シンプルな API データ処理の保証 や通知デバイス ダッシュ ード分 ール データストア 性 障害性 注 1) 処理のタイミング次第では 同一メッセージが重複して処理されることがあります 注 2) LISP 系の言語の方言の 1 つ 関数型プログラミングのスタイルでのインタラクティブな開発を支援し マルチスレッドプログラムの開発を容易化する汎用言語です Java 仮想マシン上で動作します Software Design Jun

2 Python Perl JavaScript および PHP などの ランザクション ID を利用することで 重複する処理 な Tuple が流れるかはグルーピングより決定されま 多くの言語をサポートしています を判別することができます す 6 簡単なデプロイと運用 は簡単にデプロイし 動作させることが可能です システム構成もわずかな設定で変更できます また Amazon EC2 などのクラウド環境でも動作さ の基本アーキテクチャ Stream のソースとなるもので 外部からデータを取 得したり 受け付けたりして Tuple を生成 / 送出 します の処理の起点となるものです 基本アーキテクチャ せられます Bolt プロセス構成 Stream の変換処理を行います 単一または複数の Stream から Tupleを受信し 加工したうえで 新た 図 5 な Stream にメッセージを送信します 図 3 クラスタの構成 図 3 でできること 1 継続的な並列処理 の基本的な機能です 通常はストリームデー Nimbus クラスタ内におけるMasterノードであり やプロセスの管理を行います クラスタ内におけるSlave ノードであり タスク ( 後述の やBoltが該当します ) のアサイン待ち受 Nimbus Nimbus プロセスへのタスクの割りり プロセスのタリング タスクのアサイン待ち受け プロセスの起動 / 停止 タであるメッセージを一時的にキューに保存し そのメッセージを継続的 かつ 並列的に処理し続けます 2メッセージのグルーピングメッセージは特定のルールに従って グルーピングして処理できます グルーピングの方法としては ラン けや プロセスの起動 / 停止を行います タスクを実行するプロセスになります はApache Foundationのプロダクトの 1つであり Hadoop のサブプロジェクトの 1つとし ノードで動作するデー ンの を管理 Topology のサブセットの実行 ダム (Shuffle grouping) 指定されたフィールドの て開発されました では Nimbus と 値が一致するもの (Fields grouping) 全メッセージを処理するもの (All grouping) などがあります が標準で提供する7 種類のグルーピングのほか 独自のグルーピングを実装することも可能です 3トランザクション前述のとおり はメッセージが必ず処理されることを保証します しかしながら 障害が発生し メッセージが再送された場合 重複して処理される可能性があります たった一度だけ処理をしたい場 間の協調管理に用いられています アプリケーション構成 図 4 Tuple で処理されるメッセージのことです デフォ 図 4 Topology Stream Bolt Bolt 合は トランザクション機能 (Transactional topologies) を利用します トランザクション機能を ルトでは integer long short byte string double float boolean byte 配列などをサポートします 利用した場合 で処理されるメッセージには Stream トランザクション ID が自動で付与されます このト 途切れずに連続する Tuple を意味します どのよう 98 - Software Design Jun

3 1 イベント受付 図 6 処理対象のイベントは一時的にメッセージキューに 表 2 保存するのが一般的です これは大量のイベントを 受信した場合でも イベントを消失することなく処 理を継続するためです 2イベント処理次にメッセージキューに一時的に保存されたイベン Hadoopとの比較 サンプルプログラム データを取得する KestrelThrift トを が取得し () 業務に応じた処理 リスト 1 (Bolt) を分散して行います 3 結果の処理 自体は処理結果を表示する画面などは提供していません そのため で処理をした結果はユーザへ通知されたり RDB やKVS(NoSQL) など 表 1 1Kestrel へ接続する 2Kestrel からデータを取得する 3Bolt へデータを送信する に保存されたりします 図 5 を利用したシステムのアーキテクチャ 図 6 サンプルプログラムの処理イメージ イベント ユーザへ通知 メッセージキュー ( イベントの一時保存 ) ユーザへ通知 RDB や KVS ( 結果の) Kestrel Kestrel Thrift Kestrel Thrift Shue grouping Fields grouping イベント受付 イベント処理 結果の処理 Bolt 表 1 Hadoopと の比較 Hadoop 対象バッチ処理リアルタイム処理 処理技術 MapReduce ストリームデータ処理 特性 ノード 巨大で有限のジョブ たくさんのデータを一度だけ処理する 長い待ち時間 マスター :JobTracker スレーブ :TaskTracker 処理単位 Job Topology 小さい無限のジョブ 無限のストリームデータを連続して処理する 短い待ち時間 マスター :Nimbus スレーブ : 表 2 コンポーネントの処理内容 KestrelThrift () Bolt (Bolt) Bolt (Bolt) コンポーネント 処理内容 メッセージキューの Kestrel から文章データ ( 今回は 1 行あたり約 100 バイトの英文データ ) を取得する取得した文章データを 1 行ずつ Bolt へ送信する 1 行の英文の文章を単語単位に分割する 分割された単語をカウントする Software Design Jun

4 open リスト 2 リスト 1 KestrelThrift クラス ( 中略 ) ( 中略 ) ( 中略 ) ( 中略 ) リスト 2 open nexttuple リス ト3 単語単位に分割する Bolt リスト4 1Bolt を初期化する 2 Tuple(1 行の英文 ) を受信する 31 行の英文を単語に分割し 次の Bolt へ送出する prepare リスト 5 execute リスト 3 nexttuple ( 中略 ) リスト 4 Bolt クラス ( 中略 ) ( 中略 ) ( 中略 ) Software Design Jun

5 リスト6 リスト 5 prepare リスト 6 execute 文章を単語単位に分割する 単語単位に に分割し 次の に送信する リスト 7 declareoutputfields declareoutputfields リスト7 単語をカウントする Bolt リスト8 1 Tuple(1 単語 ) を受信する 2 単語の出現回数をカウントする execute リスト 8 Boltクラス 単語出現回数カウンタ リスト 9 declareoutputfields リスト10 全体をつなげる Topology リスト 11 ( 中略 ) ( 中略 ) リスト 9 execute 単語出現回数カウンタからカウンタを取得 結果を単語出現回数カウンタに反映 Software Design Jun

6 リスト 10 declareoutputfields スループット (Tuple/ 秒 ) KestrelThrift:3,302 Bolt:3,302 Bolt:545,223 s の日本語情報は まだまだ少ないですが 筆者が所属するAcroquest Technologyでは 若手エンジニアが ブログでの情報を公開しています Taste of Tech Topics 本家のサイトでも公開されていないような 独自に調査や評価した内容も掲載しています ぜひ 参考にしてみてください 参考情報 本家サイト -Installer 本記事のサンプル リスト 11 Topology クラス ( 中略 ) を作成する ( 中略 ) 今後の動向 :Kestrel RabbitMQ Kafka JMS Redis Scribe Bolt:HBase Cassandra Mongo Software Design Jun