Introduction
R&D More Than Web - -
3
R&D Vision Fusion Interaction Collaboration
3 6
Client Server Platform
Client Server Platform
Client
Client Server Platform
Server
Client Server Platform
Platform
Client Server Platform
UI
Server
Google MapReduce, GFS, BigTable IBM Object Grid KLAB repcached Yahoo Hadoop, HDFS, hbase Microsoft Velocity, SDS Tokyo Cabinet, Tokyo Tyrant JBoss Cache, Skynet, Starfish Amazon Dynamo Oracle Coherence Flare
Hadoop
Hadoop 2008 4 2008 8 ROMA Hadoop
Hadoop 2008 4 2009 3 113 Hadoop 0.19.2 Intel( R ) Xeon(TM) CPU 3.06GHz (SingleCore) 2 / Memory 4GB Fair Scheduler
Hadoop
2 GB
Map Reduce user1, itema, itemb user2, itemb user3, itema, itemb, itemc Map Reduce itema itemb itemc user1 user2 user3 {(itema,0.10),(itemb,0.04), } {(itema,0.01), } {(itema,0.02), } {(itemc,0.10), } {(itema,0.02), (itemc,0.01), } {(itemd,0.04), (iteme,0.01), }
ROMA&fairy
ROMA
ROMA Key-Value Store (KVS) Key Value PUT/GET RDB ROMA
ROMA Rakuten On-Memory Architecture
8 27 PC
fairy
fairy 分散処理フレームワーク 分散処理を簡単に実現するミドルウェア 複数サーバーで並列処理を高速実行 既存プログラムの並列化にも利用可能 複数サーバーに散らばったデータを効率よく処理 データ変換したり 集計したり Ruby の優れた表現力で 柔軟な処理 MapReduce 以上の表現力を実現 分散環境をほとんど意識しないで 拡張性の高い分散処理プログラムを開発可能 49
fairy.vf input fairy platform smap input group_by smap master client smap output.vf group_by smap output input group_by smap node input group_by smap input group_by smap smap output smap output smap output
fairy