Apache Arrow 須藤功平株式会社クリアコード RubyData Tokyo Meetup Apache Arrow Powered by Rabbit 2.2.2

Size: px

Start display at page:

Download "Apache Arrow 須藤功平株式会社クリアコード RubyData Tokyo Meetup Apache Arrow Powered by Rabbit 2.2.2"

てるえいくのや
4 years ago
Views:

1 Apache Arrow 須藤功平株式会社クリアコード RubyData Tokyo Meetup

2 Apache Arrow 各種言語で使えるインメモリーデータ処理プラットフォーム

3 提供するもの高速なデータフォーマット高速なデータ処理ロジック各プロダクトで個別に実装するより一緒にいいものを実装して共有しよう! 効率的なデータ交換処理...

4 利用例 Apache Arrow 提供高速なデータフォーマット高速なデータ処理ロジック効率的なデータ交換処理分散処理ツールコーディネーターワーカーワーカーワーカーデータ収集ツールデータ前処理ツールクエリー実行エンジン可視化ツール

5 大事にすること 1 効率的なデータ交換

6 前提イマドキのデータ処理システムは単一コンポーネントで完結しない

7 複数コンポーネントメリット : コンポーネント毎に適した言語を使えるデメリット : データ交換が増える ( オーバーヘッド )

8 データ交換コストシリアライズコスト転送コストデシリアライズコスト

9 コスト例 :JSON シリアライズコスト [1] -#to_json-> "[1]" 転送コスト -output#write-> -input#read-> デシリアライズコスト "[1]" -JSON.parse-> [1]

10 コスト比較例 :JSON n = numbers = n.times.to_a JSON.dump(numbers, json_file) JSON.load(json_file)

11 コスト比較例 :Apache Arrow n = numbers = Arrow::Int32Array.new(numbers) arrow_table = Arrow::Table.new("number" => numbers) arrow_table.save(arrow_path) Arrow::Table.load(arrow_path)

12 コスト比較例実行時間 JSON 比 JSON 秒 1 Apache Arrow 秒 1/50

13 データ交換コストの影響コンポーネント数と正の相関コンポーネントが増えると無視できないデータ量と正の相関データが多くなると無視できない

14 まとめイマドキのデータ処理システムで大量データを処理するならデータ交換コストを無視できない Apache Arrowはデータ交換コストが低い仕組みは後述

15 大事にすること 2 各種言語で使えること

16 各種言語 Java, C++, Python, C, Ruby, Lua, JavaScript, Go, Rust, MATLAB, R, C#

17 イマドキのデータ処理システムコンポーネント毎に適した言語を採用採用言語でApache Arrowを使えないとシステムでApache Arrowを使えない Apache Arrow に対応していればコンポーネントでその言語を採用しやすい Rails が活きるコンポーネントで Ruby を使うとか

18 実現方法ネイティブ実装 Java, C++, JavaScript, Go, Rust, C# メリット : 扱いやすい ( インストールが楽とか ) C++ 実装のバインディング Python, C, Ruby, Lua, MATLAB, R メリット : 高速実装の共有

19 まとめ Apache Arrowは各種言語で使える Ruby と他の言語でのデータ交換が楽になる Ruby 実装はC++ 実装のバインディング速い豊富な機能 (C++ 実装はすごく進んでいる )

20 大事にすること 3 速いこと

21 速さが必要な理由大量のデータを処理するためポイント : 大量データ前提の設計

22 速いデータフォーマットパースせずに使えるデータフォーマットメモリー上で効率よく扱える並びでデータを配置パースしなくてよいしそのまま使っても速い既存のデータの並びと互換性あり例 :NumPyの数値配列と互換互換性があるとゼロコピーで使える

23 速いデータ処理 SIMD キャッシュメモリーマルチコアで高速化データをアライン局所化リードオンリーに高速な式評価器式 :column1 + column2 みたいなやつ if とかも使える Gandiva: 式を JIT コンパイルして実行

24 データ処理例 :Ruby n = ruby_table = n.times.collect do { "number1" => rand, "number2" => rand, } end ruby_table.collect do record record["number1"] + record["number2"] end

25 データ処理例 :Numo::NArray n = numo_number1 = Numo::DFloat.new(n).rand numo_number2 = Numo::DFloat.new(n).rand numo_number1 + numo_number2

26 データ処理例 :Gandiva n = arrow_number1 = Arrow::DoubleArray.new(n.times.collect {rand}) arrow_number2 = Arrow::DoubleArray.new(n.times.collect {rand}) arrow_table = Arrow::Table.new("number1" => arrow_number1, "number2" => arrow_number2)

27 データ処理例 :Gandiva # 次のリリースまでにいい感じに書けるようにする予定 schema = arrow_table.schema expression = Gandiva::Expression.new("add", [schema[:number1], schema[:number2]], Arrow::Field.new("sum", :double)) projector = Gandiva::Projector.new(schema, [expression]) arrow_table.each_record_batch do record_batch projector.evaluate(record_batch) end

28 データ処理例実行時間 Ruby 比 Ruby 秒 1 Numo::NArray 秒 1/67 Gandiva 秒 1/25 Numo::NArray がすごくがんばっている

29 速いデータ交換同一マシン上での交換メモリーファイルシステム上に置いて mmap Plasma: データ共有サーバーを動かしてIPC Inter-Process Communication 別マシン上での交換 Arrow Flight:gRPC ベースの RPC フレームワーク

30 GPU で速い Plasma:GPU 対応 RAPIDS:NVIDIA の GPU をデータサイエンスで活用するためのプロジェクト libgdf:apache Arrowフォーマットのデータを GPUで扱うデータフレームライブラリー Rubyバインディングはまだない

31 まとめ Apache Arrowは速い速いデータフォーマット速いデータ処理 ( もっと速くなるはず ) 速いデータ交換今後 GPU ももっと活用していく

32 Apache Arrow のこれから例データフォーマットの相互変換強化

33 相互変換 :Apache Parquet # Apache Arrow Apache Parquet arrow_table.save("data.parquet") # Apache Parquet Apache Arrow Arrow::Table.load("data.parquet")

34 相互変換 :Feather # Apache Arrow Feather arrow_table.save("data.feather") # Feather Apache Arrow Arrow::Table.load("data.feather")

35 相互変換 :Apache ORC # Apache ORC Apache Arrow Arrow::Table.load("data.orc")

36 相互変換 :CSV # Apache Arrow CSV arrow_table.save("data.csv") # CSV Apache Arrow Arrow::Table.load("data.csv")

37 CSV 読み込み例 # 標準ライブラリー (Ruby 実装 ) CSV.foreach(path) { row row} # 拡張ライブラリー Ccsv.foreach(path) { row row} # C++ 実装 Arrow::Table.load(path, use_threads: true)

38 CSV 読み込み時間実行時間 csv 比 csv 秒 1 ccsv 秒 1/13 Apache Arrow 秒 1/90

39 相互変換 :Ruby オブジェクト Ruby バインディング限定 # Active Record Apache Arrow User.all.to_arrow # Numo::NArray Apache Arrow narray.to_arrow # NMatrix Apache Arrow matrix.to_arrow

40 相互変換の今後 JSON Apache Arrow Apache Avro Apache Arrow

41 Apache Arrow のこれから ( もっと ) RDBMS 連携強化 PostgreSQL MySQLでの実行結果を Apache Arrowフォーマットで返すテンソルサポート強化...

42 Ruby バインディングの今後 Plasma 対応 GandivaバインディングのAPIをいい感じにバインディングフレームワークの高速化一緒に開発しようぜ!

43 Apache Arrow と Ruby まわりの今後 libgdf の Ruby バインディング開発 gumath/xnd/ndtypes との連携一緒に開発しようぜ!

44 おしらせ 1 コード懇親会 ( 今日の懇親会 ) 興味がでてきたプロダクトのコードを一緒に触ってみよう! 開発に参加したくなるかも! master/rubydata-tokyo-meetup-2018

45 おしらせ 2 OSS Gate 東京ミートアップ for Red Data Tools in Speee :30-( 来週の火曜日 ) Red Data Tools メンバーが開発する集まり

46 おしらせ 3 Apache Arrow 東京ミートアップ :30- 目的 : 開発者を増やす対象プロダクト :Apache Arrow Red Data Tools Ruby/Numo SciRubyなど

はじめに私は Ruby が好きだだからデータ分析だって Ruby でやりたい Ruby よりも向いている言語があるのはわかっているけどさー

はじめに私は Ruby が好きだだからデータ分析だって Ruby でやりたい Ruby よりも向いている言語があるのはわかっているけどさー Ruby も Apache Arrow でデータ処理言語の仲間入り須藤功平クリアコード DataScience.rb ワークショップ 2017-05-19 はじめに私は Ruby が好きだだからデータ分析だって Ruby でやりたい Ruby よりも向いている言語があるのはわかっているけどさー Apache Arrow データフォーマットの仕様とその仕様を処理する実装 Arrow: 解決したい問題