2 JSON., 2. JSON,, JSON Jaql [9] Spark Streaming [8], Spark [7].,, 2, 3 4, JSON [3], Jaql [9], Spark [7] Spark Streaming [8] JSON JSON [
|
|
- ゆあ いなくら
- 5 years ago
- Views:
Transcription
1 DEIM Forum 2016 G1-4,, (1), (2),.,, 1.,.,,.,,,,, Storm [2] STREAM [5], S4 [6].,, OSS Hadoop [1] Spark [7].,,, Twitter ( 1).,, 1,,,,,, JSON [3]
2 2 JSON., 2. JSON,, JSON Jaql [9] Spark Streaming [8], Spark [7].,, 2, 3 4, JSON [3], Jaql [9], Spark [7] Spark Streaming [8] JSON JSON [3] JavaScript JSON,,, null,, ({}) :,. 2 JSON 3 Jaql,,,, null,, 2. 2 Jaql Jaql [9] Hadoop JSON Jaql, JSON,, Jaql Java, Jaql, Hadoop Jaql 3. JSON, income ID. 1) read HDFS users 2) filter income ) transform ID,. 4) write HDFS result 2. 3 Spark Spark RDDs [7]. RDDs, RDDs. RDDs RDDs, RDDs,, Spark, Hadoop
3 Spark Streaming Spark Streaming Spark [7], DStream [8], RDDs, Spark RDDs S4 Storm,., Spark Streaming, 4,.,, JSON Jaql, 3.2.,,. 3.3., Jaql 1. 3,,,.. read, window. read window, 1,,,. write, append, tostream. Task Jaql -> window read filter transform, JSON sort 1 JSON top k group, join 2 udf tostream write append
4 2 C i (byte) O i (byte) rowwindow L B L B rangewindow R B T R B T filter 0 O i 1 top group S O i 1 S O i 1 join O i 1 + O i 2 S O i 1 O i 2 + S O i 1 O i 2 transform S O i 1 S O i 1 udf sort O i 1 O i 1 tostream write append ,,.,,,,,,.,. read, window., C, C i n C C = n i=1 C i. 2,. L(docs) T(s) R(docs/s) 1 B(byte/docs) O i(byte) S ) RSS. 1 2) 1,,, ) Twitter Streaming API tweet, tweet register function (UDF),,,, register task collectnewswords 1). window, UDF,, write window range 1 day, 1,. getnewstopic 2). read collectnewswords group,, udf. sort top 200, write read trigger collectnewswords, collectnewswords. getnewstweet 3). window 5, udf read getnewstopic, join, stream. window read 1, getnewstopic collectnewswords, getnewstopic, getnewstweet,,
5 7 wordcount , Java, Twitter wordcount, 10 wordcounttop10 2. wordcount, 1 30 word- CountTop10, Twitter {word : } 1,, WordCountTop10,, Intel(R) Core(TM) i7-4820k 3.70GHz 16.0GB WordCount 7. 1 register stream {word: } TweetWordStream, String register task wordcount 3 5 window 1 TweetWord- Stream, 2 30, filter, 7,8 group word count,, 9 tostream. Java ssc wordcount. 1 7 filterfunc, makepairfunc <,1> key-value, reducefunc, reducefuncinv, outputfunc ssc, queuestream 13 filter, 14 maptopair <, 1> reducebykeyandwindow 30 1., reducefunc reducefuncinv 30 1, foreach API,,, 10, Java
6 9 wordcount 10 wordcounttop10 8 wordcount Java 39, 4 9 Java 10 K records/s, 100 K records/s, 1 M records/s 9, Java, Java. Java,, JSON JSON,. 1 M records/s 0.8, M records/s., Java 11 wordcounttop10 Java 4. 3 wordcounttop group wordcount, 9 sort, 10 top 10, 11 tostream Java
7 12 WordCountTop10 13 wordcounttop10, 11. reducebykeyand- Window wordcount 7,<, > key-value Tuple. 8 maptopair key value swap, 9 transformtopair. 10 foreach Java 1 K 1 M records/s 12, 1 M records/s 8. wordcount 10, wordcount 1.2 M records/s. 12 9, wordcount Java, 9 Java. sort top, JSON, wordcounttop K records/s, 60 10, 20, 30, , 10 50,, 10, 20, 30 1/6, 1/3, 1/2.,,,, 5. [4], [8], [10]. SummingBird [10] Cloud Dataflow [4]., JSON 5. 1 SummingBird SummingBird [10] MapReduce [11] Scala. SummingBird Hadoop [1] Storm [2] MapReduce MapReduce SummingBird Producer Platform. Producer Hadoop Mapper Reducer, Storm Spout Bolt Producer, Platform Storm
8 Hadoop MapReduce Platform Producer Producer Hadoop Storm, 5. 2 Cloud Dataflow Cloud Dataflow [4], Java, PCollection,, PCollection Pcollectioln PCollectioln, PCollectioln. JSON, [1] Apache Software Foundation. Hadoop. apache.org [2] Storm. [3] JavaScript Object Notation. [4] Tyler Akidau et al. The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processing. In PVLDB, Volume 8, No.12, [5] R. Motwani et al. Query processing, resource management, and approximation in a data stream management system. In CIDR, pages , [6] L. Neumeyer, B. Robbins, A. Nair, and A. Kesari. S4: Distributed stream computing platform. In ICDMW, pages [7] M. Zaharia et al. Resilient Distributed Datasets: A faulttolerant abstraction for in-memory cluster computing. In NSDI, pages 2-2, [8] M. Zaharia et al. Discretized streams: fault-tolerant streaming computation at scale. In SOSP, pages [9] Kevin S. Beyer et al. Jaql: A Scripting Language for Large Scale Semistructured Data Analysis. In PVLDB,Volume 4, No. 12, [10] Oscar Boykin, Sam Ritchie, Ian O Connell, and Jimmy Lin Summingbird: A Framework for Integrating Batch and Online MapReduce Computations. In VLDB, Volume 7, No.13, [11] J. Dean and S. Ghemawat. MapReduce: Simplified Data Processing on Large Clusters. In OSDI, pages , ,, JSON,,.,,,. 7. B( )
DEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo
DEIM Forum 12 C2-6 Hadoop 112-86 2-1-1 E-mail: momo@ogl.is.ocha.ac.jp, oguchi@computer.org Web Hadoop Distributed File System Hadoop I/O I/O Hadoop A Study about the Remote Data Access Control for Hadoop
More informationMapTask 678 Map 関数 バッファ管理モジュール リングバッファ 45#$% *+,-./ 0123!"#$% &'() 外部記憶装置 1 MapReduce IFIle IFIle MapReduce 25% MapReduce 2 MapReduce OS
DEIM Forum 2014 D1-3 MapReduce 180 8585 3 9 11 E-mail: {ozawa.tsuyoshi,oikawa.kazuki,onizuka.makoto,honjo.toshimori}@lab.ntt.co.jp MapReduce 1 Google, Facebook, Yahoo! MapReduce MapReduce MapReduce MapReduce
More informationDEIM Forum 2009 B4-6, Str
DEIM Forum 2009 B4-6, 305 8573 1 1 1 152 8550 2 12 1 E-mail: tttakuro@kde.cs.tsukuba.ac.jp, watanabe@de.cs.titech.ac.jp, kitagawa@cs.tsukuba.ac.jp StreamSpinner PC PC StreamSpinner Development of Data
More informationHBase Phoenix API Mars GPU MapReduce GPU Hadoop Hadoop Hadoop MapReduce : (1) MapReduce (2)JobTracker 1 Hadoop CPU GPU Fig. 1 The overview of CPU-GPU
GPU MapReduce 1 1 1, 2, 3 MapReduce GPGPU GPU GPU MapReduce CPU GPU GPU CPU GPU CPU GPU Map K-Means CPU 2GPU CPU 1.02-1.93 Improving MapReduce Task Scheduling for CPU-GPU Heterogeneous Environments Koichi
More informationDEIM Forum 2019 H2-2 SuperSQL SuperSQL SQL SuperSQL Web SuperSQL DBMS Pi
DEIM Forum 2019 H2-2 SuperSQL 223 8522 3 14 1 E-mail: {terui,goto}@db.ics.keio.ac.jp, toyama@ics.keio.ac.jp SuperSQL SQL SuperSQL Web SuperSQL DBMS PipelineDB SuperSQL Web Web 1 SQL SuperSQL HTML SuperSQL
More informationビッグデータアナリティクス - 第3回: 分散処理とApache Spark
3 : Apache Spark 2017 10 20 2017 10 20 1 / 32 2011 1.8ZB 2020 35ZB 1ZB = 10 21 = 1,000,000,000,000 GB Word Excel XML CSV JSON text... 2017 10 20 2 / 32 CPU SPECfp Pentium G3420 77.6 8,946 Xeon Gold 6128
More informationIPSJ-HPC
can effectively exploit the I/O performance of clusters with Gbit/sec-class flash memories. In this paper, we first outline our prototype MapReduce system which utilizes distributed key-value store. And
More informationuntitled
2004 03 06 DEWS2004 in 1. 2. Continuous Query 3. 4. GPS HTML, XML RFID DB DB Web URL TS URL Load Description 7 /echo.cgi 0.41 CGI Prog. RDB TS Load Mem 1 0.38 8688k 6 0.41 7808k TS URL IP 5 /top.html
More informationApache Storm 2. Storm Jubatus 2. 1 Apache Storm Storm Back Type [3] Twitter Twitter Apache Hadoop Storm Apache Spark [5] 1 Spark.52. [6] Storm 1 Spout
DEIM Forum 216 G8-2 Apache Storm 112 861 2 1 1 35 856 1 1 1 E-mail: yuko-k@ogl.is.ocha.ac.jp, {atsuko.takefusa,hide-nakada}@aist.go.jp, oguchi@computer.org Apache Storm Apache Storm Performance Evaluation
More informationJoint Content Development Proposal Tech Docs and Curriculum
徹底解説!Hortonworks が提供する次世代データプラットフォーム 蒋逸峰 & 河村康爾 Hortonworks October 10, 2017 1 Hortonworks Inc. 2011 2016. All Rights Reserved 総合的な管理 セキュリティやガバナンス ON-PREMISES CLOUD EDGE MULTI-WORKLOADS MULTI-TYPE MULTI-TIER
More information2 Hadoop MapReduce Hadoop, MapReduce Apache Hadoop Project Open Source Software Hadoop common MapReduce Hadoop Distributed File System( HDFS)
DEIM Forum 2014 D1-6 Hadoop 780-8520 2-5-1 780-8520 2-5-1 780-8520 2-5-1 E-mail: {nishimae,b103k299,honda}@is.kochi-u.ac.jp Hadoop MapReduce Map-Reduce Hadoop,MapReduce,,,, 1. e- Apache Hadoop ( Hadoop)
More informationDEIM Forum 2014 D3-5 DSMS DSMS DSMS 2.13% RTOS Realtime-Aware Efficient Query Processing for Automotiv
DEIM Forum 2014 D3-5 DSMS 464 8601 E-mail: {katsunuma,honda,hiro}@ertl.jp DSMS DSMS 2.13% RTOS Realtime-Aware Efficient Query Processing for Automotive DSMS Satoshi KATSUNUMA, Shinya HONDA, and Hiroaki
More informationDEIM Forum 2015 E4-5 DSMS DSMS DSMS 32% 46% RTOS Priority Inversion Time
DEIM Forum 2015 E4-5 DSMS 464 8601 E-mail: {katsunuma,honda,hiro}@ertl.jp, watanabe@coi.nagoya-u.ac.jp DSMS DSMS 32% 46% RTOS Priority Inversion Time Reduction by Operator-Level Commit of DSMS Satoshi
More information先進的計算基盤システムシンポジウム Shuffle KVP KVP MapReduce KVP 7) Jimmy PageRank MapReduce.69 Jimmy KVP Jimmy key KVP value KVP MapReduce 3 PageRank 4 Jimmy M
先進的計算基盤システムシンポジウム MapReduce MapReduce MapReduce Map Reduce MapReduce MapReduce PageRank in-mapper combining.57 Acceleration for Graph Application in MapReduce with Eliminating Redundant Messages Nobuyuki
More information*.....J.....S.q..2013B_....
1 1 2 2 3 3 4 4 5 6 5 7 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66
More informationstrtok-count.eps
IoT FPGA 2016/12/1 IoT FPGA 200MHz 32 ASCII PCI Express FPGA OpenCL (Volvox) Volvox CPU 10 1 IoT (Internet of Things) 2020 208 [1] IoT IoT HTTP JSON ( Python Ruby) IoT IoT IoT (Hadoop [2] ) AI (Artificial
More informationIPSJ SIG Technical Report Vol.2014-DBS-159 No.6 Vol.2014-IFAT-115 No /8/1 1,a) 1 1 1,, 1. ([1]) ([2], [3]) A B 1 ([4]) 1 Graduate School of Info
1,a) 1 1 1,, 1. ([1]) ([2], [3]) A B 1 ([4]) 1 Graduate School of Information Science and Technology, Osaka University a) kawasumi.ryo@ist.osaka-u.ac.jp 1 1 Bucket R*-tree[5] [4] 2 3 4 5 6 2. 2.1 2.2 2.3
More informationAbstract Yellow
Apache Spark で 分散コンピューティング ファイファー トビアス Preferred Infrastructure 2014 年 8 月 21 日 自己紹介 名前 ファイファー トビアス 出身 ベルリン ドイツ 入社 2014年4月 最近の課題 Spark プログラミング Tobias Pfeiffer Spark と Scala 言語の関係 Apache Spark は Scala 言語で作った
More informationSpark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回
Spark NAIST 2 2015 10 16 Hadoop Spark Apache Spark 2 / 39 (three V) (Volume) 2011 1.8ZB 2020 35ZB 1ZB 1 = 10 21 B = 1, 000 EB = 1, 000, 000 PB = 1, 000, 000, 000 TB = 1, 000, 000, 000, 000 GB (Variety)
More informationデータセンターの効率的な資源活用のためのデータ収集・照会システムの設計
データセンターの効率的な 資源活用のためのデータ収集 照会システムの設計 株式会社ネットワーク応用通信研究所前田修吾 2014 年 11 月 20 日 本日のテーマ データセンターの効率的な資源活用のためのデータ収集 照会システムの設計 時系列データを効率的に扱うための設計 1 システムの目的 データセンター内の機器のセンサーなどからデータを取集し その情報を元に機器の制御を行うことで 電力消費量を抑制する
More informationIPSJ SIG Technical Report Vol.2011-ARC-195 No.23 Vol.2011-OS-117 No /4/14 1. Cassandra CMS CMS 100 PC Cassandra Cassandra CMS Design of S
1. CMS 1 2 3 CMS 100 PC CMS Design of Scalable CMS using Shoshi TAMAKI, 1 Yu TANINARI 2 and Shinji KONO 3 To develop scalable CMS, We built scalability verification environment with 100 PC Clusters to
More informationHadoop Introduction
Hadoop Introduction はじめに Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ Hadoop の概要 Hadoop の特徴 Hadoop クラスタ構成 マスターサーバ バッチの進捗状況管理 Map/Reduce タスク割振り NameNode JobTracker HDFS 管理 DataNode
More informationAWSSummitTokyo2018
AWS Gunosy AWS Summit Tokyo 2018/06/01 自己紹介 - 米田 武 / Takeshi Yoneda / マスタケ - Github/Twitter: @mathetake - 2017/03/31: - MSc. in Mathematics at Osaka University - 2017/04/01~ - Machine learning engineer
More informationAgenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2
OpenStack Sahara Road to Kilo www.miran(s.com/jp Copyright 2015 Mirantis, Inc. All rights reserved Agenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2 Hadoop Open-source
More informationMATLAB® における並列・分散コンピューティング ~ Parallel Computing Toolbox™ & MATLAB Distributed Computing Server™ ~
MATLAB における並列 分散コンピューティング ~ Parallel Computing Toolbox & MATLAB Distributed Computing Server ~ MathWorks Japan Application Engineering Group Takashi Yoshida 2016 The MathWorks, Inc. 1 System Configuration
More information3 4 SAP HANA 5 6 SAP HANA Xeon E7 v3 SAP HANA 6 8 OLTP OLAP 1 9 SAP S/4HANA SAP HANA Studio 13 14
SAP HANA SAP HANA SAP HANA SPS10 2015.07 3 4 SAP HANA 5 6 SAP HANA Xeon E7 v3 SAP HANA 6 8 OLTP OLAP 1 9 SAP S/4HANA 10 11 12 SAP HANA Studio 13 14 SAP Hasso Plattner SAP SAP HANA SAP HANASAP SAP HANA
More information目次 Hadoop とは? IBM InfoSphere BigInsights BigSheets デモ 2
企業システムにおける大規模データの活用と Hadoop の動向 日本アイ ビー エム株式会社 Linux/OSS&Cloud サポートセンター中井悦司 目次 Hadoop とは? IBM InfoSphere BigInsights BigSheets デモ 2 Hadoop とは? 3 Hadoop とは? Hadoop は Google が提唱した分散データ処理を行うためのフレームワークをオープンソースとして再実装したものです
More informationHP ProLiant Gen8とRed Hatで始めるHadoop™ ~Hadoop™スタートアップ支援サービス~
Brochure Gen8 Red Hat Hadoop Hadoop Hadoop Hadoop Hadoop HP Hadoop IT IDC 20122.7ZB 2011 48% 20158ZB 2 IDC 20122.7ZB 2011 48%20158ZB 1 DC Predictions 2012: Competing for 2020 IDC 2011 12 : 1ZB =10 Hadoop
More information08 IPSJ/SIGSE Software Engineering Symposium (SES08) duce [] Assembly [6] Script 0 64 % 4 8% BBVC BBVC.. VC: Volunteer Computing VC LAN VC VC VC LAN V
08 IPSJ/SIGSE Software Engineering Symposium (SES08) : MapReduce Assembly,a),b),c) VC: Volunteer Computing BBVC: Browser-Based Volunteer Computing BBVC BBVC BBVC Script Script BBVC MapReduce Assembly 60
More informationHortonworks Kitase
Data Platform エキスパートに聞く クラウドで実現するビッグデータ活 本マイクロソフト株式会社 本アイ ビー エム株式会社 ホートンワークスジャパン株式会社 佐藤 直 平 毅 北瀬 公彦 Hortonworks 2 アジェンダ メジャーなクラウドにおけるビッグデータ アナリティクス関連サービスについて確認 Azure のビッグデータ アナリティクス関連サービスについて IBM のビッグデータ
More informationyamamoto_hadoop.pptx
Hadoop Streaming 2011/2/16 H22 ? SaaS (So5ware as a Service) (,etc.) PaaS (Pla?orm as a Service) (Google App Engine,, Mixi Appli etc.) IaaS (Infrastructure as a Service) (Amazon EC2) VMWare ESX, Hyper-
More informationJAXA-RR ICT ICT (Virtual Observatory = VO) JVO (Japanese Virtual Observatory) 1,2,3,4) 1 VO 1 Google Sky API (JVOSky) 1 VO Hadoop
JVO : 1 1 1 1 2 2 2 3 3 Experimental Construction of A Distributed All-Sky Astronomical Data Query and Analysis System Yuji SHIRASAKI 1, Yutaka KOMIYA 1, Masatoshi OHISHI 1, Yoshihiko MIZUMOTO 1, Yasuhide
More informationShonan Institute of Technology MEMOIRS OF SHONAN INSTITUTE OF TECHNOLOGY Vol. 41, No. 1, 2007 Ships1 * ** ** ** Development of a Small-Mid Range Paral
MEMOIRS OF SHONAN INSTITUTE OF TECHNOLOGY Vol. 41, No. 1, 2007 Ships1 * ** ** ** Development of a Small-Mid Range Parallel Computer Ships1 Makoto OYA*, Hiroto MATSUBARA**, Kazuyoshi SAKURAI** and Yu KATO**
More informationSA B A B ( A B ) AB( A B) AB AB S A B A B A B A B ( A B ) ( A B) (S A) (S B) S ( A B) ( y 1 + y 2 + y 3 + y 5 ) mod2( y 1 + y 2 + y 4 + y 6 ) mod2( y
S A BA B A B A B A B A B A S A A BAB A B ( A B ) ( A B) ( S A ) ( S B ) S ( A B) 4x 1 x 2 x 3 x 4 ( x 1 + x 2 + x 3 + x 5 ) mod2 = 0 ( x 1 + x 2 + x 4 + x 6 ) mod2 = 0 ( x 2 + x 3 + x 4 + x 7 ) mod2 =
More informationB 20 Web
B 20 Web 0753018 21 1 29 1 1 6 2 8 3 UI 10 3.1........................ 10 3.2 Web............ 11 3.3......... 12 4 UI 14 4.1 Web....................... 15 4.2 Web........... 16 4.3 Web....................
More information2
2011.11.11 1 2 MapReduce 3 4 5 6 Functional Functional Programming 7 8 9 10 11 12 13 [10, 20, 30, 40, 50] 0 n n 10 * 0 + 20 * 1 + 30 * 2 + 40 * 3 + 50 *4 = 400 14 10 * 0 + 20 * 1 + 30 * 2 + 40 * 3 + 50
More informationPowerPoint Presentation
AWS ビッグデータサービス Deep Dive アマゾンデータサービスジャパンソリューションアーキテクト蒋逸峰 July 17, 2014 Session #TA-01 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole
More information"-./0%. "-%!"#$#% $%&'(%)*+,%.!"#+$,$% &'()*% $%&'-(.(/%+,% $%&'0%12*+,'% 1 RMX.. grade gradetype= integer grade[
DEIM Forum 2014 C8-5 RMX 223 8522 3 14 1 E-mail: {yohei,kita}@db.ics.keio.ac.jp, toyama@ics.keio.ac.jp RMX,,, RMX., RMX, RMX,., RMX,., RMX,.,,., RMX 1. RMX (Rule-based e-mail exchange System).,,., RMX,
More informationFPGAメモリおよび定数のインシステム・アップデート
QII53012-7.2.0 15. FPGA FPGA Quartus II Joint Test Action Group JTAG FPGA FPGA FPGA Quartus II In-System Memory Content Editor FPGA 15 2 15 3 15 3 15 4 In-System Memory Content Editor Quartus II In-System
More informationuntitled
Oracle Direct Seminar IT Agenda 1. Oracle RAC on Oracle VM 2. Oracle Database 11gR2 3. Oracle Exadata Oracle Direct Concierge SQL Server MySQL PostgreSQL Access
More informationPython Perl JavaScript および PHP などの ランザクション ID を利用することで 重複する処理 な Tuple が流れるかはグルーピングより決定されま 多くの言語をサポートしています を判別することができます す 6 簡単なデプロイと運用 は簡単にデプロイし 動作させるこ
春の嵐吹く Twitter 社が公開したオープンソース リアルタイム分散処理 日々発生する大量なデータをリアルタイムに処理し続ける ストリームデータ処理 に対するニーズが高まっています 同じビッグデータでもバッチ処理の Hadoop とはまた違った解決方法が求められる分野です 本記事ではそのストリームデータ処理を実現するプロダクトとして 今 注目を集めている について解説します ビッグデータ リアルタイム
More informationP P P P P P P OS... P P P P P P
SAS Visual Analytics on MapR Converged Data Platform 2015 12 1. 1.1... P2 1.2... P2 2. 2.1... P3 2.2... P6 2.2.1... P6 2.2.2... P6 2.3... P10 3. 3.1 OS... P11 3.2... P12 3.3... P13 3.4... P13 3.5... P14
More informationMicrosoft PowerPoint _Hadoop.pptx
Hadoop で行う大規模データ処理 kzk Hadoop とは? Google の基盤ソフトウェアのクローン Google File System Yahoo Research の Doug Cutting 氏が開発 元々は Nutch Crawler のサブプロジェクト Doug の子供の持っているぬいぐるみの名前 Java で記述 Amazon S3 との親和性
More informationQCon Tokyo 2016" (Everforth)
2016 10 24QCon Tokyo 2016" (Everforth) 自己紹介 1985( )" UNIX/OS Web " 2001 9" Java, XML, UML " 2005 4 2008 3 " " " ( ) BusinessPlace " ( ) Everforth CTO" OSS" SmartDoc" Relaxer" " UML(BP)" ( )" Relaxer Java/XML
More information() [: ] 1A - 12:55-14:35 2A - 14:50-16:50 3A - 17:05-19:05 1B 12:55-14:35 2B 14:50-16:50 3B P2P 17:05-19:05 1C SNS 12:55-14:35 2C 14:50-16:5
DICOMO2013 (DICOMO2013) 2013710 ()12() 15-1 2013 7 10 () [: ] 1A - 12:55-14:35 2A - 14:50-16:50 3A - 17:05-19:05 1B 12:55-14:35 2B 14:50-16:50 3B P2P 17:05-19:05 1C SNS 12:55-14:35 2C 14:50-16:50 3C 17:05-19:05
More informationHadoopの全て
Kazuki Ohta ( ) Preferred Infrastructure 1 l l l l l ( ) Preferred Infrastructure, CTO Sedue Hadoop Hadoop l l l http://kzk9.net/ @kzk_mover l l l Hadoop Hadoop-Gfarm with I/O Project:
More informationIntroduction
Introduction R&D More Than Web - - 3 R&D Vision Fusion Interaction Collaboration 3 6 Client Server Platform Client Server Platform Client Client Server Platform Server Client Server Platform Platform
More information独立行政法人情報通信研究機構 Development of the Information Analysis System WISDOM KIDAWARA Yutaka NICT Knowledge Clustered Group researched and developed the infor
独立行政法人情報通信研究機構 KIDAWARA Yutaka NICT Knowledge Clustered Group researched and developed the information analysis system WISDOM as a research result of the second medium-term plan. WISDOM has functions that
More information分散ストレージシステム (4) (5) (6) 書き込み 書き込み 読み出し 読み出し (2) コーディネータ 1 Fig. 1 Image of distributed storage system. 2 Fig. 2 Process flow of ( 1 ) ( 2 ) ( 3 )
1 1 1 1 1 key-value store Application of Load Balancing Mechanism with Considering Data Access Frequency to Daisuke Kawakami, 1 Toshihiro Matsui, 1 Shoichi Saito, 1 Tomoaki Tsumura 1 and Hiroshi Matsuo
More informationDEIM Forum 2010 D Development of a La
DEIM Forum 2010 D5-3 432-8011 3-5-1 E-mail: {cs06062,cs06015}@s.inf.shizuoka.ac.jp, {yokoyama,fukuta,ishikawa}@.inf.shizuoka.ac.jp Development of a Large-scale Visualization System Based on Sensor Network
More informationGPGPU
GPGPU 2013 1008 2015 1 23 Abstract In recent years, with the advance of microscope technology, the alive cells have been able to observe. On the other hand, from the standpoint of image processing, the
More informationPublish/Subscribe KiZUNA P2P 2 Publish/Subscribe KiZUNA 2. KiZUNA 1 Skip Graph BF Skip Graph BF Skip Graph Skip Graph Skip Graph DDLL 2.1 Skip Graph S
KiZUNA: P2P 1,a) 1 1 1 P2P KiZUNA KiZUNA Pure P2P P2P 1 Skip Graph ALM(Application Level Multicast) Pub/Sub, P2P Skip Graph, Bloom Filter KiZUNA: An Implementation of Distributed Microblogging Service
More information1 Web DTN DTN 2. 2 DTN DTN Epidemic [5] Spray and Wait [6] DTN Android Twitter [7] 2 2 DTN 10km 50m % %Epidemic 99% 13.4% 10km DTN [8] 2
DEIM Forum 2014 E7-1 Web DTN 112 8610 2-1-1 UCLA Computer Science Department 3803 Boelter Hall, Los Angeles, CA 90095-1596, USA E-mail: yuka@ogl.is.ocha.ac.jp, mineo@cs.ucla.edu, oguchi@computer.org Web
More information1_26.dvi
C3PV 1,a) 2,b) 2,c) 3,d) 1,e) 2012 4 20, 2012 10 10 C3PV C3PV C3PV 1 Java C3PV 45 38 84% Programming Process Visualization for Supporting Students in Programming Exercise Hiroshi Igaki 1,a) Shun Saito
More informationSRA OSS, Inc. のご紹介 1999 年より PostgreSQL サポートを中心に OSS ビジネスを開始 2005 年に現在の形に至る 主なビジネス PostgreSQL, Zabbix などの OSS のサポート コンサルティング 導入構築 PowerGres ファミリーの開発 販売
Amazon Aurora with PostgreSQL Compatibility を評価して SRA OSS, Inc. 日本支社 取締役支社長 石井達夫 SRA OSS, Inc. のご紹介 1999 年より PostgreSQL サポートを中心に OSS ビジネスを開始 2005 年に現在の形に至る 主なビジネス PostgreSQL, Zabbix などの OSS のサポート コンサルティング
More informationIPSJ SIG Technical Report Vol.2013-SLP-98 No /10/25 1,a) 1 ( Q&A ) ( ) YJVOICE Development of speech recognition and natural language processing
1,a) 1 ( Q&A ) ( ) YJVOICE Development of speech recognition and natural language processing for ONSEI Assist service Abstract: ONSEI Assist is a voice dialog application for mobile devices that enables
More informationIBM クラウド事例から考える OSS による企業向けクラウドの可能性 日本アイ ビー エム株式会社 Linux/OSS エバンジェリスト中井悦司 Feb. 27, IBM Corporation
IBM クラウド事例から考える OSS による企業向けクラウドの可能性 日本アイ ビー エム株式会社 Linux/OSS エバンジェリスト中井悦司 Feb. 27, 2010 目次 クラウドとは? IBM クラウド事例に見るクラウド構成技術 クラウドを作る / 使う技術としての OSS 参考資料 2 クラウドとは? 3 仮想化された IT リソースのライフサイクル管理を自動化するのが IBM のクラウド技術です
More informationDEIM Forum 2017 H ,
DEIM Forum 217 H5-4 113 8656 7 3 1 153 855 4 6 1 3 2 1 2 E-mail: {satoyuki,haya,kgoda,kitsure}@tkl.iis.u-tokyo.ac.jp,.,,.,,.,, 1.. 1956., IBM IBM RAMAC 35 IBM 35 24 5, 5MB. 1961 IBM 131,,, IBM 35 13.,
More informationDEIM Forum 2013 B5-2 RMX RMX RMX $, RMX Implementation of the E-m
DEIM Forum 2013 B5-2 RMX 223 8522 3 14 1 E-mail: {matt,zonop,obunai}@db.ics.keio.ac.jp, toyama@ics.keio.ac.jp RMX RMX $, RMX Implementation of the E-mail Text Generating Function and Referring to Body
More informationDEIM Forum 2019 J
DEIM Forum 2019 J3-5 112 8610 2 1 1 101 8430 2 1 2 305 8560 1 1 1 E-mail: {g1320510,oguchi}@is.ocha.ac.jp, takefusa@nii.ac.jp, hide-nakada@aist.go.jp Apache Spark Ray Ray Apache Apache Kafka Construction
More information2018 IPSJ/SIGSE Software Engineering Symposium (SES2018) 1,a) 1,b) 1,c) Java 2014 Java Java Java Stream Optional 18% Stream 5% Stream JDK6/7
1,a) 1,b) 1,c) Java 214 Java Java Java 1 13 3 Stream Optional 18% Stream 5% Stream JDK6/7 Java Stream Optional 1. [1], [2], [3] [4] 2 1 a) h-tanaka@ist.osaka-u.ac.jp b) shinsuke@ist.osaka-u.ac.jp c) kusumoto@ist.osaka-u.ac.jp
More information情報処理学会研究報告 IPSJ SIG Technical Report Vol.2013-HPC-139 No /5/29 Gfarm/Pwrake NICT NICT 10TB 100TB CPU I/O HPC I/O NICT Gf
Gfarm/Pwrake NICT 1 1 1 1 2 2 3 4 5 5 5 6 NICT 10TB 100TB CPU I/O HPC I/O NICT Gfarm Gfarm Pwrake A Parallel Processing Technique on the NICT Science Cloud via Gfarm/Pwrake KEN T. MURATA 1 HIDENOBU WATANABE
More informationi Ceph
23 Ceph I/O 20 20115107 i 1 1 2 2 2.1.............................. 2 2.1.1..................... 2 2.1.2.................. 3 2.1.3....................... 3 2.2 Ceph........................ 4 2.2.1.................................
More information¥¤¥ó¥¿¡¼¥Í¥Ã¥È·×¬¤È¥Ç¡¼¥¿²òÀÏ Âè11²ó
11 2013 6 19 11 (6/19) 6 (18:10-19:40) λ13 UNIX : 2 / 26 UNIX UNIX sort, head, tail, cat, cut diff, tee, grep, uniq, wc join, find, sed, awk, screen 3 / 26 sort sort : $ sort [options] [FILE...] options
More information2
1 2 3 4 5 6 7 8 tbody tr div [_im_enclosure] div [_im_repeater] span [_im_enclosure] span [_im_repeater] ol li ul li select option 9 10
More informationDockerの商用サービスでの利用事例紹介
1 Docker maebashi@iij.ad.jp Docker 2015 Internet Initiative Japan Inc. http://www.iij.ad.jp/biz/storage/ 2015 Internet Initiative Japan Inc. IIJ GIO & REST API(AWS S3 ) + Hadoop/Hive 2015 Internet Initiative
More informationtutorial_lc.dvi
00 Linux v.s. RT Linux v.s. ART-Linux Linux RT-Linux ART-Linux Linux kumagai@emura.mech.tohoku.ac.jp 1 1.1 Linux Yes, No.,. OS., Yes. Linux,.,, Linux., Linux.,, Linux. Linux.,,. Linux,.,, 0..,. RT-Linux
More information58.pdf
Swing MasatoshiKanamaru masatoshi-kanamaru@exa-corp.co.jp Web Web exa review Swing Web HTML Web GUI HTML GUI JavaScript HTML GUI VB Web JSP HTML HTML HTML Struts Web HTML HTML HTML AjaxJavaScript B2C Flash
More information世界のビジネスアプリケーションをモダナイズする Micro Focus 1976 年英国で設立 ( 日本法人は1984 年設立 ) オープンシステムターゲットのCOBOL 製品でトップシェア ロンドン証券市場に上場 Annual revenues : $434.8 million お客様
世界の COBOL 最新動向 ~ ワールドワイドで実績豊富なコンパイラを使用してクラウド ビッグデータへ柔軟にキャッチアップ ~ マイクロフォーカス株式会社 世界のビジネスアプリケーションをモダナイズする Micro Focus 1976 年英国で設立 ( 日本法人は1984 年設立 ) オープンシステムターゲットのCOBOL 製品でトップシェア ロンドン証券市場に上場 Annual revenues
More informationPowerPoint Presentation
Mahout を使った レコメンデーションのプロトタイプ 2011/10/21 アドソル日進株式会社 荒本道隆 ゴールイメージ 蓄積されたデータを使って Mahout で解析 まずは お医者さんが利用することを想定 患者側が利用することはできないだろうか? Hadoop によるフィルタリングスクリプトによる簡易な記述 Mahout による解析処理 MML レセプトデータ CSV CSV S3( 大量データ
More information23 Fig. 2: hwmodulev2 3. Reconfigurable HPC 3.1 hw/sw hw/sw hw/sw FPGA PC FPGA PC FPGA HPC FPGA FPGA hw/sw hw/sw hw- Module FPGA hwmodule hw/sw FPGA h
23 FPGA CUDA Performance Comparison of FPGA Array with CUDA on Poisson Equation (lijiang@sekine-lab.ei.tuat.ac.jp), (kazuki@sekine-lab.ei.tuat.ac.jp), (takahashi@sekine-lab.ei.tuat.ac.jp), (tamukoh@cc.tuat.ac.jp),
More informationPowerPoint Presentation
ProjectLA バックエンドの技術解説 RDF を使った三つ組みデータの格納 2013/03/14 クラウド テクノロジー研究部会リーダー荒本道隆 ( アドソル日進株式会社 ) 何故 RDF か? 断片的なデータを相互につなぎたい RDFは主語 述語 目的語の三つ組構造で表現 目的語と主語に同じ値を設定して それぞれをつなぐ 属性を事前に決定できない RDFはスキーマレスなので 柔軟に対応できる
More informationOSS JobScheduler openqrm Hadoop XtreemFS Ceph, Fabric etc. 2013/12/9 OSS X Users Meeting #5 OpenStack 2
OSS X Users Meeting #5 OpenStack JobScheduler Openstack 2013 12 9 JobScheduler @satoruf 2013/12/9 OSS X Users Meeting #5 OpenStack 1 OSS JobScheduler openqrm Hadoop XtreemFS Ceph, Fabric etc. 2013/12/9
More informationElastic stack Jun Ohtani 1
Elastic stack Jun Ohtani 2017/12/06 @johtani 1 about Me, Jun Ohtani / Technical Advocate lucene-gosen ElasticSearch Server http://blog.johtani.info Elasticsearch, founded in 2012 Products: Elasticsearch,
More informationMicrosoft PowerPoint - SWoPP2010_Shirahata
GPU を考慮した MapReduce の タスクスケジューリング 白幡晃一 1 佐藤仁 1 松岡聡 1 2 3 1 東京工業大学 2 科学技術振興機構 3 国立情報学研究所 大規模データ処理 情報爆発時代における 大規模データ処理 気象 生物学 天文学 物理学など様々な科学技術計算での利用 MapReduce 大規模データ処理のためのプログラミングモデルデ スケーラブルな並列データ処理 GPGPU
More informationAn Interactive Visualization System of Human Network for Multi-User Hiroki Akehata 11N F
An Interactive Visualization System of Human Network for Multi-User Hiroki Akehata 11N8100002F 2013 3 ,.,.,.,,., (, )..,,,.,,.,, SPYSEE. SPYSEE,,., 2,,.,,.,,,,.,,,.,, Microsoft Microsoft PixelSense Samsung
More informationHP High Performance Computing(HPC)
ACCELERATE HP High Performance Computing HPC HPC HPC HPC HPC 1000 HPHPC HPC HP HPC HPC HPC HP HPCHP HP HPC 1 HPC HP 2 HPC HPC HP ITIDC HP HPC 1HPC HPC No.1 HPC TOP500 2010 11 HP 159 32% HP HPCHP 2010 Q1-Q4
More informationA Study on Practical Use of Artificial Intelligence. The purpose of this research paper is to demonstrate the ease of using artificial intelligence in
A Study on Practical Use of Artificial Intelligence. The purpose of this research paper is to demonstrate the ease of using artificial intelligence in the light of the recent popularity of tertiary artificial
More information,4) 1 P% P%P=2.5 5%!%! (1) = (2) l l Figure 1 A compilation flow of the proposing sampling based architecture simulation
1 1 1 1 SPEC CPU 2000 EQUAKE 1.6 50 500 A Parallelizing Compiler Cooperative Multicore Architecture Simulator with Changeover Mechanism of Simulation Modes GAKUHO TAGUCHI 1 YOUICHI ABE 1 KEIJI KIMURA 1
More information403-0702_‚Ofl¼
HP-UX HP System Insight Manager Whitepaper ..................................................................................2..............................................................2 SIM....................................................................................2.............................................................3................................................................................3
More informationLotus Domino XML活用の基礎!
IBM Software Group Lotus Domino XML 2 Agenda Domino XML Domino XML Lotus Domino Web XML Lotus Domino Web XML XML 3 Domino XML Language (DXL) XML Lotus Domino Lotus Notes/Domino R5 Lotus Notes/Domino 6.x
More informationLeveraging Cloud Computing to launch Python apps
(Twitter: @KenTamagawa) v 1.1 - July 21st, 2011 (Ken Tamagawa) Twitter: @KenTamagawa 2011 8 6 Japan Innovation Leaders Summit IT IT AWS 90% AWS 90% アーキテクチャ設計 Intro }7 Intro 1 2 3 4 5 6 7 Intro 1 2 3 4
More information01.12期・井須英次1.doc
Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 21 Forum 21 Forum 21 Forum 21 Forum 21 21 Forum 21 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum
More information1.3期・井上健0.doc
Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 Forum 21 10 14 8 6.5 2 37 3 10 30 100 21,002 12 9,401 56 2 11 5 ( ) 231011 22.8 21.016.815.715.214.314.713.310.610.8
More informationB HNS 7)8) HNS ( ( ) 7)8) (SOA) HNS HNS 4) HNS ( ) ( ) 1 TV power, channel, volume power true( ON) false( OFF) boolean channel volume int
SOA 1 1 1 1 (HNS) HNS SOA SOA 3 3 A Service-Oriented Platform for Feature Interaction Detection and Resolution in Home Network System Yuhei Yoshimura, 1 Takuya Inada Hiroshi Igaki 1, 1 and Masahide Nakamura
More information,., ping - RTT,., [2],RTT TCP [3] [4] Android.Android,.,,. LAN ACK. [5].. 3., 1.,. 3 AI.,,Amazon, (NN),, 1..NN,, (RNN) RNN
DEIM Forum 2018 F1-1 LAN LSTM 112 8610 2-1-1 163-8677 1-24-2 E-mail: aoi@ogl.is.ocha.ac.jp, oguchi@is.ocha.ac.jp, sane@cc.kogakuin.ac.jp,,.,,., LAN,. Android LAN,. LSTM LAN., LSTM, Analysis of Packet of
More informations
s073083 23 3 17 1 2 1.1.............................. 2 1.2.............................. 2 1.3.............................. 3 2 4 2.1........................... 4 2.2 Google App Engine........................
More informationWeb Web Web Web Web, i
22 Web Research of a Web search support system based on individual sensitivity 1135117 2011 2 14 Web Web Web Web Web, i Abstract Research of a Web search support system based on individual sensitivity
More information1 GPU GPGPU GPU CPU 2 GPU 2007 NVIDIA GPGPU CUDA[3] GPGPU CUDA GPGPU CUDA GPGPU GPU GPU GPU Graphics Processing Unit LSI LSI CPU ( ) DRAM GPU LSI GPU
GPGPU (I) GPU GPGPU 1 GPU(Graphics Processing Unit) GPU GPGPU(General-Purpose computing on GPUs) GPU GPGPU GPU ( PC ) PC PC GPU PC PC GPU GPU 2008 TSUBAME NVIDIA GPU(Tesla S1070) TOP500 29 [1] 2009 AMD
More information1 8 4 22 8 4 15301830 () 2
1 1 8 4 22 8 4 15301830 () 2 3 2 8 11 22 8 11 1500130 () 4 5 6 8 1 22 8 18 1500130 () D. 7 Cloud computing A SP ---------- A pplication Service Provider SaaS -------- Software as a Service Grid computing
More informationGnutella Peer-to-Peer(P2P) P2P Linux P2P
13 Peer-to-Peer 98-0701-7 14 2 7 Gnutella Peer-to-Peer(P2P) P2P Linux P2P 3 1 6 2 8 2.1......................... 8 2.1.1 Domain Name System(DNS)............. 9 2.1.2 Web Caching System............ 11
More informationCAS Yale Open Source software Authentication Authorization (nu-cas) Backend Database Authentication Authorization to@math.nagoya-u.ac.jp, Powered by A
Central Authentication System naito@math.nagoya-u.ac.jp to@math.nagoya-u.ac.jp, Powered by Adobe Reader & ipod Photo March 10, 2005 RIMS p. 1/55 CAS Yale Open Source software Authentication Authorization
More information