ビッグデータアナリティクス - 第3回: 分散処理とApache Spark

Size: px
Start display at page:

Download "ビッグデータアナリティクス - 第3回: 分散処理とApache Spark"

Transcription

1 3 : Apache Spark / 32

2 ZB ZB 1ZB = = 1,000,000,000,000 GB Word Excel XML CSV JSON text / 32

3 CPU SPECfp Pentium G ,946 Xeon Gold , Xeon Platinum , PRIMERGY RX GB 19 PRIMERGY RX GB 45 PRIMERGY RX GB 180 1TB SATA 200MB/s 2500 SAS 300MB/s 5.1 SSD 600MB/s / 32

4 CPU / 32

5 R Excel Excel / 32

6 Mapreduce MapReduce Hadoop/Spark Map: Reduce: Map Hadoop/Spark1.x Spark 2.x / 32

7 Apache Spark / 32

8 twitter (JSON) /project/bigdata-lab/bda/tweet_ json 150GB (10/15 ) twitter 1% spark % time cat /project/bigdata-lab/bda/tweet_ json wc -l cat tweet_ json 0.13s user 46.46s system 4% cpu 18:29.32 total wc -l 19.21s user 29.22s system 4% cpu 18:29.32 total I/O / 32

9 JSON CSV XML JavaScript {"id": , "text":" \n ","place":null,"lang":"ja"} { :, :, :, :,...} { :, :{ :{ :, :,...}, :,...}} / 32

10 {...,"lang":"ja",...} % lang : ja % cat /project/bigdata-lab/bda/tweet_ json grep \"lang\":\"ja\" w ) / 32

11 Spark MLlib GraphX Spark Scala, Java, Python, R Hadoop HDFS Hive Text CSV JSON / 32

12 Hadoop Hadoop Spark bda1node0x (x ) bda1node01 04 ssh bda1node05 $ ssh bda1node05 Last login: Mon Oct 16 16:00: from mm-dhcp naist.jp :12:14 JST [ysuzuki@bda1node05 ~]$ mandara $ cat /project/bigdata-lab/bda/tweet_ json head [Tue Oct 03 20:40:40 JST 2017]Establishing connection. [Tue Oct 03 20:40:42 JST 2017]Connection established. [Tue Oct 03 20:40:42 JST 2017]Receiving status stream. {"in_reply_to_status_id_str":null,"in_reply_to_status_id":null, "created_at":"tue Oct 03 11:40: ","in_reply_to _user_id_str":null,"source":"<a href=\" / 32

13 HDFS Hadoop Spark Linux HDFS HDFS % hadoop fs -put /project/bigdata-lab/bda/tweet_ json HDFS % hadoop fs -ls -h Found 4 items drwx ysuzuki is-staff :00.Trash drwxr-xr-x - ysuzuki is-staff :59.sparkStaging drwx ysuzuki is-staff :32.staging -rw-r--r-- 3 ysuzuki is-staff G :42 tweet_ json / 32

14 Spark Spark Scala Java Python R Python spark % pyspark2 --master yarn % pyspark2 % spark2-shell --master yarn scala % pyspark2 --driver-memory 16g --executor-memory 16g --master yarn Welcome to / / / / \ \/ _ \/ _ / / _/ / /. /\_,_/_/ /_/\_\ version cloudera2 /_/ Using Python version (r266:84292, Aug :36:59) SparkSession available as spark. >>> / 32

15 DataFrame Spark (DataFrame) (select,filter,groupby) (join) (read, show) / 32

16 >>> df = spark.read.json("/user/ysuzuki/tweet_ json") df tweet_ json >>> df.count() / 32

17 >>> df.filter("lang= ja ").count() ja en es groupby / 32

18 >>> df.groupby("lang").count().sort("count", ascending=false).show() lang count en ja es ar und ko pt th only showing top 20 rows / 32

19 1) 2) Spark / 32

20 count.py count.py from pyspark.sql import SparkSession spark = SparkSession \.builder \.appname("app example") \.config("master", "yarn") \.getorcreate() df = spark.read.json("tweet_ json") print df.count() count.py % spark2-submit count.py tee output.txt % cat output.txt / 32

21 >>> from pyspark.sql.functions import explode,split >>> df.filter("lang = en ").select("text").distinct().select(explode(split( text, ))).groupby("col").count().sort("count",ascending=false).show() col count RT the to a I be me only showing top 20 rows / 32

22 >>> df.groupby("text").count().show() text count Big economic call... reall count >>> df.groupby("text").count().sort("count",ascending=false).show() text count / 32

23 >>> df.groupby("text").count().sort("count",ascending=false).show(20,false) text #L 10/15 1 #L (^^) 3 10/13 10:59 # 4284 I appreciate Eminem / 32

24 >>> df.groupby("user.name").count().sort("count",ascending=false).show(20,false) name count ; ID / 32

25 ID >>> a = df.groupby("user.id").count().sort("count",ascending=false) >>> a.show() id count / 32

26 ID >>> b = df.select("user.id","user.name").distinct() >>> b.show() id name [6 ] Vibes Liseth Valencia R / 32

27 a b >>> c = a.join(b, a.id == b.id, inner ).select("name","count") >>> c.show() name count McDonalds Japan Test Account (NESCAF ) / 32

28 text >>> df.where(col( text ).like("% %")).select( text ).show() text / 32

29 CSV >>> c.write.csv("output_csv") >>> exit $ hadoop fs -get output_csv output_csv Excel utf-8 Excel / 32

30 / 32

31 / 32

32 Apache Spark 100GB / 32

Spark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回

Spark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回 Spark NAIST 2 2015 10 16 Hadoop Spark Apache Spark 2 / 39 (three V) (Volume) 2011 1.8ZB 2020 35ZB 1ZB 1 = 10 21 B = 1, 000 EB = 1, 000, 000 PB = 1, 000, 000, 000 TB = 1, 000, 000, 000, 000 GB (Variety)

More information

WebOS aplat WebOS WebOS 3 XML Yahoo!Pipes Popfry UNIX grep awk XML GUI WebOS GUI GUI 4 CUI

WebOS aplat WebOS WebOS 3 XML Yahoo!Pipes Popfry UNIX grep awk XML GUI WebOS GUI GUI 4 CUI 7 XML Week Web WebOS WebShell WebOS WebOS GUI WebOS WebOS 2 WebOS aplat WebOS WebOS 3 XML Yahoo!Pipes Popfry UNIX grep awk XML GUI WebOS GUI GUI 4 CUI CUI JavaScript I/O CommandClass WebShell webshell

More information

HP ProLiant Gen8とRed Hatで始めるHadoop™ ~Hadoop™スタートアップ支援サービス~

HP ProLiant Gen8とRed Hatで始めるHadoop™ ~Hadoop™スタートアップ支援サービス~ Brochure Gen8 Red Hat Hadoop Hadoop Hadoop Hadoop Hadoop HP Hadoop IT IDC 20122.7ZB 2011 48% 20158ZB 2 IDC 20122.7ZB 2011 48%20158ZB 1 DC Predictions 2012: Competing for 2020 IDC 2011 12 : 1ZB =10 Hadoop

More information

2011年11月10日 クラウドサービスのためのSINET 学認説明会 九州地区説明会 九州大学キャンパス クラウドシステムの導入 伊東栄典 情報基盤研究開発センター 1

2011年11月10日 クラウドサービスのためのSINET 学認説明会 九州地区説明会 九州大学キャンパス クラウドシステムの導入 伊東栄典 情報基盤研究開発センター 1 2011年11月10日 クラウドサービスのためのSINET 学認説明会 九州地区説明会 九州大学キャンパス クラウドシステムの導入 伊東栄典 情報基盤研究開発センター ito.eisuke.523@m.kyushu-u.ac.jp 1 用 方 } } } } } 用 (Public Cloud) } Amazon EC2/S3/ElasticMapReduce } (Community Cloud)

More information

P P P P P P P OS... P P P P P P

P P P P P P P OS... P P P P P P SAS Visual Analytics on MapR Converged Data Platform 2015 12 1. 1.1... P2 1.2... P2 2. 2.1... P3 2.2... P6 2.2.1... P6 2.2.2... P6 2.3... P10 3. 3.1 OS... P11 3.2... P12 3.3... P13 3.4... P13 3.5... P14

More information

2 JSON., 2. JSON,, JSON Jaql [9] Spark Streaming [8], Spark [7].,, 2, 3 4, JSON [3], Jaql [9], Spark [7] Spark Streaming [8] JSON JSON [

2 JSON., 2. JSON,, JSON Jaql [9] Spark Streaming [8], Spark [7].,, 2, 3 4, JSON [3], Jaql [9], Spark [7] Spark Streaming [8] JSON JSON [ DEIM Forum 2016 G1-4,, 305 8573 1-1-1 305 8573 1-1-1 305 8573 1-1-1 E-mail: denam96@kde.cs.tsukuba.ac.jp, {shiokawa,kitagawa}@cs.tsukuba.ac.jp,,.,,,.,, (1), (2),.,, 1.,.,,.,,,,, Storm [2] STREAM [5], S4

More information

Joint Content Development Proposal Tech Docs and Curriculum

Joint Content Development Proposal Tech Docs and Curriculum 徹底解説!Hortonworks が提供する次世代データプラットフォーム 蒋逸峰 & 河村康爾 Hortonworks October 10, 2017 1 Hortonworks Inc. 2011 2016. All Rights Reserved 総合的な管理 セキュリティやガバナンス ON-PREMISES CLOUD EDGE MULTI-WORKLOADS MULTI-TYPE MULTI-TIER

More information

DEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo

DEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo DEIM Forum 12 C2-6 Hadoop 112-86 2-1-1 E-mail: momo@ogl.is.ocha.ac.jp, oguchi@computer.org Web Hadoop Distributed File System Hadoop I/O I/O Hadoop A Study about the Remote Data Access Control for Hadoop

More information

yamamoto_hadoop.pptx

yamamoto_hadoop.pptx Hadoop Streaming 2011/2/16 H22 ? SaaS (So5ware as a Service) (,etc.) PaaS (Pla?orm as a Service) (Google App Engine,, Mixi Appli etc.) IaaS (Infrastructure as a Service) (Amazon EC2) VMWare ESX, Hyper-

More information

Microsoft Word - D JP.docx

Microsoft Word - D JP.docx Application Service Gateway Thunder/AX Series vthunder ライセンスキー インストール 手順 1 1.... 3 2. vthunder... 3 3. ACOS... 3 4. ID... 5 5.... 8 6.... 8 61... 8 62 GUI... 10 2 1. 概要 2. vthunder へのアクセス 方法 SSHHTTPSvThunder

More information

Abstract Journal of Agricultural Science 2

Abstract Journal of Agricultural Science 2 Cambridge Journals Online Cambridge University Press 2003 1 Cambridge University Press URL: http://www.journals.cambridge.org/ Cambridge Journal Online My CJO Browse Journals Subscribed Journals Subscribed

More information

unix.dvi

unix.dvi 1 UNIX 1999 4 27 1 UNIX? 2 1.1 Windows/Macintosh? : : : : : : : : : : : : : : : : : : : : : : : : 2 1.2 UNIX OS : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 2 1.3 : : : : : : : : : : : :

More information

UNIX

UNIX 2000 1 UNIX 2000 4 14 1 UNIX? 2 1.1 UNIX OS....................................... 2 1.2.................................................... 2 1.3 UNIX...................................... 2 1.4 Windows

More information

459

459 459 40 5 200606-1,940 7 - - - 480.2 3.6+0.8 40 4,00010 0.791 50 5 200608-2,740 5 - - - 600.2 4.1+0.8 51 4,00010 1.122 65 5 200610-3,500 5 - - - 760.3 4.1+0.8 67 4,00010 1.445 75 5 200611-5,360 3 - - -

More information

1 2 1 2 2 2 2 3 3 1 3 1 4 2 4 5 2 4 2 6 2 6 3 1 2 4 2 4 4 5 3 6 2 No. 18 1 57.500 51.600 55.100 55.000 219.200 2 56.000 54.800 52.600 53.750 217.150 2.050 3 56.050 54.000 52.150 54.500 216.700

More information

( ) Shift JIS ( ) ASCII ASCII ( ) 8bit = 1 Byte JIS(Japan Industrial Standard) X 0201 (X ) 2 Byte JIS ISO-2022-JP, Shift JIS, EUC 1 Byte 2 By

( ) Shift JIS ( ) ASCII ASCII ( ) 8bit = 1 Byte JIS(Japan Industrial Standard) X 0201 (X ) 2 Byte JIS ISO-2022-JP, Shift JIS, EUC 1 Byte 2 By 23 3 ( ( (binary file) UNIX CUI 3.1 = + 2 bit ) ( 3.1) bit bit 1 Byte=8 bit 1 Byte ASCII, JIS X 0201 ASCII(American Standard Code for Information Interchange) 7bit (;) (:) ( ) (") ) 7bit ( ) 24 3 3.1 (

More information

Plan of Talk CAS CAS 2 CAS Single Sign On CAS CAS 2 CAS Aug. 19, 2005 NII p. 2/32

Plan of Talk CAS CAS 2 CAS Single Sign On CAS CAS 2 CAS Aug. 19, 2005 NII p. 2/32 CAS Single Sign On naito@math.nagoya-u.ac.jp naito@math.nagoya-u.ac.jp, Aug. 19, 2005 NII p. 1/32 Plan of Talk CAS CAS 2 CAS Single Sign On CAS CAS 2 CAS naito@math.nagoya-u.ac.jp, Aug. 19, 2005 NII p.

More information

¥¤¥ó¥¿¡¼¥Í¥Ã¥È·×¬¤È¥Ç¡¼¥¿²òÀÏ Âè11²ó

¥¤¥ó¥¿¡¼¥Í¥Ã¥È·×¬¤È¥Ç¡¼¥¿²òÀÏ Âè11²ó 11 2013 6 19 11 (6/19) 6 (18:10-19:40) λ13 UNIX : 2 / 26 UNIX UNIX sort, head, tail, cat, cut diff, tee, grep, uniq, wc join, find, sed, awk, screen 3 / 26 sort sort : $ sort [options] [FILE...] options

More information

HPE Moonshot System ~ビッグデータ分析&モバイルワークプレイスを新たなステージへ~

HPE Moonshot System ~ビッグデータ分析&モバイルワークプレイスを新たなステージへ~ Brochure HPE Moonshot System HPE Moonshot System 4.3U 45 HPE Moonshot System Xeon & HPE Moonshot System HPE Moonshot System HPE HPE Moonshot System &IoT & SoC Xeon D-1500 Broadwell-DE HPE ProLiant m510

More information

プレゼンテーション

プレゼンテーション WEB OpenSolaris Name Title Japan OpenSolaris User Group Leader 1 ........ S X S 5 S S 5.. 2001. 2 Japan OpenSolaris User Group. OpenSolaris. http://jp.opensolaris.org. ug-jposug@opensolaris.org. OpenSolaris.

More information

フカシギおねえさん問題の高速計算アルゴリズム

フカシギおねえさん問題の高速計算アルゴリズム JST ERATO 2013/7/26 Joint work with 1 / 37 1 2 3 4 5 6 2 / 37 1 2 3 4 5 6 3 / 37 : 4 / 37 9 9 6 10 10 25 5 / 37 9 9 6 10 10 25 Bousquet-Mélou (2005) 19 19 3 1GHz Alpha 8 Iwashita (Sep 2012) 21 21 3 2.67GHz

More information

n n n ( ) n Oracle 16 PostgreSQL 3 MySQL

n n n ( ) n Oracle 16 PostgreSQL 3 MySQL SaaS CAM MACS PostgreSQL ~ ~ 7 PostgreSQL in 2014/02/07 n n n ( ) n Oracle 16 PostgreSQL 3 MySQL n SaaS CAM MACS n AWS n 1993 6 1 1999 4 1 C/S CAM MACS 2007 4 1 SaaS CAM MACS 2007 11 1 SaaS CAM MACS CAM

More information

PRIMERGY 性能情報 SPECint2006 / SPECfp2006 測定結果一覧

PRIMERGY 性能情報 SPECint2006 / SPECfp2006 測定結果一覧 SPECint / SPECfp 測定結果一覧 しおり より 測定結果を確認したいモデル名を選択してください 07 年 8 月 30 日更新 分類 モデル名 更新日 前版からの変更 ラックサーバ RX00 S7 (0 年 5 月以降発表モデル ) 0 年 0 月 3 日 RX00 S7 (0 年 6 月発表モデル ) RX00

More information

3. XML, DB, DB (AP). DB, DB, AP. RDB., XMLDB, XML,.,,.,, (XML / ), XML,,., AP. AP AP AP 検索キー //A=1 //A=2 //A=3 返却 XML 全体 XML 全体 XML 全体 XMLDB <root> <A

3. XML, DB, DB (AP). DB, DB, AP. RDB., XMLDB, XML,.,,.,, (XML / ), XML,,., AP. AP AP AP 検索キー //A=1 //A=2 //A=3 返却 XML 全体 XML 全体 XML 全体 XMLDB <root> <A PostgreSQL XML 1 1 1 1 XML,,, /. XML.,,, PostgreSQL.. Implementation of Yet Another XML-type for PostgreSQL Toshifumi Enomoto, 1 Gengo Suzuki, 1 Nobuyuki Kobayashi 1 and Masashi Yamamuro 1 There are various

More information

csj-report.pdf

csj-report.pdf 527 9 CSJ CSJ CSJ 1 8 XML CSJ XML Browser (MonoForC) CSJ 1.7 CSJ CSJ CSJ 9.1 GREP GREP Unix Windows Windows (http://www.vector.co.jp/) Trn Windows Trn > > grep *.trn 528 9 CSJ A01F0132.trn:& A01M0097.trn:&

More information

1. 1 DBMS Unix (USP ) ( )[3] 20 UNIX [2] KISS UNIX 1. 2 (Tukubai ) Unix OS Unix USP Tukubai Tukubai 1. 3 Unix SQL Tukubai usp Tukubai Open usp Tukubai

1. 1 DBMS Unix (USP ) ( )[3] 20 UNIX [2] KISS UNIX 1. 2 (Tukubai ) Unix OS Unix USP Tukubai Tukubai 1. 3 Unix SQL Tukubai usp Tukubai Open usp Tukubai 34 (2017 ) Unix UNIX 20 RDBMS RDBMS Java Unix Unix Unix Unicage is a system development method based on UNIX philosophy and has been applied on business system integration for 20 years. In these days,

More information

Introduction

Introduction Introduction R&D More Than Web - - 3 R&D Vision Fusion Interaction Collaboration 3 6 Client Server Platform Client Server Platform Client Client Server Platform Server Client Server Platform Platform

More information

strtok-count.eps

strtok-count.eps IoT FPGA 2016/12/1 IoT FPGA 200MHz 32 ASCII PCI Express FPGA OpenCL (Volvox) Volvox CPU 10 1 IoT (Internet of Things) 2020 208 [1] IoT IoT HTTP JSON ( Python Ruby) IoT IoT IoT (Hadoop [2] ) AI (Artificial

More information

DEIM Forum 2019 H2-2 SuperSQL SuperSQL SQL SuperSQL Web SuperSQL DBMS Pi

DEIM Forum 2019 H2-2 SuperSQL SuperSQL SQL SuperSQL Web SuperSQL DBMS Pi DEIM Forum 2019 H2-2 SuperSQL 223 8522 3 14 1 E-mail: {terui,goto}@db.ics.keio.ac.jp, toyama@ics.keio.ac.jp SuperSQL SQL SuperSQL Web SuperSQL DBMS PipelineDB SuperSQL Web Web 1 SQL SuperSQL HTML SuperSQL

More information

インターネットと運用技術シンポジウム 2016 Internet and Operation Technology Symposium 2016 IOTS /12/1 syslog 1,2,a) 3,b) syslog syslog syslog Interop Tokyo Show

インターネットと運用技術シンポジウム 2016 Internet and Operation Technology Symposium 2016 IOTS /12/1 syslog 1,2,a) 3,b) syslog syslog syslog Interop Tokyo Show syslog 1,2,a) 3,b) syslog syslog syslog Interop Tokyo ShowNet syslog Proposal of the anomaly detection method analyzing syslog data using Bollinger Bands algorithm on event network Hiroshi Abe 1,2,a) Mikifumi

More information

PowerPoint Presentation

PowerPoint Presentation Mahout を使った レコメンデーションのプロトタイプ 2011/10/21 アドソル日進株式会社 荒本道隆 ゴールイメージ 蓄積されたデータを使って Mahout で解析 まずは お医者さんが利用することを想定 患者側が利用することはできないだろうか? Hadoop によるフィルタリングスクリプトによる簡易な記述 Mahout による解析処理 MML レセプトデータ CSV CSV S3( 大量データ

More information

untitled

untitled 25 10 12 11 24 (1) 14 (2) 26 10 44 (3) (4) (5) 27 10 68 (6) (7) (8) 25 10 ( ) (1) (2) (3) ) city.yokohama.lg.jp city.yokohama.jp WEB WEB WEB WEB WEB WEB 1 25 10 WEB WEB (1) (2) (3) (4) 25 10 (1) WEB (2)

More information

Microsoft Word - Live Meeting Help.docx

Microsoft Word - Live Meeting Help.docx 131011 101919 161719 19191110191914 11191417 101919 1915101919 Microsoft Office Live Meeting 2007 191714191412 1913191919 12 151019121914 19151819171912 17191012151911 17181219 1610121914 19121117 12191517

More information

ORCA (Online Research Control system Architecture)

ORCA (Online Research Control system Architecture) ORCA (Online Research Control system Architecture) ORCA Editor Ver.1.2 1 9 10 ORCA EDITOR 10 10 10 Java 10 11 ORCA Editor Setup 11 ORCA Editor 12 15 15 ORCA EDITOR 16 16 16 16 17 17 ORCA EDITOR 18 ORCA

More information

IPSJ-HPC

IPSJ-HPC can effectively exploit the I/O performance of clusters with Gbit/sec-class flash memories. In this paper, we first outline our prototype MapReduce system which utilizes distributed key-value store. And

More information

dicutil1_5_2.book

dicutil1_5_2.book Kabayaki for Windows Version 1.5.2 ...1...1 1...3...3 2...5...5...5...7...7 3...9...9...9...10...10...11...12 1 2 Kabayaki ( ) Kabayaki Kabayaki ( ) Kabayaki Kabayaki Kabayaki 1 2 1 Kabayaki ( ) ( ) CSV

More information

,,.,,., II,,,.,,.,.,,,.,,,.,, II i

,,.,,., II,,,.,,.,.,,,.,,,.,, II i 12 Load Dispersion Methods in Thin Client Systems 1010405 2001 2 5 ,,.,,., II,,,.,,.,.,,,.,,,.,, II i Abstract Load Dispersion Methods in Thin Client Systems Noritaka TAKEUCHI Server Based Computing by

More information

DocuWide 2051/2051MF 補足説明書

DocuWide 2051/2051MF 補足説明書 ëêèõ . 2 3 4 5 6 7 8 9 0 2 3 4 [PLOTTER CONFIGURATION] [DocuWide 2050/205 Version 2.2.0] [SERIAL] BAUD_RATE =9600 DATA_BIT =7 STOP_BIT = PARITY =EVEN HANDSHAKE =XON/XOFF EOP_TIMEOUT_VALUE =0 OUTPUT RESPONSE

More information

Agenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2

Agenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2 OpenStack Sahara Road to Kilo www.miran(s.com/jp Copyright 2015 Mirantis, Inc. All rights reserved Agenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2 Hadoop Open-source

More information

"CAS を利用した Single Sign On 環境の構築"

CAS を利用した Single Sign On 環境の構築 CAS Single Sign On (Hisashi NAITO) naito@math.nagoya-u.ac.jp Graduate School of Mathematics, Nagoya University naito@math.nagoya-u.ac.jp, Oct. 19, 2005 Tohoku Univ. p. 1/40 Plan of Talk CAS CAS 2 CAS Single

More information

090801OSC新潟.ppt

090801OSC新潟.ppt CEO miyahara@virtualtech.jp VirtualTech Japan Inc. VTJ 2006 12 14,250,000 1-1-10 CEO CTO 8 5.5 URL http://virtualtech.jp/ 2 1 P2V Xen 3 4 2 6 3 7 2 21 32 5 1 8 4 H/W Point!! 9 A B Phy M Phy M Phy M Phy

More information

new_emc_panf_Hyoushi_0818

new_emc_panf_Hyoushi_0818 EMC NAS 2015 2015 8 EMC 151-0053 2-1-1 http://japan.emc.com http://japan.emc.com/contact/ Copyright 2015 EMC Corporation. All rights reserved. EMC EMC 2 EMCInsightIQ OneFS SmartConnect SmartLock SmartPools

More information

AWSSummitTokyo2018

AWSSummitTokyo2018 AWS Gunosy AWS Summit Tokyo 2018/06/01 自己紹介 - 米田 武 / Takeshi Yoneda / マスタケ - Github/Twitter: @mathetake - 2017/03/31: - MSc. in Mathematics at Osaka University - 2017/04/01~ - Machine learning engineer

More information

fx-9860G Manager PLUS_J

fx-9860G Manager PLUS_J fx-9860g J fx-9860g Manager PLUS http://edu.casio.jp k 1 k III 2 3 1. 2. 4 3. 4. 5 1. 2. 3. 4. 5. 1. 6 7 k 8 k 9 k 10 k 11 k k k 12 k k k 1 2 3 4 5 6 1 2 3 4 5 6 13 k 1 2 3 1 2 3 1 2 3 1 2 3 14 k a j.+-(),m1

More information

Specification.dvi

Specification.dvi 17 7 i 1 1.1 1( TERM1) (230 ) 2( TERM2) (50 ) 1( TERM3) (1 ) 2( TERM4) (1 ) 3( TERM5) (1 ) ( COM1) (2 ) ( COM2) (8 ) ( COM3) (1 ) UNIX ( COM4) (1 ) ( FS1) (1 ) ( PR1) (9 ) ( COM5) (2 ) ( PR2) (1 ) ( MISC1)

More information

100123SLES11HA.pptx

100123SLES11HA.pptx SLES11 Xen +HA CEO miyahara@virtualtech.jp VirtualTech Japan Inc. VTJ 2006 12 14,250,000 1-1-10 CEO CTO 8 5.5 URL http://virtualtech.jp/ 2 1 P2V Xen 3 High Availability Extension SUSE Linux Enterprise

More information

1 6/13 2 6/20 3 6/27 4 7/4 5 7/11 6 7/18 N 7 7/25 Warshall-Floyd, Bellman-Ford, Dijkstra TSP DP, 8/1 2 / 36

1 6/13 2 6/20 3 6/27 4 7/4 5 7/11 6 7/18 N 7 7/25 Warshall-Floyd, Bellman-Ford, Dijkstra TSP DP, 8/1 2 / 36 3 2016 6 27 1 / 36 1 6/13 2 6/20 3 6/27 4 7/4 5 7/11 6 7/18 N 7 7/25 Warshall-Floyd, Bellman-Ford, Dijkstra TSP DP, 8/1 2 / 36 1 2 3 3 / 36 4 / 36 os.urandom(n) n >>> import os >>> r = os.urandom(4) #

More information

MENU 키를 누르면 아래의 화면이 나타납니다

MENU 키를 누르면 아래의 화면이 나타납니다 Stand-Alone Digital Video Recorder Advanced MPEG-4 DVR 16 Channel Models クライアントソフト 再インストールマニュアル くまざわ書店専用 日本語版 1 V1.07-n307 This document contains preliminary information and subject to change without notice.

More information

tutorial_lc.dvi

tutorial_lc.dvi 00 Linux v.s. RT Linux v.s. ART-Linux Linux RT-Linux ART-Linux Linux kumagai@emura.mech.tohoku.ac.jp 1 1.1 Linux Yes, No.,. OS., Yes. Linux,.,, Linux., Linux.,, Linux. Linux.,,. Linux,.,, 0..,. RT-Linux

More information

ビッグデータ / IoT 時代にデジタルトランスフォーメーションを実現する Dell Blueprint Dell Cloudera Apache Hadoop / Dell Validated Systems for SAP HANA ソリューションガイド デルの Hadoop / SAP HAN

ビッグデータ / IoT 時代にデジタルトランスフォーメーションを実現する Dell Blueprint Dell Cloudera Apache Hadoop / Dell Validated Systems for SAP HANA ソリューションガイド デルの Hadoop / SAP HAN ビッグデータ / IoT 時代にデジタルトランスフォーメーションを実現する Dell Cloudera Apache Hadoop / Dell Validated Systems for SAP HANA デルの Hadoop / SAP HANA ソリューションは インテル Xeon プロセッサーを搭載しています ご質問 ご購入のお問合せはこちらから 複雑さを増す IT インフラをシンプル化し

More information

小学女子CL

小学女子CL 3km 2015/08/22 10:00 10:18 3km 3(1km*3) 1 8 8 8:12.9 0.0 2 13 13 8:38.0 +25.1 3 9 9 8:51.9 +39.0 4 5 5 8:54.7 +41.8 5 4 4 8:56.4 +43.5 6 1 1 9:34.8 +1:21.9 7 18 18 10:09.9 +1:57.0 8 10 10 10:36.4 +2:23.5

More information

() 50 84 63 22 25 63 22 () () () () () () () () () () () () () 56 26 9 3 2 3 750m 139 25 13 26 152 36 191 300 100 39 () Twitter )

More information

HP OpenSource ブループリント

HP OpenSource ブループリント HP OpenSource MySQL Server 5.0 ver 1.0 1 MySQL 5.0 MySQL 5.0 1 MySQL MySQL 2 MySQL Enterprise MySQL MySQL Enterprise 3 MySQL MySQL 4 MySQL MySQL 5 MySQL Cluster MySQL MySQL Cluster 6 MySQL HP 1 HP Proliant

More information

untitled

untitled Junaio 2011 11/4 Location Base AR GLUE AR www.junaio.com Junaio.com www.junaio.com JunaioDevelopper JunaioDevelopper Public Description public metaio Private D D D OK Create Junaio 3D Description

More information

1 JIS X 8341-3:2016 WCAG2.0 http://waic.jp/docs/wcag2/understanding.html WCAG2.0 http://waic.jp/docs/wcag2/techs.html 2 ... 1... 3... 6 1.1... 6 1.2... 7... 8 1.1.1... 8 1.2.1... 13 1.2.2... 14 1.2.3...

More information

23_33.indd

23_33.indd 23 2TB 1TB 6TB 3TB 2TB 3TB 3TB 2TB 2TB 1TB 1TB 500GB 4TB 1TB 1TB 500GB 2TB 2TB 1TB 1TB RT RT RT RT RT RT RT MAC 10. 10. 10.6 10.5 MAC 10. 10. 10.6 10.5 MAC 10. 10.6 10.5 MAC 10. 10. 10.6 10.5 MAC 10. 10.6

More information

untitled

untitled PRIMERGYPRIMEPOWER Solid STOR PRIMERGY TX200S2, PRIMERGY PRIMEPOWER 450 2006 4 3 2006 4 14 Platform Solution Center ) Solid STOR DRAM Solid State DiskSSD 300 450 Fibre Channel( FC) (FCP) IA PRIMERGY UNIX

More information

3_23.dvi

3_23.dvi Vol. 52 No. 3 1234 1244 (Mar. 2011) 1 1 mixi 1 Casual Scheduling Management and Shared System Using Avatar Takashi Yoshino 1 and Takayuki Yamano 1 Conventional scheduling management and shared systems

More information

CAS Yale Open Source software Authentication Authorization (nu-cas) Backend Database Authentication Authorization to@math.nagoya-u.ac.jp, Powered by A

CAS Yale Open Source software Authentication Authorization (nu-cas) Backend Database Authentication Authorization to@math.nagoya-u.ac.jp, Powered by A Central Authentication System naito@math.nagoya-u.ac.jp to@math.nagoya-u.ac.jp, Powered by Adobe Reader & ipod Photo March 10, 2005 RIMS p. 1/55 CAS Yale Open Source software Authentication Authorization

More information

intra-mart Web for SellSide ver /03/31 Oracle MS-SQL Server IBM DB2 MS-SQL Server IBM DB2 Client Side JavaScript Server Side JavaScript URL -

intra-mart Web for SellSide ver /03/31 Oracle MS-SQL Server IBM DB2 MS-SQL Server IBM DB2 Client Side JavaScript Server Side JavaScript URL - intra-mart Web for SellSide ver3.1.0 2002/03/31 Oracle MS-SQL Server IBM DB2 MS-SQL Server IBM DB2 Client Side JavaScript Server Side JavaScript URL - intra-mart intra-mart intra-mart - 1 - intra-mart

More information

AJACS18_ ppt

AJACS18_ ppt 1, 1, 1, 1, 1, 1,2, 1,2, 1 1 DDBJ 2 AJACS3 2010 6 414:20-15:20 2231 DDBJ DDBJ DDBJ DDBJ NCBI (GenBank) DDBJ EBI (EMBL-Bank) GEO DDBJ Omics ARchive(DOR) ArrayExpress DTA (DDBJ Trace Archive) DRA (DDBJ

More information

スライド 1

スライド 1 Hadoop と SAS との連携テクニック 小林泉 SAS Institute Japan 株式会社 ビジネス推進本部アナリティクスプラットフォーム推進 Techniques in SAS on Hadoop Izumi Kobayashi Analytics Platform Practice, SAS Institute Japan 1 要旨 : ビッグデータ分析の基盤としての Hadoop

More information

untitled

untitled WANJet 1: one-arm F5 Networks Japan K.K. 1 WANJet WANJet https://:10000 F5 Networks Japan K.K. 2 2: WANJet F5 Networks Japan K.K. 3 vs. F5 Networks Japan K.K. 4 3: WANJet F5 Networks

More information

Docker Haruka Iwao Storage Solution Architect, Red Hat K.K. February 12, 2015

Docker Haruka Iwao Storage Solution Architect, Red Hat K.K. February 12, 2015 Docker Haruka Iwao Storage Solution Architect, Red Hat K.K. February 12, 2015 (@Yuryu) : Web (HPC) ( MMORPG) Docker Web OS nginx HTML nginx OS nginx nginx RHEL RHEL OS Docker 2 Dockerfile $ docker build

More information

How to Use In-flight Wi-Fi service ご利用ガイド 3 Flight Plan will be available for international connecting flights within 24 hours. 3 フライトプランは24時間以内であれば 国際

How to Use In-flight Wi-Fi service ご利用ガイド 3 Flight Plan will be available for international connecting flights within 24 hours. 3 フライトプランは24時間以内であれば 国際 How to Use In-flight Wi-Fi service ご利用ガイド 3 Flight Plan will be available for international connecting flights within 24 hours. 3 フライトプランは24時間以内であれば 国際線のお乗り継ぎの便でもご利用いただけます When downloading large amounts

More information

FY14Q4 SMB Magalog December - APJ Version

FY14Q4 SMB Magalog December - APJ Version Business 13.co.jp 13.com/learn/jp/ja/jpbsd1/campaigns/poweredge-13g-server.com/learn/jp/ja/jpbsd1/campaigns/dell-server-transition-campaign Windows Server 2012 https://marketing.dell.com/jp/13g 212-8589

More information

Specification.dvi

Specification.dvi 17 7 7 2 I 1 1.................................... 1 2................................. 1 2.1... 1 2.2.............................. 2 2.3.............................. 2 2.4... 2 2.5......................

More information

~~~~~~~~~~~~~~~~~~ wait Call CPU time 1, latch: library cache 7, latch: library cache lock 4, job scheduler co

~~~~~~~~~~~~~~~~~~ wait Call CPU time 1, latch: library cache 7, latch: library cache lock 4, job scheduler co 072 DB Magazine 2007 September ~~~~~~~~~~~~~~~~~~ wait Call CPU time 1,055 34.7 latch: library cache 7,278 750 103 24.7 latch: library cache lock 4,194 465 111 15.3 job scheduler coordinator slave wait

More information

untitled

untitled 21 21 KEK 2010/3/19 Yoshimi Iida, KEK 2 1 J-PARC Japan Proton Accelerator Research Complex (JAEA) JAEA) KEK @ J-PARC PB JAEA KEK (KEK) (J-PARC) 2010/3/19 Yoshimi Iida, KEK 3 KEKCC J-PARC GRID JPARC-FW

More information

............................................................................................................................. 3.......................

............................................................................................................................. 3....................... Xeon Microsoft* System Center Virtual Machine Manager Self-Service Portal 2.0 Microsoft* System Center Virtual Machine Manager Self-Service Portal 2.0 Xeon 5500 Xeon 5600 IT IT Xeon Windows Server* Hyper-V*

More information

NEEDS Yahoo! Finance Yahoo! NEEDS MT EDINET XBRL Magnetic Tape NEEDS MT Mac OS X Server, Linux, Windows Operating System: OS MySQL Web Apache MySQL PHP Web ODBC MT Web ODBC LAMP ODBC NEEDS MT PHP: Hypertext

More information

Blue Asterisk template

Blue Asterisk template IBM Content Analyzer V8.4.2 TEXT MINER の新機能 大和ソフトウェア開発 2008 IBM Corporation 目次 UI カスタマイズ機能 検索条件の共有 柔軟な検索条件の設定 2 UI カスタマイズ機能 アプリケーションをカスタマイズするために Java Script ファイルおよびカスケーディングスタイルシート (CSS) ファイルの読み込み機能が提供されています

More information

untitled

untitled Excel Word Excel - 12 - 1,2,3,4,5,6 12 3 1,2,3 ( ) - 13 - 1 2 3 1 1 1 [][] Excel - 14 - 1.025 1.025 100-15 - 2005/01/01 38353 Excel 1900 1 1 1 100% 0.550% - 16 - - 17 - I W W K - 18 - M MOK M 90 90-19

More information

PowerPoint Presentation

PowerPoint Presentation MATLAB による 大規模フリートデータ解析 アプリケーションエンジニアリング部齊藤甲次朗 2015 The MathWorks, Inc. 1 アジェンダ はじめに ビッグデータ解析の課題 MATLAB を活用したフリートデータ解析事例 フリートデータ解析実践 デスクトップでの解析 クラスターへのスケールアウト MATLAB 解析のシステムへの統合 まとめ 2 25 GB / 1hour 4 フリートデータ解析を含むビッグデータ解析の課題

More information

PRIMERGY 性能情報 SPECint2006 / SPECfp2006 測定結果一覧

PRIMERGY 性能情報 SPECint2006 / SPECfp2006 測定結果一覧 SPECint / SPECfp 測定結果一覧 しおり より 測定結果を確認したいモデル名を選択してください 07 年 6 月 8 日更新 分類 モデル名 更新日 前版からの変更 ラックサーバ RX00 S7 (0 年 5 月以降発表モデル ) 0 年 0 月 3 日 RX00 S7 (0 年 6 月発表モデル ) RX00

More information

RouteMagic Controller( RMC ) 3.6 RMC RouteMagic RouteMagic Controller RouteMagic Controller MP1200 / MP200 Version 3.6 RouteMagic Controller Version 3

RouteMagic Controller( RMC ) 3.6 RMC RouteMagic RouteMagic Controller RouteMagic Controller MP1200 / MP200 Version 3.6 RouteMagic Controller Version 3 RouteMagic Controller RMC-MP200 / MP1200 - Version 3.6 - RouteMagic Controller( RMC ) 3.6 RMC RouteMagic RouteMagic Controller RouteMagic Controller MP1200 / MP200 Version 3.6 RouteMagic Controller Version

More information

HIGIS 3/プレゼンテーション資料/J_GrayA.ppt

HIGIS 3/プレゼンテーション資料/J_GrayA.ppt SQL on Hadoop のホントのところ Impala vs Hive on Tez vs Drill 217/9/9 株式会社日立製作所 OSS ソリューションセンタ 木下翔伍 講演者 木下翔伍 / Kinoshita Shogo エンタープライズ向けビッグデータ関連ソリューション検討 開発 Hadoop エコシステム (Spark, Hive 等 ) の技術検証含む 例えば スマートメーター

More information

…l…b…g…‘†[…N…v…“…O…›…~…fi…OfiÁŸ_

…l…b…g…‘†[…N…v…“…O…›…~…fi…OfiÁŸ_ 13 : Web : RDB (MySQL ) DB (memcached ) 1: MySQL ( ) 2: : /, 3: : Google, 1 / 23 testmysql.rb: mysql ruby testmem.rb: memcached ruby 2 / 23 ? Web / 3 ( ) Web s ( ) MySQL PostgreSQL SQLite MariaDB (MySQL

More information

EQUIUM EQUIUM S5010 1 1 1 2 3 4 2 1 2 3 2 3 1 2 3 4 5 6 7 8 4 1 2 3 5 1 2 1 2 3 4 5 6 7 6 1 3 7 1 2 3 4 5 6 7 8 9 10 11 1 2 3 4 4 5 6 7 8 1 1 2 3 4 10 1 11 12 1 13 14 1 15 1 16 1 1 17 1 2 18 3 1 4 5 19

More information

IPSJ SIG Technical Report Vol.2016-IOT-32 No /3/4 1,a) 1,b) 1,c) 1,d) HP Proliant HDD (Mac mini) vsphere ICT ICT [1], [2], [3] ICT 2

IPSJ SIG Technical Report Vol.2016-IOT-32 No /3/4 1,a) 1,b) 1,c) 1,d) HP Proliant HDD (Mac mini) vsphere ICT ICT [1], [2], [3] ICT 2 1,a) 1,b) 1,c) 1,d) HP Proliant HDD (Mac mini) vsphere 5.5 10 1. ICT ICT [1], [2], [3] ICT 2 3 4 2. 1 Tokyo Institute of Technology, Meguro, Tokyo 152 8550, Japan a) matsuura@gsic.titech.ac.jp b) mori@cert.titech.ac.jp

More information

Who is ETGEAR? Milestone ETWORK STORAGE PRODUCTS Who is ETGEAR IDEX 3 ETGEAR Ready DATA ReadyAS ,70,8 0G iscsi X- in $ mil

Who is ETGEAR? Milestone ETWORK STORAGE PRODUCTS Who is ETGEAR IDEX 3 ETGEAR Ready DATA ReadyAS ,70,8 0G iscsi X- in $ mil 03 etwork Storage Catalog www.netgear.jp www.facebook.com/etgearjp ETGEARETGEARReadyASX-X-Front ViewLEAF ETWORKSiator arreadysharereadyas RemoteReadyAS VaultReadyCLOUDGenie+ReadyDLA ReadyDROPETGEAR Inc.

More information

付加情報をもったファイル共有システム

付加情報をもったファイル共有システム 1 2 1 6 1.1....................................... 6 1.2...................................... 6 1.3..................................... 6 1.4................................... 7 2 8 2.1 Annphony....................................

More information

2009 Web B012-1

2009 Web B012-1 2009 Web 2010 2 1 5108B012-1 1 4 1.1....................................... 4 1.2................................... 4 2 Web 5 2.1 Web............................... 5 2.2 Web.................................

More information

EMC-greenplum-SG s-1p

EMC-greenplum-SG s-1p Greenplum DB / Greenplum MR Greenplum MR (Greenplum HD ITpro EXPO AWARD Contents Greenplum DB 2 Hadoop Greenplum MR 18 1 EMC 2-1-1 151-0053 http://japan.emc.com http://japan.emc.com/contact/ EMC2EMCGreenplumGreenplum

More information

Microsoft PowerPoint - SUGI2011_EPS_Konno.ppt

Microsoft PowerPoint - SUGI2011_EPS_Konno.ppt ODS RTFとREPORTプロシジャを 用 いた 一 覧 表 の 出 力 今 野 聡 イーピーエス 株 式 会 社 統 計 解 析 1 部 How to create lists by using ODS RTF / REPORT procedure. Satoshi Konno Statistics Analysis Division 1, EPS Co., Ltd. SAS9.2 ODS RTF

More information

untitled

untitled Corporate Development Division Semiconductor Company Matsushita Electric Industrial Co.,Ltd. http://www.panasonic.co.jp/semicon/ DebugFactory Builder for MN101C PanaX IDE IBM PC/AT CPU Intel Pentium 450MHz

More information

Po w eredge M000e Index? & 00% 5 32CPU 256 0U PowerEdge M000e PowerEdge M000eI/O 6

Po w eredge M000e Index? & 00% 5 32CPU 256 0U PowerEdge M000e PowerEdge M000eI/O 6 PowerEdge M Designed for Efficiency Built to reduce total economic impact. PowerEdge M000e PowerEdge M90 / M70 / M70HD / M60 / M60x Xeon 2 9 0 3 4 2 5 6 3 4 7 8 5 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Po

More information

̤Äê

̤Äê SNS 1, IT.,.,.,., SNS,,,..,,.,,,.,.,,. 2 1 6 1.1................................................ 6 1.2................................................ 6 1.3...............................................

More information

RT300/140/105シリーズ 取扱説明書

RT300/140/105シリーズ 取扱説明書 REMOTE & BROADBAND ROUTER RT300i/RT140p/RT140f/RT140i RT140e/RT105p/RT105i/RT105e 2 3 4 5 6 7 8 9 10 Bold face Enter Ctrl Tab BS Del Console RT105i RT300i RT140p RT140f RT140i RT140e RT105p RT105i RT105e

More information

2. Twitter Twitter 2.1 Twitter Twitter( ) Twitter Twitter ( 1 ) RT ReTweet RT ReTweet RT ( 2 ) URL Twitter Twitter 140 URL URL URL 140 URL URL

2. Twitter Twitter 2.1 Twitter Twitter( ) Twitter Twitter ( 1 ) RT ReTweet RT ReTweet RT ( 2 ) URL Twitter Twitter 140 URL URL URL 140 URL URL 1. Twitter 1 2 3 3 3 Twitter Twitter ( ) Twitter (trendspotter) Twitter 5277 24 trendspotter TRENDSPOTTER DETECTION SYSTEM FOR TWITTER Wataru Shirakihara, 1 Tetsuya Oishi, 2 Ryuzo Hasegawa, 3 Hiroshi Hujita

More information

Big Data ウェビナー シリーズ CiscoのHadoopリセールについて

Big Data ウェビナー シリーズ CiscoのHadoopリセールについて Big Data ウェビナーシリーズ Cisco の Hadoop リセールについて シスコシステムズ合同会社 Agenda Big Data/Hadoop パートナー リセールするHadoopディストリビューションについて Hadoopパートナー概要 Hadoopサブスクリプションについて Hadoopに関するCiscoの商品 Big Data / Analytics パートナー Apache HBase

More information