DEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo
|
|
- つねとき しもかさ
- 5 years ago
- Views:
Transcription
1 DEIM Forum 12 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoop A Study about the Remote Data Access Control for Hadoop Distributed File System Asuka MOMOSE and Masato OGUCHI Ochanomizu University Otsuka, Bunkyouku Tokyo JAPAN momo@ogl.is.ocha.ac.jp, oguchi@computer.org 1. [1] Hadoop 1
2 Distributed File System HDFS [2] 2. Web Web 2. 1 Hadoop Distributed File System Hadoop Distributed File System HDFS [2] Hadoop Apache Software Foundation Hadoop Common HDFS MapReduce hbase 1 HDFS Hadoop MapReduce 1 Hadoop 2. 2 Hadoop HDFS Namenode JobTracker TastTracker 2 Hadoop MapReduce Map Reduce Mapper Reducer TaskTracker Hadoop 3. Rocks [3] Hadoop-..2 Hadoop 1. 2.MB Hadoop JobTracker TaskTracker Master Slave 2 Namenode TaskTracker TaskTracker Slave Slave Task Hadoop TestDFSIO Map/Reduce URL, Map N-gram URL Reduce N-gram n= dummynet Namenode LocalArea Namenode 3 dummynet 1 OS CPU Main Memory Master node Linux Elsmp(CentOS 4) Intel(R) 4.GB Slave node Linux Elsmp(CentOS 4) Quad-Core Intel(R) 2.GB 2
3 4. 2 TestDFSIO TestDFSIO MB I/O Throughput ( RTT) msec msec T hroughput ( M B/se c ) T hroughput (MB/sec ) Write 1Replica 2Replica 3Replica Read 1Replica 2Replica 3Replica HDFS 12 RTT 6 HDFS exec time(sec) Hadoop RandomWrite MB, 1GB RandomWrite RandomWrite Sort RTT ( 7 8) TestDFS I/O Sort Test exec time (sec) msec 2msec msec msec RTT 7 RandomWrite. Hadoop 3
4 Test exec time (sec) msec 2msec msec msec RTT Namenode Local node 1 Local node 2 8 Sort write1 write2 write3 write4 write. 1 Wireshark [4] 3 Namenode Wireshark Namenode RTT HDFS 3 write Local node 1 Local node 2 read1 read2 read3 read4 read 11 read Local node 1 6 Local node 2 4 Total RTT=msec 3 1 Namenode 1 Namenode % %. 3 HDFS 6. HDFS Hadoop 6. 1 Hadoop 12 4
5 rack Namenode 12 rack dummynet rack1 Remote 13 HDFS RTTmsec 1.9% % % % % % -% 6. 2 Hadoop (i)1st (ii)2nd Remote rack Local rack HDFS 2Remote rack % Hadoop HDFS 2 (Remote rack : Local rack) Math.random.,. : % - %.4,.6 9 : 11 4% - %.3,.7 8 : 12 4% - 6%.2,.8 7 : 13 3% - 6%.1,.9 6 : 14 % - 7% 6. 3 HDFS 3 Math.Random :7 3 (Remote rack : Local rack) Rack Node Blocks rack rack rack rack HDFS 7. 1 HDFS HDFS time(sec) xec e 3 13 % 3% 4% 4% % 4 [1] HDFS 14 optimized rack MB/sec) ( optimized rack simple rack Write HDFS HDFS %
6 MB/sec) ( optimized rack simple rack HDFS HDFS HDFS 9. Read % RTTmsec RTTmsec RTTmsec 22.9% RTTmsec - RTTmsec Web Hadoop Distributed File System Hadoop I/O I/O [1] Hadoop DE &PRMU ( ) 6 Vol.111 No.76 pp [2] Dhruba Borthakur HDFS Architecture 8 The Apache Software Foundation [3] Rocks Cluster [4] Wireshark [] Sanjay Ghemawat Howard Gobioff and Shun-Tak Leung The Google File System ACM SIGOPS Operating Systems Review, Vol.37, No., pp.29-43, December 3 [6] Tom WhiteHadoop O Reilly Japan, Inc [7] Jason Venner Pro Hadoop 9 Apress [8] Gfarm v2 7-HPC-113 pp [9] Gfarm MapReduce SWopp Vol.-HPC
2 Hadoop MapReduce Hadoop, MapReduce Apache Hadoop Project Open Source Software Hadoop common MapReduce Hadoop Distributed File System( HDFS)
DEIM Forum 2014 D1-6 Hadoop 780-8520 2-5-1 780-8520 2-5-1 780-8520 2-5-1 E-mail: {nishimae,b103k299,honda}@is.kochi-u.ac.jp Hadoop MapReduce Map-Reduce Hadoop,MapReduce,,,, 1. e- Apache Hadoop ( Hadoop)
More information,., ping - RTT,., [2],RTT TCP [3] [4] Android.Android,.,,. LAN ACK. [5].. 3., 1.,. 3 AI.,,Amazon, (NN),, 1..NN,, (RNN) RNN
DEIM Forum 2018 F1-1 LAN LSTM 112 8610 2-1-1 163-8677 1-24-2 E-mail: aoi@ogl.is.ocha.ac.jp, oguchi@is.ocha.ac.jp, sane@cc.kogakuin.ac.jp,,.,,., LAN,. Android LAN,. LSTM LAN., LSTM, Analysis of Packet of
More information[1] [2] [3] (RTT) 2. Android OS Android OS Google OS 69.7% [4] 1 Android Linux [5] Linux OS Android Runtime Dalvik Dalvik UI Application(Home,T
LAN Android Transmission-Control Middleware on multiple Android Terminals in a WLAN Environment with consideration of Round Trip Time Ai HAYAKAWA, Saneyasu YAMAGUCHI, and Masato OGUCHI Ochanomizu University
More informationIPSJ-HPC
can effectively exploit the I/O performance of clusters with Gbit/sec-class flash memories. In this paper, we first outline our prototype MapReduce system which utilizes distributed key-value store. And
More informationyamamoto_hadoop.pptx
Hadoop Streaming 2011/2/16 H22 ? SaaS (So5ware as a Service) (,etc.) PaaS (Pla?orm as a Service) (Google App Engine,, Mixi Appli etc.) IaaS (Infrastructure as a Service) (Amazon EC2) VMWare ESX, Hyper-
More informationDEIM Forum 2017 H2-2 Android LAN Android 1 Android LAN
DEIM Forum 2017 H2-2 Android LAN 112-8610 2-1-1 163-8677 1-24-2 E-mail: {ayano,oguchi}@ogl.is.ocha.ac.jp, sane@cc.kogakuin.ac.jp Android 1 Android LAN Ayano KOYANAGI, Saneyasu YAMAGUCHI, and Masato OGUCHI
More information2 JSON., 2. JSON,, JSON Jaql [9] Spark Streaming [8], Spark [7].,, 2, 3 4, JSON [3], Jaql [9], Spark [7] Spark Streaming [8] JSON JSON [
DEIM Forum 2016 G1-4,, 305 8573 1-1-1 305 8573 1-1-1 305 8573 1-1-1 E-mail: denam96@kde.cs.tsukuba.ac.jp, {shiokawa,kitagawa}@cs.tsukuba.ac.jp,,.,,,.,, (1), (2),.,, 1.,.,,.,,,,, Storm [2] STREAM [5], S4
More informationP P P P P P P OS... P P P P P P
SAS Visual Analytics on MapR Converged Data Platform 2015 12 1. 1.1... P2 1.2... P2 2. 2.1... P3 2.2... P6 2.2.1... P6 2.2.2... P6 2.3... P10 3. 3.1 OS... P11 3.2... P12 3.3... P13 3.4... P13 3.5... P14
More information情報処理学会研究報告 IPSJ SIG Technical Report Vol.2013-HPC-139 No /5/29 Gfarm/Pwrake NICT NICT 10TB 100TB CPU I/O HPC I/O NICT Gf
Gfarm/Pwrake NICT 1 1 1 1 2 2 3 4 5 5 5 6 NICT 10TB 100TB CPU I/O HPC I/O NICT Gfarm Gfarm Pwrake A Parallel Processing Technique on the NICT Science Cloud via Gfarm/Pwrake KEN T. MURATA 1 HIDENOBU WATANABE
More informationHP ProLiant Gen8とRed Hatで始めるHadoop™ ~Hadoop™スタートアップ支援サービス~
Brochure Gen8 Red Hat Hadoop Hadoop Hadoop Hadoop Hadoop HP Hadoop IT IDC 20122.7ZB 2011 48% 20158ZB 2 IDC 20122.7ZB 2011 48%20158ZB 1 DC Predictions 2012: Competing for 2020 IDC 2011 12 : 1ZB =10 Hadoop
More informationAndroid LAN 1 1,, Google Android. Android, Android,. Android x86 CPU,,,. A study of performance improvement of a wireless LAN bases on Android termina
Android LAN 1 1,, Google Android. Android, Android,. Android x86 CPU,,,. A study of performance improvement of a wireless LAN bases on Android terminals analysis Kaori Miki 1 and Masato Oguchi 1 In reccent
More informationIntroduction
Introduction R&D More Than Web - - 3 R&D Vision Fusion Interaction Collaboration 3 6 Client Server Platform Client Server Platform Client Client Server Platform Server Client Server Platform Platform
More information2
2 485 1300 1 6 17 18 3 18 18 3 17 () 6 1 2 3 4 1 18 11 27 10001200 705 2 18 12 27 10001230 705 3 19 2 5 10001140 302 5 () 6 280 2 7 ACCESS WEB 8 9 10 11 12 13 14 3 A B C D E 1 Data 13 12 Data 15 9 18 2
More informationi Ceph
23 Ceph I/O 20 20115107 i 1 1 2 2 2.1.............................. 2 2.1.1..................... 2 2.1.2.................. 3 2.1.3....................... 3 2.2 Ceph........................ 4 2.2.1.................................
More informationMicrosoft PowerPoint _Hadoop.pptx
Hadoop で行う大規模データ処理 kzk Hadoop とは? Google の基盤ソフトウェアのクローン Google File System Yahoo Research の Doug Cutting 氏が開発 元々は Nutch Crawler のサブプロジェクト Doug の子供の持っているぬいぐるみの名前 Java で記述 Amazon S3 との親和性
More informationPowerPoint Presentation
AWS ビッグデータサービス Deep Dive アマゾンデータサービスジャパンソリューションアーキテクト蒋逸峰 July 17, 2014 Session #TA-01 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole
More informationDEIM Forum 2019 H2-2 SuperSQL SuperSQL SQL SuperSQL Web SuperSQL DBMS Pi
DEIM Forum 2019 H2-2 SuperSQL 223 8522 3 14 1 E-mail: {terui,goto}@db.ics.keio.ac.jp, toyama@ics.keio.ac.jp SuperSQL SQL SuperSQL Web SuperSQL DBMS PipelineDB SuperSQL Web Web 1 SQL SuperSQL HTML SuperSQL
More informationPC Development of Distributed PC Grid System,,,, Junji Umemoto, Hiroyuki Ebara, Katsumi Onishi, Hiroaki Morikawa, and Bunryu U PC WAN PC PC WAN PC 1 P
PC Development of Distributed PC Grid System,,,, Junji Umemoto, Hiroyuki Ebara, Katsumi Onishi, Hiroaki Morikawa, and Bunryu U PC WAN PC PC WAN PC 1 PC PC PC PC PC Key Words:Grid, PC Cluster, Distributed
More information1 Web DTN DTN 2. 2 DTN DTN Epidemic [5] Spray and Wait [6] DTN Android Twitter [7] 2 2 DTN 10km 50m % %Epidemic 99% 13.4% 10km DTN [8] 2
DEIM Forum 2014 E7-1 Web DTN 112 8610 2-1-1 UCLA Computer Science Department 3803 Boelter Hall, Los Angeles, CA 90095-1596, USA E-mail: yuka@ogl.is.ocha.ac.jp, mineo@cs.ucla.edu, oguchi@computer.org Web
More informationIPSJ SIG Technical Report Vol.2009-DPS-141 No.23 Vol.2009-GN-73 No.23 Vol.2009-EIP-46 No /11/27 t-room t-room 2 Development of
t-room 1 2 2 2 2 1 1 2 t-room 2 Development of Assistant System for Ensemble in t-room Yosuke Irie, 1 Shigemi Aoyagi, 2 Toshihiro Takada, 2 Keiji Hirata, 2 Katsuhiko Kaji, 2 Shigeru Katagiri 1 and Miho
More informationMicrosoft PowerPoint - Sep2110_桜井.ppt
Data Mining Using High Performance Data Clouds: Experimental Studies Using Sector and Sphere R. Grossman & Y.Gu, ACM SIGKDD, 2008, pp.920-927 (September 21, 2010, 櫻井担当 ) September 21, 2010 DMUHPDC 1 Index
More information2011年11月10日 クラウドサービスのためのSINET 学認説明会 九州地区説明会 九州大学キャンパス クラウドシステムの導入 伊東栄典 情報基盤研究開発センター 1
2011年11月10日 クラウドサービスのためのSINET 学認説明会 九州地区説明会 九州大学キャンパス クラウドシステムの導入 伊東栄典 情報基盤研究開発センター ito.eisuke.523@m.kyushu-u.ac.jp 1 用 方 } } } } } 用 (Public Cloud) } Amazon EC2/S3/ElasticMapReduce } (Community Cloud)
More informationHadoop Introduction
Hadoop Introduction はじめに Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ Hadoop の概要 Hadoop の特徴 Hadoop クラスタ構成 マスターサーバ バッチの進捗状況管理 Map/Reduce タスク割振り NameNode JobTracker HDFS 管理 DataNode
More informationHBase Phoenix API Mars GPU MapReduce GPU Hadoop Hadoop Hadoop MapReduce : (1) MapReduce (2)JobTracker 1 Hadoop CPU GPU Fig. 1 The overview of CPU-GPU
GPU MapReduce 1 1 1, 2, 3 MapReduce GPGPU GPU GPU MapReduce CPU GPU GPU CPU GPU CPU GPU Map K-Means CPU 2GPU CPU 1.02-1.93 Improving MapReduce Task Scheduling for CPU-GPU Heterogeneous Environments Koichi
More informationAV 1000 BASE-T LAN 90 IEEE ac USB (3 ) LAN (IEEE 802.1X ) LAN AWS (Amazon Web Services) AP 3 USB wget iperf3 wget 40 MBytes 2 wget 40 MByt
1 BYOD LAN 1 2 3 4 1 BYOD 1 Gb/s LAN BYOD LAN LAN Access Point (AP) IEEE 802.11n BYOD LAN AP wget iperf3 1 AP [2] 2 IEEE 802.11ac [3] AP 4 AV (207 m 2 ) ( 1 2 )[4, 5] AP Wave2 Aruba AP-335 Aruba LAN 7210
More informationITソリューション フロンティア2012年4月号
04 2012 Vol.29 No.4 042012 4 6 8 12 16 18 20 22 24 28 32 36 38 4 5 6 7 8 9 10 11 ID-POS ID-POS 12 13 14 15 16 17 18 19 20 21 22 23 24 Hadoop 25 Hadoop 26 Hadoop 27 28 29 30 31 Web 32 33 34 35 36 37 38
More informationWLAN WLAN AP WLAN WLAN WLAN AP- WLAN SINR WLAN WLAN CE WLAN WLAN WLAN CE 2 3 WLAN 4 WLAN 2. WLAN [10] AP CE [11] AP CE CE [12] CE AP AP AP WLAN WLAN A
DEIM Forum2015 C2-4 LAN 112 8610 2-1-1 NEC 211 8666 1753 E-mail: mitomo@ogl.is.ocha.ac.jp, {miyoshi,t-murase}@ap.jp.nec.com, oguchi@computer.org LAN AP AP LAN LAN LAN WLAN AP- WLAN 3 LAN LANQoS Quality
More informationHadoopの全て
Kazuki Ohta ( ) Preferred Infrastructure 1 l l l l l ( ) Preferred Infrastructure, CTO Sedue Hadoop Hadoop l l l http://kzk9.net/ @kzk_mover l l l Hadoop Hadoop-Gfarm with I/O Project:
More informationビッグデータアナリティクス - 第3回: 分散処理とApache Spark
3 : Apache Spark 2017 10 20 2017 10 20 1 / 32 2011 1.8ZB 2020 35ZB 1ZB = 10 21 = 1,000,000,000,000 GB Word Excel XML CSV JSON text... 2017 10 20 2 / 32 CPU SPECfp Pentium G3420 77.6 8,946 Xeon Gold 6128
More information先進的計算基盤システムシンポジウム SACSIS2012 Symposium on Advanced Computing Systems and Infrastructures SACSIS /5/17 Android LAN TCP Android. TCP A Proposal
Android LAN TCP Android. TCP A Proposal of TCP Control Method based on its Environment for Wireless Access of Android Terminals and Development of Communication Control Middleware KAORI MIKI, HIROMI HIRAI,
More information無料セミナー資料:ビッグデータ管理基盤ソフトウェアHadoop入門
ビッグデータ管理基盤ソフトウェア Hadoop 入門 NEC ラーニングテクノロジー研修事業部 土井正宏 アジェンダ Hadoopとは? HDFSの概要 Map/Reduceのしくみ Hadoopのエコシステム ( 関連製品 ) Hadoop 0.23について Page 2 NEC Corporation 2010 Hadoop の概要 高スケーラブルな分散管理基盤 グリッドコンピューティング 2つのコア機能
More informationnakayama15icm01_l7filter.pptx
Layer-7 SDN SDN NFV 50 % 3 MVNO 1 2 ICM @ 2015/01/16 2 1 1 2 2 1 2 2 ICM @ 2015/01/16 3 2 Service Dependent Management (SDM) SDM Simple Management of Access-Restriction Translator Gateway (SMART-GW) ICM
More informationAmazon EC2 IaaS (Infrastructure as a Service) HPCI HPCI ( VM) VM VM HPCI VM OS VM HPCI HPC HPCI RENKEI-PoP 2 HPCI HPCI 1 HPCI HPCI HPC CS
HPCI 1 2 3 4 5 1, 6 5 24 HPCI HPC OS HPC RENKEI-PoP Design of Advanced Software Deployment Infrastructure in HPCI Wide-area Distributed Environment Shinichiro Takizawa, 1 Masaharu Munetomo, 2 Atsuya Uno,
More informationDockerの商用サービスでの利用事例紹介
1 Docker maebashi@iij.ad.jp Docker 2015 Internet Initiative Japan Inc. http://www.iij.ad.jp/biz/storage/ 2015 Internet Initiative Japan Inc. IIJ GIO & REST API(AWS S3 ) + Hadoop/Hive 2015 Internet Initiative
More information分散ストレージシステム (4) (5) (6) 書き込み 書き込み 読み出し 読み出し (2) コーディネータ 1 Fig. 1 Image of distributed storage system. 2 Fig. 2 Process flow of ( 1 ) ( 2 ) ( 3 )
1 1 1 1 1 key-value store Application of Load Balancing Mechanism with Considering Data Access Frequency to Daisuke Kawakami, 1 Toshihiro Matsui, 1 Shoichi Saito, 1 Tomoaki Tsumura 1 and Hiroshi Matsuo
More information2
No.7 DATA FILE report MEIJI LIFE FOUNDATION OF HEALTH AND WELFARE 2 3 MQ MQ M Q 4 MQ MQ 5 MQ 12 1 8 5 4 3 2 1 18 18 199 219 2 239 22 259 24 26 MQ P.5P.1 P.1 vs 6 4 2 1984 1987 199 1993 1996 1999 6 5 4
More information操作1 <設問作成>
ORCA (Online Research Control system Architecture) ORCA 1 1 2 3 4 5 6 7 URL 2 [ ] 3 4 5 1. 2. 4 6 2. 4. 3. 5. 7 6. 8.10. 9. 12. 13. 14. 8 2. 4. 3. 5. 6. 8. 7. 9. 9 9. 10 8. 12. 9. 10. 11 6. 8. 7. 8. 6
More information卒業論文
PC OpenMP SCore PC OpenMP PC PC PC Myrinet PC PC 1 OpenMP 2 1 3 3 PC 8 OpenMP 11 15 15 16 16 18 19 19 19 20 20 21 21 23 26 29 30 31 32 33 4 5 6 7 SCore 9 PC 10 OpenMP 14 16 17 10 17 11 19 12 19 13 20 1421
More informationuntitled
16 4 1 17 1 50 -1- -2- -3- -4- -5- -6- -7- 1 2-8- -9- -10- -11- Web -12- (1) (2)(1) (3) (4) (1)()(2) (3)(4) -13- -14- -15- -16- -17- -18- -19- -20- -21- -22- -23- (2)(1) (3) -24- -25- -26- -27- -28- -29-
More informationDEIM Forum 2017 H ,
DEIM Forum 217 H5-4 113 8656 7 3 1 153 855 4 6 1 3 2 1 2 E-mail: {satoyuki,haya,kgoda,kitsure}@tkl.iis.u-tokyo.ac.jp,.,,.,,.,, 1.. 1956., IBM IBM RAMAC 35 IBM 35 24 5, 5MB. 1961 IBM 131,,, IBM 35 13.,
More informationDEIM Forum 2009 B4-6, Str
DEIM Forum 2009 B4-6, 305 8573 1 1 1 152 8550 2 12 1 E-mail: tttakuro@kde.cs.tsukuba.ac.jp, watanabe@de.cs.titech.ac.jp, kitagawa@cs.tsukuba.ac.jp StreamSpinner PC PC StreamSpinner Development of Data
More informationMicrosoft PowerPoint - SWoPP2010_Shirahata
GPU を考慮した MapReduce の タスクスケジューリング 白幡晃一 1 佐藤仁 1 松岡聡 1 2 3 1 東京工業大学 2 科学技術振興機構 3 国立情報学研究所 大規模データ処理 情報爆発時代における 大規模データ処理 気象 生物学 天文学 物理学など様々な科学技術計算での利用 MapReduce 大規模データ処理のためのプログラミングモデルデ スケーラブルな並列データ処理 GPGPU
More informationクララパンフレット2011冬1P-P40
2011 CLARA ONLINE SERVICE BROCHURE W I N T E R http://www.clara.jp/ http://support.clara.jp/ TEL E-mail 0120-380-966 0120-380-994 E-mail E-mail sales@clara.ad.jp support@clara.ne.jp TEL FAX 03-6704-0778
More information1 (1) 3 4 (2) 5 () 30 35 40 45 50 55 60 410 519 599 975 1,176 1,362 1,840 250 298 426 691 735 829 693 865 1,287 1,838 2,209 2,718 2,776 3,361 888 1,061 1,448 1,598 1,849 2,157 2,214 1,324 1,172 964 808
More information(Microsoft PowerPoint - Hadoop\225\224\211\357.ppt)
Hadoop 部会 株式会社エイビス株式会社富士通九州システムズ九州東芝エンジニアリング株式会社九州東芝エンジニアリング株式会社株式会社オーイーシー株式会社オーイーシー大分大学大学院工学研究科 1 ( 部長 ) 小池翼 ( 副部長 ) 小畑智博小原辰徳郷原慎之介高熊大将玉井達也大場紀彦 2 テーマ 実業務への Hadoop の適用 ~ 気象データを用いた分散処理の実装 ~ Hadoop とは Hadoop
More informationShonan Institute of Technology MEMOIRS OF SHONAN INSTITUTE OF TECHNOLOGY Vol. 41, No. 1, 2007 Ships1 * ** ** ** Development of a Small-Mid Range Paral
MEMOIRS OF SHONAN INSTITUTE OF TECHNOLOGY Vol. 41, No. 1, 2007 Ships1 * ** ** ** Development of a Small-Mid Range Parallel Computer Ships1 Makoto OYA*, Hiroto MATSUBARA**, Kazuyoshi SAKURAI** and Yu KATO**
More informationスライド 1
Hadoop とは Hadoop の二本柱 分散ファイルシステム HDFS(Hadoop Distributed File System) 分散プログラミングモデル MapReduce Hadoop の目的 大規模ファイル処理 格納, 加工 ペタバイト規模 複数計算機の協調動作 スケーラブルシステム 数百 ~ 数千台規模 Key-Value store MapReduce HDFS Node Node
More informationスライド 1
Zabbix のデータベース ベンチマークレポート PostgreSQL vs MySQL Yoshiharu Mori SRA OSS Inc. Japan Agenda はじめに Simple test 大量のアイテムを設定 Partitioning test パーティションイングを利用して計測 Copyright 2013 SRA OSS, Inc. Japan All rights reserved.
More information1. 1 DBMS Unix (USP ) ( )[3] 20 UNIX [2] KISS UNIX 1. 2 (Tukubai ) Unix OS Unix USP Tukubai Tukubai 1. 3 Unix SQL Tukubai usp Tukubai Open usp Tukubai
34 (2017 ) Unix UNIX 20 RDBMS RDBMS Java Unix Unix Unix Unicage is a system development method based on UNIX philosophy and has been applied on business system integration for 20 years. In these days,
More informationFIT2015( 第 14 回情報科学技術フォーラム ) RC-003 ファイル格納位置制御による Hadoop MapReduce ジョブの性能の向上 藤島永太山口実靖 工学院大学大学院工学研究科電気 電子工学専攻工学院大学工学部情報通信工学科 1. はじめに近年, 世界中の情報量が爆発的に増加し
RC-3 ファイル格納位置制御による Hadoop MapReduce ジョブの性能の向上 藤島永太山口実靖 工学院大学大学院工学研究科電気 電子工学専攻工学院大学工学部情報通信工学科 1. はじめに近年, 世界中の情報量が爆発的に増加しており, その情報を収集 蓄積 分析して有効に活用することに注目が集まっている. その膨大な情報を扱う方法として, ASF(Apache Software Foundation)
More information~~~~~~~~~~~~~~~~~~ wait Call CPU time 1, latch: library cache 7, latch: library cache lock 4, job scheduler co
072 DB Magazine 2007 September ~~~~~~~~~~~~~~~~~~ wait Call CPU time 1,055 34.7 latch: library cache 7,278 750 103 24.7 latch: library cache lock 4,194 465 111 15.3 job scheduler coordinator slave wait
More informationimai@eng.kagawa-u.ac.jp No1 No2 OS Wintel Intel x86 CPU No3 No4 8bit=2 8 =256(Byte) 16bit=2 16 =65,536(Byte)=64KB= 6 5 32bit=2 32 =4,294,967,296(Byte)=4GB= 43 64bit=2 64 =18,446,744,073,709,551,615(Byte)=16EB
More informationSWoPP BOF BOF-1 8/3 19:10 BoF SWoPP : BOF-2 8/5 17:00 19:00 HW/SW 15 x5 SimMips/MieruPC M-Core/SimMc FPGA S
FINAL PROGRAM 23rd Annual Workshop SWoPP 2010 2010 / / 2010 Kanazawa Summer United Workshops on Parallel, Distributed, and Cooperative Processing 2010 8 3 ( ) 8 5 ( ) 920-0864 15 1 http://www.bunka-h.gr.jp/
More information2015: Moodle 1,2, 2, 1, 2, Moodle Moodle SCO(Sharable Content Object) Moodle (Conditional Activities)
Title 倫倫姫アップデート2015: 学認連携 Moodleの利用拡大と運用の改善 Author(s) 上田, 浩 ; 中村, 素典 Citation 2015 年度年次大会講演論文集 (2015) Issue Date 2015-12-02 URL http://hdl.handle.net/2433/202073 Right Type Journal Article Textversion
More informationTheRecord.indd
December 2015 The Record vol.673 Contents 10/26 10/27 11/4 11/8 THE RECORD 2015-12 2 focus 3 THE RECORD 2015 12 THE RECORD 2015 12 4 focus 5 THE RECORD 2015 12 THE RECORD 2015 12 6 focus 1 2 3 5 4 7 THE
More informationTitle
K-means w/ Hadoop ~ 運用パート~ 2013/1/28 田浦研究室 M1 中谷翔 1 Outline Hadoop の基本 実験結果 Hadoop 愛憎 2 基礎の基礎 by 田浦先生スライド P.8 をサラリと Map 関数, Reduce 関数を登録すれば勝手に分散処理 3 Hadoop の Good なところ 慣れればそこそこ楽にスケーラビリティ出せる Map 処理, Reduce
More information情報処理学会研究報告 IPSJ SIG Technical Report Vol.2015-DPS-163 No.17 Vol.2015-MBL-75 No /5/28 Hadoop MapReduce の Reduce 処理の I/O 高速化 藤島永太山口実靖工学院大学大学院工学研究
Hadoop MapReduce の Reduce 処理の I/O 高速化 藤島永太山口実靖工学院大学大学院工学研究科電気 電子工学専攻 工学院大学工学部情報通信工学科 近年, 膨大な情報を収集 蓄積 分析する方法として,ASF(Apache Software Foundation) が開発 公開している Hadoop が注目されている. 一般に Hadoop MapReduce は,Map 処理と
More informationnew_emc_panf_Hyoushi_0818
EMC NAS 2015 2015 8 EMC 151-0053 2-1-1 http://japan.emc.com http://japan.emc.com/contact/ Copyright 2015 EMC Corporation. All rights reserved. EMC EMC 2 EMCInsightIQ OneFS SmartConnect SmartLock SmartPools
More information20 Covert Channel
20 Covert Channel 200602824 1 4 2 6 2.1 Covert Channel..................... 6 2.1.1................. 6 2.1.2 Covert Channel........ 7 2.2...................... 7 2.3.................... 8 2.4..................
More informationProLiant BL20p Generation 4 システム構成図
HP ProLiant BL p-class Server BL20p Generation 4 2007 11 15 1 OVERVIEW ProLiantBL20p Generation 4 HP BladeSystem p-class Hardware Component BladeSystem p-class BladeSystem p-class BladeSystem p-class ()
More informationOSS 体験セミナー Hadoop の概要 高スケーラブルな分散管理基盤 2 つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目 分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF
Hadoop スタートアップセミナー Hadoop スタートアップセミナー NEC ラーニングテクノロジー研修事業部土井正宏 OSS 体験セミナー Hadoop の概要 高スケーラブルな分散管理基盤 2 つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目 分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム
More informationuntitled
Network Product Guide Network Monitoring System Network Product Guide Time stamp Write to disk Filter Convert Summarise Network Product Guide Network Monitoring System TDS2 TDS24 Network Analysis Report
More information26 FPGA 11 05340 1 FPGA (Field Programmable Gate Array) ASIC (Application Specific Integrated Circuit) FPGA FPGA FPGA FPGA Linux FreeDOS skewed way L1
FPGA 272 11 05340 26 FPGA 11 05340 1 FPGA (Field Programmable Gate Array) ASIC (Application Specific Integrated Circuit) FPGA FPGA FPGA FPGA Linux FreeDOS skewed way L1 FPGA skewed L2 FPGA skewed Linux
More informationMATLAB® における並列・分散コンピューティング ~ Parallel Computing Toolbox™ & MATLAB Distributed Computing Server™ ~
MATLAB における並列 分散コンピューティング ~ Parallel Computing Toolbox & MATLAB Distributed Computing Server ~ MathWorks Japan Application Engineering Group Takashi Yoshida 2016 The MathWorks, Inc. 1 System Configuration
More information1 Microsoft Windows Server 2012 Windows Server Windows Azure Hyper-V Windows Server 2012 Datacenter/Standard Hyper-V Windows Server Windo
Windows Server 2012 2012 1 Cloud OS Windows Azure Platform On-Premises Service Provider 1 Microsoft Windows Server 2012 Windows Server 2012 1 Windows Azure Hyper-V Windows Server 2012 Datacenter/Standard
More informationAWSSummitTokyo2018
AWS Gunosy AWS Summit Tokyo 2018/06/01 自己紹介 - 米田 武 / Takeshi Yoneda / マスタケ - Github/Twitter: @mathetake - 2017/03/31: - MSc. in Mathematics at Osaka University - 2017/04/01~ - Machine learning engineer
More informationCell/B.E. BlockLib
Cell/B.E. BlockLib 17 17115080 21 2 10 i Cell/B.E. BlockLib SIMD CELL SIMD Cell Cell BlockLib BlockLib NestStep libspe1 Cell SDK 3.1 libspe2 BlockLib Cell SDK 3.1 NestStep libspe2 BlockLib BlockLib libspe1
More informationEMC-greenplum-SG s-1p
Greenplum DB / Greenplum MR Greenplum MR (Greenplum HD ITpro EXPO AWARD Contents Greenplum DB 2 Hadoop Greenplum MR 18 1 EMC 2-1-1 151-0053 http://japan.emc.com http://japan.emc.com/contact/ EMC2EMCGreenplumGreenplum
More informationAJACS18_ ppt
1, 1, 1, 1, 1, 1,2, 1,2, 1 1 DDBJ 2 AJACS3 2010 6 414:20-15:20 2231 DDBJ DDBJ DDBJ DDBJ NCBI (GenBank) DDBJ EBI (EMBL-Bank) GEO DDBJ Omics ARchive(DOR) ArrayExpress DTA (DDBJ Trace Archive) DRA (DDBJ
More information08 IPSJ/SIGSE Software Engineering Symposium (SES08) duce [] Assembly [6] Script 0 64 % 4 8% BBVC BBVC.. VC: Volunteer Computing VC LAN VC VC VC LAN V
08 IPSJ/SIGSE Software Engineering Symposium (SES08) : MapReduce Assembly,a),b),c) VC: Volunteer Computing BBVC: Browser-Based Volunteer Computing BBVC BBVC BBVC Script Script BBVC MapReduce Assembly 60
More informationLinux勉強会 ~Hadoopと高可用性~ Hadoop入門
Linux 勉強会 ~Hadoop と高可用性 ~ Hadoop 入門 日本ヒューレット パッカード株式会社 ESSN プリセールス統括本部エンタープライズサーバー ストレージ技術第 1 本部 Linux ソリューション部 Cloudera Certified Administrator for Apache Hadoop'CCAH( 認定技術者 古賀政純 Twitter: @masazumi_koga
More information1991 1991 FAX e-mail 1999.12. 1 1999.12. 31 042-783-2305 4342 194-0298 F 042-783-2311 79 98.11 A4.39 97.11 21 A5.90 97. A5.286 98. 21 A5.197 99.10 A5.276 99.10 B5.22 99.10 B5.24 99. B40.170 99. A5.174
More informationuntitled
IBM i IBM AS/400 Power Systems 63.8% CPU 19,516 43,690 25,072 2002 POWER4 2000 SOI 2005 2004 POWER5 2007 POWER6 2008 IBM i 2004 eserver i5 2000 eserver iseries e 2006 System i5 Systems Agenda 2008 Power
More informationtemplate.dvi
XXVI W I D E P R O J E C T 26 26 1 WIDE 2010 1 WIDE WIDE Cloud 2010 2 3 4 5 6 NAT64 7 2 2010 7 2 WIDE 2.1 WIDE WIDE WIDE WIDE 50 2.2 WIDE 13:00 14:45 IaaS 15:00 16:45 WIDE StarBED 17:00 19:00 2.3 193
More informationIPSJ SIG Technical Report Vol.2014-DBS-159 No.6 Vol.2014-IFAT-115 No /8/1 1,a) 1 1 1,, 1. ([1]) ([2], [3]) A B 1 ([4]) 1 Graduate School of Info
1,a) 1 1 1,, 1. ([1]) ([2], [3]) A B 1 ([4]) 1 Graduate School of Information Science and Technology, Osaka University a) kawasumi.ryo@ist.osaka-u.ac.jp 1 1 Bucket R*-tree[5] [4] 2 3 4 5 6 2. 2.1 2.2 2.3
More informationLeveraging Cloud Computing to launch Python apps
(Twitter: @KenTamagawa) v 1.1 - July 21st, 2011 (Ken Tamagawa) Twitter: @KenTamagawa 2011 8 6 Japan Innovation Leaders Summit IT IT AWS 90% AWS 90% アーキテクチャ設計 Intro }7 Intro 1 2 3 4 5 6 7 Intro 1 2 3 4
More informationIPSJ SIG Technical Report Vol.2011-ARC-195 No.23 Vol.2011-OS-117 No /4/14 1. Cassandra CMS CMS 100 PC Cassandra Cassandra CMS Design of S
1. CMS 1 2 3 CMS 100 PC CMS Design of Scalable CMS using Shoshi TAMAKI, 1 Yu TANINARI 2 and Shinji KONO 3 To develop scalable CMS, We built scalability verification environment with 100 PC Clusters to
More informationmain.dvi
ASIC, LIBRARY&TOOLS ASIC PCI 1998/12/18 (Revision 1.6) Revision 1.6 PCI Revision 1.2 Revision 1.3 1. BusError. 2. AD, nc BE, PAR, ADenb, C BEenb, PARenb.,,,. Revision 1.3 Revision 1.4 1. PCI RST# input
More informationPowerPoint プレゼンテーション
総務省 ICTスキル総合習得教材 概要版 eラーニング用 [ コース2] データ蓄積 2-5: 多様化が進展するクラウドサービス [ コース1] データ収集 [ コース2] データ蓄積 [ コース3] データ分析 [ コース4] データ利活用 1 2 3 4 5 座学本講座の学習内容 (2-5: 多様化が進展するクラウドサービス ) 講座概要 近年 注目されているクラウドの関連技術を紹介します PCやサーバを構成するパーツを紹介後
More informationHadoopによる バッチ処理検証
Hadoop によるバッチ処理検証 日本ヒューレット パッカード株式会社テクノロジーサービス事業統括テクノロジーコンサルティング統括本部 2011 年 11 月 1 Copyright 2011 Hewlett-Packard Development Company, L.P. 目次 検証内容 検証構成 検証環境構成概要図 検証環境詳細 Hadoopの主な設定情報 検証結果 Appendix チューニング項目一覧
More information2
2 () BSE 3 17 6 17 63 17 3 25 16 17 18 4 () 20 30 5 6 7 8 9 10 11 12 13 14 () () 15 () 16 17 18 19 () () 20 157 21 22 () () () 23 () 24 25 26 () () 27 () () 28 29 () () () 30 () () 31 () () 32 () 33 34
More informationVXPRO R1400® ご提案資料
Intel Core i7 プロセッサ 920 Preliminary Performance Report ノード性能評価 ノード性能の評価 NAS Parallel Benchmark Class B OpenMP 版での性能評価 実行スレッド数を 4 で固定 ( デュアルソケットでは各プロセッサに 2 スレッド ) 全て 2.66GHz のコアとなるため コアあたりのピーク性能は同じ 評価システム
More informationOracle Application Server 10g(9
Oracle Application Server 10g (9.0.4) for Microsoft Windows J2EE Oracle Application Server 10g (9.0.4) for Microsoft Windows J2EE and Web Cache...2...3...3...4...6...6...6 OS...9...10...12...13...24...24
More information「ネットワークを渡り歩けるコンピュータ」の
HTTP-FUSE-CLOOP Linux http://unit.aist.go.jp/itri/knoppix 1), 1), 1), ), 1) 1), 2) HTTP-FUSE-CLOOP HTTP HTTP-FUSE-CLOOP Internet mount Linux HTTP-FUSE KNOPPIX Network compressed loopback device HTTP-FUSE-CLOOP
More informationHPE Moonshot System ~ビッグデータ分析&モバイルワークプレイスを新たなステージへ~
Brochure HPE Moonshot System HPE Moonshot System 4.3U 45 HPE Moonshot System Xeon & HPE Moonshot System HPE Moonshot System HPE HPE Moonshot System &IoT & SoC Xeon D-1500 Broadwell-DE HPE ProLiant m510
More informationstrtok-count.eps
IoT FPGA 2016/12/1 IoT FPGA 200MHz 32 ASCII PCI Express FPGA OpenCL (Volvox) Volvox CPU 10 1 IoT (Internet of Things) 2020 208 [1] IoT IoT HTTP JSON ( Python Ruby) IoT IoT IoT (Hadoop [2] ) AI (Artificial
More informationカスペルスキー アンチウイルス 2011 for Mac
2011 for Mac 1 2 3 4 5 6 7 8 1 2011 for Mac [ ] ( Mac OS Web [] Web PDF CD-ROM PDF WebPDF 1 Mac OS X 10.510.6 Mac OS X 10.6OS [ ] [ ] Finder 2011 2 2 2 3 3 1 7 8 8 9 10 2 11 12 12 13 17 3 18 18 18 19 20
More information21 A contents organization method for information sharing systems
21 A contents organization method for information sharing systems 1125140 2010 3 4 IT i Abstract A contents organization method for information sharing systems Aoki, Wataru Organizations to share information,
More informationAgenda Scalability Availability CAP Theorem Scalability Availability Consistency BASE Transaction
Cloud --- Scalability Availability --- Agenda Scalability Availability CAP Theorem Scalability Availability Consistency BASE Transaction Scale-out Scale-out Availability Scalabilty Availability Scalability
More informationMAC root Linux 1 OS Linux 2.6 Linux Security Modules LSM [1] Security-Enhanced Linux SELinux [2] AppArmor[3] OS OS OS LSM LSM Performance Monitor LSMP
LSM OS 700-8530 3 1 1 matsuda@swlab.it.okayama-u.ac.jp tabata@cs.okayama-u.ac.jp 242-8502 1623 14 munetoh@jp.ibm.com OS Linux 2.6 Linux Security Modules LSM LSM Linux 4 OS OS LSM An Evaluation of Performance
More information102
5 102 5 103 q w 104 e r t y 5 u 105 q w e r t y u i 106 o!0 io!1 io q w e r t y 5 u 107 i o 108 q w e q w e r 5 109 q w 110 e r t 5 y 111 q w e r t y u 112 i q w e r 5 113 q w e 114 r t 5 115 q w e 116
More information