無料セミナー資料:ビッグデータ管理基盤ソフトウェアHadoop入門

Size: px
Start display at page:

Download "無料セミナー資料:ビッグデータ管理基盤ソフトウェアHadoop入門"

Transcription

1 ビッグデータ管理基盤ソフトウェア Hadoop 入門 NEC ラーニングテクノロジー研修事業部 土井正宏

2 アジェンダ Hadoopとは? HDFSの概要 Map/Reduceのしくみ Hadoopのエコシステム ( 関連製品 ) Hadoop 0.23について Page 2 NEC Corporation 2010

3 Hadoop の概要 高スケーラブルな分散管理基盤 グリッドコンピューティング 2つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) 高スケーラブル ( 簡単かつ大規模に拡張可能 ) 分散処理基盤 (Map/Reduce) 分散ファイルシステム (HDFS) OS OS OS NEC Group Internal Use Only

4 Hadoop の歴史 Google 社が検索インデックスを作成するために使用していた技術 GFS(Google File System): クローラが収集したドキュメントを格納するための分散ストレージ Map/Reduce: 収集した膨大なドキュメントを解析し 検索インデックスを構築するための分散処理基盤 Doug Cutting 氏らにより GFS と Map/Reduce のオープンソースクローンが開発される Hadoop GFS Map/Reduce HDFS Map/Reduce Page 4 NEC Corporation 2010

5 Hadoop のバージョン 最新安定版は 1.0( ) 最新版は 0.23( 今後 2.0 になる?) 1.0 のリリースと 0.23 のリリースは時系列的に前後しているが 実際は 0.23 より前にリリースされた に番号を振りなおしただけ ( 機能的差異はほとんどない ) Trunk( 新機能をマージ ) 系 0.20 系 参考文献 : update.html Page 5 NEC Corporation 2010

6 Hadoop クラスタの構成 マスタースレーブ方式 マスター : スレーブ =1: 多 マスター HDFSのメタデータを管理 (NameNode) ジョブを監視 (JobTracker) スレーブ データを保存 (DataNode) タスクを実行 (TaskTracker) マスターノード群 JobTracker NameNode スレーブノード群 Secondary NameNode TaskTracker DataNode TaskTracker DataNode TaskTracker DataNode Page 6 NEC Corporation 2010

7 分散ファイルシステム (HDFS) スレーブノード (DataNode) のディスクを仮想的に一台に見せる マシンを追加するだけで簡単に拡張可能 ファイルをデータブロックに分割 常に一定数のレプリカ ( ブロックのコピー ) を保持 ブロック A 300G ブロックファイル B ブロック A ブロック A ブロック B ブロック C ブロック C ブロック B ブロック C 100G 100G 100G Page 7 NEC Corporation 2010

8 分散ファイルシステム (HDFS) NameNode がブロックの位置情報とノードの死活を管理 DataNode 障害時は自動的にレプリカを作成 NameNode ブロック A ブロック C ブロック A データ B ブロック C データ B ブロック C ブロック A Page 8 NEC Corporation 2010

9 Map/Reduce 分散処理のフレームワーク Jobの自動管理 プログラマーはTaskが実行される場所を意識しなくてよい プログラマーはTaskを実行するノードの障害を意識しなくてよい プログラム (Job) Job Task Task Task JobTracker= Job を Task に分解 TaskTracker= Task を実行 Task Task Task Page 9 NEC Corporation 2010

10 Map/Reduce のしくみ Map 分析の対象となる <Key,Value> ペアを作成 Shuffle&Sort Key の値でソートし集約 Reduce 各 <Key,Value> ペアに対し 処理を行う ( 例 :Value の値の合計値を求める ) Page 10 NEC Corporation 2010

11 Map(wordcount の例 ) data To Be Or Not To Be This Is The Question HDFS に格納 データブロック To Be Or Not To Be This Is The Question To,1 Be,1 Or,1 Not,1 To,1 Be,1 This,1 Is,1 The,1 Question,1 Map 処理 :< 文字,1> というペアを抽出

12 Shuffle&Sort(wordcount の例 ) 同じ Key( ここでは文字 ) のペアに集約 To,1 Be,1 Or,1 Not,1 To,1 Be,1 This,1 Is,1 The,1 Question,1 Be,1,1 Is,1 Not,1 Or,1 Question,1 The,1 This,1 To,1,1 Page 12 NEC Corporation 2010

13 Reduce(wordcount の例 ) Reduce 処理 :Value( ここでは数値 ) の値の合計を求める HDFS に格納 Be,1,1 Is,1 Not,1 Or,1 Question,1 The,1 This,1 To,1,1 Be,2 Is,1 Not,1 Or,1 Question,1 The,1 This,1 To,2 Be,2 Is,1 Not,1 Or,1 Question,1 The,1 This,1 To,2 Page 13 NEC Corporation 2010

14 Map/Reduce のしくみ 可能な限り 操作対象のデータブロックが保存されているノードで Mapper を起動 通信の削減 処理 を データ の方に持っていく ( データローカリティ ) Map/Reduce の結果を 次の Map/Reduce の入力値にすることも可能 ( 多段 Map/Reduce) Page 14 NEC Corporation 2010

15 Flume Flume 点在するデータソースから HDFS へ一元的にデータをロード Sqoop SQl to hadoop RDBからHDFS( またはHDFSからRDB) へデータロード いくつかの製品でダイレクトパスロード ( 高速ロード ) をサポート Web サーバー群 Collecter HDFS RDB HDFS RDB Page 15 NEC Corporation 2010

16 HBase Hadoop データベース HDFS に append( 追記 ) 機能を追加 列指向の NoSQL データベース HBase HDFS OS OS Page 16 NEC Corporation 2010

17 Hive/Pig 独自言語で Map/Reduce を実行 Hive:HiveQL Pig:Pig Latin 構造化されたデータに対応しやすい data Hive SELECT category, count(name) FROM menu GROUP BY categories; Coffee,Short,280,drink Coffee,Tall,380,drink Coffee,Grande,480,drink Cake,NULL,580,food Pig gl = GROUP products BY menu; cnt = FOREACH gl GENERATE group AS categories, COUNT(menu) AS total; DUMP cnt; Page 17 NEC Corporation 2010

18 その他 Zookeeper 分散システムの設定情報の集中管理や同期化などを行う Mahout 機械学習のライブラリ ( レコメンド クラスタリングなど ) Cassandra AP 特性の NoSQL Asakusa FW 基幹系バッチ処理のためのライブラリ その他 Avro HUE Oozie など Page 18 NEC Corporation 2010

19 Hadoop 0.23 ここまでにリリースされたすべての機能を備えたバージョン (18 か月ぶり ) Trunk( 新機能をマージ ) つの新機能 HDFS Federation YARN(Map/Reduce2) CDH4( 現在ベータ版 ) で採用 0.23 系 0.20 系 Page 19 NEC Corporation 2010

20 HDFS Federation DataNode を共有する NameNode の 連合 従来の HDFS(Single NameNode) の問題点 スケーラビリティ HDFS 上のファイルやデータブロックの増加が単一の NameNode を圧迫 ( 機能的な ) 独立性の欠落 テスト環境と本番環境が共存 テスト環境の操作が本番環境に影響を及ぼす 可用性の欠落 NameNode に障害が起きるとクラスタ全体が停止 NameNode が管理するデータを水平分割し 複数の NameNode がクラスタを管理することで 上記問題を解決 Page 20 NEC Corporation 2010

21 HDFS Federation NameNode Namespace:HDFS 上のディレクトリ ファイル ファイルを構成するデータブロックの情報 Block Pool: データブロックと DataNode の対応情報 NS BP NS BP NS BP Page 21 NEC Corporation 2010

22 HDFS Federation データブロックは単一の Block Pool に属する 障害の局所化 NameNode の障害は 他の Block Pool に影響を及ぼさない 独立性の確保 異なる NameSpace 間のでの独立性が確保される テスト環境用の NameNode を立てておけば 本番環境用の NameNode に影響を及ぼさない 参考文献 : pool+proposal.pdf Page 22 NEC Corporation 2010

23 YARN(MapReduce2) Yet Another Resource Negotiator クラスタ上で動くアプリケーションへのリソース割り当てのためのフレームワーク 用語 ResourceManager(ApplicationManager Schejuler) (AppMsr を含む )Container の起動 監視 ApplicationMaster クラスタ上で動くアプリケーションの監視 (JobTracker に相当 ) Container クラスタ上で動くアプリケーションの本体 またはリソース割り当ての単位 従来の Task に相当 NodeManager ノードの状態 ( リソースの使用状況など ) を RM に通知 Page 23 NEC Corporation 2010

24 YARN(MapReduce2) Client AP AM RM S AppMsr C C NN C NN NN Page 24 NEC Corporation 2010

25 YARN(MapReduce2) プログラマーが作成するのは Client プログラム AppMsr Container の 3 つ ただし従来の M/R をそのまま YARN 上で動かすことは可能 M/R 以外のプログラム (BSP など ) を動かすことも可能 リソースの柔軟な割り当て コンテナのサイズや数をプログラマーが指定できる ( 現状ではメモリサイズのみ指定可能 ) 参考文献 : duce_nextgen_architecture.pdf / Page 25 NEC Corporation 2010

OSS 体験セミナー Hadoop の概要 高スケーラブルな分散管理基盤 2 つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目 分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF

OSS 体験セミナー Hadoop の概要 高スケーラブルな分散管理基盤 2 つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目 分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF Hadoop スタートアップセミナー Hadoop スタートアップセミナー NEC ラーニングテクノロジー研修事業部土井正宏 OSS 体験セミナー Hadoop の概要 高スケーラブルな分散管理基盤 2 つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目 分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム

More information

スライド 1

スライド 1 Hadoop とは Hadoop の二本柱 分散ファイルシステム HDFS(Hadoop Distributed File System) 分散プログラミングモデル MapReduce Hadoop の目的 大規模ファイル処理 格納, 加工 ペタバイト規模 複数計算機の協調動作 スケーラブルシステム 数百 ~ 数千台規模 Key-Value store MapReduce HDFS Node Node

More information

データセンターの効率的な資源活用のためのデータ収集・照会システムの設計

データセンターの効率的な資源活用のためのデータ収集・照会システムの設計 データセンターの効率的な 資源活用のためのデータ収集 照会システムの設計 株式会社ネットワーク応用通信研究所前田修吾 2014 年 11 月 20 日 本日のテーマ データセンターの効率的な資源活用のためのデータ収集 照会システムの設計 時系列データを効率的に扱うための設計 1 システムの目的 データセンター内の機器のセンサーなどからデータを取集し その情報を元に機器の制御を行うことで 電力消費量を抑制する

More information

OSS Mtg

OSS Mtg Hadoop ~Yahoo! JAPAN の活用について ~ 2011/01/15 ヤフー株式会社 R&D 統括本部 角田直行 吉田一星 自己紹介 角田直行 ( かくだなおゆき ) R&D 統括本部プラットフォーム開発本部検索開発部開発 3 2005 年ヤフー株式会社入社 ヤフー地図 ヤフー路線 ヤフー検索 2010 年現在 検索プラットフォームを開発中 1 自己紹介 吉田一星 ( よしだいっせい

More information

(Microsoft PowerPoint - Hadoop\225\224\211\357.ppt)

(Microsoft PowerPoint - Hadoop\225\224\211\357.ppt) Hadoop 部会 株式会社エイビス株式会社富士通九州システムズ九州東芝エンジニアリング株式会社九州東芝エンジニアリング株式会社株式会社オーイーシー株式会社オーイーシー大分大学大学院工学研究科 1 ( 部長 ) 小池翼 ( 副部長 ) 小畑智博小原辰徳郷原慎之介高熊大将玉井達也大場紀彦 2 テーマ 実業務への Hadoop の適用 ~ 気象データを用いた分散処理の実装 ~ Hadoop とは Hadoop

More information

Introduction

Introduction Introduction R&D More Than Web - - 3 R&D Vision Fusion Interaction Collaboration 3 6 Client Server Platform Client Server Platform Client Client Server Platform Server Client Server Platform Platform

More information

Joint Content Development Proposal Tech Docs and Curriculum

Joint Content Development Proposal Tech Docs and Curriculum 徹底解説!Hortonworks が提供する次世代データプラットフォーム 蒋逸峰 & 河村康爾 Hortonworks October 10, 2017 1 Hortonworks Inc. 2011 2016. All Rights Reserved 総合的な管理 セキュリティやガバナンス ON-PREMISES CLOUD EDGE MULTI-WORKLOADS MULTI-TYPE MULTI-TIER

More information

自己紹介 伊藤雅博 ( いとうまさひろ ) 所属 : 日立製作所 OSS ソリューションセンタ 業務 : Hadoop/Spark を中心としたビッグデータ関連 OSS の導入支援や検証 テクニカルサポート Think IT の連載記事 : ユースケースで徹底検証! Spark のビッグデータ処理機

自己紹介 伊藤雅博 ( いとうまさひろ ) 所属 : 日立製作所 OSS ソリューションセンタ 業務 : Hadoop/Spark を中心としたビッグデータ関連 OSS の導入支援や検証 テクニカルサポート Think IT の連載記事 : ユースケースで徹底検証! Spark のビッグデータ処理機 NoSQL って結局どうなの? ~ HBase を例に検証してみました ~ 2017 年 3 月 10 日 日立製作所 OSS ソリューションセンタ 伊藤雅博 自己紹介 伊藤雅博 ( いとうまさひろ ) 所属 : 日立製作所 OSS ソリューションセンタ 業務 : Hadoop/Spark を中心としたビッグデータ関連 OSS の導入支援や検証 テクニカルサポート Think IT の連載記事 :

More information

FIT2015( 第 14 回情報科学技術フォーラム ) RC-003 ファイル格納位置制御による Hadoop MapReduce ジョブの性能の向上 藤島永太山口実靖 工学院大学大学院工学研究科電気 電子工学専攻工学院大学工学部情報通信工学科 1. はじめに近年, 世界中の情報量が爆発的に増加し

FIT2015( 第 14 回情報科学技術フォーラム ) RC-003 ファイル格納位置制御による Hadoop MapReduce ジョブの性能の向上 藤島永太山口実靖 工学院大学大学院工学研究科電気 電子工学専攻工学院大学工学部情報通信工学科 1. はじめに近年, 世界中の情報量が爆発的に増加し RC-3 ファイル格納位置制御による Hadoop MapReduce ジョブの性能の向上 藤島永太山口実靖 工学院大学大学院工学研究科電気 電子工学専攻工学院大学工学部情報通信工学科 1. はじめに近年, 世界中の情報量が爆発的に増加しており, その情報を収集 蓄積 分析して有効に活用することに注目が集まっている. その膨大な情報を扱う方法として, ASF(Apache Software Foundation)

More information

PowerPoint Presentation

PowerPoint Presentation AWS ビッグデータサービス Deep Dive アマゾンデータサービスジャパンソリューションアーキテクト蒋逸峰 July 17, 2014 Session #TA-01 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole

More information

スライド 1

スライド 1 SAS Loves Big Data via Hadoop ~Big Data Driven Innovation~ 惟高裕一, 北西由武, 都地昭夫 塩野義製薬株式会社 SAS Loves Big Data via Hadoop ~Big Data Driven Innovation~ Yuichi Koretaka, Yoshitake Kitanishi, Akio Tsuji SHIONOGI

More information

非構造化データの世界と構造化データの世界を繋ぐ!

非構造化データの世界と構造化データの世界を繋ぐ! 非構造化データの世界と構造化データの世界を繋ぐ! - ビッグデータのためのオラクル製品と技術 - 製品戦略統括本部戦略製品ソリューション本部下道高志 1 Copyright 2012, Oracle and/or its affiliates. All rights reserved. 2 Copyright 2012, Oracle and/or its affiliates. All rights

More information

Microsoft PowerPoint - SWoPP2010_Shirahata

Microsoft PowerPoint - SWoPP2010_Shirahata GPU を考慮した MapReduce の タスクスケジューリング 白幡晃一 1 佐藤仁 1 松岡聡 1 2 3 1 東京工業大学 2 科学技術振興機構 3 国立情報学研究所 大規模データ処理 情報爆発時代における 大規模データ処理 気象 生物学 天文学 物理学など様々な科学技術計算での利用 MapReduce 大規模データ処理のためのプログラミングモデルデ スケーラブルな並列データ処理 GPGPU

More information

DEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo

DEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo DEIM Forum 12 C2-6 Hadoop 112-86 2-1-1 E-mail: momo@ogl.is.ocha.ac.jp, oguchi@computer.org Web Hadoop Distributed File System Hadoop I/O I/O Hadoop A Study about the Remote Data Access Control for Hadoop

More information

Title

Title K-means w/ Hadoop ~ 運用パート~ 2013/1/28 田浦研究室 M1 中谷翔 1 Outline Hadoop の基本 実験結果 Hadoop 愛憎 2 基礎の基礎 by 田浦先生スライド P.8 をサラリと Map 関数, Reduce 関数を登録すれば勝手に分散処理 3 Hadoop の Good なところ 慣れればそこそこ楽にスケーラビリティ出せる Map 処理, Reduce

More information

目次 はじめに Introduction Analyzing Big Data Vectorwise and Hadoop Environments Vectorwise Hadoop Connector Perform

目次 はじめに Introduction Analyzing Big Data Vectorwise and Hadoop Environments Vectorwise Hadoop Connector Perform Vectorwise 3.0 Fast Answers from Hadoop Technical white paper - 1 - 目次 はじめに...- 3 - Introduction...- 3 - Analyzing Big Data...- 4 - Vectorwise and Hadoop Environments...- 5 - Vectorwise Hadoop Connector...-

More information

Hadoop Introduction

Hadoop Introduction Hadoop Introduction はじめに Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ Hadoop の概要 Hadoop の特徴 Hadoop クラスタ構成 マスターサーバ バッチの進捗状況管理 Map/Reduce タスク割振り NameNode JobTracker HDFS 管理 DataNode

More information

アジェンダ No-NoSQLによるアプローチ Hadoop ビッグデータ活用の課題 PostgreSQL Inter-Analyticsとは なぜPostgreSQL + Hadoopか Webログ分析の例 まとめ 課題と次のステップ 2

アジェンダ No-NoSQLによるアプローチ Hadoop ビッグデータ活用の課題 PostgreSQL Inter-Analyticsとは なぜPostgreSQL + Hadoopか Webログ分析の例 まとめ 課題と次のステップ 2 PostgreSQL Conference 2013 Tokyo PostgreSQL による Hadoop を利用した大規模データ分析機能 PG Inter-Analytics の紹介 中山陽太郎 yotaro.nakayama @ unisys.co.jp 日本ユニシス株式会社 総合技術研究所 アジェンダ No-NoSQLによるアプローチ Hadoop ビッグデータ活用の課題 PostgreSQL

More information

Python Perl JavaScript および PHP などの ランザクション ID を利用することで 重複する処理 な Tuple が流れるかはグルーピングより決定されま 多くの言語をサポートしています を判別することができます す 6 簡単なデプロイと運用 は簡単にデプロイし 動作させるこ

Python Perl JavaScript および PHP などの ランザクション ID を利用することで 重複する処理 な Tuple が流れるかはグルーピングより決定されま 多くの言語をサポートしています を判別することができます す 6 簡単なデプロイと運用 は簡単にデプロイし 動作させるこ 春の嵐吹く Twitter 社が公開したオープンソース リアルタイム分散処理 日々発生する大量なデータをリアルタイムに処理し続ける ストリームデータ処理 に対するニーズが高まっています 同じビッグデータでもバッチ処理の Hadoop とはまた違った解決方法が求められる分野です 本記事ではそのストリームデータ処理を実現するプロダクトとして 今 注目を集めている について解説します ビッグデータ リアルタイム

More information

Hadoop とは 大規模なデータを並列分散処理を行うフレームワークを提供 Google による MapReduce および Google File System(GFS) の論文をベースに開発された Apache プロジェクトの OSS MapReduce MapReduce 分散処理フレームワー

Hadoop とは 大規模なデータを並列分散処理を行うフレームワークを提供 Google による MapReduce および Google File System(GFS) の論文をベースに開発された Apache プロジェクトの OSS MapReduce MapReduce 分散処理フレームワー 超入門大規模分散処理フレームワーク Hadoop SRA OSS, Inc. 日本支社技術開発部エンジニア長田悠吾 Cloudera Certified Developer for Apache Hadoop Cloudera Certified Administrator for Apache Hadoop Copyright SRA OSS, Inc. Japan All rights reserved.

More information

情報処理学会研究報告 IPSJ SIG Technical Report Vol.2015-DPS-163 No.17 Vol.2015-MBL-75 No /5/28 Hadoop MapReduce の Reduce 処理の I/O 高速化 藤島永太山口実靖工学院大学大学院工学研究

情報処理学会研究報告 IPSJ SIG Technical Report Vol.2015-DPS-163 No.17 Vol.2015-MBL-75 No /5/28 Hadoop MapReduce の Reduce 処理の I/O 高速化 藤島永太山口実靖工学院大学大学院工学研究 Hadoop MapReduce の Reduce 処理の I/O 高速化 藤島永太山口実靖工学院大学大学院工学研究科電気 電子工学専攻 工学院大学工学部情報通信工学科 近年, 膨大な情報を収集 蓄積 分析する方法として,ASF(Apache Software Foundation) が開発 公開している Hadoop が注目されている. 一般に Hadoop MapReduce は,Map 処理と

More information

Elastic MapReduce bootcamp

Elastic MapReduce bootcamp EMR Controls, Debugging, Monitoring アマゾンデータサービスジャパン株式会社 このセッションの目的 EMR 環境の運用方法を講義とハンズオンを通して理解する デバッグ 調査の方法 モニタリングの方法 Copyright 2012 Amazon Web Services アジェンダ デバッグ 調査 ログの仕様 ログ確認方法モニタリング Management Console

More information

【Cosminexus V9】クラウドサービスプラットフォーム Cosminexus

【Cosminexus V9】クラウドサービスプラットフォーム Cosminexus http://www.hitachi.co.jp/soft/ask/ http://www.hitachi.co.jp/cosminexus/ Printed in Japan(H) 2014.2 CA-884R データ管 タ管理 理 ノンストップデータベース データ管 タ管理 理 インメモリデータグリッド HiRDB Version 9 ucosminexus Elastic Application

More information

オープンソースの MapReduce/分散ストレージ実装 Hadoopの紹介

オープンソースの MapReduce/分散ストレージ実装  Hadoopの紹介 オープンソースの MapReduce/ 分散ストレージ実装 Hadoop の概要と利用動向 玉川竜司 (dragan10@gmail.com) tamagawa_ryuji@twitter 本日の内容 自己紹介 悩める成長企業のお話 クラウドによる解決 Hadoopの紹介 サンプルプログラム 技術動向 ケーススタディの紹介 コミュニティの紹介 自己紹介を尐々 本職 : ソフトウェア開発者 かつて勤め先が

More information

Hadoopの全て

Hadoopの全て Kazuki Ohta ( ) Preferred Infrastructure 1 l l l l l ( ) Preferred Infrastructure, CTO Sedue Hadoop Hadoop l l l http://kzk9.net/ @kzk_mover l l l Hadoop Hadoop-Gfarm with I/O Project:

More information

PowerPoint Presentation

PowerPoint Presentation ビッグデータのためのオラクル製品と技術 製品戦略統括本部戦略製品ソリューション本部下道高志 1 Copyright 2012, Oracle and/or its affiliates. All rights reserved. 2 Copyright 2012, Oracle and/or its affiliates. All rights reserved. Russia 17 18 April

More information

yamamoto_hadoop.pptx

yamamoto_hadoop.pptx Hadoop Streaming 2011/2/16 H22 ? SaaS (So5ware as a Service) (,etc.) PaaS (Pla?orm as a Service) (Google App Engine,, Mixi Appli etc.) IaaS (Infrastructure as a Service) (Amazon EC2) VMWare ESX, Hyper-

More information

データ発生源から利用対象のデータを抽出して 欠損値処理や名寄せ等の加工を行い 蓄積用のストレージに格納する 2 蓄積 統合データが利用されるまでの間 保管する 必要に応じて複数のデータを利用目的に応じた形へ統合 結合する 3 分析 活用蓄積されたデータに対し BIや統計解析 データマイニングなどのツ

データ発生源から利用対象のデータを抽出して 欠損値処理や名寄せ等の加工を行い 蓄積用のストレージに格納する 2 蓄積 統合データが利用されるまでの間 保管する 必要に応じて複数のデータを利用目的に応じた形へ統合 結合する 3 分析 活用蓄積されたデータに対し BIや統計解析 データマイニングなどのツ 特集 ビッグデータの利活用 ビッグデータの要素技術の動向 森井 章夫 概要 クラウドコンピューティングやネットワークの高トラフィック化 スマートフォンなどのデバイスの普及を背景にして SNSや動画共有サイトなどのソーシャルメディアや 位置情報 リアル店舗 eコマース等の商取引情報 IoT M2Mセンサーなど 多種多様な ビッグデータ が 日々 膨大に生成されている ビッグデータを利用することで 既存のビジネスの改善や成長に活用し

More information

HIGIS 3/プレゼンテーション資料/J_GrayA.ppt

HIGIS 3/プレゼンテーション資料/J_GrayA.ppt SQL on Hadoop のホントのところ Impala vs Hive on Tez vs Drill 217/9/9 株式会社日立製作所 OSS ソリューションセンタ 木下翔伍 講演者 木下翔伍 / Kinoshita Shogo エンタープライズ向けビッグデータ関連ソリューション検討 開発 Hadoop エコシステム (Spark, Hive 等 ) の技術検証含む 例えば スマートメーター

More information

ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社

ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社 ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社 概要 NEC は ビッグデータの分析を高速化する分散処理技術を開発しました 本技術により レコメンド 価格予測 需要予測などに必要な機械学習処理を従来の 10 倍以上高速に行い 分析結果の迅速な活用に貢献します ビッグデータの分散処理で一般的なオープンソース Hadoop を利用 これにより レコメンド 価格予測 需要予測などの分析において

More information

当社のあゆみ 約半世紀にわたる歴史と経験を有する専門商社 1965 年東京エレクトロンで電子部品ビジネスを開始 1998 年東京エレクトロンの電 部品事業 ( 現 : 半導体及び電 デバイス事業 ) が分離 独 2003 年東京証券取引所市場第 2 部上場 2006 年東京エレクトロンからコンピュー

当社のあゆみ 約半世紀にわたる歴史と経験を有する専門商社 1965 年東京エレクトロンで電子部品ビジネスを開始 1998 年東京エレクトロンの電 部品事業 ( 現 : 半導体及び電 デバイス事業 ) が分離 独 2003 年東京証券取引所市場第 2 部上場 2006 年東京エレクトロンからコンピュー IoT を 据えたデータ活 は DataLake から始める Pivotal+Isilon で実現する DataLake の世界 2015 年 10 月 15 日東京エレクトロンデバイス ( 株 ) CN カンパニー CN 第二営業本部コーポレートアカウント営業部住友義典 当社のあゆみ 約半世紀にわたる歴史と経験を有する専門商社 1965 年東京エレクトロンで電子部品ビジネスを開始 1998 年東京エレクトロンの電

More information

サンプル株式会社 御中 システム導入のご提案

サンプル株式会社 御中 システム導入のご提案 Hadoop Recommendation Machine Learning 本文中の会社名 製品名 サービスネームについて Amazon Web Services は Amazon.com, Inc. の商標または登録商標です Apache Hadoop は Apache Software Foundation の商標または登録商標です hybris は hybris AG の商標または登録商標です

More information

DataKeeper for Windows リリースノート

DataKeeper for Windows リリースノート DataKeeper for Windows リリースノート Version 7.4.2 (Version 7 Update 4 Maintenance 2) 重要 本製品をインストールまたは使用する前に 必ずこのドキュメントをお読みください! このドキュメントには インストール時とその前後に留意すべき重要な項目に関する情報が記載されています はじめに SteelEye DataKeeper Cluster

More information

Oracle GoldenGate for Big Data

Oracle GoldenGate for Big Data Oracle GoldenGate for Big Data Oracle GoldenGate for Big Data 12c 製品は ソース システムのパフォーマンスに影響を与えることなく トランザクション データをビッグ データ システムにリアルタイムにストリーミングします Apache Hadoop Apache HBase Apache Hive Apache Flume Apache

More information

データマネジメントを取り巻く IT の課題 大規模データの実践的活用に向けて レッドハット株式会社 Senior Solution Architect and Cloud Evangelist 中井悦司 2012/04/13 version1.0

データマネジメントを取り巻く IT の課題 大規模データの実践的活用に向けて レッドハット株式会社 Senior Solution Architect and Cloud Evangelist 中井悦司 2012/04/13 version1.0 データマネジメントを取り巻く IT の課題 大規模データの実践的活用に向けて レッドハット株式会社 Senior Solution Architect and Cloud Evangelist 中井悦司 2012/04/13 version1.0 はじめに あなたには何色が見えますか 2 Contents 3 ビジネスにおけるデータの役割 企業データの構造変化とデータマネジメントの課題 これからのビジネスを支える新しいデータ構造

More information

橡ボーダーライン.PDF

橡ボーダーライン.PDF 1 ( ) ( ) 2 3 4 ( ) 5 6 7 8 9 10 11 12 13 14 ( ) 15 16 17 18 19 20 ( ) 21 22 23 24 ( ) 25 26 27 28 29 30 ( ) 31 To be or not to be 32 33 34 35 36 37 38 ( ) 39 40 41 42 43 44 45 46 47 48 ( ) 49 50 51 52

More information

タイトル (46 pt. HP Simplified bold/MSPゴシック太字)

タイトル (46 pt. HP Simplified bold/MSPゴシック太字) BigData における Hadoop への取組および検証事例紹介 日本ヒューレット パッカード株式会社テクノロジーサービス事業統括テクノロジーコンサルティング統括本部データセンターソリューション第一本部コアテクノロジー部惣道哲也 2012 年 10 月 22 日 目次 BigData の広がりと HP の取り組み Hadoop のご紹介 HBase のご紹介 Hadoop 適用方法 Hadoop

More information

Hortonworks Kitase

Hortonworks Kitase Data Platform エキスパートに聞く クラウドで実現するビッグデータ活 本マイクロソフト株式会社 本アイ ビー エム株式会社 ホートンワークスジャパン株式会社 佐藤 直 平 毅 北瀬 公彦 Hortonworks 2 アジェンダ メジャーなクラウドにおけるビッグデータ アナリティクス関連サービスについて確認 Azure のビッグデータ アナリティクス関連サービスについて IBM のビッグデータ

More information

Big Data ウェビナー シリーズ CiscoのHadoopリセールについて

Big Data ウェビナー シリーズ CiscoのHadoopリセールについて Big Data ウェビナーシリーズ Cisco の Hadoop リセールについて シスコシステムズ合同会社 Agenda Big Data/Hadoop パートナー リセールするHadoopディストリビューションについて Hadoopパートナー概要 Hadoopサブスクリプションについて Hadoopに関するCiscoの商品 Big Data / Analytics パートナー Apache HBase

More information

Automation for Everyone <デモ で実感できる、組織全体で活用できるAnsible Tower>

Automation for Everyone <デモ で実感できる、組織全体で活用できるAnsible Tower> Mixed-OSS における PostgreSQL の活用 2018 年 8 月 24 日三菱総研 DCS 株式会社 三菱総研 DCS の会社概要 IT コンサルティングからシステムの設計 開発 運用 処理まで すべての局面でサービスを提供できる IT トータルソリューションを実現しています 東京本社 ( 品川 ) 千葉情報センター 東京ビジネスセンター ( 木場 ) 商号設立資本金代表取締役社長株主

More information

Sharing the Development Database

Sharing the Development Database 開発データベースを共有する 目次 1 Prerequisites 準備... 2 2 Type of database データベースのタイプ... 2 3 Select the preferred database 希望のデータベースを選択する... 2 4 Start the database viewer データベース ビューワーを起動する... 3 5 Execute queries クエリを実行する...

More information

本セミナーに関して スケーラブルな処理に焦点を当てます MapReduce の デザインパターン を学びます 基本的な直観を話します 数学はありません Hadoop プログラミングのチュートリアルではありません GPGPU とも関係ありません 右の本の入門版 (PDF が GitHub で無料 公開

本セミナーに関して スケーラブルな処理に焦点を当てます MapReduce の デザインパターン を学びます 基本的な直観を話します 数学はありません Hadoop プログラミングのチュートリアルではありません GPGPU とも関係ありません 右の本の入門版 (PDF が GitHub で無料 公開 分散処理実践セミナー Apache Spark による MapReduce の基礎 小町守首都大学東京システムデザイン学部情報通信システムコース 204 年 2 月 2 日 ( 金 ) http://cl.sd.tmu.ac.jp/~komachi/ でスライドを公開します このスライドは Creative Commons Attribution-Noncommercial-Share Alike

More information

Exfront4.1.0リリースノート

Exfront4.1.0リリースノート Exfront4.6.1 リリースノート 4.6.1 / 2018 年 6 月 1 日 Exfront4.6.1 リリースノート June 1, 2018 目次 1. 概要...2 2. 最新ミドルウェアへの対応...3 2.1. 全文検索エンジン Apache Solr 7.3.1 への対応...3 2.2. データベース PostgreSQL 10 への対応...3 2.3. アプリケーションサーバー

More information

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション CLUSTERPRO X Nutanix 動作検証報告 2018 年 6 月日本電気株式会社 クラウドプラットフォーム事業部 (CLUSTERPRO) 免責事項 免責事項 本書の内容は 予告なしに変更されることがあります 日本電気株式会社は 本書の技術的もしくは編集上の間違い 欠落について 一切の責任を負いません また お客様が期待される効果を得るために 本書に従った導入 使用および使用効果につきましては

More information

PowerPoint Presentation

PowerPoint Presentation 1 ビッグデータのための Engineered Systems 超高速 Hadoop マシン Oracle Big Data Appliance 詳細と料理法 日本オラクル株式会社製品戦略統括本部戦略製品ソリューション本部マスタープリンシパルエンジニア下道高志 以下の事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません

More information

(Microsoft PowerPoint - Hadoop\225\224\211\357\224\255\225\\\211\357\216\221\227\277_ ppt)

(Microsoft PowerPoint - Hadoop\225\224\211\357\224\255\225\\\211\357\216\221\227\277_ ppt) Hadoop を使って分散処理を実践してみよう 部会員 ( 部長 ) 桂清太郎 モバイルクリエイト ( 株 ) ( 副部長 ) 今津久満 大分シーイーシー ( 株 ) 野口徹 三井造船システム技研 ( 株 ) 高橋麻衣子 ( 株 ) 富士通九州システムズ 早木建史 モバイルクリエイト ( 株 ) 森龍也 大分大学大学院 坂本親一郎 大分大学大学院 平成 23 年度 技術研究会 Hadoop 部会研究成果発表

More information

Microsoft Word - nvsi_050090jp_oracle10g_vlm.doc

Microsoft Word - nvsi_050090jp_oracle10g_vlm.doc Article ID: NVSI-050090JP Created: 2005/04/20 Revised: Oracle Database10g VLM 環境での NetVault 動作検証 1. 検証目的 Linux 上で稼動する Oracle Database10g を大容量メモリ搭載環境で動作させる場合 VLM に対応したシステム設定を行います その環境において NetVault を使用し

More information

Server and Cloud Platform template

Server and Cloud Platform template 利用形態に合わせたクラウド利用 クラウドプラットフォーム 利用形態に合わせたクラウド利用 アプリケーション アプリケーション アプリケーション データ データ データ ランタイム ランタイム ミドルウエア ミドルウエア OS OS 仮想化 サーバー ストレージ ネットワーク Windows Server Microsoft Azure 仮想マシン Windows Server Hyper-V Microsoft

More information

2D/3D CAD データ管理導入手法実践セミナー Autodesk Vault 最新バージョン情報 Presenter Name 2013 年 4 月 2013 Autodesk

2D/3D CAD データ管理導入手法実践セミナー Autodesk Vault 最新バージョン情報 Presenter Name 2013 年 4 月 2013 Autodesk 2D/3D CAD データ管理導入手法実践セミナー Autodesk Vault 最新バージョン情報 Presenter Name 2013 年 4 月 2013 Autodesk Autodesk Vault 2014 新機能 操作性向上 Inventor ファイルを Vault にチェックインすることなくステータス変更を実行できるようになりました 履歴テーブルの版管理を柔軟に設定できるようになりました

More information

Oracle Un お問合せ : Oracle Data Integrator 11g: データ統合設定と管理 期間 ( 標準日数 ):5 コースの概要 Oracle Data Integratorは すべてのデータ統合要件 ( 大量の高パフォーマンス バッチ ローブンの統合プロセスおよ

Oracle Un お問合せ : Oracle Data Integrator 11g: データ統合設定と管理 期間 ( 標準日数 ):5 コースの概要 Oracle Data Integratorは すべてのデータ統合要件 ( 大量の高パフォーマンス バッチ ローブンの統合プロセスおよ Oracle Un お問合せ : 0120- Oracle Data Integrator 11g: データ統合設定と管理 期間 ( 標準日数 ):5 コースの概要 Oracle Data Integratorは すべてのデータ統合要件 ( 大量の高パフォーマンス バッチ ローブンの統合プロセスおよびSOA 対応データ サービスへ ) を網羅する総合的なデータ統合プラットフォームです Oracle

More information

MATLAB®によるビッグデータ解析

MATLAB®によるビッグデータ解析 MATLAB によるビッグデータ解析 MathWorks Japan アプリケーションエンジニアリング部 アプリケーションエンジニア 吉田剛士 2013 The MathWorks, Inc. 1 ビッグデータ解析とその背景増え続けるデータ量 ビッグデータとは 100TB ~ 10PB 程度のデータ量 データが膨大になる理由 データソースの多様化と高性能化 スマートフォン位置情報監視カメラ検索情報

More information

Microsoft PowerPoint _Hadoop.pptx

Microsoft PowerPoint _Hadoop.pptx Hadoop で行う大規模データ処理 kzk Hadoop とは? Google の基盤ソフトウェアのクローン Google File System Yahoo Research の Doug Cutting 氏が開発 元々は Nutch Crawler のサブプロジェクト Doug の子供の持っているぬいぐるみの名前 Java で記述 Amazon S3 との親和性

More information

記憶域スペースダイレクト (S2D) を活用したハイパーコンバージドインフラ技術解説ガイド 概要本ドキュメントは Windows Server 2016 で構築したハイパーコンバージドインフラ (Hyper-Converged Infrastructure:HCI) を技術的な観点から解説したガイド

記憶域スペースダイレクト (S2D) を活用したハイパーコンバージドインフラ技術解説ガイド 概要本ドキュメントは Windows Server 2016 で構築したハイパーコンバージドインフラ (Hyper-Converged Infrastructure:HCI) を技術的な観点から解説したガイド 記憶域スペースダイレクト (S2D) を活用したハイパーコンバージドインフラ技術解説ガイド 概要本ドキュメントは Windows Server 2016 で構築したハイパーコンバージドインフラ (Hyper-Converged Infrastructure:HCI) を技術的な観点から解説したガイドです 主にシステム構成 記憶域スペースダイレクト (Storage Spaces Direct:S2D)

More information

MapR on UCE : Hadoopはこう売ろう。難しくないHadoopの提案

MapR on UCE : Hadoopはこう売ろう。難しくないHadoopの提案 MapR on UCS:Hadoop はこう売ろう 難しくない Hadoop の提案 マップアール テクノロジーズ株式会社 アライアンス & プロダクトマーケティング 三原茂 MapR企業概要 ビッグデータ のコアに お客様の成長 と共に 700+ Customers Apache Open Source + Innovation MapR Technologies Inc. Founder John

More information

Blue Asterisk template

Blue Asterisk template IBM Content Analyzer V8.4.2 TEXT MINER の新機能 大和ソフトウェア開発 2008 IBM Corporation 目次 UI カスタマイズ機能 検索条件の共有 柔軟な検索条件の設定 2 UI カスタマイズ機能 アプリケーションをカスタマイズするために Java Script ファイルおよびカスケーディングスタイルシート (CSS) ファイルの読み込み機能が提供されています

More information

FUJITSU Cloud Service for OSS 「コンテナサービス」 ご紹介資料

FUJITSU Cloud Service for OSS 「コンテナサービス」 ご紹介資料 注 : 本サービスは 新規申込の受付を停止しております サービスご検討中のお客様におかれましては ご不便をおかけし申し訳ございません FUJITSU Cloud Service for OSS コンテナサービス ご紹介 2018 年 8 月富士通株式会社 本資料の無断複製 転載を禁じます 本資料は予告なく内容を変更する場合がございます Version 1.01 目次 Docker/Kubernetes

More information

本当に必要なビッグデータ活用インフラはこれだ!! PivotalHD + Isilon が作り出すデータレイク構想 東京エレクトロンデバイス株式会社 CN 事業統括本部 2014 年 8 月 本掲載内容に関するお問合せはこちらにお願いします 東京エレクトロンデバイス株式会社 CN 事業統括本部 TE

本当に必要なビッグデータ活用インフラはこれだ!! PivotalHD + Isilon が作り出すデータレイク構想 東京エレクトロンデバイス株式会社 CN 事業統括本部 2014 年 8 月 本掲載内容に関するお問合せはこちらにお願いします 東京エレクトロンデバイス株式会社 CN 事業統括本部 TE 本当に必要なビッグデータ活用インフラはこれだ!! PivotalHD + Isilon が作り出すデータレイク構想 東京エレクトロンデバイス株式会社 CN 事業統括本部 2014 年 8 月 本掲載内容に関するお問合せはこちらにお願いします 東京エレクトロンデバイス株式会社 CN 事業統括本部 TEL:03-5908-197 昨今 ビッグデータ活用に関する話題は テレビ 新聞 各種メディアなどでも取り上げられ

More information

Agenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2

Agenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2 OpenStack Sahara Road to Kilo www.miran(s.com/jp Copyright 2015 Mirantis, Inc. All rights reserved Agenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2 Hadoop Open-source

More information

CLUSTERPRO MC ProcessSaver 1.2 for Windows 導入ガイド 第 4 版 2014 年 3 月 日本電気株式会社

CLUSTERPRO MC ProcessSaver 1.2 for Windows 導入ガイド 第 4 版 2014 年 3 月 日本電気株式会社 CLUSTERPRO MC ProcessSaver 1.2 for Windows 導入ガイド 第 4 版 2014 年 3 月 日本電気株式会社 目次 はじめに 本製品のねらい こんな障害が発生したら 導入効果 適用例 1 適用例 2 ProcessSaver 機能紹介 ProcessSaver とは? 消滅監視の概要 運用管理製品との連携 システム要件 製品価格 保守 / サービス関連情報 購入時のご注意

More information

2 Hadoop MapReduce Hadoop, MapReduce Apache Hadoop Project Open Source Software Hadoop common MapReduce Hadoop Distributed File System( HDFS)

2 Hadoop MapReduce Hadoop, MapReduce Apache Hadoop Project Open Source Software Hadoop common MapReduce Hadoop Distributed File System( HDFS) DEIM Forum 2014 D1-6 Hadoop 780-8520 2-5-1 780-8520 2-5-1 780-8520 2-5-1 E-mail: {nishimae,b103k299,honda}@is.kochi-u.ac.jp Hadoop MapReduce Map-Reduce Hadoop,MapReduce,,,, 1. e- Apache Hadoop ( Hadoop)

More information

Hadoop LZO圧縮機能の検証

Hadoop LZO圧縮機能の検証 ホワイトペーパー Hadoop LZO 圧縮機能の検証 対象 Apache Hadoop 対象バージョン Apache Hadoop 0.20.203.0 / LZO 2.03 概要 本書は Hadoop の処理対象データを LZO 形式で圧縮した場合 処理時間 と HDFS 使用量 の関係と効果について確認する事を目的として実施した 検証の内容 およびその結果を記載したものです 検証の結果 LZO

More information

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション 動作検証レポート dd 2016 年 6 月 株式会社高速屋 1 刻々と発生するビッグデータのオンタイム アナリシス : 動作検証概要 検証対象 : 1. ファイル処理 入力 CSV ファイルを読込み 処理結果を CSV ファイルに出力 2. インメモリ処理 事前にインメモリ化されたデータに対してクエリ (Select 文 ) を実行 1. ファイル処理 1-1. 集計 ロード データ :POS 明細件数

More information

情報処理学会研究報告 IPSJ SIG Technical Report Vol.2013-DBS-158 No /11/26 データ共有型マルチデータベースシステムにおけるクエリ効率化手法 齋藤和広 渡辺泰之 小林亜令 近年, データの大規模化やデータ利用の多様化に対応するために, 単

情報処理学会研究報告 IPSJ SIG Technical Report Vol.2013-DBS-158 No /11/26 データ共有型マルチデータベースシステムにおけるクエリ効率化手法 齋藤和広 渡辺泰之 小林亜令 近年, データの大規模化やデータ利用の多様化に対応するために, 単 データ共有型マルチデータベースシステムにおけるクエリ効率化手法 齋藤和広 渡辺泰之 小林亜令 近年, データの大規模化やデータ利用の多様化に対応するために, 単一のデータソースに対して特徴の異なる複数のクエリ処理エンジンを選択し利用可能となってきている. これらのクエリ処理エンジンは, それぞれデータの種類や規模に応じた最適化が施されているため, ユーザが各エンジンの特性を理解し, 使い分けることでクエリ処理性能を最大限活用することができる.

More information

Copyright 2012 EMC Corporation. All rights reserved. ( 不許複製 禁無断転載 ) EMC Corporation は この資料に記載される情報が 発行日時点で正確であるとみなしています この情報は予告なく変更されることがあります 本文書に記載され

Copyright 2012 EMC Corporation. All rights reserved. ( 不許複製 禁無断転載 ) EMC Corporation は この資料に記載される情報が 発行日時点で正確であるとみなしています この情報は予告なく変更されることがあります 本文書に記載され ホワイト ペーパー EMC ISILON スケールアウト NAS 上の HADOOP 要約 このホワイト ペーパーでは エンタープライズ向けの Hadoop データ分析ワークフローをサポートするための EMC Isilon スケールアウト NAS の使用方法を詳述しています 関連するコア アーキテクチャ コンポーネントについての説明のほか 企業が信頼できる洞察を短時間で効率よく手に入れながら シンプルさを維持したまま

More information

マイクロソフトと大規模データ処理

マイクロソフトと大規模データ処理 マイクロソフトと 大 規 模 データ 処 理 2012 年 4 月 19 日 佐 々 木 邦 暢 (@ksasakims) 日 本 マイクロソフト 株 式 会 社 本 日 の 内 容 弊 社 内 での 大 規 模 データ 処 理 事 例 Windows 向 けの 調 整 と 機 能 追 加 を Apache へフィードバック WindowsでHadoopを 活 用 する 時 代 に 向 けて 変 わりゆくマイクロソフトと

More information

HDC-EDI Manager Ver レベルアップ詳細情報 < 製品一覧 > 製品名バージョン HDC-EDI Manager < 対応 JavaVM> Java 2 Software Development Kit, Standard Edition 1.4 Java 2

HDC-EDI Manager Ver レベルアップ詳細情報 < 製品一覧 > 製品名バージョン HDC-EDI Manager < 対応 JavaVM> Java 2 Software Development Kit, Standard Edition 1.4 Java 2 レベルアップ詳細情報 < 製品一覧 > 製品名バージョン HDC-EDI Manager 2.2.0 < 対応 JavaVM> Java 2 Software Development Kit, Standard Edition 1.4 Java 2 Platform Standard Edition Development Kit 5.0 Java SE Development Kit 6 < 追加機能一覧

More information

Microsoft Word - EMC Isilon HDFSサポート ホワイトペーパー2012Feb.doc

Microsoft Word - EMC Isilon HDFSサポート ホワイトペーパー2012Feb.doc ホワイトペーパー EMC Isilon スケールアウト NAS による Hadoop ストレージ環境の構築 要約 このホワイトペーパーでは EMC Isilon スケールアウト NAS によってエンタープライズが Hadoop データ分析ワークフローを導入する方法について詳細に説明します ここではコアアーキテクチャの関連コンポーネントを紹介するとともに 進化するビッグデータの分析ワークフローのストレージ要件を満たすうえで

More information

<4D F736F F D2091B28BC68CA48B8695F18D908F912E646F63>

<4D F736F F D2091B28BC68CA48B8695F18D908F912E646F63> 卒業研究報告書 題目 並列処理によるデータベース 指導教員 石水隆助教 報告者 04-1-47-175 三宅健太 近畿大学理工学部情報学科 平成 21 年 1 月 31 日提出 概要 膨大な量のデータから成るテーブルに対し検索し 1 つの応答時間が非常に大きなものの場合がある その原因には SQL 文の文法が悪い あるいはインデックスの張り方が悪いなどデータがきちんとそれぞれのテーブルに割り振られていない場合や

More information

アジェンダ クラスタリングとは 今回の構成 DRBD Zabbix 等の構成ソフトウェア Zabbix2.0 新機能 構築方法 バックアップについて 参考資料 2

アジェンダ クラスタリングとは 今回の構成 DRBD Zabbix 等の構成ソフトウェア Zabbix2.0 新機能 構築方法 バックアップについて 参考資料 2 Linux-HA を利用した Zabbix2.0 の高信頼クラスタの構築 検証報告 ミラクル リナックス ( 株 ) 吉田 2013/2/22 アジェンダ クラスタリングとは 今回の構成 DRBD Zabbix 等の構成ソフトウェア Zabbix2.0 新機能 構築方法 バックアップについて 参考資料 2 クラスタリングとは HA クラスタとは ディスクミラー型クラスタの構成 HA クラスタとは High

More information

ERDAS IMAGINE における処理速度の向上 株式会社ベストシステムズ PASCO CORPORATION 2015

ERDAS IMAGINE における処理速度の向上 株式会社ベストシステムズ PASCO CORPORATION 2015 ERDAS IMAGINE における処理速度の向上 株式会社ベストシステムズ 本セッションの目的 本セッションでは ERDAS IMAGINEにおける処理速度向上を目的として機器 (SSD 等 ) 及び並列処理の比較 検討を行った 1.SSD 及び RAMDISK を利用した処理速度の検証 2.Condorによる複数 PCを用いた並列処理 2.1 分散並列処理による高速化試験 (ERDAS IMAGINEのCondorを使用した試験

More information

開発ツールのコラボレーション機能を検証する

開発ツールのコラボレーション機能を検証する 開発ツールのコラボレーション機能を検証する ボーランド株式会社デベロッパーツールズ事業本部藤井等 開発ツールをとりまく環境 仕様変更 フレームワークのバージョンアップ コーディング規約 バグ対応 ドキュメント プロトタイプ 機能強化 テストバージョン リリース 2 どのサイズの開発でもなんらかの 管理 + コラボレーション が必要 個人で開発する場合数名で開発する場合チームで開発する場合 複雑さ 保管共有管理

More information

プロダクトシート Syncsort DMX-h ビッグデータの統合をシンプルに モダンデータアーキテクチャの目標 データウェアハウスおよびメインフレームは従来のデータアーキテクチャにおける中核であり 現在でも重要な役割を担っています しかし データ量の急増に対処したり 企業で分析が必要な多くの新しい

プロダクトシート Syncsort DMX-h ビッグデータの統合をシンプルに モダンデータアーキテクチャの目標 データウェアハウスおよびメインフレームは従来のデータアーキテクチャにおける中核であり 現在でも重要な役割を担っています しかし データ量の急増に対処したり 企業で分析が必要な多くの新しい プロダクトシート Syncsort DMX-h ビッグデータの統合をシンプルに モダンデータアーキテクチャの目標 データウェアハウスおよびメインフレームは従来のデータアーキテクチャにおける中核であり 現在でも重要な役割を担っています しかし データ量の急増に対処したり 企業で分析が必要な多くの新しい種類のデータソースを扱うために コストを抑えつつスケーリングできるようには設計されていません そのため

More information

CLUSTERPRO X 3.3 for FileMaker Server ご紹介資料 2017 年 7 月日本電気株式会社クラウドプラットフォーム事業部 CLUSTERPRO グループ ( グローバル プロモーションチーム ) 目次 1. 製品概要 2. 特 3. 構成例 / 概算 積り 4. 型番一覧 5. 動作環境と注意事項 6. プログレッシブバックアップ連携 7.Web 公開利 時の障害を

More information

提案書

提案書 アクセスログ解析ソフト Angelfish インストールについて Windows 版 2018 年 05 月 07 日 ( 月 ) 有限会社インターログ TEL: 042-354-9620 / FAX: 042-354-9621 URL: http://www.interlog.co.jp/ はじめに Angelfish のインストールに手順について説明致します 詳細は US のヘルプサイトを参照してください

More information

変更履歴 項番版数内容更新日 版新規作成 2013 年 11 月 18 日 1

変更履歴 項番版数内容更新日 版新規作成 2013 年 11 月 18 日 1 Windows Server 2012 R2 評価レポート Windows Server 2012 R2 Hyper-V レプリカの改良点 第 1.0 版 2013 年 11 月 18 日 株式会社日立製作所 IT プラットフォーム事業本部 変更履歴 項番版数内容更新日 1 1.0 版新規作成 2013 年 11 月 18 日 1 用語および略号 Windows Server 2012 R2 マイクロソフトが2013

More information

構成例 システム名 : 単独サーバ業務システムユーザ数 : 1 ユーザ マルチコア CPU のサーバ 1 台で開発 運用します ソート機能を使用します COBOL SE Developer COBOL SE Server Runtime SORTKIT/Enterprise for Windows

構成例 システム名 : 単独サーバ業務システムユーザ数 : 1 ユーザ マルチコア CPU のサーバ 1 台で開発 運用します ソート機能を使用します COBOL SE Developer COBOL SE Server Runtime SORTKIT/Enterprise for Windows COBOL Standard Edition V2 COBOL Standard Edition V2 は以下のソフトウェアによって構成されています COBOL Standard Edition Developer V2.0 COBOL コンパイラ 開発環境 ランタイム (COBOL GUI COBOL WEB COBOL SQL アクセスのランタイム含む ) ( 評価用 ) 一式 COBOL Standard

More information

CLUSTERPRO X 3.2 for FileMaker Server 13 ご紹介資料 2015 年 8 月日本電気株式会社クラウドプラットフォーム事業部 CLUSTERPRO グループ ( グローバル プロモーションチーム )

CLUSTERPRO X 3.2 for FileMaker Server 13 ご紹介資料 2015 年 8 月日本電気株式会社クラウドプラットフォーム事業部 CLUSTERPRO グループ ( グローバル プロモーションチーム ) CLUSTERPRO X 3.2 for FileMaker Server 13 ご紹介資料 2015 年 8 月日本電気株式会社クラウドプラットフォーム事業部 CLUSTERPRO グループ ( グローバル プロモーションチーム ) 目次 1. 製品概要 2. 特 3. 構成例 / 概算 積り 4. 型番一覧 5. 動作環境と注意事項 6. プログレッシブバックアップ連携 7.Web 公開利 時の障害を

More information

スライド 1

スライド 1 Apache Hadoop エコシステム を 中 心 とした 分 散 処 理 の 今 と 未 来 小 沢 健 史 ozawa.tsuyoshi@lab.ntt.co.jp ozawa@apache.org アジェンダ 処 理 基 盤 の 意 義 MapReduce の 動 向 と 進 化 MapReduce の 概 要 MapReduce の 課 題 と 解 法 分 散 処 理 基 盤 の 動 向

More information

目次 基本構成 推奨する主な構成. 仮想マシン用ライセンス概要. VMware vsphere 5 環境の高可用構成 2. ライセンス体系 2. VMware vsphere 4 環境の高可用構成. 共有ディスク型 ( 仮想マシン2 台 ). VMware vsphere 4 環境の高可用構成 2

目次 基本構成 推奨する主な構成. 仮想マシン用ライセンス概要. VMware vsphere 5 環境の高可用構成 2. ライセンス体系 2. VMware vsphere 4 環境の高可用構成. 共有ディスク型 ( 仮想マシン2 台 ). VMware vsphere 4 環境の高可用構成 2 CLUSTERPRO X. for Windows VM/Linux VM/Solaris VM ~ 仮想マシン用ライセンス体系資料 ~ 204 年 6 月 日本電気株式会社システムソフトウェア事業部 CLUSTERPRO グループ ( グローバル プロモーションチーム ) 目次 基本構成 推奨する主な構成. 仮想マシン用ライセンス概要. VMware vsphere 5 環境の高可用構成 2. ライセンス体系

More information

KSforWindowsServerのご紹介

KSforWindowsServerのご紹介 Kaspersky Security for Windows Server のご紹介 ランサムウェアに対抗する アンチクリプター を搭載 株式会社カスペルスキー 製品本部 目次 1. サーバーセキュリティがなぜ重要か? 2. Kaspesky Security for Windows Server の概要 Kaspersky Security for Windows Server の特長 導入の効果

More information

Arcserve Replication/High Availability 製品の仕組み

Arcserve Replication/High Availability  製品の仕組み 目次 1. Arcserve Replication/High Availability 共通の仕組み 1-1: 同期とレプリケーションについて 1-2: 同期の仕組み ファイルレベル同期 ブロックレベル同期 オフライン同期 1-3: レプリケーションの仕組み 2. Arcserve High Availability スイッチオーバーの仕組み 2-1: IP 移動 2-2: コンピュータ名の切り替え

More information

PowerPoint Presentation

PowerPoint Presentation MATLAB による 大規模フリートデータ解析 アプリケーションエンジニアリング部齊藤甲次朗 2015 The MathWorks, Inc. 1 アジェンダ はじめに ビッグデータ解析の課題 MATLAB を活用したフリートデータ解析事例 フリートデータ解析実践 デスクトップでの解析 クラスターへのスケールアウト MATLAB 解析のシステムへの統合 まとめ 2 25 GB / 1hour 4 フリートデータ解析を含むビッグデータ解析の課題

More information

CLUSTERPRO X 4.0 for Windows VM/Linux VM/Solaris VM 仮想マシン用ライセンス体系資料

CLUSTERPRO X 4.0 for Windows VM/Linux VM/Solaris VM 仮想マシン用ライセンス体系資料 CLUSTERPRO X 4. for Windows VM/Linux VM/Solaris VM 仮想マシン用ライセンス体系資料 09 年 4 月日本電気株式会社クラウドプラットフォーム事業部 (CLUSTERPRO) 目次 基本構成 推奨する主な構成 仮想マシン用ライセンスとは VMware vsphere 6.7/6.5 環境の高可用構成 仮想マシン用ライセンス概要 Hyper-V 環境の高可用構成

More information

Oracle 製品の使い分け 2017 年 10 月日本電気株式会社クラウドプラットフォーム事業部 CLUSTERPROグループ 目次 と Database Agent を使用するメリット と を使用するメリット Database Agent と の差異 のみが有する機能と特徴 製品価格 お問い合わせ先 と Database Agent を使用するメリット に加えて Database Agent

More information

スライド 1

スライド 1 オンライン セミナー Bluemix いつでも Webinar シリーズ第 18 回 Cloudant & dashdb 日本アイ ビー エム株式会社 IBM アナリティクス事業部肥後智彦 Bluemix で使用できるデータベース サービス 2 2014 IBM Corporation Bluemix で使用できるデータベース サービス 3 2014 IBM Corporation 4 2013 IBM

More information

EMC-greenplum-SG s-1p

EMC-greenplum-SG s-1p Greenplum DB / Greenplum MR Greenplum MR (Greenplum HD ITpro EXPO AWARD Contents Greenplum DB 2 Hadoop Greenplum MR 18 1 EMC 2-1-1 151-0053 http://japan.emc.com http://japan.emc.com/contact/ EMC2EMCGreenplumGreenplum

More information

OpenStack Data Prosessing as a Service(DPaaS) Saharaを試す

OpenStack Data Prosessing as a Service(DPaaS) Saharaを試す OpenStack Juno Sahara(Hadoop-as-a-Service) の概要 日本ヒューレット パッカード株式会社テクノロジーコンサルティング事業統括本部オープンソース部 自己紹介 : 大矢俊夫 ( おおやとしお ) 所属 日本ヒューレット パッカード株式会社テクノロジーコンサルティング事業統括本部サービス統括本部オープンソース部 職務領域 OSS および Java 製品関連に全般に関する技術支援

More information

CLUSTERPRO MC StorageSaver istorage M シリーズ使用時の設定手順 (HP-UX 版 Linux 版 Windows 版 ) 2013(Apr) NEC Corporation istorage M シリーズを使用する場合の StorageSaver 設定手順 (H

CLUSTERPRO MC StorageSaver istorage M シリーズ使用時の設定手順 (HP-UX 版 Linux 版 Windows 版 ) 2013(Apr) NEC Corporation istorage M シリーズを使用する場合の StorageSaver 設定手順 (H CLUSTERPRO MC StorageSaver istorage M シリーズ使用時の設定手順 (HP-UX 版 Linux 版 Windows 版 ) 2013(Apr) NEC Corporation istorage M シリーズを使用する場合の StorageSaver 設定手順 (HP-UX 版 ) istorage M シリーズを使用する場合の StorageSaver 設定手順

More information

今さら聞けない!? Oracle入門 ~後編~

今さら聞けない!? Oracle入門 ~後編~ Oracle Direct Seminar 今さら聞けない!? Oracle 入門 ~ 後編 ~ 日本オラクル株式会社 Agenda 1. Oracle の基本動作 2. Oracle のファイル群 3. Oracle のプロセス群と専用メモリ領域. データベース内部動作 今さら聞けない!? オラクル入門 ~ 後編 ~. データベース内部動作 検索時の動作更新時の動作バックアップについて

More information

CLUSTERPRO X 4.0 for FileMaker Server ご紹介資料

CLUSTERPRO X 4.0  for FileMaker Server ご紹介資料 CLUSTERPRO X 4.0 for FileMaker Server ご紹介資料 2018 年 5 月日本電気株式会社クラウドプラットフォーム事業部 (CLUSTERPRO) 目次 1. 製品概要 2. 特長 3. 構成例 / 概算見積り 4. 型番一覧 5. 動作環境と注意事項 6. プログレッシブバックアップ連携 7. Web 公開利用時の障害を自動回復 8. 保守 1. 製品概要 FileMaker

More information

Slide 1

Slide 1 Oracle Data Guard の構築とフェイルオーバー実行例 日本オラクル株式会社 以下の事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません 以下の事項は マテリアルやコード 機能を提供することをコミットメント ( 確約 ) するものではないため 購買決定を行う際の判断材料になさらないで下さい

More information

Microsoft PowerPoint - 【イベント】SMFセッション資料I:101130:松倉.pptx

Microsoft PowerPoint - 【イベント】SMFセッション資料I:101130:松倉.pptx 2010/11/30 System Management Forum 2010 Autumn Hadoopが 切 り 拓 く 企 業 のデータ 活 用 株 式 会 社 スカイアーチネットワークス 代 表 取 締 役 社 長 江 戸 達 博 2001-2010 Skyarch Networks Inc. All rights reserved. アジェンダ 1. 注 目 の 技 術 Hadoop 2.

More information

Linux勉強会 ~Hadoopと高可用性~ Hadoop入門

Linux勉強会 ~Hadoopと高可用性~ Hadoop入門 Linux 勉強会 ~Hadoop と高可用性 ~ Hadoop 入門 日本ヒューレット パッカード株式会社 ESSN プリセールス統括本部エンタープライズサーバー ストレージ技術第 1 本部 Linux ソリューション部 Cloudera Certified Administrator for Apache Hadoop'CCAH( 認定技術者 古賀政純 Twitter: @masazumi_koga

More information

IPM Release 2.6 へのアップグ レード

IPM Release 2.6 へのアップグ レード CHAPTER 3 この章では 以前のリリースの IPM を IPM Release 2.6 にアップグレードする方法について説明します 取り上げる項目は次のとおりです 前のリリースの IPM からのアップグレード (P.3-2) IPM 2.6 の移行パス (P.3-3) Windows でのリモートデータの移行 (P.3-4) Solaris でのリモートデータの移行 (P.3-6) IPM サーバと

More information

PowerPoint Presentation

PowerPoint Presentation ProjectLA バックエンドの技術解説 RDF を使った三つ組みデータの格納 2013/03/14 クラウド テクノロジー研究部会リーダー荒本道隆 ( アドソル日進株式会社 ) 何故 RDF か? 断片的なデータを相互につなぎたい RDFは主語 述語 目的語の三つ組構造で表現 目的語と主語に同じ値を設定して それぞれをつなぐ 属性を事前に決定できない RDFはスキーマレスなので 柔軟に対応できる

More information

使える! IBM Systems Director Navigator for i の新機能

使える! IBM Systems Director Navigator for i の新機能 使える! IBM Systems Director Navigator for i の 新機能 IBM Systems Director Navigator for i とは IBM i 6.1 から OS 標準機能として IBM i を管理するための新しい Web ベース ツール IBM Systems Director Navigator for i( 以下 Director Navigator)

More information

CLUSTERPRO MC StorageSaver istorage M シリーズ使用時の設定手順 (HP-UX 版 Linux 版 Windows 版 ) 2013(Sep) NEC Corporation istorage M シリーズを使用する場合の StorageSaver 設定手順 (H

CLUSTERPRO MC StorageSaver istorage M シリーズ使用時の設定手順 (HP-UX 版 Linux 版 Windows 版 ) 2013(Sep) NEC Corporation istorage M シリーズを使用する場合の StorageSaver 設定手順 (H CLUSTERPRO MC StorageSaver istorage M シリーズ使用時の設定手順 (HP-UX 版 Linux 版 Windows 版 ) 2013(Sep) NEC Corporation istorage M シリーズを使用する場合の StorageSaver 設定手順 (HP-UX 版 ) istorage M シリーズを使用する場合の StorageSaver 設定手順

More information

スライド 1

スライド 1 クラウド テクノロジー研究部会 ビックデータを支えるクラウド技術 今更聞けない Hadoop 入門 ( 演習編 )~ 2013 年 01 月 26 日 株式会社イーグル 菅井康之 Agenda Hadoop の概要 お話したいことは多々ありますが 演習の時間を多く取りたいので手短に 演習 Windows 開発環境でMapReduceを実装 Windows 上でスタンドアロンモードの動作確認 Linux

More information

vdi_service_details

vdi_service_details 仮想デスクトップ : タイプ 1 仮想 PC 型共有型 V D I 型 構成 1 台のを論理的に分割し 仮想マシンを構築 仮想マシンは 1 人で専有 パソコン利用に近い環境のため 動作するアプリの範囲が広い 専有環境のため アプリのインストールなど自由度が高い 一般的な OA 環境ソフトウェア開発環境など 構成 1 台のを多数のユーザで共有 コストメリットが高い マルチセッション未対応のアプリについては

More information