スライド 1
|
|
- たけなり みねむら
- 5 years ago
- Views:
Transcription
1 SAS Loves Big Data via Hadoop ~Big Data Driven Innovation~ 惟高裕一, 北西由武, 都地昭夫 塩野義製薬株式会社 SAS Loves Big Data via Hadoop ~Big Data Driven Innovation~ Yuichi Koretaka, Yoshitake Kitanishi, Akio Tsuji SHIONOGI & CO., LTD. 1
2 要旨 : シオノギで構築した Hadoop 環境の紹介,Hadoop と SAS を連携させる方法, およびその留意点, さらにはそれらを利用したデータ解析事例について報告する. キーワード :Big Data,Hadoop,hive,HDFS,Open Data, SAS/ACCESS Interface to Hadoop 2
3 内容 背景 Hadoop 環境の紹介 Hadoopとは シオノギのHadoop 環境 SAS と Hadoop の連携 SAS/ACCESS Interface to Hadoopに触れてみて 解析事例 3
4 Big Data の近況 ( 特に医薬関連 ) 世界では, 各製薬会社がデータを提供し相互利用化が進み始めている (Data Sphere) EU では透明性を主目的にした臨床試験データ公開の動きがある 医薬品産業会でのビッグデータ活用に向けて新たな学会が作られてきている (Big DIP など )
5 医薬関連の Big Data (1/2) 製薬業界における Big Data 解析ニーズの高まり 社内データ PGx Safety Surveillance オープンデータ 添付文書データベース 医薬品副作用データベース (JADER/AERS) Real World Data (Claim data, EHR) Open FDA その他多数 * EHR: Electronic Health Record 5
6 医薬関連の Big Data (2/2) 複数のデータベースを融合させることで, 新しい知見が得られるかもしれない 医薬品副作用 DB シグナル検出 添付文書 DB Claim data 市場調査 EHR アイデア次第で DB の組み合わせは多数考えられ, 組み合わせ数に応じてデータは大きくなってくる 6
7 ひとつの選択肢として データ量と処理リソースの膨張し, 処理速度やデータ容量がネックとなってくる Hadoop 環境での解析 高度な Java プログラミングの知識が必要 製薬会社のプログラマにとっては敷居が高い SAS/ACCESS Interface to Hadoop の利用を考えた 7
8 内容 背景 Hadoop 環境の紹介 Hadoopとは シオノギのHadoop 環境 SAS と Hadoop の連携 SAS/ACCESS Interface to Hadoopに触れてみて 解析事例 8
9 Hadoop とは Google の基盤技術に基づき,OSS * として実装された大規模分散処理フレームワーク Hadoop 環境 スレーブ スレーブ 拡張可能 拡張可能 マスター + 統計処理用 スレーブ スレーブ 拡張可能 * OSS: Open Source Software
10 Hadoop とは HDFS * という分散ファイルシステム,MapReduce という分散処理システムを基本機能とする MapReduce HDFS Hadoop 環境 * HDFS: Hadoop Distributed File System
11 HDFS 分散ファイルシステム 1 つのファイルを分散して保持する 1 台の PC では扱えないようなサイズのデータを扱える 2TB 実際は分割したデータのコピーも保存されており, どこかの PC が壊れても問題ない 8TB 2TB 2TB 2TB
12 MapReduce 分散処理システム 処理を分散させて行う Mapper 分解 抽出 Map Reducer 集約 計算 Reduce Map input Map Reduce Output Reduce Map 12
13 Hadoop (HDFS+MapReduce) 基本の Hadoop 環境だけで出来る処理は限られる MapReduce 処理のためには,Java のプログラミングスキルが必要であり, 敷居が高い Hadoop エコシステムが提供されている 13
14 Hadoop エコシステム HDFS,MapReduce といった基本機能を支えるツール群の総称 Hadoop の使いにくい面を補うものとして, 様々なエコシステムが提供されている Hive Mahout Pig MapReduce HDFS Hadoop 環境 Pig 14
15 Hive HiveQL という SQL ライクな言語で HDFS 上に存在するデータを操作できる Pig PigLatin という言語を使って,HDFS 上のデータを操作できる Mahout ビッグデータを用いた機械学習 ( レコメンド, クラスタリング, 分類 ) を可能にするライブラリ 15
16 塩野義製薬解析センターの分散処理システム スレーブ スレーブ 拡張可能 拡張可能 SAS/ACCESS Interface to Hadoop マスター + 統計処理用 分散処理 拡張可能 Windows PC (PC-SAS) スレーブ スレーブ 拡張可能 拡張可能 16
17 内容 背景 Hadoop 環境の紹介 Hadoopとは シオノギのHadoop 環境 SAS と Hadoop の連携 SAS/ACCESS Interface to Hadoopに触れてみて 解析事例 17
18 SAS/ACCESS Interface to Hadoop SAS と Hadoop を Hive 経由で接続できる 連携のための環境設定がやや複雑 連携させられれば使い方はシンプル SQL Hadoop FREQ RANK *PROC RANK in-database processing is not supported by Hadoop. REPORT SORT **The NODUPKEY option is not supported on Hadoop with in-database processing. SUMMARY/MEANS TABULATE etc. *proc hadoop から pig での操作も可能 (SAS 9.4 help より ) 18
19 Hadoop に接続して解析を行う (1/2) Hadoop 側で準備しておく 下記コマンドを実行 /usr/lib/hive/bin/hive --service hiveserver Point: -hiveconf で Hive 側の設定を指定可能 ex.) Reducer の数を指定する場合 /usr/lib/hive/bin/hive --service hiveserver -hiveconf mapred.reduce.tasks=25 19
20 Hadoop に接続して解析を行う (2/2) SAS 側で通常と同様に計算を命令 HDFS 上のライブラリを指定 計算処理 option set=sas_hadoop_jar_path= D: hadoopjar"; libname hd hadoop server = [XXXXXXXXXX]" user = [aaaa] password = [xxxxx] SUBPROTOCOL=hive; proc means data=hd.simdata mean ; run; 処理 結果を受け取る Hive MapReduce HDFS 命令を投げる
21 解析事例 (OSIM2) OMOP * が公開している,MarketScan Research Databases などの商用データベースをもとにシミュレーションから作成されたデータベース Real World Data の解析手法研究などを目的としている 単純な頻度集計を行って処理速度を比較してみる 使用するデータ OSIM2に含まれる薬剤情報のデータ 必要な変数だけに絞って約 30GB 程度にした 118,541,933オブザベーション * OMOP: Observational Medical Outcomes Partnership Observational Medical Outcomes Partnership 21
22 proc freq data=hd.kore_temp2 order=freq; table CONCEPT_NAME; run; 結果抜粋 Hadoopを使用 :48 秒 通常のSAS :4 分 31 秒 本事例では,Hadoop を使うことで一定のメリットが得られた Observational Medical Outcomes Partnership 22
23 まとめ 世間の流れと同様, 医薬関連データの量も増加の一途を辿っており, 並列演算処理できる環境が必要となってきている Java プログラマに頼らず,SAS/ACCESS Interface to Hadoop を使って SAS プログラマフレンドリーな環境を整えることは選択肢の一つである 23
24 今後 将来的には,SAS プログラマが Hadoop 環境を意識せずに解析を行えることが理想である Hadoop の得意な処理を把握し,SAS の処理と使い分けることが重要である 24
25 参考文献,Website はじめての Hadoop ~ 分散データ処理の基本から実践まで, 田澤孝之, 横井浩, 松井一比良, 技術評論社 (2012). Observational Medical Outcomes Partnership, 25
無料セミナー資料:ビッグデータ管理基盤ソフトウェアHadoop入門
ビッグデータ管理基盤ソフトウェア Hadoop 入門 NEC ラーニングテクノロジー研修事業部 土井正宏 アジェンダ Hadoopとは? HDFSの概要 Map/Reduceのしくみ Hadoopのエコシステム ( 関連製品 ) Hadoop 0.23について Page 2 NEC Corporation 2010 Hadoop の概要 高スケーラブルな分散管理基盤 グリッドコンピューティング 2つのコア機能
More informationビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社
ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社 概要 NEC は ビッグデータの分析を高速化する分散処理技術を開発しました 本技術により レコメンド 価格予測 需要予測などに必要な機械学習処理を従来の 10 倍以上高速に行い 分析結果の迅速な活用に貢献します ビッグデータの分散処理で一般的なオープンソース Hadoop を利用 これにより レコメンド 価格予測 需要予測などの分析において
More informationPowerPoint プレゼンテーション
SAS を使った情報管理事例 ~ そしてリスクをやっつけろ ~ 惟高裕一, 藤原正和, 北西由武, 吉田祐樹塩野義製薬株式会社 Information Management by using SAS - MINIMIZE THE RISK - Yuichi Koretaka, Masakazu Fujiwara, Yoshitake Kitanishi, Yuki Yoshida Biostatistics
More informationスライド 1
Hadoop とは Hadoop の二本柱 分散ファイルシステム HDFS(Hadoop Distributed File System) 分散プログラミングモデル MapReduce Hadoop の目的 大規模ファイル処理 格納, 加工 ペタバイト規模 複数計算機の協調動作 スケーラブルシステム 数百 ~ 数千台規模 Key-Value store MapReduce HDFS Node Node
More informationスライド 1
Hadoop と SAS との連携テクニック 小林泉 SAS Institute Japan 株式会社 ビジネス推進本部アナリティクスプラットフォーム推進 Techniques in SAS on Hadoop Izumi Kobayashi Analytics Platform Practice, SAS Institute Japan 1 要旨 : ビッグデータ分析の基盤としての Hadoop
More informationJupyter Notebook を活用したプログラムライブラリ構築の検討 吹谷芳博 1, 藤澤正樹 1 ( 1 あすか製薬株式会社 ) Examination of the program library construction using Jupyter Notebook ASKA Pharm
Jupyter Notebook を活用したプログラムライブラリ構築の検討 吹谷芳博 1, 藤澤正樹 1 ( 1 あすか製薬株式会社 ) Examination of the program library construction using Jupyter Notebook ASKA Pharmaceutical Co., Ltd. 要旨 : PC SAS での Jupyter Notebook
More informationPowerPoint プレゼンテーション
FDA Submission のための define.pdf 作成事例 -SAS によるファイル変換の Automation 化 - 豊泉樹一郎 1), 北西由武 1), 吉田祐樹 1), 平井健太 2) 1) 塩野義製薬株式会社解析センター 2) 株式会社 SCA One Example of Generating Define.pdf for FDA Submission -Automatic
More informationIBM クラウド事例から考える OSS による企業向けクラウドの可能性 日本アイ ビー エム株式会社 Linux/OSS エバンジェリスト中井悦司 Feb. 27, IBM Corporation
IBM クラウド事例から考える OSS による企業向けクラウドの可能性 日本アイ ビー エム株式会社 Linux/OSS エバンジェリスト中井悦司 Feb. 27, 2010 目次 クラウドとは? IBM クラウド事例に見るクラウド構成技術 クラウドを作る / 使う技術としての OSS 参考資料 2 クラウドとは? 3 仮想化された IT リソースのライフサイクル管理を自動化するのが IBM のクラウド技術です
More informationIntroduction
Introduction R&D More Than Web - - 3 R&D Vision Fusion Interaction Collaboration 3 6 Client Server Platform Client Server Platform Client Client Server Platform Server Client Server Platform Platform
More informationOSS Mtg
Hadoop ~Yahoo! JAPAN の活用について ~ 2011/01/15 ヤフー株式会社 R&D 統括本部 角田直行 吉田一星 自己紹介 角田直行 ( かくだなおゆき ) R&D 統括本部プラットフォーム開発本部検索開発部開発 3 2005 年ヤフー株式会社入社 ヤフー地図 ヤフー路線 ヤフー検索 2010 年現在 検索プラットフォームを開発中 1 自己紹介 吉田一星 ( よしだいっせい
More informationyamamoto_hadoop.pptx
Hadoop Streaming 2011/2/16 H22 ? SaaS (So5ware as a Service) (,etc.) PaaS (Pla?orm as a Service) (Google App Engine,, Mixi Appli etc.) IaaS (Infrastructure as a Service) (Amazon EC2) VMWare ESX, Hyper-
More information目次 はじめに Introduction Analyzing Big Data Vectorwise and Hadoop Environments Vectorwise Hadoop Connector Perform
Vectorwise 3.0 Fast Answers from Hadoop Technical white paper - 1 - 目次 はじめに...- 3 - Introduction...- 3 - Analyzing Big Data...- 4 - Vectorwise and Hadoop Environments...- 5 - Vectorwise Hadoop Connector...-
More informationJoint Content Development Proposal Tech Docs and Curriculum
徹底解説!Hortonworks が提供する次世代データプラットフォーム 蒋逸峰 & 河村康爾 Hortonworks October 10, 2017 1 Hortonworks Inc. 2011 2016. All Rights Reserved 総合的な管理 セキュリティやガバナンス ON-PREMISES CLOUD EDGE MULTI-WORKLOADS MULTI-TYPE MULTI-TIER
More informationHadoop Introduction
Hadoop Introduction はじめに Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ Hadoop の概要 Hadoop の特徴 Hadoop クラスタ構成 マスターサーバ バッチの進捗状況管理 Map/Reduce タスク割振り NameNode JobTracker HDFS 管理 DataNode
More informationOSS 体験セミナー Hadoop の概要 高スケーラブルな分散管理基盤 2 つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目 分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF
Hadoop スタートアップセミナー Hadoop スタートアップセミナー NEC ラーニングテクノロジー研修事業部土井正宏 OSS 体験セミナー Hadoop の概要 高スケーラブルな分散管理基盤 2 つのコア機能 分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目 分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム
More information(Microsoft PowerPoint - Hadoop\225\224\211\357.ppt)
Hadoop 部会 株式会社エイビス株式会社富士通九州システムズ九州東芝エンジニアリング株式会社九州東芝エンジニアリング株式会社株式会社オーイーシー株式会社オーイーシー大分大学大学院工学研究科 1 ( 部長 ) 小池翼 ( 副部長 ) 小畑智博小原辰徳郷原慎之介高熊大将玉井達也大場紀彦 2 テーマ 実業務への Hadoop の適用 ~ 気象データを用いた分散処理の実装 ~ Hadoop とは Hadoop
More informationスライド 1
- SAS 共同企画セッション - 一世を風靡した Random Forest (Random Woods) が SAS(IMSTAT) で使えるようになったので縦長 / 横長データに適用してみる 塩野義製薬株式会社 木口亮, 北西由武, 都地昭夫, 渡辺秀章 - SAS joint planning session - Make an attempt to apply Random Forest
More informationERDAS IMAGINE における処理速度の向上 株式会社ベストシステムズ PASCO CORPORATION 2015
ERDAS IMAGINE における処理速度の向上 株式会社ベストシステムズ 本セッションの目的 本セッションでは ERDAS IMAGINEにおける処理速度向上を目的として機器 (SSD 等 ) 及び並列処理の比較 検討を行った 1.SSD 及び RAMDISK を利用した処理速度の検証 2.Condorによる複数 PCを用いた並列処理 2.1 分散並列処理による高速化試験 (ERDAS IMAGINEのCondorを使用した試験
More informationスライド 1
PMDA への承認申請時 CDISC 標準電子データ提出に向けた社内標準のリモデリング 神谷亜香里, 坂井絵理, 惟高裕一, 北西由武, 角谷伸一, 小坂明子塩野義製薬株式会社解析センター Remodeling Shionogi standard for clinical data to meet the requirement of PMDA based on CDISC standard Akari
More informationArcGIS Server 10 機能比較表
機能比較表 目次 はじめに... 1 機能... 2 エクステンション... 2 規模... 3 機能詳細... 4 ジオデータベース管理... 4 ジオデータベースレプリケーション... 4 GIS Web サービス... 5 Web マッピングアプリケーション... 6 Web 編集... 7 ジオプロセシング (ArcView レベル )... 7 高度なジオプロセシング (ArcInfo レベル
More informationデータセンターの効率的な資源活用のためのデータ収集・照会システムの設計
データセンターの効率的な 資源活用のためのデータ収集 照会システムの設計 株式会社ネットワーク応用通信研究所前田修吾 2014 年 11 月 20 日 本日のテーマ データセンターの効率的な資源活用のためのデータ収集 照会システムの設計 時系列データを効率的に扱うための設計 1 システムの目的 データセンター内の機器のセンサーなどからデータを取集し その情報を元に機器の制御を行うことで 電力消費量を抑制する
More information開発ツールのコラボレーション機能を検証する
開発ツールのコラボレーション機能を検証する ボーランド株式会社デベロッパーツールズ事業本部藤井等 開発ツールをとりまく環境 仕様変更 フレームワークのバージョンアップ コーディング規約 バグ対応 ドキュメント プロトタイプ 機能強化 テストバージョン リリース 2 どのサイズの開発でもなんらかの 管理 + コラボレーション が必要 個人で開発する場合数名で開発する場合チームで開発する場合 複雑さ 保管共有管理
More informationMATLAB®によるビッグデータ解析
MATLAB によるビッグデータ解析 MathWorks Japan アプリケーションエンジニアリング部 アプリケーションエンジニア 吉田剛士 2013 The MathWorks, Inc. 1 ビッグデータ解析とその背景増え続けるデータ量 ビッグデータとは 100TB ~ 10PB 程度のデータ量 データが膨大になる理由 データソースの多様化と高性能化 スマートフォン位置情報監視カメラ検索情報
More informationTopSE並行システム はじめに
はじめに 平成 23 年 9 月 1 日 トップエスイープロジェクト 磯部祥尚 ( 産業技術総合研究所 ) 2 本講座の背景と目標 背景 : マルチコア CPU やクラウドコンピューティング等 並列 / 分散処理環境が身近なものになっている 複数のプロセス ( プログラム ) を同時に実行可能 通信等により複数のプロセスが協調可能 並行システムの構築 並行システム 通信 Proc2 プロセス ( プログラム
More information目次 1. HLA Fusion 3.0 がインストール可能な環境 HLA Fusion 3.0 のインストール HLA Fusion 3.4 のインストール 初期設定用データベース接続 ( 初めての方のみ ) 既存データベースのUpg
目次 1. HLA Fusion 3.0 がインストール可能な環境... 1 2. HLA Fusion 3.0 のインストール... 2 3. HLA Fusion 3.4 のインストール... 4 4. 初期設定用データベース接続 ( 初めての方のみ )... 5 5. 既存データベースのUpgrade 方法 (HLA Fusion 3~3.3 を既に使用の方 )... 7 6. インストールが成功したかの確認...
More informationMicrosoft PowerPoint - 【配布・WEB公開用】ACRONET_Kitahara.ppt [互換モード]
解析業務プロセスにおいて効率的な仕様書作成と Define.xml への変換北原孝志, 東島正堅 株式会社 ACRONET 生物統計部北西由武, 吉田祐樹塩野義製薬株式会社解析センター The efficient preparation of Specification and its conversion into Define.xml on the process of statistical
More informationDEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo
DEIM Forum 12 C2-6 Hadoop 112-86 2-1-1 E-mail: momo@ogl.is.ocha.ac.jp, oguchi@computer.org Web Hadoop Distributed File System Hadoop I/O I/O Hadoop A Study about the Remote Data Access Control for Hadoop
More informationAgenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2
OpenStack Sahara Road to Kilo www.miran(s.com/jp Copyright 2015 Mirantis, Inc. All rights reserved Agenda Hadoop Sahara Kilo Q&A Copyright 2015 Mirantis, Inc. All rights reserved Page 2 Hadoop Open-source
More informationTheRecord.indd
August 2015 The Record vol.669 Contents 6/23 7/13 16 6/26 THE RECORD 2015-08 2 focus 01 02 3 THE RECORD 2015 08 03 04 THE RECORD 2015 08 4 focus 5 THE RECORD 2015 08 THE RECORD 2015 08 6 focus 1 SHOP DATA
More informationMicrosoft PowerPoint - SWoPP2010_Shirahata
GPU を考慮した MapReduce の タスクスケジューリング 白幡晃一 1 佐藤仁 1 松岡聡 1 2 3 1 東京工業大学 2 科学技術振興機構 3 国立情報学研究所 大規模データ処理 情報爆発時代における 大規模データ処理 気象 生物学 天文学 物理学など様々な科学技術計算での利用 MapReduce 大規模データ処理のためのプログラミングモデルデ スケーラブルな並列データ処理 GPGPU
More information2 1,384,000 2,000,000 1,296,211 1,793,925 38,000 54,500 27,804 43,187 41,000 60,000 31,776 49,017 8,781 18,663 25,000 35,300 3 4 5 6 1,296,211 1,793,925 27,804 43,187 1,275,648 1,753,306 29,387 43,025
More informationSlide 1
A NEW PLATFORM FOR A NEW ERA 2 データレイク構築と Pivotal ビッグデータ戦略 2014 年 8 月 1 日 Pivotal ジャパン株式会社二神敬輔 ENTERPRISE DATA CENTER ADVANCED 先進のセキュリティ SECURITY EMC グループ事業戦略 SOFTWARE DEFINED DATA CENTER PLATFORM AS A
More information5 Armitage x 1,, x n y i = 10x i + 3 y i = log x i {x i } {y i } 1.2 n i i x ij i j y ij, z ij i j 2 1 y = a x + b ( cm) x ij (i j )
5 Armitage. x,, x n y i = 0x i + 3 y i = log x i x i y i.2 n i i x ij i j y ij, z ij i j 2 y = a x + b 2 2. ( cm) x ij (i j ) (i) x, x 2 σ 2 x,, σ 2 x,2 σ x,, σ x,2 t t x * (ii) (i) m y ij = x ij /00 y
More informationシステム必要条件 - SAS Fraud Management 3.1
92A336 システム必要条件 SAS Fraud Management 3.1 オペレーティングシステムとシステムソフトウェア SAS Fraud management 3.1 で必要なオペレーティングシステムとシステムソフトウェアは 下記のとおりです z/os v1.8 以降 CICS Transaction Server v3.1 以降 DB2 for z/os v8.1 以降 AIX 5.3.7
More informationMicrosoft Word SHARE-ws-v10.docx
関係者各位 2017 年 3 月吉日 2017 SHARE ワークショップ のご案内 ( 第一報 ) Japan CDISC Coordinating Committee 拝啓時下ますますご清栄のこととお喜び申し上げます 今般 2017 CDISC Japan Interchange Conference に先立ち SHARE(Shared Health And Research Electronic
More informationSAS Web XML * ** * ** Web Data Analysis with SAS Input and Output of XML Data and Application to Real Estate Valuation Map Junnosuke Matsushima*, Hiro
SAS Web XML * ** * ** Web Data Analysis with SAS Input and Output of XML Data and Application to Real Estate Valuation Map Junnosuke Matsushima*, Hiroshi Ishijima**, Ikue Watanabe *Clinical Research Planning
More informationマニュアル訂正連絡票
< マニュアル訂正連絡票 > ASP PC ファイルサーバ説明書 V28 [J2K0-5740-01C2] 2017 年 12 月 26 日発行 修正箇所 ( 章節項 )5.3.2.3 サーバ環境の設定 作成時のアクセス権 PC ファイルサーバ上に,Windows がファイルまたはディレクトリを作成する際のアクセス権を設定する. 所有者, グループ, その他に対してそれぞれ, 読み込み, 書き込み,
More information9BBH3A8_P0000
02 Yamaha CSR Report 2007 03 Yamaha CSR Report 2007 04 Yamaha CSR Report 2007 Yamaha CSR Report 2007 05 06 Yamaha CSR Report 2007 Yamaha CSR Report 2007 07 08 Yamaha CSR Report 2007 09 Yamaha CSR Report
More informationPowerPoint Presentation
MATLAB による 大規模フリートデータ解析 アプリケーションエンジニアリング部齊藤甲次朗 2015 The MathWorks, Inc. 1 アジェンダ はじめに ビッグデータ解析の課題 MATLAB を活用したフリートデータ解析事例 フリートデータ解析実践 デスクトップでの解析 クラスターへのスケールアウト MATLAB 解析のシステムへの統合 まとめ 2 25 GB / 1hour 4 フリートデータ解析を含むビッグデータ解析の課題
More informationサンプル株式会社 御中 システム導入のご提案
Hadoop Recommendation Machine Learning 本文中の会社名 製品名 サービスネームについて Amazon Web Services は Amazon.com, Inc. の商標または登録商標です Apache Hadoop は Apache Software Foundation の商標または登録商標です hybris は hybris AG の商標または登録商標です
More information製品開発の現場では 各種のセンサーや測定環境を利用したデータ解析が行われ シミュレーションや動作検証等に役立てられています しかし 日々収集されるデータ量は増加し 解析も複雑化しており データ解析の負荷は徐々に重くなっています 例えば自動車の車両計測データを解析する場合 取得したデータをそのまま解析
ホワイトペーパー Excel と MATLAB の連携がデータ解析の課題を解決 製品開発の現場では 各種のセンサーや測定環境を利用したデータ解析が行われ シミュレーションや動作検証等に役立てられています しかし 日々収集されるデータ量は増加し 解析も複雑化しており データ解析の負荷は徐々に重くなっています 例えば自動車の車両計測データを解析する場合 取得したデータをそのまま解析に使用することはできず
More information2011年11月10日 クラウドサービスのためのSINET 学認説明会 九州地区説明会 九州大学キャンパス クラウドシステムの導入 伊東栄典 情報基盤研究開発センター 1
2011年11月10日 クラウドサービスのためのSINET 学認説明会 九州地区説明会 九州大学キャンパス クラウドシステムの導入 伊東栄典 情報基盤研究開発センター ito.eisuke.523@m.kyushu-u.ac.jp 1 用 方 } } } } } 用 (Public Cloud) } Amazon EC2/S3/ElasticMapReduce } (Community Cloud)
More informationスライド 1
- SAS 共同企画セッション - IMSTAT に対する期待と現実, そしてアソシエーション分析, ときどきレコメンデーションシステム 塩野義製薬株式会社 藤原正和, 北西由武, 都地昭夫, 渡辺秀章 - SAS joint planning session - Consideration for IMSTAT by applying association analysis and recommendation
More information3 4 2
A Comparison of SAS Functions Designed for Creating Excel Output in a Stand-alone Environment and a BI Environment. Koichi Satoh Takumi Information Technology Co., Ltd. ODS EXCELXP ODS HTML ODS CSVALL
More informationPowerPoint プレゼンテーション
総務省 ICTスキル総合習得教材 概要版 eラーニング用 [ コース2] データ蓄積 2-5: 多様化が進展するクラウドサービス [ コース1] データ収集 [ コース2] データ蓄積 [ コース3] データ分析 [ コース4] データ利活用 1 2 3 4 5 座学本講座の学習内容 (2-5: 多様化が進展するクラウドサービス ) 講座概要 近年 注目されているクラウドの関連技術を紹介します PCやサーバを構成するパーツを紹介後
More information2014 年電子情報通信学会総合大会ネットワークシステム B DNS ラウンドロビンと OpenFlow スイッチを用いた省電力法 Electric Power Reduc8on by DNS round- robin with OpenFlow switches 池田賢斗, 後藤滋樹
ネットワークシステム B- 6-164 DNS ラウンドロビンと OpenFlow スイッチを用いた省電力法 Electric Power Reduc8on by DNS round- robin with OpenFlow switches 池田賢斗, 後藤滋樹 早稲田大学基幹理工学研究科情報理工学専攻 1 研究の背景 n インターネットトラフィックが増大 世界の IP トラフィックは 2012
More informationSharing the Development Database
開発データベースを共有する 目次 1 Prerequisites 準備... 2 2 Type of database データベースのタイプ... 2 3 Select the preferred database 希望のデータベースを選択する... 2 4 Start the database viewer データベース ビューワーを起動する... 3 5 Execute queries クエリを実行する...
More informationCOBOL Standard Edition COBOL SQL アクセスのご紹介 2017 年 3 本電気株式会社 次 COBOL SQLアクセスとは P.4 COBOL85 SQLEXTENSIONからの移 P.10 製品情報 P.13 COBOL SQL アクセスとは 製品概要 COBOL ソース中の埋め込み SQL によるデータベースアクセスが可能に 業界標準 ODBC(Open DataBase
More informationPowerPoint Presentation
Mahout を使った レコメンデーションのプロトタイプ 2011/10/21 アドソル日進株式会社 荒本道隆 ゴールイメージ 蓄積されたデータを使って Mahout で解析 まずは お医者さんが利用することを想定 患者側が利用することはできないだろうか? Hadoop によるフィルタリングスクリプトによる簡易な記述 Mahout による解析処理 MML レセプトデータ CSV CSV S3( 大量データ
More informationHadoop とは 大規模なデータを並列分散処理を行うフレームワークを提供 Google による MapReduce および Google File System(GFS) の論文をベースに開発された Apache プロジェクトの OSS MapReduce MapReduce 分散処理フレームワー
超入門大規模分散処理フレームワーク Hadoop SRA OSS, Inc. 日本支社技術開発部エンジニア長田悠吾 Cloudera Certified Developer for Apache Hadoop Cloudera Certified Administrator for Apache Hadoop Copyright SRA OSS, Inc. Japan All rights reserved.
More informationCodeGear Developer Camp
B4 InterBase テクニカルセッション InterBase セキュリティパワーアップ セキュリティ改善のコツとツール キムラデービー代表木村明治 ( きむらめいじ ) http://kimuradb.com 1 アジェンダ DBセキュリティとは? InterBase 本体が持つセキュリティ機能 通信経路の暗号化 格納データの暗号化 2 DB セキュリティとは? 3 概略全体図 InterBase
More information02_システムWG.pptx
社会基盤情報流通推進協議会 技術部会システム WG AIDIG UDCT の活動を支える システムの提供 社会基盤情報流通推進協議会企画部会普及 WG 体制 会長 事務局長 運営委員会 事務局 企画部会 技術部会 データ収集 WG システム WG メンバ (3 月 31 日現在 ) WG () () () () () () 2 社会基盤情報流通推進協議会企画部会普及 WG 活動項 目 分類 項 目
More informationメール全文検索アプリケーション Sylph-Searcher のご紹介 SRA OSS, Inc. 日本支社技術部チーフエンジニア Sylpheed 開発者 山本博之 Copyright 2007 SRA OSS, Inc. Japan All right
メール全文検索アプリケーション Sylph-Searcher のご紹介 SRA OSS, Inc. 日本支社技術部チーフエンジニア Sylpheed 開発者 山本博之 yamamoto@sraoss.co.jp Sylph-Searcher とは Sylpheed 向け電子メール全文検索アプリケーション PostgreSQL 8.2の全文検索機能を利用 Linux/Unix Windows 2000
More informationレイアウト 1
OSS を利用した簡易な地図画像配信とその利活用について 髙橋洋二 嘉山陽一 沼田圭太 ( ) 1. はじめにインターネット上で地図を表示する仕組みとして 地図の閲覧者が利用する PC が要求する情報をもとに MapServer 1) 等による Web マッピングサーバを利用し表示に必要な地図画像を動的に作成して配信する手法が利用されてきた この手法は 配信する地図画像を動的に作成するための Web
More information.o...EPDF.p.indd
Social and Environmental report 28 1 2 3 5 7 9 11 12 17 18 19 22 24 25 26 27 28 29 3 2 3 4 5 6 7 4 1 2 5 3 6 8 9 1 1 2 3 4 11 12 1 2 3 4 13 14 1 2 3 4 5 6 7 8 15 16 17 1 2 3 18 19 1 2 3 4 2 21 1 2 3 4
More information情報処理学会研究報告 IPSJ SIG Technical Report Vol.2013-DBS-158 No /11/26 データ共有型マルチデータベースシステムにおけるクエリ効率化手法 齋藤和広 渡辺泰之 小林亜令 近年, データの大規模化やデータ利用の多様化に対応するために, 単
データ共有型マルチデータベースシステムにおけるクエリ効率化手法 齋藤和広 渡辺泰之 小林亜令 近年, データの大規模化やデータ利用の多様化に対応するために, 単一のデータソースに対して特徴の異なる複数のクエリ処理エンジンを選択し利用可能となってきている. これらのクエリ処理エンジンは, それぞれデータの種類や規模に応じた最適化が施されているため, ユーザが各エンジンの特性を理解し, 使い分けることでクエリ処理性能を最大限活用することができる.
More informationSAS_user_2015_fukiya02
小さな組織が SAS Program のバージョン管理をするには. (Git,GitLab 及び Redmine を用いた _ プログラム開発環境整備の検討 ) 吹谷芳博株式会社エスアールディデータマネジメント統計解析室 How to manage version control of SAS programs in small organizations; Consideration of environmental
More informationTheRecordx.indd
March 2015 Contents 2/2-13 2/12 THE RECORD 2015-03 2 focus 3 THE RECORD 2015 03 THE RECORD 2015 03 4 focus 5 THE RECORD 2015 03 THE RECORD 2015 03 6 01 02 03 04 05 06 07 08 7 THE RECORD 2015 03 09 10 11
More informationスライド 1
Zabbix で PostgreSQL の監視を行おう ~pg_monz のご紹介 ~ SRA OSS,Inc. 日本支社盛宣陽 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 1 PostgreSQL の課題 DB としての基本機能 性能は商用 DB と比べても引けをとらない 運用面には課題あり どのようにして運用するのか? 効果的な監視方法は?
More informationシステム必要条件 - SAS Fraud Management 3.2
92B533 システム必要条件 SAS Fraud Management 3.2 オペレーティングシステムとシステムソフトウェア SAS Fraud management 3.2 で必要なオペレーティングシステムとシステムソフトウェアは 下記のとおりです z/os v1.8 以降 CICS Transaction Server v3.2 以降 DB2 for z/os v8.1 以降 AIX 5.3.7
More information01 DAITO GROUP CSR Report 2014
DAITO GROUP CSR Report 2014 01 DAITO GROUP CSR Report 2014 DAITO GROUP CSR Report 2014 02 DAITO GROUP CSR Report 2014 03 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 DAITO GROUP CSR Report 2014
More informationWindows 版 SAS 9.3 ライセンス適用の手引き
Windows 版 SAS 9.3 ライセンス適用の手引き 1. はじめに この文書は SAS 9.3 Windows 版 にライセンス情報を適用する方法の説明をしています これらの作業手順は 弊社テクニカルサポートの Web ページ インストールセンター や KNOWLEDGE BASE にあるドキュメントにおいて説明していますが 馴染みのない用語や手順があるために 作業をスムーズに進めることができない
More informationPowerPoint Presentation
AWS ビッグデータサービス Deep Dive アマゾンデータサービスジャパンソリューションアーキテクト蒋逸峰 July 17, 2014 Session #TA-01 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole
More informationICTのメガトレンドに向けたハイパーコネクテッド・クラウドへの取組み
ICT Project on Hyper-connected Cloud to Embrace Megatrends in ICT 飯田一朗 あらまし ICT SI ICT Abstract With significant changes occurring on a daily basis, the information and communications technology (ICT)
More informationTitle
K-means w/ Hadoop ~ 運用パート~ 2013/1/28 田浦研究室 M1 中谷翔 1 Outline Hadoop の基本 実験結果 Hadoop 愛憎 2 基礎の基礎 by 田浦先生スライド P.8 をサラリと Map 関数, Reduce 関数を登録すれば勝手に分散処理 3 Hadoop の Good なところ 慣れればそこそこ楽にスケーラビリティ出せる Map 処理, Reduce
More informationAWSSummitTokyo2018
AWS Gunosy AWS Summit Tokyo 2018/06/01 自己紹介 - 米田 武 / Takeshi Yoneda / マスタケ - Github/Twitter: @mathetake - 2017/03/31: - MSc. in Mathematics at Osaka University - 2017/04/01~ - Machine learning engineer
More informationArcGIS for Server 機能比較表
10.1 ArcGIS 10.1 for Server 比較表 目次 ArcGIS 10.1 for Server 比較表... 1 はじめに... 1 比較表... 1 ArcGIS for Server の最適なとレベルの選択... 1 ArcGIS for Server のインストール... 3 詳細な比較表... 4 空間タイプをサポートするデータベースの使用... 4 ジオデータベース管理...
More informationデータ構造の作成 一時 SAS データセットと永久 SAS データセットの作成 テキストファイルから SAS データセットを作成するための DATA ステップの使用例 : Data NewData; Infile "path.rawdata"; Input <pointer-control> var
SAS Base Programming for SAS 9 データへのアクセス フォーマット入力とリスト入力を使用したローデータ ファイルの読み込み 文字データと数値データ 標準と非標準の数値データの識別文字および 標準 非標準の固定長データを読み取るための フォーマット入力のINPUTステートメントの使用 :INPUT 変数名入力形式 ; 文字および 標準 非標準のフリーフォーマットデータを読み込むための
More information並列計算導入.pptx
並列計算の基礎 MPI を用いた並列計算 並列計算の環境 並列計算 複数の計算ユニット(PU, ore, Pなど を使用して 一つの問題 計算 を行わせる 近年 並列計算を手軽に使用できる環境が急速に整いつつある >通常のP PU(entral Processing Unit)上に計算装置であるoreが 複数含まれている Intel ore i7 シリーズ: 4つの計算装置(ore) 通常のプログラム
More informationミガロ.製品 最新情報
セッション No.1 ミガロ. 製品最新情報 株式会社ミガロ. RAD 事業部 アジェンダ はじめに 1. Delphi/400 最新情報 Delphi/400 バージョン 機能リリースの遷移 Delphi/400 で追加された新機能 2. JC/400 最新情報 JC/400 バージョン 機能リリースの遷移 JC/400 で追加された新機能 3. Business4Mobile 新製品 Business4Mobile
More informationスライド 1
IBM ホスト アクセスのためのツールを集めたソリューション パッケージ Solution Package for Host Access Solution Package for Host Access は 以下の IBM 製品を使用した IBM ホスト システムへのアクセスやホストと PC クライアントとの連携をサポートするソリューションを提供します Host Access Client Package
More information2 データをコピーするフォーマットするダウンしたら資料困ったときにはお使いになる前にもくじお使いになる前に...3 フォーマットする...4 macos ~ OS X の場合 5 OS X 以前の場合 7 データをコピーする...9
データをコピーするフォーマットするダウンしたら資料困ったときにはお使いになる前に I-O DATA DEVICE, INC. 画面で見るマニュアル HDD/SSD 共通 Mac でのフォーマット方法 06 版 2 データをコピーするフォーマットするダウンしたら資料困ったときにはお使いになる前にもくじお使いになる前に...3 フォーマットする...4 macos 10.12 ~ 10.13 OS X
More information使える! IBM Systems Director Navigator for i の新機能
使える! IBM Systems Director Navigator for i の 新機能 IBM Systems Director Navigator for i とは IBM i 6.1 から OS 標準機能として IBM i を管理するための新しい Web ベース ツール IBM Systems Director Navigator for i( 以下 Director Navigator)
More informationWindows版SASシステム 6.12TS020 使用上の注意点
使用上の注意点 (Alert Notes) ご使用前に必ずお読みください Windows 版 SAS システムリリース 6.12 TS045 DBCS2818 1. 導入時の注意点 1.1 SAS CD ROM CD ROM (X:CD ROM ) Error: X: CDR101: Not ready X (A), (R), (F)? CD ROM CD ROM MSCDEX.EXE CD ROM
More informationTheRecord.indd
December 2015 The Record vol.673 Contents 10/26 10/27 11/4 11/8 THE RECORD 2015-12 2 focus 3 THE RECORD 2015 12 THE RECORD 2015 12 4 focus 5 THE RECORD 2015 12 THE RECORD 2015 12 6 focus 1 2 3 5 4 7 THE
More informationJACi400のご紹介~RPGとHTMLで簡単Web化~
セッション No.4 JACi400 のご紹介 ~RPG と HTML で簡単 Web 化 ~ 株式会社ミガロ RAD 事業部技術支援課営業推進岩井利枝 1 Agenda ミガロご提供ソリューションのご紹介 JACi400の概要 4つの開発ステップのご紹介 JACi400ご利用のメリット 2 ミガロご提供ソリューション 開発ツール (C/S Web 開発 ) Delphi/400 開発ツール (Web
More informationWebIntellTN02.qxp (Page 1)
2004 Check Point Software Technologies Ltd. 1 2004 Check Point Software Technologies Ltd. 2 Webサーバ Webアプリケーション データベース Webアプリケーション データベース 2004 Check Point Software Technologies Ltd. 3 2004 Check Point Software
More informationMapR on UCE : Hadoopはこう売ろう。難しくないHadoopの提案
MapR on UCS:Hadoop はこう売ろう 難しくない Hadoop の提案 マップアール テクノロジーズ株式会社 アライアンス & プロダクトマーケティング 三原茂 MapR企業概要 ビッグデータ のコアに お客様の成長 と共に 700+ Customers Apache Open Source + Innovation MapR Technologies Inc. Founder John
More informationスライド 1
Fluentd + Zabbix + Grafana でグラフィカルなログ監視 分析システムを構築してみよう! 2016 年 7 月 29 日 SRA OSS, Inc. 日本支社 マーケティング部 OSS 技術グループ 1 アジェンダ Fluentdについて Zabbixについて Grafanaとは Fluentd + Zabbix + Grafana 構成の利点 デモ 2 Fluentd について
More information第 1 回ディープラーニング分散学習ハッカソン <ChainerMN 紹介 + スパコンでの実 法 > チューター福 圭祐 (PFN) 鈴 脩司 (PFN)
第 1 回ディープラーニング分散学習ハッカソン チューター福 圭祐 (PFN) 鈴 脩司 (PFN) https://chainer.org/ 2 Chainer: A Flexible Deep Learning Framework Define-and-Run Define-by-Run Define Define by Run Model
More informationシステム必要条件 - SAS Financial Mangement 5.1
92A250 システム必要条件 SAS Strategy Mangement 5.1 概要 このドキュメントに記載されている SAS プロダクトをインストールもしくは実行する前に 最低必要条件を満たすようにシステムを更新する必要があります SAS Strategy Management Solution で必要なハードウェアに関する詳細は さまざまな SAS リソースを活用している担当チームに確認し
More information斎藤参郎 データサイエンス A 2018 年度水曜日 2 限目 (10:40-12:10) 0. イントロダクション 講義の進め方 担当昨年度より 講義の方針 1) 自宅でも学習できる 2) 様々なデータ分析手法を自分でインストールし 実験できる 環境の紹
斎藤参郎 saito@fukuoka-u.ac.jp データサイエンス A 2018 年度水曜日 2 限目 (10:40-12:10) 0. イントロダクション 講義の進め方 担当昨年度より 講義の方針 1) 自宅でも学習できる 2) 様々なデータ分析手法を自分でインストールし 実験できる 環境の紹介 3) データ分析技法を自習していくことができる基礎能力 講義内容で考慮すべき点 4) 多くの手法が電卓のように使える時代
More information【Cosminexus V9】クラウドサービスプラットフォーム Cosminexus
http://www.hitachi.co.jp/soft/ask/ http://www.hitachi.co.jp/cosminexus/ Printed in Japan(H) 2014.2 CA-884R データ管 タ管理 理 ノンストップデータベース データ管 タ管理 理 インメモリデータグリッド HiRDB Version 9 ucosminexus Elastic Application
More informationCOMET II のプログラミング ここでは機械語レベルプログラミングを学びます 1
COMET II のプログラミング ここでは機械語レベルプログラミングを学びます 1 ここでは機械命令レベルプログラミングを学びます 機械命令の形式は学びましたね機械命令を並べたプログラムを作ります 2 その前に プログラミング言語について 4 プログラミング言語について 高級言語 (Java とか C とか ) と機械命令レベルの言語 ( アセンブリ言語 ) があります 5 プログラミング言語について
More information米国における意匠を対象にした侵害防止調査 Q 自社で開発した商品を米国で販売したい 意匠侵害で訴えられ ることは避けたいが どうしたら良いか? 1) 調査ツールの選択米国における意匠は 米国特許商標庁 ( 以下 USPTO) に直接出願するルートとハーグ協定を経由するルートが存在する
6.6.2.9 米国における意匠を対象にした侵害防止調査 Q 自社で開発した商品を米国で販売したい 意匠侵害で訴えられ ることは避けたいが どうしたら良いか? 1) 調査ツールの選択米国における意匠は 米国特許商標庁 ( 以下 USPTO) に直接出願するルートとハーグ協定を経由するルートが存在する 上記いずれのルートを経由しても米国国内における審査を経て登録となった意匠については USPTO が提供する
More informationMicrosoft PowerPoint _Hadoop.pptx
Hadoop で行う大規模データ処理 kzk Hadoop とは? Google の基盤ソフトウェアのクローン Google File System Yahoo Research の Doug Cutting 氏が開発 元々は Nutch Crawler のサブプロジェクト Doug の子供の持っているぬいぐるみの名前 Java で記述 Amazon S3 との親和性
More informationPowerPoint プレゼンテーション
データベースシステム入門 7. 集計, 集約 1 リレーショナルデータベースシステム コンピュータ リレーショナルデータベース管理システム 記憶装置 リレーショナルデータベース あわせてリレーショナルデータベースシステム データの種類ごとに分かれた たくさんのテーブルが格納される 2 SQL をマスターするには SQL のキーワード create table テーブル定義 select 射影など from
More informationintra-mart EX申請システム version.7.2 PDFオプション リリースノート
intra-mart EX 申請システム ver.7.2 PDF オプション リリース ノート 第一版 2011/2/28 1. システム要件 システム要件 intra-mart EX 申請システム Version.7.2 PDF オプションは以下の製品上で動作します 動作環境については 以下の製品のリリース ノートを参照してください intra-mart WebPlatform Version.7.2
More informationPlan of Talk CAS CAS 2 CAS Single Sign On CAS CAS 2 CAS Aug. 19, 2005 NII p. 2/32
CAS Single Sign On naito@math.nagoya-u.ac.jp naito@math.nagoya-u.ac.jp, Aug. 19, 2005 NII p. 1/32 Plan of Talk CAS CAS 2 CAS Single Sign On CAS CAS 2 CAS naito@math.nagoya-u.ac.jp, Aug. 19, 2005 NII p.
More information内容 Visual Studio サーバーエクスプローラで学ぶ SQL とデータベース操作... 1 サーバーエクスプローラ... 4 データ接続... 4 データベース操作のサブメニューコンテキスト... 5 データベースのプロパティ... 6 SQL Server... 6 Microsoft
Visual Studio サーバーエクスプローラで学ぶ SQL とデータベース操作 Access 2007 と SQL Server Express を使用 SQL 文は SQL Server 主体で解説 Access 版ノースウィンドウデータベースを使用 DBMS プログラム サーバーエクスプローラ SQL 文 実行結果 データベース エンジン データベース SQL 文とは 1 度のコマンドで必要なデータを効率よく取得するための技術といえます
More informationセットアップカード
R3.4 セットアップカード - 第 1.01 版 - Copyright NEC Corporation 2003-2016. All rights reserved. 商標について LogCollector は日本電気株式会社の登録商標です Microsoft Windows Windows Server Windows Vista Internet Explorer および SQL Server
More informationMicrosoft Word - nvsi_100222jp_oracle_exadata.doc
Article ID: NVSI-100222JP Created: 2010/10/22 Revised: -- Oracle Exadata v2 バックアップ動作検証 1. 検証目的 Oracle Exadata Version 2 上で稼動する Oracle Database11g R2 Real Application Clusters( 以下 Oracle11g R2 RAC) 環境において
More informationビッグデータアナリティクス - 第3回: 分散処理とApache Spark
3 : Apache Spark 2017 10 20 2017 10 20 1 / 32 2011 1.8ZB 2020 35ZB 1ZB = 10 21 = 1,000,000,000,000 GB Word Excel XML CSV JSON text... 2017 10 20 2 / 32 CPU SPECfp Pentium G3420 77.6 8,946 Xeon Gold 6128
More information<4D F736F F D BC696B18F88979D939D90A782F08D6C97B682B582BD A DD975E8AC7979D CC8D5C927A2E6
第 18 回学術情報処理研究集会発表論文集 pp.32 36 IT 業務処理統制を考慮したライセンス貸与管理システムの構築 Implementation of the lending application software license management system with IT application controls 金森浩治 Koji KANAMORI kanamori@itc.u-toyama.ac.jp
More information