Azure ストレージパートナーと実現する次世代 ハイブリッドクラウド データファブリックの世界 CI26
バックアップ DR( 災害対策 ) アーカイブ
ソフトウェアデファインドストレージオンプレからクラウドをまたがって
どんなシステムを描きますか? CI26
どんなシステムを描きますか? 1 億台のセンサーデバイス 20% インターネットでデータ送受信 80% 閉域ネットワークでデータ送受信 集めたデータで A.I. や機械学習を活用 最低でも10 年間はデータを保持 ( 総容量 10EB) オンプレミスに構築された既存のDWH/DSSと連携 2018 Microsoft Corporation. All rights reserved. 本情報の内容 ( 添付文書 リンク先などを含む ) は 作成日時点でのものであり 予告なく変更される場合があります
IoT データフローアーキテクチャの課題 EDGE 如何に軽量化するか? 如何に精度向上するか?( 欠損や重複の排除 ) etc.. CORE データセンター パブリッククラウド 異なるネットワークを介して収集したデータを如何に保管していくのか? 異なるプラットフォームにある解析システムに如何にデータを渡すのか? 数十 数百 TB の単位時間データ PB EB の複数年累積データを如何に保護するのか? etc..
NetApp Data Fabric お客様がデータを自由に移動できデジタル トランスフォーメーションを加速するために 防衛 パブリッククラウド マルチクラウド 小売 医療 住居 閉域ネットワーク 政府機関 NETAPP DATA FABRIC 小口金融 インターネット 航空 エンタープライズ IT 次世代型データセンター モバイル 運輸 自動車
Data Fabric の実現に向けた Microsoft & NetApp NetApp ONTAP Cloud for Azure Azure 上に構築されたシステムでデータの共有を行うためのストレージ専用 OS NetApp ONTAP FabricPool ONTAP ストレージとクラウドオブジェクトサービスを組み合わせたデータ階層化 NetApp Cloud Backup Cloud-Based Appliance for Azure ( 旧称 AltaVault) バックアップデータや法定帳票などの長期保管データを Azure Cool Blob にアーカイブ NetApp Cloud Volumes( 仮称 ) Azure のネイティブサービスとして ONTAP の提供する NFS 機能を提供 NetApp Private Storage for Azure Azure 上に展開された多数のテナント間やお客様サイトに構築されたシステムとの間でデータの共有
プロジェクト実績に基づいたベストプラクティス
NetApp Edge to Core to Cloud Data Pipeline Architecture データの取り込み (INGEST) データの前処理 (CLEANSING) トレーニングクラスタ (Deep Learning / ML) 展開 (Deployment) データアーカイブ (Data Archive) モデル 1 モデル 2 Object モデル 3
Apache Kafka Cluster におけるメッセージファイル構造 膨大なトランザクション 超低レイテンシ レプリカによる IOPS の増大 Broker-1 Broker-2 Broker-3 Broker-4 topic1-part1 topic1-part2 topic2-part1 topic2-part2 topic2-part2 topic1-part1 topic1-part2 topic2-part1 topic2-part1 topic2-part2 topic1-part1 topic1-part2 どのようにデータボリュームを構成すべきなのか? 定期的なバックアップはどのように行うべきなのか?
ONTAP Cloud Performance VM タイプ CPU メモリ期待ネットワーク帯域 ONTAP Select License Standard_DS3_v2 4 14GB 3,000 Mbps(300 375MBps) Explore(2TB マデ ) Standard_DS13_v2 8 56GB 4,000 Mbps(400 500MBps) Standard(10TB マデ ) Standard_DS14_v2 16 112GB 6,000 8,000 Mbps(600 1,000MBps) OLTP Stream Read Stream Write Analytics Premium(368TB マデ ) IOPS Latency Throughput Throughput Throughput Latency Standard_DS3_v2 6,742 14ms 329 MBps 22 MBps 32 MBps 14ms Standard_DS13_v 2 Standard_DS14_v 2 18,617 9ms 411 MBps 198 MBps 176 MBps 9ms 18,120 9ms 427 MBps 200 MBps 182 MBps 9ms
ONTAP Select / ONTAP Cloud VMware / Linux KVM Azure
大規模 Hadoop環境におけるデータ 保管コストの課題 オールフラッシュ 高 HOT データ 本番データ アクセス頻度 Snapshot COLD データ Azure Cold Storage バックアップ アーカイブ 低 オブジェクトストア
どんなシステムを描きますか? 1 億台のセンサーデバイス 20% インターネットでデータ送受信 80% 閉域ネットワークでデータ送受信 集めたデータで A.I. や機械学習を活用 最低でも10 年間はデータを保持 ( 総容量 10EB) オンプレミスに構築された既存のDWH/DSSと連携 2018 Microsoft Corporation. All rights reserved. 本情報の内容 ( 添付文書 リンク先などを含む ) は 作成日時点でのものであり 予告なく変更される場合があります
CI26 捨て切れないけれどあまり I/O しない そんなデータの管理はお任せください! Veritas Access
こんな事例 ありませんか? 用途 : 防犯カメラ動画収集サーバー 要件 :2 種類の動画を 5 年間保管 動画 A: *.avi 形式 収集後 3 日間はアクセスあり 1 日 150GB 増加 収集履歴を定期的に dir コマンドで確認 動画 B: *.zip 形式 収集後はアクセスなし 1 日 550GB 増加 収集履歴を定期的に dir コマンドで確認 (150GB+550GB) 365 5 = 1,277,500GB 1,277,500Gbyte 1.3PB のストレージを購入しますか?
合理化のアイディアと乗り越えるべき課題 動画収集サーバー内に保管すべきは 3 日分の動画 A のみ他を Azure BLOB に送ってしまえば ローカルストレージは 450GB で足りる 定期的に 収集済み動画一覧を dir コマンドを用いて作成 Azure BLOB に移動された動画の一覧を確認するには 管理アプリを Rest API に対応させる必要あり
利用側 CIFS ポリシーベースでデータを移動 データの所在を意識せずにアクセス 低コストストレージやクラウドストレージを選択 ローカルストレージ 専用にコネクターにより Azure BLOB にデータを移動 ポリシー例 : 3 日間アクセスしていない or.zip 拡張子付きデータは Azure BLOBへ移動
20 年以上の実績がある Veritas InfoScale の技術要素を取り入れエンタープライズ向けの信頼性とパフォーマンスを大規模な非構造化データ環境へ提供
ログサーバー メディア向け アーカイブ用 廃棄 追加 マルチプロトコルアクセス ファイルアクセスサービスオブジェクトブロック Oracle Direct NFS CIFS CIFS NFS NFS NFS FTP NFS S3 iscsi ティアリング : ポリシーベースの階層化ストレージ Azure BLOB 連携
➊ Veritas Access HDD SSD SAN FC/iSCSI ➌ ➋ Veritas Access
利用側 1 CIFS ポリシーベースでデータを移動 データの所在を意識せずにアクセス 低コストストレージやクラウドストレージを選択 Object Service NFS Service CIFS Service FTP ローカルストレージ 1 Veritas Access IO Manager Storage Subsystem 専用にコネクターにより Azure BLOB にデータを移動ポリシー例 : 30 日間アクセスしていないデータは Azure BLOBへ移動
メモ帳で開いてもちゃんと見えます
ソリューションの位置づけ : ペタバイトスケール向けのマルチプロトコル NAS コモディティ H/W を活用してコストの適正化とベンダーロックインの回避 活用例 : Azure BLOB とのティアリング 多目的 SDS-NAS (NFS サーバー CIFS サーバー オブジェクトストレージ アーカイブ, etc.) マルチメディア ログデータ等の大量の非構造化データの管理やアナリティクス基盤など ユニークな価値 : マルチプロトコルサポートによる統合ファイルサーバーの実現 ポリシーベースのティアリング ( クラウド対応 ) 様々なストレージの活用 DAS, SAN, Public Cloud
まとめ
バックアップ DR( 災害対策 ) アーカイブ これら 3 つの要件は個別に定義 そして適切にデータを管理
関連セッション
ありがとうございました 2018 Microsoft Corporation. All rights reserved. 本コンテンツの著作権 および本コンテンツ中に出てくる商標権 団体名 ロゴ 製品 サービスなどはそれぞれ 各権利保有者に帰属します