NTTコミュニケーションズのクラウドサービス開発を支えるOSSとそのコミュニティ活動

Transcription

1 OpenStack への取り組み NTT コミュニケーションズ (NTT Com) では現在クラウドサービスとしてECL(Enterprise Cloud (1) ) を提供していますが, これらの基盤としてオープンソースソフトウェア (OSS) であるOpenStackを利用しています. NTT ComではOpenStackをはじめとした各種 OSSについて調査 検証 利用をしており, こうしたOSSに関する知識やノウハウを共有するために, 勉強会やカンファレンスなどを開催しています. OpenStackの概要 OpenStackは仮想マシンを管理する機能や, ネットワークを制御する機能など, コンポーネントと呼ばれるさまざまな機能から構成されており, 利用者は自分のサービスに合わせて必要なコンポーネントを組み合わせることで, 目的にあったクラウドサービスを構築することができます. OpenStackの利用者にはCERN, WalmartやChina Mobileなどさまざまな企業 団体が名を連ねており, 世界中でOpenStackを活用 運用した事例が報告されています. また,OpenStack の開発には世界中の開発者が参加して おり, 日々, 新規機能の開発や既存機能の改善が行われています. Enterprise CloudでのOpenStack の活用 NTT Com では2013 年 10 月, 日本で初めてOpenStackを採用したパブリッククラウドサービス Cloud n(2) の提供を開始しました. さらに2016 年 3 月に, 企業の基幹システムに適した新たなクラウドサービス ECL 2.0 においてもOpenStackを導入しました. サービス提供開始後もユーザニーズにこたえるべく新機能のリリースを順次進めており,2017 年 5 月には OpenStackのコンポーネントである Heat *1 をベースとして, 仮想サーバやストレージ, ネットワーク等の各種リソースを一括して作成 削除し, システム構築を容易にするDeployment Manager (3) をリリースしました. また, 2018 年春以降に OpenStackのコンポーネントであるTrove * 2 をベースとした,MySQLやPostgreSQL 等のリレーショナルデータベースを容易に構築できるサービスをリリースする予定です. これらのHeatやTroveをはじめとしたECL 2.0で利用されているコンポーネントついては, サービスのベースとして導入するだけでなく, セキュ IoT/AI/SDx 時代を支えるOSSへの取り組み OpenStack OSS 技術イベント集NTT コミュニケーションズのクラウドサービス開発を支える OSS とそのコミュニティ活動 NTT コミュニケーションズではシステムの開発や運用においてオープンソースソフトウェア (OSS) を利用する機会が増えてきました. クラウドサービスでは,OSS である OpenStack を活用するだけでなく,OpenStack へのコントリビュートや, 関連団体への加盟, イベントでの発表など, OpenStack コミュニティに対して積極的な働きかけをしています. また, OSS に関する NTT グループ横断的な勉強会や,NTT グループ外との技術交流を行うイベントを主催しています. 特おぐらまひとちょうぎょうしょう小倉真人 / 張暁晶まつしたまさきまつもとたけあき松下正樹 / 松本赳明はらだかずあき Ankit Purohit / 原田和明 NTTコミュニケーションズリティ強化などの各種機能改善の提案やバグの報告 修正などのコミュニティに対して積極的に働きかけを行っています.ECLは世界 7 カ国 ( 日本, 米国, 英国, ドイツ, シンガポール, 香港, オーストラリア ) に展開され (2017 年 9 月現在 ), それぞれの拠点がNTT Comの高品質かつセキュアな回線で接続されています.NTT Comは今後も OSSを活用して, キャリアクラウド ならではのグローバルシームレスなクラウドサービスを進化させていきます. OpenStack Summit Boston 2017での発表内容 OpenStackの新バージョンのリリースに合わせて半年に 1 度開催される国際イベント OpenStack Summit (4) では, 公募で集まった投稿の中から, コミュニティの一般投票を経て, 各セッショントラックの座長が最終的に採否を決める方式を取っています. ここ数回は1000 件程の応募から20% 前後が採択されるかたちとなっています. 今回,2017 年 5 月に米国 ボスト *1 Heat: テンプレートに従ってオーケストレーションを行う OpenStackのコンポーネント. *2 Trove: OpenStack 上でDatabase as a Serviceを提供するOpenStackのコンポーネント. NTT 技術ジャーナル

2 IoT/AI/SDx 時代を支える OSS への取り組み ンで開催されたサミットでNTT Com 技術開発部が行った 2 件の発表について紹介します. 1 OpenStack 内部で利用されているミドルウェアRabbitMQの性能チューニングについて 2 GPU(Graphics Processing Unit) 付き仮想マシンに代わる GPUコンテナの提供方法比較について Scale-Out RabbitMQ Cluster Can Improve Performance While Keeping High Availability OpenStackを大規模に運用する際に, コンポーネントの内外で非同期処理を行う際に利用されるMQ(Message Queue) がボトルネックになるといわれています. この問題を解決する方法として,OpenStack の運用者の間では, MQをチューニングする方法や, 複数のMQクラスタに処理を分け, 負荷分散を行う方法が知られています. しかしながら, 運用者が複数のMQクラスタのチューニングや運用を行うことは容易ではありません.NTT Comでは ECL 2.0の大規模化を見越し,MQの性能, ならびに運用の改善が必要となっています. ボストンでの発表では, NTT ソフトウェアイノベーションセンタ (SIC) と共同で, 運用, ならびに OpenStackの内部動作の改善方法について発表を行いました. 運用の改善として,OpenStackで一般的に用いられるMQの 1 つであるRabbitMQのクラスタ設定を見直し, 内部のデータの冗長化を確保したまま,1 つのRabbitMQ クラスタをスケールアウトさせることで性能の改善を行う方式を検証し, その結果を紹介しました ( 図 1). また, 仮想マシンの管理を行うコンポーネント nova の各ノードに処理を調整する conductor の機能がボトルネックになり得ることを突き止め, conductorに流れるデータを複数の conductorノードに分散させる方式を検証し, その結果を紹介しました ( 図 2). Container as a Service on GPU Cloud: Our Decision among K8s, Mesos, Docker Swarm, and OpenStack Zun AI( 人工知能 ) やビッグデータ分 析などのワークロードを効率的に処理するため GPUコンピューティング が近年注目されており,Amazon, Microsoft,Googleを含む多くのクラウドプロバイダではGPU 付き仮想マシンを提供し始めました.GPU 環境の最良の構築 運用方法を探るため, 本発表ではさまざまなOSSツールを比較検証し, その結果を紹介しました ( 表 ). 機械学習などの本来のタスクに集中したいクラウドユーザにとって環境設定の手間が少なく, またリソースを効率的に管理したいクラウド管理者にとってGPUリソースを公平に分配できることが重要です. 仮想マシンの代わりにDocker *3 やnvidia-docker * 4 などのコンテナ技術を用いることで, ゲストOS, ライブラリ, デバイスドラ *3 Docker: Docker 社が提供するコンテナエンジン. 以前は OSS になっていましたが, 現在は Moby プロジェクトに移行され, その成果物を基として,Docker 製品が開発されています. *4 nvidia-docker: NVIDIA が公式に提供している Docker から NVIDIA の GPU を利用するためのコンテナイメージとそのユーティリティ群. 30 NTT 技術ジャーナル

3 GPU クラスタ一元管理 表 GPU の指定複数割当て 比較検証結果 GPUの分離 Docker サポート バッチタスク実行可能か OpenStack Zun Docker Swarm/ Swarm Mode a 現 の conductor に するメッ ージン Apache Mesos Kubernetes abbitm conductor の 特 ータ ース集イバの間の依存関係や組合せを考慮せずに迅速にアプリケーションをデプロイでき環境設定が省力化できます. しかしどのGPUコンテナをどのサーバに配置すべきかを決めるスケジューリングの機能性に関しては成熟しておらず,GPUリソースの公平な提供方法は自明ではありませんでした. そこで, 社内利用目的のGPUコンテナ基盤を構築する過程で, 主要なコンテナ管 NTT 技術ジャーナル ueue conductor ータ ース ueue conductor ueue reply abbitm ueue conductor.host ueue conductor.host ueue conductor.host ₃ b 式

4 IoT/AI/SDx 時代を支える OSS への取り組み 理ツールKubernetes,Apache Mesos, Docker Swarm,OpenStack Zun 等を調査 比較検証しました. その結果, 複数 GPU 指定可否, 他コンテナとのリソース分離,Dockerサポート有無などの評価軸で最良となった Kubernetesを採用して検証環境 ( 図 3 ) を構築し, 構築運用のノウハウや実際のユースケースも合わせて紹介しました. NTTグループ内外での勉強会, イベント コンテナ クラウドネイティブ勉強会 2015 年 10 月より,SICと協力し, NTTグループ内のエンジニアたちとコンテナ技術について学び, 意見交換をする場としてコンテナ勉強会を始 めました. コンテナ勉強会ではOSS として公開されているDockerや, Kubernetes,Apache Mesosなどの知識や運用ノウハウ, またDockerCon やKubeConなどのカンファレンスへの参加レポートの共有などを行ってきました. しかしながら, 今後はコンテナだけではなくもう少し幅広い技術や知識が必要になると考え, 第 6 回から名前をクラウドネイティブ *5 勉強会に変え, その目的を NTTグループ内のクラウドにかかわるエンジニアの情報共有や悩み相談を行いクラウドに関するノウハウの蓄積を行う. また, ユースケースを基にクラウドネイティブなシステムの設計手法や検討事項などを議論することでクラウドネイティブなシステム設計を行う際のノウハウ蓄積を行う とし, 引き続きNTTグ ループのエンジニアたちと知識の共有や議論を行っています. NTT Tech Conference NTT Comでは, 内製力の向上をめざしてソフトウェア人材の育成に力を入れています. その一環として, ソフトウェアに関する取り組みを広く知っていただくために, NTT Tech Conference (5) を企画し,NTTグループのエンジニア有志が集まって開催しています. NTT Tech Conferenceは,NTTグループのエンジニアが, 自身の技術的な知識や取り組みについて発表をすることで,NTTグループ内外のエンジニアたちと技術交流を行うことを目的に開催されています.2017 年 8 月 10 *5 クラウドネイティブ : クラウド上での利用を前提として設計されたシステムやサービス. 32 NTT 技術ジャーナル

5 写真 NTT Tech Conferenceの様子 2 回では,NTT グルー集日に開催した第今後の展開プ内外から221 名の参加者が集まり, ナレッジの共有や技術についての議論 NTT Comでは今後もユーザニーズを行いました. 第 2 回のセッションにに迅速にこたえるために,OpenStack は OSS 開発コミュニティ参加のおをはじめとしたOSSを活用したサー誘い NTTグループのOSS 活動例ビス開発に取り組んでいきます. また, というタイトルで,NTTグルー OSSを活用するだけでなく, 機能提プにいるOSSの開発者たちが参加者案 改善などを通じてOSSコミュニたちと各 OSSの開発状況や開発の方ティの成長に対しての貢献も行ってい法について議論や意見を交わすセッきます. そして,NTTグループの内ションもあり, 各 OSSコミュニティ製力強化をめざし,NTTグループ内の開発への参加の仕方を共有する場面外のエンジニアたちと技術交流を行うや, 開発方法やコミュニティの状況に勉強会やイベントを行いながら, グついての意見交換をする場面がありまループ全体での技術レベルの向上をめした ( 写真 ). ざしていきます. NTT Comでは, 今後もOSSをはじ 参考文献 (1) めとしたソフトウェア技術に関する交 iaas/enterprise-cloud.html 流の場としてNTT Tech Conference (2) iaas/cloudn.html の開催を行っていく予定です. (3) (4) boston-2017/ (5) 特conference/ 小倉真人 / 松下正樹 / Ankit Purohit NTT Comでは今後もOSSに関する活動や,NTTグループ内外に対しての技術イベントを行っていく予定です. 興味のある方はぜひNTT Tech Conferenceなどの技術イベントにご参加ください. 問い合わせ先 NTTコミュニケーションズ技術開発部クラウドコアTU TEL ₀₃-₆₇₃₃-₉₇₇₄ FAX ₀₃-₅₄₃₉-₀₄₈₃ cloud-ia ntt.com NTT 技術ジャーナル ( 後列左から ) 張暁晶 / 奥村昌和 / ( 前列左から ) 松本赳明 / 原田和明