ｽﾗｲﾄﾞ ﾀｲﾄﾙなし

Transcription

1 WEB 技術 1

2 WWW の生い立ち Tim Berners-Lee (CERN), 1989 年 高エネルギー物理学資料のハイパーリンク化 ハイパーテキスト技術 マークアップ言語 : HTML 転送プロトコル : HTTP Mac Andreessen ( イリノイ大 ), 1993 年 Mosaic インターネットの一般化のトリガ Netscape Navigator, Internet Explorer WWWコンソーシアム (W3C) 2

3 URL (Uniform Resource Locator) スキーム名 :// ホスト名. ドメイン名 : ポート番号 / パス / ファイル名 例 : : ポート番号 / ファイル名 は省略可能 : ポート番号 を省略した場合にはスキームごとの既定値が使用される 3

4 client-server と peer-peer(1) クライアント 能動的にサービス提供を促す側 サーバ 受動的にサービス提供する側 Client サービス要求 Server サービス提供

5 PROFESSIONAL WORKSTATION PROFESSIONAL WORKSTATION W V70 SD SD 450 ENTERPRISE SD ULTRA SPARC DRIVEN 通常の WEB コンテンツの流れ 雲の中はどんなデータリンクでも構わない Get USER Original Contents Server Sun Gif-2 Gif-1 index 一度の http リクエストに際し ファイル形状ごとにそれぞれ TCP セッションの確立から始めなければならないため アクセス数の増加に対しサーバの負荷が指数関数的に増加する 要は 大変たくさんの TCP コネクション 5

6 < 航空会社 > JAL ANA < ホテル > Hyatt Hilton Marriott < レンタカー > Hertz Avis JAL ANA < 航空会社 > Hyatt Hilton Marriott < ホテル > Hertz Avis < レンタカー WEB サービスポータルサーバ ユーザパソコン (a) 既存サービス ユーザパソコン (b) WEB サービス 図 8-2 WEB サービスの基本概念 6

7 HTML インタプリタ << 入力 >> コントローラ スクリプト言語解釈 Java 仮想マシングラフィックビューアビデオビューアサウンドプレーヤ << ディスプレイ >> http ftp smtp telnet インターネット 図 8-4 WEB ブラウザの基本構造 7

8 マークアップ言語 文書中にタグを埋め込むことによって 文書の論理構造 ( 表題 段落など ) や表示属性 ( レイアウト 文字サイズ 色など ) を規定する言語 8

9 タグ < タグ名属性名 = 属性値 > 文字列 </ タグ名 > 開始タグ 終了タグ タグ名 属性名の大文字 / 小文字は区別しない 終了タグは省略されることもある 9

10 10

11 11

12 12

13 XML 言語の特徴 タグの自由な定義 ( 日本語 データの意味 ) 簡素で厳密な言語仕様 終了タグの必須化 内容情報 (XML 文書 ) と表示属性 ( スタイル ) の分離 業界での共通タグの定義 (DTD) 人間には理解し易く コンピュータには扱い易い文書 13

14 14

15 e ビジネスと XML IBM が蘇った根本的ビジネスモデル これまで ばらばらに個別データ処理していたものを 一つの窓口 ( これをポータルという ) から処理可能に統合化する バックエンドには たくさんの個別システムが存在する データのパイプライン処理 並列処理 統合化処理を行う 必要なもの ; データと手続きの統合化 XML 言語という共通メタ言語の利用 デジタル = 情報の水平展開 まさに 旅行代理店の仕事 ってことで じきに 旅行代理店産業は消える運命 15

16 例 7 : 旅行 (=e ビジネスの典型 ) 移動手段 航空券 : 既にフルデジタル レンタカー : ほぼ デジタル化完了 電車 : 最も遅れている業界 宿泊 : Web ですべてが完了 (*) ここまでは 既にポータルが存在 食事 : Web 検索が普通 嗜好 : Web 検索で対応可能 ( 含予約 ) お金 : キャッシュレス化 ( デジタル化 ) 16

17 17

18 18

19 例 7 : 旅行 (=e ビジネスの典型 ) 移動手段 航空券 : 既にフルデジタル レンタカー : ほぼ デジタル化完了 電車 : 最も遅れている業界 宿泊 : Web ですべてが完了 (*) ここまでは 既にポータルが存在 食事 : Web 検索が普通 嗜好 : Web 検索で対応可能 ( 含予約 ) お金 : キャッシュレス化 ( デジタル化 ) 19

20 大規模 (WEB) サーバ 20

21 最近の傾向 1. マルチプロセッサ型の計算機アーキテクチャの導入 分散処理 ( 機能分散 地理的分散 ) 2. キャッシュ技術の導入 CDN P2P など 3. 仮想化技術の導入 Virtulization Overlay ネットワーク

22 1. 水平分散 処理負荷の分散手法 複数のサーバに並列的に処理を実行させる 特定の機能ごとに 専門化したサーバを用意し 適切に Dispatch する 2. 垂直分散 Proxy 機能や Cache 機能を提供し クライアントに近い仮想ノード / 分身ノードが データ処理を分担する データの変更時の Consistency の維持が課題となる

23 WEB システムの歴史と 技術チャレンジ 23

24 WWW サーバ : 基本中の基本 レスポンスが遅いとどうなる? クリックを繰り返す (10 秒くらが限度 ) Positive Feedback たくさんのTCPコネクションがForkされる 計算機資源がcatastrophy 的に使用される 要は DDOSと同じ状況 2 度とアクセスしない. ビジネスチャンスの喪失 24

25 Optical Networking at Double Moore s Law Moore s Law says that computer speed=2x every 18 months, and the cost = 50% John Roth, president and chief executive officer, says that Nortel Networks is moving at twice the speed of Moore's Law, doubling the capacity of its fiber-optic systems and halving the cost every nine months. Networks: 3 years=16x capacity, 6% cost Computers: 3 years=4x speed, 25% cost Networks: 6 years=256x capacity, >1/2% cost Computers: 6 years=16x speed, 6% cost Source: HPCwire hpcwire@tgc.com> 25

26 Scaling problem as we know it ネットワーク帯域は 1 年で 2 倍に AT&T Research [Coffman, Odlyzko 2000] コンピュータの性能は 18 ヶ月で 2 倍に Moore s Law Approximate switching bandwidth Server Network

27 WWW サーバ : 基本中の基本動作 GET method のみを処理する簡単な Web サーバ コネクションを受け付ける リクエストラインを入力し URI( パス名 ) を取り出す 適当なステータスラインとヘッダを出力する URIで指定されたオブジェクトを出力する 掃除をしてから最初に戻る レスポンスが遅いとどうなる? クリックを繰り返す (10 秒くらが限度 ) 2 度とアクセスしない 27

28 実用サーバのプロセス構造 基本的な構造 シングルプロセス コネクションごとにプロセスをforkする あらかじめ複数のプロセスをforkしておく 上記 + 足りなくなったら新しいプロセスをforkする お得な拡張 マルチスレッドプロセス 入出力マルチプレキシング 非同期入出力 出力ヘルパー (e.g.: Squid in http-accelerator mode) 28

29 実用サーバの機能 URL リダイレクション (Remote Redirection) 他のサーバへ振る URI 書き換え (Aliasing) 自身の中で振る アクセス制御 ACL ( ホスト / ネットワーク URI) User Authentication Virtual Hosting (Virtual Server) 29

30 大規模サーバファームの構築 Web サイトに押し寄せる大量のトラフィック DNS による負荷分散 TCP コネクションディスパッチ レイヤ 7 スイッチ 信頼性の向上 サービスの継続性 ドキュメントアップロード方法 対攻撃性の確保 DoS(Deny of Service) への対策 30

31 基本的な手法 水平分散 (Redirection) 垂直分散 ( キャッシュ ) 31

32 Web サーバ群 Web サーバ群 リダイレクション (Redirection) サーバ 1 アクセス要求 2 URL Redirect ( リダイレクト ) 命令 3 Redirected ( リダイレクト ) アクセス要求 1 アクセス要求 2 Aliasing( 書き換え ) 命令 3 Aliased( 書き換え ) URL アクセス応答 図 8-7 URL リダイレクション 図 8-8 URL 書き換え (Aliasing) 32

33 1 2 DNS サーバ (wide.com) 3 サーバサイト #1 サーバサイト #2 IP 1 IP 2 IP 3 IP 4 IP 5 IP 6 IP 7 WEB サーバ群 WEB サーバ群 1 DNS query ( 2 DNS reply メッセージの内容 ; {IP 1, IP 2, IP 3, IP 4, IP 5, IP 6, IP 7 } 3 IP 3 を のサーバとして選択 図 8-9 DNS による負荷分散 33

34 1 2 DNS サーバ (wide.com) 3 サーバサイト #1 サーバサイト #2 IP 1 IP 2 IP 3 IP 4 IP 5 IP 6 IP 7 WEB サーバ群 WEB サーバ群 1 DNS query ( 2 DNS reply メッセージの内容 ; {IP 1, IP 2, IP 3, IP 4, IP 5, IP 6, IP 7 } 3 IP 3 を のサーバとして選択 図 8-9 DNS による負荷分散 34

35 SD SD cgi アクセス ( インタラクティブ ) 静的ファイルへのアクセス要求 NetApp F210 NetApp F210 Network Appliance レイヤ 7 スイッチ Network Appliance レイヤ 7 スイッチ Web サーバ群 cgi 用サーバ 静的ファイル用サーバ 図 8-10 レイヤ 7 スイッチによる負荷分散 図 8-11 処理機能によるアクセスの誘導 35

36 DNS 負荷分散の問題点 システムダウンが外部に見えてしまう システム構成を短時間で変更することが不可能 36

37 TCP コネクションディスパッチング (3) 可能性 ローカルな負荷分散 同じ処理能力を持つシステムは 大規模な単一システムより小規模な複数のシステムで構成したほうが安価 スケーラビリティ TCP のコネクション能力の上限を超えられる可能性 他のテクノロジとの組み合わせによる可能性 サーバリダイレクション + コネクションディスパッチング 37

38 地理分散 : 大規模サイトのもう一つの形態 サービスの分散配置 地理的に均一なサービスを提供する クライアントから見て最も適切なサーバを選択する ネットワーク距離 ( メトリック ) 往復時間 アクセスポリシー 問題 サーバの位置決め ( ロケータ ) サーバの選択 自動化 : インターネット的に 38

39 大規模サイト構築へのアプローチ httpd DNS RoundRobin ミラーサーバ インターネット上に複数のサーバを配置 コンテンツの同期問題 Original httpd internet httpd 39

40 トレンド Web サービスにおいて常に小さなネットワークレーテンシを確保するためには 近く のサーバへアクセスすればよい ユーザにサーバを選択させる方法は あまりにも透過性に欠け あまりにもインターネット的でない HTTP リダイレクションの利用 アドレスからドメイン名への逆引きと位置の推測 ネットワーク (IP) 層が持っている情報の利用 実測値の計測と利用 透過的な負荷分散 サーバのサービス能力の差を隠蔽 40

41 CDN の概要 - Contents Delivery Network - Contents Distribution Network - 41

42 CDS/CDN とは? CDS Content(s) Delivery Service/System Content(s) Distribution Service/System Web/Streaming などの rich contents に対してキャッシュやミラーを積極的に用いた負荷分散システム ( サービス ) リバースキャッシュ技術 キャッシュ管理技術 リクエストナビゲーション技術 CDN Content(s) Distribution Network CDS の基盤ネットワーク CDS 間のコンテンツピアリングを行う単位 例 : A 社の α というコンテンツを B 社の CDS へ提供する 42

43 Internet の構造上の問題の回避 idc idc オリジンサーバ IX IX ISP IX idc ISP IX ISP IX idc ISP ISP ユーザ - 遅延の問題 - ISP の複雑な経路制御ポリシー 43

44 Web サービスの構造上の問題 ( 負荷の集中 ) Contents 負荷集中 通常のコンテンツ取得経路 コンテンツプロバイダ 負荷集中 IX Internet 負荷集中 IX 負荷集中 idc ISP idc ISP ISP ISP 利用者 44

45 中継ノード 1. キャッシング 2. リバースキャッシュ オリジナルコンテンツを持つサーバ 図 8-12 CDN の全体構造概念図 45

46 idc ISP 間のフィルタリングに 左右されない サイト A idc 業者 A idc 業者 B サイト B ISP-A ISP-B IX ISP-C ISP-D 46

47 Web サービスの構造上の問題 ( 負荷の集中 ) Contents 負荷集中 通常のコンテンツ取得経路 コンテンツプロバイダ 負荷集中 IX Internet 負荷集中 IX 負荷集中 idc ISP idc ISP ISP ISP 利用者 47

48 1. 水平分散 処理負荷の分散手法 複数のサーバに並列的に処理を実行させる 特定の機能ごとに 専門化したサーバを用意し 適切に Dispatch する 2. 垂直分散 Proxy 機能や Cache 機能を提供し クライアントに近い仮想ノード / 分身ノードが データ処理を分担する データの変更時の Consistency の維持が課題となる

49 WEB 技術 49