日本最大規模のキャンパス認証ネットワーク ～HINET2007の構築と運用～

Transcription

1 2009 年 11 月 27 日 広島大学における セキュリティ対策事例 ~ セキュリティ対策とキャンパスネットワーク更新 ~ 田島浩一, 西村浩二, 相原玲二, 近堂徹, 岸塲清悟, 大東俊博, 岩田則和 広島大学情報メディア教育研究センター情報基盤研究部門

2 内容 セキュリティ対応の組織 体制 学内インシデントへの対応 キャンパスネットワークでの対応 新ネットワーク HINET2007 の構築と運用 導入の背景 概要と特徴 管理 運用 移行の方針 設計 構築のポイント 既存ネットワークよりの移行 支援体制とシステム 新ネットワークの導入後 シングルサインオン (SSO) 対応 2

3 学内インシデント対応組織体制 3

4 セキュリティ教育 講習 情報セキュリティ ~ 管理者入門コース ~ 外部の講師による年 2 回程度実施 主要キャンパス 1 回 他 1 回 対象は主に管理者で 新規採用教員 職員など 毎回 30~40 名程度 テキスト IPA 作 情報セキュリティ読本 情報セキュリティ教育のための教科書 比較的簡易な表現 コンピュータのユーザとして知っておいてほしい内 他に オンラインでのセキュリティ講座 WEB-CT で開講 4

5 セキュリティポリシー テンプレートをベースに 学部 部局毎に作成 必要時に随時更新 今年度は USB メモリ等携帯型の扱いなど 年 1 回の自己点検と結果の報告 ( の義務 ) 項目例 実施手順の周知状況 ウィルス対策のインストール状況 OS アプリケーション等の更新状況 情報システムの管理 パスワード管理など 5

6 セキュリティインシデントに対するメディアセンター行動指針 ( 策定中 ) 概略 不正利用の発見 ( 学内外からの指摘 システムログ 入退室記録や監視カメラなどについて ) 緊急を要する場合の措置 ( 緊急を要すると判断された場合は センタースタッフ ( 複数 ) の判断による必要な措置について ) アカウントの停止 ネットワーク通信遮断 ( 別途の等利用規則 1 に基づく停止など ) 1 広島大学情報システム等利用規則 広島大学情報メディア教育研究センター利用内規 6

7 インシデント例 アカウントが不正利用される 原因は安易なパスワード 該当アカウントで学外のネットワーク攻撃 被害の概要 bash ( ログインシェル ) のヒストリ ( コマンド履歴 ) に一部残る CPU アーキテクチャと OS が特殊 攻撃ツールコンパイル失敗 各種のツール実行は失敗 その後で スクリプト perl の簡単な攻撃スクリプトで次のサイト検索に使われた模様 7

8 インシデント対応 概要 年間件数 20~30 外部組織からのクレーム ウィルス 踏み台 不適切な情報発信 センター独自で発見 Windows ワーム対策 不正アクセスの提供情報は 送信元 IP アドレス ( 学内の IP) 時刻 インシデントの内容 迅速な対応には 上記内容より利用者 該当端末の特定 8

9 新キャンパスネットワーク完成まで HINET2007 構築推進会議 基本方針では認証が必須 サブネットでの管理の廃止 ホスト単位での管理を可能とする 完全導入まで約 2 年半 建物内フロア配線調査 追加配線工事検討 ネットワークエッジスイッチ設置希望調査 管理者向け説明会 一般利用者向け広報活動 あわせて 調達仕様策定 ~ 導入 ~ 移行 9

10 大学等のネットワークに対する要求 高度で柔軟なキャンパスネットワーク 学部 学科 研究室等の単位でサブネット構築 目的に応じて比較的自由な運用 ネットワークのライフライン化セキュリティインシデントの多発 管理方針の根本的な見直し 研究室は独立した企業活動 ( 教員は社長 ) しかし 外部からは同一組織とみなされる さらに 経営の効率化を求められる 10

11 ネットワーク管理体制の変更 11

12 キャンパス情報ネットワークでの対策 フロアスイッチ 最寄のPS内など 100Mbps 1Gbps 東広島キャンパス 建物集約スイッチ 主要建物内 SINET3など 計画停電対策 利用者認証 機能 部局整備 部局管理 全キャンパス合 計約400台 キャンパス集約 スイッチ 10Gbps 全キャンパス合 計約40台 キャンパス内 基幹光ファイバ 整備済 10Gbps 対外接続ルータ ２重化により 可用性向上 VLAN機能 VLAN機能 データセンター 内に設置 霞キャンパス キャンパス間 光ファイバ 整備済 コアネットワーク装置 メディアセンター内 キャンパス集約 スイッチ 全学整備 全学管理 東千田キャンパス 部局整備 部局管理 2008年5月から本格移行開始 規模 - 主要3キャンパス 東広島 霞 東千田 附属学校 小規模遠隔部局 東京 福山 尾道 竹原 呉 宮島 教員約1,800人 職員約3,300人 学生15,000人 フロアスイッチ約450台 約14,000ポート を全学整備 2009年11月27日 12 ネットワークセキュリティ対策技術研修2009

13 新ネットワークの特徴 全学的な一元管理体制 ボランティアベースによるサブネット管理体制の破綻 各フロアに設置するスイッチまで全学で一元管理 VLAN による柔軟な仮想配線の提供 同一研究室 ( グループ ) が異なる建物等に分散する場合に対応 学外向けサーバの設置 JGN2plus などの利用に対応 個別ファイアウォール機能の提供 全学ファイアウォール ( 対学外 ) のみでは不十分 ブロードバンドルータ相当の機能を教員数程度 ( 約 2,000 個 ) 提供 すべての接続場所において利用者認証を要求 多様な機器に対応するため Web/MAC アドレス認証を採用 認証後はワイヤレートでの通信が必要 13

14 新ネットワーク利用案内 ( 配布物 ) 2009 年 11 月 27 日 ネットワークセキュリティ対策技術研修

15 ゾーン の導入 ゾーン名略称 グローバルゾーンゾーン A ファイアウォールゾーンゾーン B ローカルゾーンゾーン C 公衆ゾーンゾーン D 主な用途学外向けサーバ接続学内共有サーバ接続一般クライアント接続オープンスペース 外部 IP アドレスグローバル固定割当グローバル固定割当グローバル固定割当グローバル DHCP 割当 内部 IP アドレス外部 IP アドレスと同じ外部 IP アドレスと同じ プライベート (NAPT) DHCP または固定割当 外部 IP アドレスと同じ ゾーン外からのアクセス 学外へのアクセス 学内外とも制限なし 制限なし 学外から不可ゾーン A を除く学内から可 制限なし 同一ローカルゾーン以外から不可 原則制限なし (NAPT による制限あり ) 学外から不可ゾーン A を除く学内から可 制限なし 端末認証 MAC アドレス認証 MAC アドレス認証 Web 認証または MAC アドレス認証 Web 認証 いわゆる平坦なサブネットでの構成とは異なる 15

16 新旧のネットワーク間でのアクセス X Y 方向のアクセス可否 : 同一ゾーン C 内ではアクセス可 異なるゾーン C 間ではアクセス不可 X Y ゾーン A ゾーン B ゾーン C ゾーン D 全学 サーバ 2001 Global 2001 FW 学外 ゾーンA ゾーンB ゾーンC ゾーンD 全学サーバ HINET2001 Global HINET2001 FW 学外 - 全学サーバ : 全学電子認証システムなど全学的サーバ接続用 HINET2001 Global: HINET2001 の全学ファイアウォールに入っていないサブネット HINET2001 FW: HINET2001 の全学ファイアウォールに入っているサブネット 16

17 ゾーン種別とアクセス制限 インターネット グローバルゾーン ( ゾーン A) IP 固定 ( グローバル ) MAC 認証 VLAN1600~1699 全学ファイアウォール 外部 IP アドレスはゾーンにつき 1 つ ( 固定 ) 個別ファイアウォール (NAPT) ファイアウォールゾーン ( ゾーン B) IP 固定 ( グローバル ) MAC 認証 VLAN1700~1799 公衆ゾーン ( ゾーンD) VLAN1800~1899 内部 IP アドレスはゾーンにつき約 250 個 ( 最大 ) ローカルゾーン ( ゾーンC) DHCP or IP 固定 ( ローカル ) Web 認証 or MAC 認証 最大 2000 ゾーン VLAN2000~3999 DHCP( グローバル ) Web 認証 ローカルゾーンからグローバルゾーンおよびインターネットへのアクセスは 全学ファイアウォールをバイパスする 17

18 運用と移行の方針 運用方針 個別ファイアウォールの例外設定は行わない テレビ会議装置はグローバルゾーン ( ゾーン A) に置く など 利用者が適切なゾーンを選択し 自己責任で守る 個別ファイアウォールのローカル側 / グローバル側の IP アドレスの希望は受け付けない ( メディアセンターが指定 ) 希望すればスイッチの下流ポートへ VLAN を Tagged で提供 ( ただし VLAN ID はメディアセンターが指定 ) 仮想ポート (1 本の物理配線に複数のゾーンを載せることが可能 ) 移行方針 移行期間は平成 20 年度末 (2009 年 3 月末 ) まで 期間中は HINET2001 と HINET2007 を並行運用 IP アドレスのリナンバーが必要 移行はポート単位で可能 18

19 基幹ネットワークの物理構成 10Gbps 1Gbps 対外接続ルータ SINET3, 商用 ISP 等 IPv4 L3 全学ファイアウォール個別ファイアウォール IDS, IPS リンクアグリゲーション L3 コアスイッチ (2 重化 ) スタンバイ DHCP Radius (MAC) Radius (Web) フロアスイッチ 建物集約スイッチ 筐体内 2 重化 キャンパス集約スイッチ Log ネットワークサーバ (2 重化 ) IPv4 L2 IPv6 L3 19

20 L3 コアスイッチの設定 対外接続ルータ ネットワークサーバ群 L3 コアスイッチ L3 (VRF) 全学 FW L3 (MSFC) サーバ接続スイッチ スイッチ管理用 VLAN VLAN ID 1600~ ~ 1799 個別 FW 個別 FW 2000~ ~ 1899 全学 FW (2001) L3 スイッチ (2001) 建物集約 / フロアスイッチ建物集約 / フロアスイッチ建物集約 / フロアスイッチ建物集約 / フロアスイッチ HINET2001 ゾーン A ゾーン B ゾーン C ゾーン D 20

21 個別ファイアウォールの構成 外部 スタンバイ FWSM 20 FWSM 20 VFW VFW VFW VFW VFW VFW VFW VFW 内部 2000 (VLAN ID: 2000~3999) FWSM: 物理 FW( ルータ内蔵モジュール ) VFW: 仮想 FW 21

22 仮想ファイアウォールの設定 外部 FWSM VFW NAPTの設定 VLAN 内部ネットワーク 外部 IPアドレス / / / / : : : / /26 内部 50 フィルタの設定内部ネットワーク間の通信不可 22

23 HINET2007 移行後の通信性能測定 クライアント 3 クライアント 4 クライアント 5 クライアント 1 クライアント 2 ゾーン A ゾーン B ゾーン C グローバル L3 コアスイッチ 個別 FW 全学 FW(2001) 配下 対外接続ルータ L3(VRF) 全学 FW L3(MSFC) 全学 FW (2001) L3 スイッチ (2001) サーバ A L3 スイッチ ( サーバ接続 ) サーバ A サーバ B 個別 FW( 約 2000) の設定済 VLAN2000~3999 の割当済 TCP(iperf による 30 秒 3 回測定平均 ):Mbps サーバ B 送信受信送信受信 クライアント クライアント クライアント クライアント クライアント 測定項目 : クライアント サーバ間の TCP データ転送性能 23

24 利用者認証機能に対する要件 (1) ネットワークインフラとしての認証ネットワーク 認証ページ (SSL) で UPKI オープンドメイン証明書利用 多様な機器に対応 複数 OS が混在 (Windows, Linux, Mac OS X/9 など ) PC 以外のネットワーク機器も認証 既存の研究室内ネットワークとの親和性 ダムハブなども多数存在 認証後でもワイヤスピードを確保 認証を入れることによるパフォーマンス低下は 24

25 利用者認証機能に対する要件 (2) 短時間での一斉認証要求への対応 共同利用施設 ( 演習用端末室 ) や事務職員用端末 広島大学には事務職員用端末が約 1,400 台存在 HINET2001 における端末増減数 (5 分間隔 ) 2007 年 1 月 29 日 ( 月 ) に採取 25

26 利用者認証の概要 管理サーバ群 認証DBなど 後ほど説明 中間CA証明書 NII UPKIイニシアティブが提供 する中間CA証明書を利用 全フロアスイッチに導入 Web認証 HINET2007 利用者 httpsによる利用者認証 初回接続時に認証ページをリダイレクト表示 全学電子情報基盤で管理するIDを利用 ARPポーリング/リンクダウンによるログアウト 2009年11月27日 フロアスイッチ 登録したMAC 全学認証システム アドレスとVLAN のIDとパスワード -IDで認証 を利用 ネットワーク機器 MAC認証 MACアドレスは事前登録 登録システムを利用 Web認証が困難な機器を対象 プリンタ NAS等 ネットワークセキュリティ対策技術研修

27 HINET2007 サーバ群の構成 HA クラスタ HA クラスタ 駆動系 MAC アドレス情報 IP アドレス払出情報 Data Synchronization スタンバイ OpenLDAP (Slave) OpenLDAP (Slave) BerkeleyDB BerkeleyDB ログ収集サーバネットワーク監視サーバ Data Replication Radius サーバ 1 (MAC 認証用 ) Radius サーバ 2 (MAC 認証用 ) DHCP サーバ 1 DHCP サーバ 2 MAC アドレス情報 Data Replication 広大 ID 情報 Data Replication ゾーン管理者情報 OpenLDAP (Master) PostgreSQL Data Replication OpenLDAP (Slave) PostgreSQL Radius サーバ 1 (WEB 認証用 ) OpenLDAP (Master) Radius サーバ 2 (WEB 認証用 ) OpenLDAP (Slave) IMC LDAP サーバ ( ゲストアカウント用 ) ホスト登録装置 1 ホスト登録装置 2 HA クラスタ ネットワークセキュリティ対策技術研修 2009 全学電子認証システム 2009 年 11 月 27 日 ( 全学 LDAPサーバ ) 27 HAクラスタ

28 DHCP サーバの IP アドレス払い出し性能 28

29 RADIUS サーバの同時認証性能 内部 DB 参照 ( 通常の Web, MAC 認証 ) 外部 DB 参照 ( ゲストの Web 認証 ) 29

30 認証スイッチの同時認証性能 実験概要 フロアスイッチを経由する同時 Web 認証性能 リダイレクトと認証 処理時間の和を計算 100 個の個別リクエスト IMC ゲストアカウントを利用 同時接続セッション数 1, 5, 10, 20, 30, 40, 81, 99 認証リクエストは 1 秒以内で同期 Portal Server 1000base-T フロアスイッチ HINET base-T 4 Diskless Linux : 34 machines CPU: Pen-4 3GHz, Mem: 1GB 近堂ら, PC クラスタによる認証スイッチの認証評価システム, 2007-DSM-47(5), pp

31 認証スイッチの同時認証性能 https 接続証明書鍵長 2,048bit 31

32 Web 認証ログイン数 [ 台 /5 分 ] 現在の利用状況 Web 認証の推移 (5 分間隔のログイン処理数 ) 32 時間

33 ネットワーク移行の概要 ( 移行手順 ) (4) (1) コネクタ ID 申請 建物 A 東広島キャンパス (3) (3) (2) ゾーン申請 管理者情報 VLAN ID 設定コネクタ MAC アドレス登録 (4) 移行作業 配線切り替え IP アドレスのリナンバ 研究室 A 研究室 A 霞分室 (3) VLAN を設定 フロアスイッチ (1) 霞キャンパス 建物 B キャンパス集約スイッチ 建物集約スイッチ 33 (3) (3) (3) コアネットワーク装置

34 ネットワーク移行の概要 ( 支援体制 ) (4) 移行作業 配線切替 IP アドレスのリナンバ 設定担当業者 ( 外部委託 ) (3) VLAN を設定 (2) ゾーン申請 (1) コネクタ ID 申請 メディアセンター教員 (5 名交代制 ) による申請受付 メディアセンター 技術センター職員による移行支援 研究室 A 霞分室 フロアスイッチ (HINET2007) 差し替え利用中フロアスイッチ (HINET2001) ポイント HINET2001との並行運用利用者の都合が良いタイミングで移行可能 34

35 コネクタ ID とゾーン C の申請手順 部局 メディアセンター 部局 メディアセンター コネクタ ID 申請書 仮割当申請書 スイッチ ID を確認後割り当て 部局を確認後割り当て コネクタ ID の通知 コネクタ ID 本割当申請書 申請者 本割当申請書 ( 設定情報 ) の通知 本割当申請書 2008 年 12 月より 仮割当申請不要に 登録後設定業者へ依頼 設定完了通知 35

36 ホスト登録システム Web による移行申請受付 設定変更の自動化 定常運用時での使用を想定 移行初期は人海戦術による手動申請受付 部局で連続したグローバル IP アドレスを取得したい ( 電子ジャーナル対策 ) 2008 年 12 月より一部機能開放 副管理者登録 変更 ホスト情報登録 変更 削除 ( ゾーン C) MAC アドレス登録 変更 ( ゾーン A,B) 年度更新 ( ゾーン A,B) 36

37 ホスト登録システムの画面例 37

38 移行進捗状況 (2009 年 11 月現在 ) 利用状況 ゾーン A ゾーン B 297 台 338 台 コネクタ ID 最大 14,000 ポート約 6000 ポート割当 ゾーン C 最大 2,000 ゾーン 1043 ゾーン割当 38

39 ネットワーク移行 IP/MAC アドレス数の推移 HINET2001 残存ホスト数の推移 2008/3/30 現在 IP 数 MAC 数

40 Single Sign-On(SSO) 対応 認証チケット 認証 コンテンツ 利用可能 認証 (SSO) 認証状態 ( 認証チケット ) の保持 認証状態を利用 ( 認証チケットの提示 ) コンテンツ コンテンツ 利用可能 認証チケット認証 OK 利便性 セキュリティの解決 Federation 信頼関係 40

41 Identity Provider W e b R e s o u r c e Service Provider B r o w s e r 実装システム 要求条件 1) ネットワーク認証は利用者端末から MAC アドレスで利用者を特定 2)SSO は利用者端末の Web ブラウザから認証プロバイダから認証チケット受け取り サービスプロバイダに提示 3) 利用者が行う認証操作は一度だけ SSO は一度の認証で許可されるすべての機能が利用できるシステム 利用者端末 1. 任意の U R L 2. リタ イレクト 6. 認証ヘ ーシ 7. 認証情報 8. 認証成功 ネットワークスイッチ 5. 認証ページの要求 9. 認証情報 ( S S O ) 3. 利用要求 4. 属性要求 HINET2007 Network I d P S P 認証情報送信を制御する JavaScript を開発中 10. S S O 認証成功 11. 属性アサーション 12. 認証成功表示ページ ネットワークセキュリティ対策技術研修 年 11 月 27 日 41

42 まとめ セキュリティ対応の組織 体制紹介 学内インシデントへの対応から新キャンパスネットワークへ HINET2007( 新キャンパスネットワーク ) の概要 特徴 全学的な一元管理体制 VLAN による柔軟な仮想配線の提供 個別ファイアウォール機能の提供 すべての接続場所において利用者認証を要求 管理 運用 移行 設計 構築のポイントについて 個別ファイアウォール機能の実現 利用者認証機能の実現 DHCP サーバの IP アドレス払い出し性能 Radius サーバの同時認証性能 認証スイッチの同時認証性能 移行の完了 SSO 認証への対応 42

43 使用した機器の名称または仕様 装置 機器の名称または仕様 フロアスイッチ 建物集約スイッチ Alaxala AX2430S サーバ集約スイッチ Radius サーバ DHCP サーバ CPU: Xeon X GHz x 2, Memory: 4GB FreeRADIUS 1.1.7, OpenLDAP CPU: Xeon X GHz x 2, Memory: 4GB ISC-DHCP 3.05 L3 コアスイッチ (2007) Cisco Catalyst 6509 w/ FWSM x 3, IDSM x 2 対外接続ルータ (2007) Alaxala AX6304S L3 スイッチ ( サーバ接続 ) Cisco Catalyst 6506 L3 スイッチ (2001) Cisco Catalyst 6509 全学ファイアウォール (2001) 対外接続ルータ (2001) Alteon Switched Firewall Director/Accelerator Checkpoint Firewall-1 Hitachi GR2000-BH 43

44 ご清聴ありがとうございました 44