Ceforeチュートリアル資料_070823

Transcription

1 第 9 回 ICN 研究会ワークショップ Cefore チュートリアル 2017 年 8 25 ( )

2 Cefore l 軽量かつ汎用的な CCN ベースソフトウェアプラットフォーム u 言語 :C OS:Linux(ubuntu or 16.04) MacOS Raspbian Android u 最小機能構成 (( 後述 )) Ø フォワーディング機能と基本オペレーションツールのみを具備 p (1) FIB (2) PIT (3) Interest および Object 転送 p Content Store は具備していない u ユースケースに合わせた機能構成の実現 Ø リソースの乏しいセンサーノードでは最小機能構成で起動 Ø 最小機能以外は Plugin もしくは外部機能として実装 Ø Plugin 実装として柔軟かつ自由に機能拡張を組み込み p キャッシュ モビリティ トランスポート NDN パケット転送 p 使用しない機能はビルドしない Ø 外部機能実装 p csmgrd ( 後述 ) との TCP ソケット通信 2

3 Cefore の機能構成 l l フォワーディングデーモン () は全てのノードで稼働コンテンツストア管理デーモン (csmgrd) は コンテンツストアが必要な場合のみ稼動させる u 下図の例では赤枠内のでコンテンツストアを共有する csmgrd csmgrd パブリッシャ ルータ PC csmgrd スマホ タブレット センサ CCN ネットワーク TCP ネットワーク 3

4 Cefore ヘッダー & パケット TLV l CCNx-1.0 のパケットフォーマットに準拠 u CCNx-1.0 のヘッダー構成 Ø 8 オクテットの固定ヘッダー Ø 最大 247 バイトの Optional Hop-by-hop ヘッダー u Optional Hop-by-hop ヘッダー Ø ホップ毎に処理可能なオプション領域 Ø Cefore 独自のプロトコル拡張はこのオプションヘッダーに配置 Version PacketType PacketLength PacketType specific fields HeaderLength / Optional Hop-by-hop header TLVs / / PacketPayload TLVs / CCNx Messages Format [ 出典 ] CCNx Messages in TLV Format(draft-irtf-icnrg-ccnxmessages-04) 4

5 / csmgrd

6 l Cefore の土台となるシンプルなフォワーディングデーモンであり 全ノード ( 送受信者 ルーター ) に組み込む l 実装機能 u フォワーディング機能 u Static ルーティング機能 u Plugin interface Ø キャッシュ モビリティ 経路制御など Plugin のためのインタフェース u Security 機能 ( 未定 ) l コンパイルに必要となるライブラリ u OpenSSL(ver.1.0.2l) Module X plugin Y plugin Z plugin Cefore plugin interface 6

7 Configuration l の設定ファイルは以下の 3 種類 u.conf に関する各種パラメータ設定 u.fib 起動時のFIB Ø FIBは 起動後にcefrouteユーティリティでも操作可能 u plugin.conf Cefore Plugin 全般に関するパラメーター設定 l 設定ファイルは以下のディレクトリに配置する u 非スーパーユーザ Ø $CEFORE_USER_DIR/cefore Ø 環境変数 CEFORE_USER_DIR のデフォルトは $HOME u スーパーユーザ Ø $CEFORE_DIR/cefore Ø 環境変数 CEFORE_DIR のデフォルトは /usr/local u 各 Plugin 固有の設定ファイルは 上記ディレクトリ配下の plugin ディレクトリに配置 l 設定ファイルの行頭が # の行は コメント行として扱われる 7

8 通信概要 Interest 送信 アプリケーションが Interest を発行 l Interest を発行し UNIX ドメインソケットを介して へ l 特定の Transport 機能を使用する場合 アプリケーション種別に応じた Transport を選択 UNIX ドメインソケット が Interest を解析し Plugin を Callback Callback Plugin が受信 Interest を処理し Strategy に従い転送先を決定 送信キュー n n n n n n n 受信した Interest の Optional Hop-by-hop ヘッダーを解析 PIT 更新指定されたPluginをサポートしている場合はCallback(Plugin 呼び出し ) Callbackする際 FIBから検索した転送先をPluginに渡す Optional Hop-by-hopヘッダーの解析後 Nameに従いInterest を処理転送が必要な場合 Strategyに従い転送先を決定 転送する Interest は送信キュー ( 共有メモリ ) にインキュー は送信キューより Interest をデキューし Plugin が決定した転送先に転送 n 転送先は Plugin の Strategy が FIB の検索結果から決定 8

9 通信概要 Content Object 送信 がキャッシュにヒットした Object を応答 l PIT に従いキャッシュヒットした Object を転送 TCP/UDP が Object 解析し Plugin を Callback Callback Plugin が受信 Object を処理し Strategy に従い転送先を決定 送信キュー は送信キューより Object をデキューし Plugin が決定した転送先に転送 n n n n n n n 受信した Object の Optional Hop-by-hop ヘッダーを解析 指定されたPluginをサポートしている場合はCallback Callbackする際 PITから検索した転送先をPluginに渡す Optional Hop-by-hopヘッダー解析後 Nameに従いObjectを処理転送が必要な場合 Strategyに従い転送先を決定 転送する Object は送信キュー ( 共有メモリ ) にインキュー 転送先は Plugin の Strategy が PIT の検索結果から決定 アプリケーションが Object を受信 9

10 FIB 実装概要 l l l l cefore-0.6.0/src/lib/cef_fib.c に FIB に関する処理を実装 FIBはハッシュテーブル (CefT_Hash_Handle 構造体 ) として実装 u cefore-0.6.0/src//cef_netd.hのceft_netd_handle 構造体メンバfibでハッシュテーブルを保持 u FIBに収容可能なFIBエントリ数は.confのFIB_SIZEを満たす素数となる u u FIBエントリ (CefT_Fib_Entry 構造体 ) は以下のデータを保持する Ø unsigned char* Name ( 検索キー ) Ø unsigned int Name 長 ( バイト ) Ø CefT_Fib_Face 転送先 Faceリスト Nameをハッシュ値に変換し FIBエントリをハッシュテーブルで管理 Ø ハッシュ操作 APIはcef_hash.c/hに実装されている ü ハッシュテーブル作成 :cef_hash_tbl_create() ü データの追加 :cef_hash_tbl_item_set() ü データの検索 ( アクセス ):cef_hash_tbl_item_get() ü データの削除 :cef_hash_tbl_item_remove() FIBに同じ上流ルータに対してTCPとUDP 接続が両方存在する場合 Interestを受信したプロトコルと同じプロトコルを優先する u 同じプロトコルの転送先が1つも存在しない場合は 異なるプロトコルの全転送先に転送する Transport Pluginへは受信 Interestと共にFIB 検索結果 ( 転送先 Face 一覧 ) を受け渡す u Transport Pluginはプロトコル仕様 Strategyに従い転送する 10

11 FIB 実装 (Advanced) l FIB エントリの更新 アクセス u NameをキーにFIBエントリをLongest Matchで検索 Ø cef_fib_entry_search() u FIBエントリを追加 Ø cef_fib_entry_create() :FIBエントリの作成 Ø cef_hash_tbl_item_set() : ハッシュテーブルに追加 u FIBエントリに転送先 Faceを追加 Ø cef_fib_faceid_insert() u FIBエントリから転送先 Faceを削除 Ø cef_fib_faceid_remove() u FIBよりNameで指定したFIBエントリを削除 Ø cef_fib_entry_destroy() l FIB の拡張 u FIB エントリ (CefT_Fib_Entry 構造体 ) に状態変数を追加 u プロトコル毎の FIB を作成 Ø CefT_Netd_Handle 構造体メンバにハッシュテーブルを追加 Ø 上記 FIB 操作 API とハッシュ操作 API で難しい実装は不要 11

12 PIT 実装概要 l cefore-0.6.0/src/lib/cef_pit.c に PIT に関する処理を実装 l PIT も FIB 同様にハッシュテーブルとして実装 u cefore-0.6.0/src//cef_netd.hのceft_netd_handle 構造体メンバ pitでハッシュテーブルを保持 u PITに収容可能なPITエントリ数は.confのPIT_SIZEを満たす素数となる u PITエントリ (CefT_Pit_Entry 構造体 ) は以下のデータを保持する Ø unsigned char* Name ( 検索キー ) Ø unsigned int Name 長 ( バイト ) Ø CefT_Down_Faces Interestを受信したFaceリスト Face 毎の生存時間 (lifetimeなども管理) Ø CefT_Up_Faces Interestを転送したFaceリスト u PITエントリにFace 毎の生存時間を設定しておけば が定期的にチェックしエントリを削除する l Transport Plugin へは受信 Content Object と共に PIT 検索結果 ( 転送先 Face 一覧 ) を受け渡す u Transport Plugin はプロトコル仕様 Strategy に従い転送する 12

13 PIT 実装 (Advanced) l PIT エントリの更新 アクセス u Name をキーに PIT エントリを Exact Match で検索 Ø cef_pit_entry_lookup() / cef_pit_entry_search() p cef_pit_entry_lookup() は指定された Name の PIT エントリが未作成の場合は作成する u PIT エントリに Interest 受信 Face を追加 Ø cef_pit_entry_down_face_update() p PIT エントリの有効期限の再計算 受信 Interest の転送の要否判定も実行する p PIT の集約アルゴリズムの変更はこの関数を改変する u PIT エントリに Interest 転送先 Face を追加 Ø cef_pit_entry_up_face_update() u PIT エントリの削除 Ø cef_pit_entry_free() 13

14 csmgrd l は外部機能デーモンであるCS 管理デーモン (csmgrd) と連携 l cefnedとcmsgrd 間はTCPにて接続 u 1つのcsmgrdに対して複数のの接続が可能 Ø 設定ファイル (csmgrd.conf) にて接続可能なを指定 u リモートからのTCP 接続を使用したcsmgrdの状態確認も可能 Node A Node A Node B csmgrd TCP TCP csmgrd TCP Node B TCP Node C Node C Node D 14

15 Cefore Plugin

16 Cefore Plugin l 機能追加 拡張のための Plugin ライブラリ u フォワーディング機能 () に対する 拡張機能 の追加 u CS 機能 (csmgrd) に対する キャッシュ領域選択機能 及び キャッシュアルゴリズム の追加 l Plugin ライブラリ連携用コールバック関数インターフェース u 所定の Callback 関数を用いて Plugin を /csmgrd と組み合わせて使う u 必要な Plugin を必要に応じて開発し 着脱も可能 Ø 軽微な Makefile の変更とリコンパイルで機能追加可能 Ø 追加した各機能は plugin.conf にて ON/OFF 可能 u 異なる Plugin ライブラリ間で機能拡張 追加の影響を与えない 16

17 Cefore Plugin cont d l 用 Plugin 実装例 u Sample transport Ø Plugin 実装用のサンプルコード u NDN Ø NDN メッセージフォーマットの Interest/Data を NDN FIB に従い転送 l csmgrd 用 Plugin 実装 u Cache 領域選択 (( 標準で提供 )filesystem, memory) u Cache algorithm Ø ( 標準で提供 )LRU, LFU, FIFO Ø その他アルゴリズム拡張 l Plugin 間の連携処理 u Plugin の上に module/library( 既存の外部実装など ) を実装することも可能 u Plugin 間の共通 (or 汎用 )API は規定していない ( 原則 経由 ) 17

18 API 概要 l Callback 関数 u 各 Plugin の Callback 関数 Ø Callback 関数は (1) 初期化処理 (2) Interest 受信処理 (3) Object 受信処理 (4) PIT 変更 (5) 後処理 の 5 種類 ( 次項 ) Ø 必要ない処理については実装不要 u Callback 関数のインタフェース ( 引数 戻り値 ) 以外の制約は設けない Ø Plugin 内でスレッド化 Ø 独自のタイマ管理 Ø メッセージの送出 (Interest や Object の再送信 レポートの送信 ) Ø 外部ライブラリ使用 Ø 外部機能との通信 l その他 u コンフィグファイル解析 パラメータ参照処理は共通 API 化 u 送信バッファ操作 メモリプール操作 ログ操作なども共通 API 化 18

19 Callback の種類 l Plugin で利用される Callback u init Ø の初期処理内で呼出す Callback 内部変数の初期化 メモリ確保およびスレッド生成など Plugin 毎の初期化処理を実行する u cob Ø が Object を受信した際に呼出す Callback 受信 Object および PIT の検索結果 ( 転送先候補 ) を引数に呼出される u interest Ø が Interest を受信した際に呼出す Callback 受信 Interest および FIB の検索結果 ( 転送先候補 ) を引数に呼出される u destroy Ø の後処理内で呼出す Callback プラグインの後処理 ( スレッドの回収 メモリ解放など ) を実行する l 一部の Plugin のみ利用される Callback u pit Ø が PIT より PIT エントリを削除した際に呼出す Callback より PIT エントリの削除が発生した通知を受信したい場合は必要 19

20 Callback のインタフェース l 各 Callback 関数のインタフェースを以下に示す CefT_Plugin_X は 各プラグイン情報管理構造体である u 構造体 CefT_Rx_Elem は受信メッセージ メッセージ解析情報 転送先候補 Face など 構造体 CefT_Rx_Elem_Sig_DelPit は削除された PIT エントリに関する情報が設定されている int (*init)(ceft_plugin_x*); int (*cob)(ceft_plugin_x*, CefT_Rx_Elem*); int (*interest)(ceft_plugin_x*, CefT_Rx_Elem*); void (*pit)(ceft_plugin_x*, CefT_Rx_Elem_Sig_DelPit*); void (*destroy)(ceft_plugin_x*); l l Callback 内で処理したメッセージを転送するには u u Callback 関数内で処理したメッセージを転送する場合 送信キュー ( 全 Plugin からアクセス可能 ) にメッセージをインキューする インキューしたメッセージは Plugin が決定した転送先にメッセージを転送する 逆にメッセージを転送しない場合は送信キューにインキューしない Callback 内からメッセージの送出も可能 u 例えば Callback cob にて Object のロストを検知した場合 Interest を生成し送信キューにインキューすることにより ロスとした Object 取得を試みることができる 20

21 Callback の設定 l Developer が実装した Callback は が Call できるよう設定する必要がある l cef_x_plugin.c(transport などプラグイン毎に共通処理をまとめたソースファイル ) にある初期化関数にて Callback 関数を設定する #ifdef CefC_Plugin_Samptp configure で切り分け lp = cef_plugin_parameter_value_get ( TRANSPORT, samptp ); コンフィグファイルの samptp=yes/no(on/off) if (lp) { パラメータが未設定の場合はNULL value_str = (char*) cef_plugin_list_access (lp, 0); 設定値はリスト化された形で取得 if (strcmp (value_str, yes ) == 0) { OFF の場合 Callback は初期値の NULL となり より Call されない work[cefc_t_opt_tp_samptp].variant = CefC_T_OPT_TP_SAMPTP; Transport Variantを設定 work[cefc_t_opt_tp_samptp].tx_que = tx_que; 送信キューの共有メモリ work[cefc_t_opt_tp_samptp].tx_que_mp = tx_que_mp; メモリープールハンドル work[cefc_t_opt_tp_samptp].init = cef_plugin_samptp_init; 以下がCallbackの設定となる work[cefc_t_opt_tp_samptp].cob = cef_plugin_samptp_cob; 関数名に制約はなく 引数 戻り値 work[cefc_t_opt_tp_samptp].interest = cef_plugin_samptp_interest; のみ規定の型にすればよい work[cefc_t_opt_tp_samptp].pit = cef_plugin_samptp_delpit; からCallしない場合はNULL work[cefc_t_opt_tp_samptp].destroy = cef_plugin_samptp_destroy; } } #endif // CefC_Plugin_Samptp 21

22 Cefore ディレクトリと追加 Plugin 構成 cefore-x.x.x Ceforeのルートディレクトリ - configure.ac 1. オプションチェックの追加 を参照 - Makefile.am 1. configureオプションの追加 を参照 - src - - include - cefore - cef_plugin.h - cef_newplugin.h 新規に追加するPluginのヘッダーファイル +- Makefile.am 2. ヘッダーファイルの追加 を参照 +- Makefile.am - lib - Makefile.am +- plugin - cef_plugin.c - cef_x_plugin.c - Makefile.am 2. ソースコードファイルの追加 を参照 +- X Transport Cache algorithmなどのディレクトリ +- newplugin 新規に追加するPlugin 用ディレクトリ +- cef_newplugin.c 新規に追加するPluginのソースコードファイル - tools +- utils 22

23 Plugin の追加 順 (1) l オプションチェックの追加 u cefore-x.x.x/configure.ac # checks for arg dnl dnl check newplugin dnl AC_ARG_ENABLE( newplugin, AS_HELP_STRING([--enable-newplugin], [new plugin (default off)]), [enable_newplugin=yes], [enable_newplugin=no] ) AM_CONDITIONAL(NEWPLUGIN_ENABLE, test x"${enable_newplugin}" = xyes) l configure オプションの追加 u cefore-x.x.x/makefile.am # set distcheck configure flag DISTCHECK_CONFIGURE_FLAGS=--enable-csmgr --enable-hoge --enable-newplugin 23

24 Plugin の追加 順 (2) l ヘッダーファイルの追加 u cefore-x.x.x/src/include/cefore/makefile.am if NEWPLUGIN_ENABLE CEF_HEADER+=cef_newplugin.h endif # NEWPLUGIN_ENABLE l ソースコードファイルの追加 u 新規に追加する Callback などを記述した Plugin のソースは cefore-x.x.x/src/plugin/x/newplugin に追加 u cefore-x.x.x/src/plugin/makefile.am にビルド対象となるソースコードファイル およびマクロを追加 if NEWPLUGIN_ENABLE # AM_CFLAGS はソースコード ヘッダーファイルの ifdef/ifndef で使用 AM_CFLAGS+=-DCefC_Plugin_Newplugin AM_CSOURCES+=X/newplugin/cef_newplugin.c endif # NEWPLUGIN_ENABLE 24

25 NDN Plugin l NDN メッセージ Cefore メッセージ変換するための Plugin l ゲートウェイ (Cefore と NDN の境界 ) ノードにて NDN Plugin を有効化 l CeforeネットワークよりNDNネットワークへメッセージを転送するためには NDN FIBが必要 u 現時点での実装ではCCN FIBおよびPITとのマッチングを優先し CCN FIB/PIT に転送先が存在しない場合のみNDN FIB/PITとマッチングする 2NDN Interest 受信時の動作 NDN Interest を CCN フォーマットに変換 NDN PIT エントリを作成 CCN Interest を CCN ネットワークへ転送する 1NDN Interest メッセージを送出 NFD NDN Plugin NDN Plugin 3NDN ネットワークへの Interest 転送動作 NDN FIB とマッチング CCN Interest を NDN フォーマットに変換 NDN Interest を FIB に従い NDN ネットワークへ転送する NFD 6NDN Cob を受信 NFD 5NDN ネットワークへの Cob の転送動作 NDN PIT とマッチング CCN Cob を NDN フォーマットに変換 NDN Cob を NDN ネットワークへ転送する 4NDN Cob 受信時の動作 NDN Cob を CCN フォーマットに変換 CCN Cob を PIT に従い CCN ネットワークへ転送 CCN ネットワーク NDN ネットワーク 25

26 Cache Plugin & Cache Algorithm l csmgrd は起動時に使用する Cache Plugin を指定 u File System Cache( 低速 大容量 CS) Memory Cache( 高速 小容量 CS) を plugin にて具備 l 各 Cache Plugin は起動時に使用する Cache algorithm を指定 u LRU LFU FIFO を具備 u ユーザー独自の Cahce algorithm を実装可能 Cache Plugin Cache algorithm TCP csmgrd File System Cache LRU csmgrd は起動時に csmgrd.conf で指定された Cache Plugin( 共有ライブラリ ) をダイナミックロードする Memory Cache Cache Plugin X LFU FIFO Cache Plugin Y Cache algorithm X 開発者は 独自の Cache Plugin を実装することも可能 各 Cache Plugin は 初期処理時に指定された Cache algorithm ( 共有ライブラリ ) をダイナミックロードする. また開発者は 独自の Cache algorithm を実装することも可能. 26

27 Tools / Command Utilities

28 Tools/Command Utilities l コンテンツの配信 取得 u Named Cobのアップロード ダウンロード Ø cefputfile/cefgetfile u 特定のContent Objectのダウンロード Ø cefgetchunk u ストリーム配信 受信 Ø cefputstream/cefgetstream l ネットワーク管理ツール u コンテンツがキャッシュされているノードの特定 Ø conping u コンテンツまでの経路 キャッシュされているコンテンツの詳細取得 Ø contrace l その他 u Wireshark 28

29 Conping l conping Ø Ø Ø 指定したコンテンツがキャッシュされているノードの特定ツール p Contrace( 次項 ) と異なりコンテンツまでの経路やキャッシュされているコンテンツの詳細を取得することはできない conping prefix [-r responder] [-w wait_time] [-h hop_limit] responder 応答を要請するノード (IP アドレス ) wait_time hop_limit 最大応答待ち時間 (sec) 要求メッセージの最大ホップ数 実行結果は以下の形式で出力される response from Responder: Result time=rtt ms Responder Result RTT : 応答者の IP アドレス :conping の実行結果 cache no cache no route : prefix に前方部分一致するコンテンツが Responder にキャッシュされている : prefix に前方部分一致するコンテンツが Responder にキャッシュされていない : 要求メッセージの転送先が Responder の FIB に 登録されていないため転送できなかった :coping 実行から応答メッセージを受信するまでの経過時間 29

30 Contrace l contrace Ø Ø 指定したコンテンツがキャッシュされているノード そのノードまでの経路 各ホップ間の遅延 キャッシュされているコンテンツの詳細情報を取得するツール p 各ホップ間の遅延を正確に計測するためには各装置が時刻同期している必要がある contrace name_prefix [-p] [-n] [-o] [-r hop_count] [-s skip_hop] [-w wait_time] name_prefix トレースするコンテンツのプレフィックス -p name_prefix とコンテンツの Name 照合方法として前方部分一致を許可 -n 経路と RTT のみを取得する -o publisher に対する応答を要求する hop_count skip_hop wait_time 要求メッセージの最大ホップ数 contrace を実行したノードより skip_hop ホップ以下に位置する ノードは name_prefix とマッチングするコンテンツをキャッシュしていて も応答しない 最大応答待ち時間 (sec) 30