PowerPoint プレゼンテーション

Transcription

1 第 12 回 ICN 研究会ワークショップ Cefore アプリ開発ツール cefpyco 2018 年 8 月 30 日 ( 木 )

2 目次 2 cefpycoの概要 cefpycoのインストール cefpycoを用いた通信 cefnetdへの接続 Dataパケットの送信 *1 Interestパケットの送信 パケットの受信 簡易 Consumerアプリの作成 簡易 Producerアプリの作成 サンプルアプリ CefApp *1: 本スライドでは Cob(Content Object) を Data または Data パケットと呼称

3 3 cefpycoの概要 cefpyco (CEFore PYthon COmpact package) ceforeアプリ開発用のpythonパッケージ C言語で開発するより記述が楽 例 Interest を送るコード C言語版 1 #include <stdio.h> 2 #include <stdlib.h> 3 #include <unistd.h> 4 #include <ctype.h> 5 #include <cefore/cef_define.h> 6 #include <cefore/cef_client.h> 7 #include <cefore/cef_frame.h> 8 #include <cefore/cef_log.h> 9 10 int main(int argc, char *argv[]) { 11 CefT_Client_Handle fhdl; 12 CefT_Interest_TLVs params_i; 13 int res; 14 cef_log_init ("cefpyco"); 15 cef_frame_init(); 16 res = cef_client_init(port_num, conf_path); 17 if (res < 0) return -1; 18 fhdl = cef_client_connect(); 19 if (fhdl < 1) return -1; 20 memset(&params_i, 0, sizeof(ceft_interest_tlvs)); 21 res = cef_frame_conversion_uri_to_name("ccn:/test", params_i.name); 22 if (res < 0) return -1; // Failed to convert URI to name.; 23 params_i.name_len = res; 24 params_i.hoplimit = 32; 25 params_i.opt.lifetime_f = 1; 26 params_i.opt.lifetime = 4000ull; /* 4 seconds */ 27 params_i.opt.symbolic_f = CefC_T_OPT_REGULAR; 28 params_i.chunk_num_f = 1; 29 params_i.chunk_num = 0; 30 cef_client_interest_input(fhdl, &params_i); 31 if (fhdl > 0) cef_client_close(fhdl); 32 ICN研究会ワークショップ return 0; 第12回 ハンズオン 33 } 2018/8/30 木 Python版 33行 4行 1 import cefpyco 2 3 with cefpyco.create_handle() as h: 4 h.send_interest("ccn:/test", 0) 2018 National Institute of Information and Communications Technology

4 Practice cefpyco のダウンロード 4 > Utilities > cefpyco マニュアル (README.html) 付属 *1 ここをクリック *1: 2018/8/30 現在は日本語マニュアルのみ

5 Practice ビルドとインストール 5 ライブラリのインストール $ sudo apt-get install cmake python-pip $ sudo pip install setuptools click numpy cefpyco のビルド $ tar -xzf cefpyco tar.gz $ cd cefpyco-0.2.1/cefpyco $ cmake. $ sudo make install $ cd.. $ sudo python >> import cefpyco >> (Ctrl-D) # 任意のディレクトリにアーカイブを解凍 #. のつけ忘れに注意 # pythonでインポートして起動確認 # エラーが起きなければ正常 # Ctrl-D を押して終了

6 トラブルシューティング 6 Mac で pip がインストールできない 以下を実行 $ brew install pyenv $ pyenv install $ pyenv versions # インストールversionの確認 $ sudo easy_install pip

7 Practice ( 再掲 ) バッファチューニング 7 Linux OS $ sudo sysctl w net.core.rmem_default= $ sudo sysctl w net.core.wmem_default= $ sudo sysctl w net.core.rmem_max= $ sudo sysctl w net.core.wmem_max= Mac OS $ sudo sysctl w net.local.stream.sendspace= $ sudo sysctl w net.local.stream.recvspace= /8/29( 水 )

8 cefpyco を用いた通信 8 1 cefnetd への接続 create_handle() メソッド 2 Data パケットの送信 send_data(name chunk_num, payload) メソッド 3 Interest パケットの送信 send_interest(name, chunk_num) メソッド 4 パケットの受信 receive() メソッド 5 簡易 Consumerアプリの作成 6 簡易 Producerアプリの作成 register(name) メソッド

9 Practice 1cefnetd への接続 9 1. 以下の内容の python ファイル test1.py を作成 import cefpyco test1.py with cefpyco.create_handle() as handle: pass # ブロック開始時に cefnetd へ接続 終了時に切断 2. cefnetd を起動して実行 ( エラーが無ければ正常 ) cefore:~/cefpyco-0.2.1$ sudo csmgrdstart # if needed cefore:~/cefpyco-0.2.1$ sudo cefnetdstart cefore:~/cefpyco-0.2.1$ sudo python test1.py :14: [cefpyco] INFO: [client] Config directory is /usr/local/cefore :14: [cefpyco] INFO: [client] Local Socket Name is /tmp/cef_ :14: [cefpyco] INFO: [client] Listen Port is 9896

10 補足 :python の文法 10 C 言語等のセミコロンや括弧の代わりにインデントで文 ブロックを表現 ブロックの範囲を一目で見分けられる # a=1, b=1 のときは b と表示 # a=1, b 1 のときは a と表示 # a 1 のときは何もしない if a == 1: if b == 1: print( b ) else: print( a ) i f a = = 1 : p r i n t ( c o r r e c t ) e l s e : p r i n t ( e r r o r ) p r i n t ( e r r o r ) Tab 文字 インデント幅が揃っていないとバグ扱いなので要注意 エラー例 空白 4 文字と空白 2 文字 空白 4 文字とタブ 1 文字 with 構文 : 煩雑な開始 / 終了 / 例外処理を省略できる文法 代表例 : ファイルオープン クローズ print( Begin. ) try: h = cefpyco.cefpycohandle() h.begin() print( Do something. ) except Exception as e: print(e) # 例外処理 finally: h.end() print( End. ) with 構文無しの場合 with 構文を用いた場合 print( Begin. ) with cefpyco.create_handle() as h: print( Do something. ) print( End. )

11 Practice 2Data パケットの送信 以下の内容の python ファイル test2.py を作成 import cefpyco with cefpyco.create_handle() as handle: # ccn:/test というコンテンツ名 チャンク番号 0 で # hello というテキストコンテンツを Data パケットとして送信 handle.send_data("ccn:/test", 0, "hello") 2. csmgrd cefnetd を起動して実行 cefore:~/cefpyco-0.2.1$ sudo csmgrdstart cefore:~/cefpyco-0.2.1$ sudo cefnetdstart cefore:~/cefpyco-0.2.1$ sudo python test2.py cefore:~/cefpyco-0.2.1$ csmgrstatus ccn:/ ***** Cache Status Report ***** Number of Cached Contents : 1 [0] Content Name : ccn:/test/ Content Size : 5 Bytes Access Count : 0 csmgrd に Data がアップロードされる test2.py

12 Practice 3Interest パケットの送信 以下の内容の python ファイル test3.py を作成 import cefpyco with cefpyco.create_handle() as handle: # ccn:/test というコンテンツの 0 番目のチャンクを # 要求する Interest パケットを送信 handle.send_interest("ccn:/test", 0) 2. (test2.py 実行後に )test3.py を実行 # (test2.py のシナリオを実行 ) cefore:~/cefpyco-0.2.1$ sudo python test3.py cefore:~/cefpyco-0.2.1$ csmgrstatus ccn:/ ***** Cache Status Report ***** Number of Cached Contents : 1 [0] Content Name : ccn:/test/ Content Size : 5 Bytes Access Count : 1 Access Count が 1 だけ増加 test3.py

13 4 パケットの受信 13 以下のコードでパケットを受信可能 import cefpyco with cefpyco.create_handle() as handle: handle.send_interest( ccn:/test, 0) # Data パケットを受信したい場合 # handle.register( ccn:/test ) # Interest パケットを受信したい場合 info = handle.receive() receive() メソッド 実行後 約 4 秒の間パケットを待ち受ける 成功するまで受信したい場合は while ループ等が必要 CcnPacketInfo オブジェクトを返す 受信の成否や Interest/Data に依らない プロパティ一覧は次ページで説明

14 CcnPacketInfo のプロパティ 14 プロパティ名型説明 is_succeeded, is_failed bool パケット受信の成否フラグ is_interest, is_data bool 受信したパケットが Interest/Data か否かを表すフラグ ( 受信失敗時には両方とも False となる ) name string URI 形式 (ccn:/~) の名前 name_len int URI 形式の名前の長さ (name TLV 長ではない ) chunk_num int チャンク番号 payload string (Dataパケットの場合) コンテンツのデータ payload_len int (Dataパケットの場合) コンテンツのデータのバイト長 version int 受信パケットのバージョン値 type int 受信パケットのタイプ値 actual_data_len int 受信したパケットのヘッダを含むバイト長

15 Practice 5 簡易 Consumer アプリの作成 15 以下の内容の python ファイル consumer.py を作成 チャンクが 1 個しかないコンテンツ ccn:/test を受信 受信に成功するまで receive メソッドを繰り返す 穴埋め問題 : 受信した CcnPacketInfo を見て受信に成功したか否かを検証する if 文を完成させよう from time import sleep import cefpyco consumer.py with cefpyco.create_handle() as handle: while True: handle.send_interest("ccn:/test", 0) info = handle.receive() if info.is_succeeded and (info.name == "ccn:/test ) and (info.chunk_num == 0): print("success") print(info) break sleep(1)

16 Practice 5 簡易 Consumer アプリの作成 : 解答 16 以下の内容の python ファイル consumer.py を作成 チャンクが 1 個しかないコンテンツ ccn:/test を受信 受信に成功するまで receive メソッドを繰り返す 穴埋め問題 : 受信した CcnPacketInfo を見て受信に成功したか否かを検証する if 文を完成させよう from time import sleep import cefpyco consumer.py with cefpyco.create_handle() as handle: while True: handle.send_interest("ccn:/test", 0) info = handle.receive() if info.is_succeeded and (info.name == "ccn:/test ) and (info.chunk_num == 0): print("success") print(info) break sleep(1)

17 Practice consumer.py の動作例 17 cefore:~/cefpyco-0.2.1$ sudo csmgrdstart cefore:~/cefpyco-0.2.1$ sudo cefnetdstart cefore:~/cefpyco-0.2.1$ echo hello > test; cefputfile ccn:/test cefore:~/cefpyco-0.2.1$ sudo python consumer.py [cefpyco] Configure directory is /usr/local/cefore :16: [cefpyco] INFO: [client] Config directory is /usr/local/cefore :16: [cefpyco] INFO: [client] Local Socket Name is /tmp/cef_ :16: [cefpyco] INFO: [client] Listen Port is :16: [cefpyco] INFO: Send interest (name: ccn:/test, #chunk: 0) Success Info: Succeeded to receive Data packet with name 'ccn:/test' (#chunk: 0) and payload 'hello' (6 Bytes) ccn:/test という名前のコンテンツの 0 番目のチャンクの取得に成功

18 Practice 6 簡易 Producer アプリの作成 18 以下の内容の python ファイル producer.py を作成 import cefpyco Interest を受信するには register メソッドを用いる register(prefix): cefnetd が Interest を受信した際に Interest の名前と prefix が一致する場合はアプリに送るように登録するためのメソッド 穴埋め問題 : ccn:/test 宛の Interest を受け取ったら hello という文字列を返す if ブロックを完成させよう producer.py with cefpyco.create_handle() as handle: handle.register("ccn:/test") while True: info = handle.receive() if info.is_succeeded and (info.name == "ccn:/test ) and (info.chunk_num == 0): handle.send_data("ccn:/test", 0, "hello") # break # Uncomment if publisher provides content once

19 Practice 6 簡易 Producer アプリの作成 : 解答 19 以下の内容の python ファイル producer.py を作成 Interest を受信するには register メソッドを用いる register(prefix): cefnetd が Interest を受信した際に Interest の名前と prefix が一致する場合はアプリに送るように登録するためのメソッド 穴埋め問題 : import cefpyco ccn:/test 宛の Interest を受け取ったら hello という文字列を返す if ブロックを完成させよう producer.py with cefpyco.create_handle() as handle: handle.register("ccn:/test") while True: info = handle.receive() if info.is_succeeded and (info.name == "ccn:/test ) and (info.chunk_num == 0): handle.send_data("ccn:/test", 0, "hello") # break # Uncomment if publisher provides content once

20 Practice producer.py の動作例 20 csmgrd を無効にしてから 2 つの端末で以下を実行 cefore:~/cefpyco-0.2.1$ sudo cefnetdstart 端末 1(producer) cefore:~/cefpyco-0.2.1$ sudo python producer.py [cefpyco] Configure directory is /usr/local/cefore :19: [cefpyco] INFO: [client] Config directory is /usr/local/cefore :19: [cefpyco] INFO: [client] Local Socket Name is /tmp/cef_ :19: [cefpyco] INFO: [client] Listen Port is 9896 コンテンツ配布開始 cefore:~/cefpyco-0.2.1$ sudo python consumer.py 端末 2(consumer) [cefpyco] Configure directory is /usr/local/cefore :19: [cefpyco] INFO: [client] Config directory is /usr/local/cefore :19: [cefpyco] INFO: [client] Local Socket Name is /tmp/cef_ :19: [cefpyco] INFO: [client] Listen Port is :19: [cefpyco] INFO: Send interest (name: ccn:/test, #chunk: 0) Success Info: Succeeded in receiving Data packet with name 'ccn:/test' (#chunk: 0) and payload 'hello' (5 Bytes) csmgrd 無しで取得に成功

21 サンプルアプリ CefApp 21 cefpyco/cefapp ディレクトリ内の 2 つのアプリ cefappconsumer.py: Consumer アプリ cefappproducer.py: Producer アプリ 特徴 先ほどの簡易アプリと異なり 複数チャンクから成るコンテンツの送受信に対応 入出力はインライン 標準入出力 ファイルの 3 種類 cefappconsumer はパイプライン処理を実装 詳細な使用法は README 5 章参照

22 CefApp 動作例 22 cefore:~/cefpyco-0.2.1$ sudo cefnetdstart 端末 1(producer) cefore:~/cefpyco-0.2.1$./cefappproducer.py ccn:/test hello [cefpyco] Configure directory is /usr/local/cefore YYYY-MM-DD hh:mm:ss.xxx [cefpyco] INFO: [client] Config directory is /usr/local/cefore YYYY-MM-DD hh:mm:ss.xxx [cefpyco] INFO: [client] Local Socket Name is /tmp/cef_ YYYY-MM-DD hh:mm:ss.xxx [cefpyco] INFO: [client] Listen Port is 9896 [cefapp] Receiving Interest... コンテンツ配布開始 cefore:~/cefpyco-0.2.1$ sudo./cefappconsumer.py ccn:/test 端末 2(consumer) [cefpyco] Configure directory is /usr/local/cefore YYYY-MM-DD hh:mm:ss.xxx [cefpyco] INFO: [client] Config directory is /usr/local/cefore YYYY-MM-DD hh:mm:ss.xxx [cefpyco] INFO: [client] Local Socket Name is /tmp/cef_ YYYY-MM-DD hh:mm:ss.xxx [cefpyco] INFO: [client] Listen Port is 9896 YYYY-MM-DD hh:mm:ss.xxx [cefpyco] INFO: Send interest (name: ccn:/test/meta, #chunk: 0) YYYY-MM-DD hh:mm:ss.xxx [cefpyco] INFO: Send interest (name: ccn:/test, #chunk: 0) [cefapp] Succeed to receive. hello コンテンツ取得に成功

23 Practice Advanced 発展課題 23 複数チャンクの送受信を試してみよう send_interest や send_data をチャンク数に応じて複数回実行するしてみよう チャンク数を事前に知らなくても良い方法を考えよう 例 :Data が返ってこなくなるまで Interest を送る チャンク数通知用のコンテンツを作る etc. cefgetfile/cefputfile と同等の機能を作ってみよう ファイルを読み書きして送受信できるようにしよう 大きなファイルに対応するためのパイプライン処理を作ってみよう CefApp のコード等を参考 cefpyco/c_src/cefpyco.c や cefore のツールを参考に C 言語でアプリを作ってみよう

24 Advanced 主要なアプリ開発用 API(C 言語 ) 24 関数名引数説明 cef_frame_init() 無し cef_frame_xxx() を使用する場合 最初に1 度だけ実行 const char* name: URIを表す文字列 URI 形式の文字列 (ccn:/~) をTLV(Type-Length-Value) バイ cef_frame_conversion_uri_to_name unsigned char* dst: TLVバイト列の書込先ト列形式に変更する TLVのバイト長を返す (int) cef_frame_conversion_name_to_uri cef_client_connect cef_client_close cef_client_interest_input cef_client_object_input cef_client_read cef_client_payload_get_with_info cef_client_name_reg cef_client_prefix_reg unsigned char* tlv: TLV を表すバイト列 unsigned int tlv_len: TLV 長 char * dst: URI の書込先 無し CefT_Client_Handle fhdl: cef_client_connetct で生成したcefnetdとのハンドル CefT_Client_Handle fhdl: 同上 CefT_Interest_TLVs: Interest 作成用パラメータ CefT_Client_Handle fhdl: 同上 CefT_Object_TLVs: Data 作成用パラメータ CefT_Client_Handle fhdl: 同上 unsinged char* dst: 受信データの書込先 int dst_len: 書込先のバイト長 unsigned char * buf: cef_client_read で受信したバイト列 int buf_len: バイト長 struct cef_app_frame* dst: 受信データ書込先 CefT_Client_Handle fhdl: 同上 uint16_t command: 命令 const unsigned char * name: name TLV uint16_t name_len: name TLV 長 同上 要 include: cefore/cef_frame.h, cefore/cef_client.h, cefore/cef_define.h cefore 0.7.2a 時点では Interest のパース関数は無い (cefpyco/c_src/cefparse/cpcparse_interest.c 等を参考 ) TLV 形式のバイト列を URI 形式に変更する URI のバイト長を返す (int) UNIX ドメインソケットとしてアプリと cefnetd 間の接続を確立し そのコネクションを管理するためのハンドルを返す (CefT_Client_Handle) cefnetd との接続を終了する パラメータで指定されたInterestパケットを生成し cefnetdに送る パラメータで指定されたDataパケットを生成し cefnetdに送る cefnetdからパケットを受信し dstに書き込む 複数のメッセージが連結されている可能性がある 受信した全メッセージのバイト長を返す (int) cefnetd から受け取ったメッセージから 1 パケット分の Data パケットを読み込み struct cef_app_frame に格納する (Interest パケットは非対応 ) 読み残したメッセージ長を返す (int) cefnetd から Interest を受信するために cefnetd に名前を登録 ( もしくは登録解除 ) する command に CefC_App_Reg を指定すると登録 CefC_App_DeReg を指定すると登録解除する cef_client_name_reg は name が完全一致する Interest のみ受け取るが これはプレフィックスマッチする Interest を受け取れる

25 Advanced 主要なアプリ開発用構造体 (C 言語 ) 25 型変数名説明 CefT_Interest_TLVs uint8_t hoplimit 固定ヘッダに設定される最大ホップ数 unsigned char name[x] Name TLV uint16_t name_len Name 長 ( 単位 : バイト ) uint8_t chunk_num_f チャンク番号をName TLVに含める場合は非 0 を設定 uint32_t chunk_num Name TLVに含めるチャンク番号 uint8_t nonce_f NonceをName TLVに含める場合は非 0を設定 uint64_t nonce Name TLVに含めるNonce 値 (0 可 ) Nameが一致してもNonce 値が異なる場合 PITエントリ作成時に集約されなくなる CefT_Option_TLVs opt Hop-by-hop Optionヘッダに追加するパラ メータ CefT_Option_TLVs 型変数名説明対象パケット uint8_t lifetime_f Lifetime を設定する場合は非 0 を設定 Interest uint16_t lifetime Lifetime をミリ秒で設定 (0 可 ) Interest uint8_t cachetime_f Recommended Cache Time (RCT) を設 定する場合は非 0を設定 uint64_t cachetime Recommended Cache Time (RCT) をミ リ秒で設定 (0 可 ) uint16_t symbolic_f Symbolic 識別子 Regular Interest: 0x0000 Long Life Interest: 0x0001 Content Object Content Object Interest 型変数名説明 CefT_Object_TLVs unsigned char name[x] Name TLV uint16_t name_len Name 長 ( 単位 : バイト ) uint8_t chunk_num_f チャンク番号をName TLVに含める場合は非 0 を設定 uint32_t chunk_num Name TLVに含めるチャンク番号 unsigned char meta[x] Meta Data uint16_t meta_len Meta Data 長 ( 単位 : バイト ) CefT_Option_TLVs opt Hop-by-hop Optionヘッダに追加するパラメータ unsigned char payload[x] ペイロードとなるバイト列 uint16_t payload_len ペイロード長 ( 単位 : バイト ) uint64_t expiry Content Objectの有効期限 (UNIX Time 単位 : ミリ秒 ) 型 変数名 説明 uint32_t version CefC_App_Version(0xCEF00101) uint32_t type CefC_App_Type_Internal(0x ) uint64_t actual_data_len 実有効データ長 (version~payload_lenまでの長さ +name_len+ payload_len+cefc_app_magic_noサイズ (4byte)) unsigned char* name data_entityに格納したname 部の先頭アドレス uint16_t name_len name 長 uint32_t chunk_num チャンク番号 unsigned char* payload data_entityに格納したpayload 部の先頭アドレス uint16_t payload_len payload 長 unsigned char struct cef_app_frame data_entity[cef C_Max_Length] name payload の実体を前詰めで格納し 最後にトレイラ (CefC_App_Magic_No) を設定する 最大 バイト

26 26