JEB Plugin 開発チュートリアル第2回

Size: px

Start display at page:

Download "JEB Plugin 開発チュートリアル第2回"

ひでかたかひ
4 years ago
Views:

Japan Computer Emergency Response Team Coordination Center 電子署名者 : Japan Computer Emergency Response Team Coordination Center DN : c=jp, st=tokyo, l=chiyoda-ku, email=office@jpcert.or.jp, o=japan Computer Emergency Response Team Coordination Center, cn=japan Computer Emergency Response Team Coordination Center 日付 : 2014.

1 Japan Computer Emergency Response Team Coordination Center 電子署名者 : Japan Computer Emergency Response Team Coordination Center DN : c=jp, st=tokyo, l=chiyoda-ku, =office@jpcert.or.jp, o=japan Computer Emergency Response Team Coordination Center, cn=japan Computer Emergency Response Team Coordination Center 日付 : :34:14 +09'00' JEB Plugin 開発チュートリアル第2回 DEXファイルの構造を理解する JEB PluginからDEXファイルを扱う方法を修得する一般社団法人JPCERTコーディネーションセンター

2 目次第 0 回 JEB とは? 第 1 回 JEB Plugin とは 1. JEB Plugin の使い方 2. JEB Plugin の構造 3. JEB の UI を利用するための API 4. View と Signature 第 2 回 DEX ファイルの構造を理解する 1. DEX ファイルの構造 2. jeb.api.dex 3. クロスリファレンス第 3 回バイトコードについての理解 1. CodeItem 第 4 回 JEB Plugin から AST を扱う 1

3 1. DEX ファイルの構造 2

4 DEX ファイルの構造を知る Plugin を使って DEX のバイトコードを操作する場合ある程度 DEX ファイルに関する知識が必要全てを覚える必要はない概念的なことが分かっていれば OK 仕様この回の資料は次のスライドを参考にしている本資料への転載を承諾いただいた西田氏に感謝する 3

5 address DEX File Section DEX ファイルの中身次のような複数のセクションで構成されている header string_ids type_ids proto_ids field_ids method_ids class_defs data link_data 各種 ID リスト magic number, check sum 各セクションのオフセットクラスの定義データ領域 class data code item (instructions) string data debug info 4

6 DEX File Section データの配置 header string_ids type_ids proto_ids field_ids method_ids class_defs data 各種 ID リスト ClassDefs 固定長データのリストオフセットと個数はヘッダに格納 Data セクション非固定長データが格納固定長データ内に Data セクションへのオフセットが記述される Data セクション内のデータから Data セクションを参照することも link_data 5

7 DEX Header header string_ids type_ids proto_ids field_ids method_ids class_defs data magic: dex a035 0 checksum: Adler-32 形式 signature: SHA-1 ハッシュ filesize Section Sizes and Offsets string_ids_size, string_ids_off link_data 6

8 DEX ID リスト header string_ids type_ids proto_ids field_ids method_ids class_defs data link_data string_ids 文字列データへの offset (data section) type_ids すべての型名の定義 (class, array, primitive) 型名 string_ids proto_ids method prototype identifiers list return type index, parameters offset field_ids class index, type index, name index method_ids class index, proto index, name index 7

header と各 ID リストの関係図 header offset entity

(ubyte[]) data section proto_id_item shorty_idx

(uint) field_id_item class_idx (ushort) type_idx

class_idx (ushort) proto_idx (ushort) name_idx

9 header と各 ID リストの関係図 header offset entity string_id_item string_data_off (uint) type_id_item descriptor_idx (uint) string_data_item utf16_size (uleb128) data (ubyte[]) data section proto_id_item shorty_idx (uint) return_type_idx (uint) parameters_off (uint) field_id_item class_idx (ushort) type_idx (ushort) name_idx (uint) method_id_item class_idx (ushort) proto_idx (ushort) name_idx (uint) type_list size (uint) list (type_item[size]) type_item type_idx (ushort) data section 8

10 DEX Class Definitions header string_ids type_ids proto_ids field_ids method_ids class_defs data link_data class index type_ids の Index access flags private, public, static, final superclass index type_ids の Index interfaces offset インターフェースリストへのオフセット class data offset クラスの内部的な情報への offset data section の中 9

11 DEX Data Section header string_ids type_ids proto_ids field_ids method_ids class_defs data link_data Data Section には非固定長のものが置かれる class data item class のフィールドメソッド情報 code item メソッドごとに定義される instructions 命令列 try-catch handler 例外処理 string data item 文字列データ (MUTF-8) debug info item など 10

class_defs セクションと data セクションの関係図 class_def_item class_idx (uint) access_flag (uint) superclass_idx (uint) interfaces_off (uint) source_file_idx (uint) annotations_off (uint)

(uleb128) direct_methods_size (uleb128) virtual_methods_size (uleb128) static_fields (encoded_field[]) instance_fields (encoded_field[]) direct_methods (encoded_method[])

12 class_defs セクションと data セクションの関係図 class_def_item class_idx (uint) access_flag (uint) superclass_idx (uint) interfaces_off (uint) source_file_idx (uint) annotations_off (uint) class_data_off (uint) static_values_off (uint) class_defs section type_list size (uint) list (type_item[size]) class_data_item static_fields_size (uleb128) instance_fields_size (uleb128) direct_methods_size (uleb128) virtual_methods_size (uleb128) static_fields (encoded_field[]) instance_fields (encoded_field[]) direct_methods (encoded_method[]) virtual_methods (encoded_method[]) code_item encoded_field field_idx_diff (uleb128) access_flags (uleb128) encoded_method method_idx_diff (uleb128) access_flags (uleb128) code_off (uleb128) offset entity data section 11

code_item と各 item の関係図 encoded_method offset entity code_item register_size (ushort) ins_size (ushort) outs_size (ushort)

(try_item[tries_size]) handlers (encoded_catch_handler_list) try_item start_addr (uint) insn_count (ushort) handler_off

encoded_catch_handler size (sleb128) handlers (encoded_type_addr_pair[]) catch_all_addr (uleb128) debug_info_item line_start

13 code_item と各 item の関係図 encoded_method offset entity code_item register_size (ushort) ins_size (ushort) outs_size (ushort) tries_size (ushort) debug_info_off (uint) insns_size (uint) insns (ushort[insns_size]) padding (ushort) tries (try_item[tries_size]) handlers (encoded_catch_handler_list) try_item start_addr (uint) insn_count (ushort) handler_off (ushort) encoded_catch_handler_list size (uleb128) list (encoded_catch_handler[handler_size]) encoded_catch_handler encoded_catch_handler size (sleb128) handlers (encoded_type_addr_pair[]) catch_all_addr (uleb128) debug_info_item line_start (uleb128) parameters_size (uleb128) parameter_names (uleb128p1[parameters_size]) encoded_type_addr_pair type_idx (uleb128) addr (uleb128) data section 12

14 2. jeb.api.dex 13

15 jeb.api.dex.dex JEB Plugin から DEX ファイルを扱う API jeb.api.dex DEX ファイルを表すクラス jeb.api.dex.dex (Dex クラス ) クラス, フィールド, メソッドへのアクセス JebInstance.getDex() メソッドで取得できる Dex クラスのメソッドを使用することで DEX ファイルに含まれている各 ID リストを取得することができる取得した ID リストから DEX ファイルに含まれている文字列やクラスメソッドバイトコードといったものにアクセスできるようになる 14

16 ID リスト情報の取得 header string_ids type_ids proto_ids field_ids method_ids ID リストと Class Defs に対応した情報の取得例 )Dex.getString(int Index) Index は ID リスト上の位置を表すリストの大きさは getxxxcount() で取得 class_defs data link_data 15

17 ID リストとの対応関係 ID List method return string_ids Dex.getString(index) 文字列 type_ids Dex.getType(index) 文字列 ( 型 ) (String に含まれている ) proto_ids Dex.getPrototype(index) DexPrototype メソッドのプロトタイプ ( 引数リストと返却値の型 ) field_ids Dex.getField(index) DexField フィールド情報 ( 型名前 ) method_ids Dex.getMethod(index) class_defs Dex.getClass(index) Dex.getClass(name) DexMethod DexClass 各リストはソートされているが一部例外有り class_defs スーパークラスインターフェースが先に来るようになっている (Class Loader に起因するものか?) 16

18 例題 1 DEX ファイル内の文字列を表示しよう Dex.getString() と Dex.getStringCount() の使い方を理解する 17

19 [ 例題 1] DEX ファイル内の文字列の表示課題 DEX ファイル内のすべての文字列を Index と一緒に表示する期待する出力結果ヒント文字列の取得 Dex.getString(idx) 文字列テーブルの大きさの取得 Dex.getStringCount() 出力フォーマット print("[%d] %s" % (idx, str)) 18

20 例題 1 の解答例 StringList.py 19

21 [ 解説 ] DEX ファイル内の String の表示 from jeb.api import IScript class StringList(IScript): def run(self, jeb): self.jeb = jeb self.dex = jeb.getdex() self.start() def start(self): for i in range(0, self.dex.getstringcount()): print("[%d] %s" % (i, self.dex.getstring(i))) 文字列テーブルの大きさを取得 2. getstring() メソッドで文字列を取得し出力する 20

22 クラス名の解決クラススーパークラス interface などは名前ではなく Index で保持される Dex.getType(Index) で Signature が返される from jeb.api import IScript from jeb.api.dex import Dex class Example1(IScript): def run(self, jeb): dex = jeb.getdex() for cls_sig in dex.getclasssignatures(false): cls = dex.getclass(cls_sig) idx = cls.getclasstypeindex() print "[%d] %s" % (idx, dex.gettype(idx)) 21

23 DexClassData, DexMethodData, DexFieldData JEB には DEX ファイルのデータセクション内に配置されるデータを表すクラスとして次のクラスが用意されている DexClassData class_data_item を表すクラス DexMethodData encoded_method を表すクラス DexFieldData encoded_field を表すクラス 22

24 DexXXXData クラスの取得方法 DexClassData を取得するには? DexClass.getData() DexClassData[] が返される DexMethodData を取得するには? DexClassData.getDirectMethods() non-virtual(statics, constructors) の DexMethodData[] を取得できる DexClassData.getVirtualMethods() virtual メソッドの DexMethodData[] を取得できる Dex.getMethodData(String name) 引数に Signature を渡すことで DexMethodData[] を取得できる DexFieldData を取得するには? DexClassData.getInstanceFields() instance フィールドの DexFieldData[] を取得できる DexClassData.getStaticFields() static フィールドの DexFieldData[] を取得できる Dex.getFieldData(String name) 引数に Signature を渡すことで DexFieldData を取得できる 23

フィールド名クラス型 DexFieldData DexClassData Filed Index アクセス修飾子ユーザフラグ

25 オブジェクトの取得ルートを図で表すと Dex DexClass DexMethod DexField Type Index( クラス名 ) スーパークラスアクセス修飾子インターフェースユーザフラグ Index メソッド名クラスプロトタイプ Index フィールド名クラス型 DexFieldData DexClassData Filed Index アクセス修飾子ユーザフラグ DexMethodData バイトコード DexCodeItem method Index アクセス修飾子ユーザフラグ CodeItem 24

26 例題 2 DEX のクラス一覧を表示しよう dex.getclasscount() と dex.getclasssignature() の使い方を理解する 25

[ 例題 2] DEX のクラス一覧の表示課題クラス名とそのスーパークラスのペアを標準出力に出力する期待する出力結果ヒントスーパークラスを取得するには ClassData.getSuperclassIndex dex.gettype class index から文字列へ dex.

27 [ 例題 2] DEX のクラス一覧の表示課題クラス名とそのスーパークラスのペアを標準出力に出力する期待する出力結果ヒントスーパークラスを取得するには ClassData.getSuperclassIndex dex.gettype class index から文字列へ dex.getclass() 引数 : Index(int) or Signature(string) 一覧の取得 dex.getclasscount() でクラスの個数を取得する dex.getclass(idex) dex.getclasssignatures() でクラスの Signature 一覧を取得 26

28 例題 2 の解答例 ClassList.py 27

29 [ 解説 ] DEX のクラス一覧の表示 getclasscount() を使用する二通りの方法が考えられる getclasscount() を使用する方法 getclasssignatures() を使用する方法 def list1(self, dex): for i in range(0, dex.getclasscount()): cls = dex.getclass(i) str = "%s < %s" % ( dex.gettype(cls.getclasstypeindex()), dex.gettype(cls.getsuperclassindex()) ) print str getclasscount() でクラス数を取得しクラスの数だけループさせる 2. getclass() に Index を渡してクラスを取得 3. gettype() を使用して Signature を取得する DexClass.getClasstypeIndex() クラスの Index を取得する DexClass.getSuperclassIndex() スーパークラスの Index を取得する 28

30 [ 解説 ] DEX のクラス一覧の表示 getclasssignatures() を使用する def list2(self, dex): for cls_sig in dex.getclasssignatures(false): cls = dex.getclass(cls_sig) str = "%s < %s" % ( cls_sig, dex.gettype(cls.getsuperclassindex()) ) print str getclasssignatures() を使用して Signature を取得 2. getclass() に Signature を渡してクラスを取得 3. gettype() にスーパークラスの Index 渡してスーパークラスの Signature を取得 29

31 例題 3 Assembly View でフォーカスしているクラスのメソッド一覧の表示 DexClassData.getVirtualMethods() と DexClassData.getDirectMethods() の使い方を理解する 30

[ 例題 3] Assembly View でフォーカスしているクラスのメソッド一覧の表示課題 Assembly でフォーカスしているクラスのメソッド一覧を取得する期待する出力結果ヒント CodePosition から Signature を取得 Signature は

32 [ 例題 3] Assembly View でフォーカスしているクラスのメソッド一覧の表示課題 Assembly でフォーカスしているクラスのメソッド一覧を取得する期待する出力結果ヒント CodePosition から Signature を取得 Signature は Class,Method,Field である可能性 -> 以降を削除してクラス名に変換クラス名から DexClass DexClassData を取得 DexClassData.getVirtualMethods, getdirectmethods でメソッドの一覧を取得それぞれの名前を表示する 31

33 例題 3 の解答例 FocusedMethodList.py 32

34 [ 解説 ] Assembly View でフォーカスしているクラスのメソッド一覧の表示 def start(self): # get assembly view view = self.ui.getview(view.type.assembly) # get signature from caret position msig = view.getcodeposition().getsignature() 1. cls_sig = re.sub(r'->.*', '', msig) cls = self.dex.getclass(cls_sig) cls_name = self.dex.gettype(cls.getclasstypeindex()) print 'target class: ' + cls_name 2. cls_data = cls.getdata() 3. print 'direct methods:' for md in cls_data.getdirectmethods(): meth = self.dex.getmethod(md.getmethodindex()) print " t%s->%s" % (cls_name, meth.getname()) print 'virtual methods:' for md in cls_data.getvirtualmethods(): meth = self.dex.getmethod(md.getmethodindex()) print " t%s->%s" % (cls_name, meth.getname()) キャレット位置からSignatureを取得 2. Signatureからメソッド名を削除してクラスのSignatureを作りクラスを取得 3. 取得したクラスからgetData() を使用してクラスデータを取得 4. getdirectmethods() やgetVirtualMethods() を使用して Direct MethodやVirtual Methodを取得する 33

35 例題 4 難読化対策ヘルパー Plugin の作成 Jeb.renameClass() の使い方を理解する 34

36 [ 例題 4] 難読化対策ヘルパー Plugin の作成課題クラス名に _Activity などスーパークラスのクラス名を付加する Plugin を作成する期待する出力結果ヒント DexClass の一覧を取得するスーパークラスが対象の場合リネームするスーパークラスの取得 DexClass.getSuperclassIndex() リネームを行うメソッドは? Jeb.renameClass(src, dest) src: Lxxx/yyy/zzz/ClsName; の形式 dest: パッケージ名のないクラス名 ClsName 対象 : スーパークラスが以下のものの場合クラス名を変更する Landroid/app/Activity; Landroid/app/Service; Landroid/app/BroadcastReceiver; 35

37 例題 4 の解答例 RenameClasses.py 36

38 [ 解説 ] 難読化対策ヘルパー Plugin の作成 (rename_classes) def rename_classes(self): for i in range(0, self.dex.getclasscount()): cls = self.dex.getclass(i) cls_name = self.dex.gettype(cls.getclasstypeindex()) ret = self.rename_by_super_class(cls) if ret: new_name = self.dex.gettype(cls.getclasstypeindex()) print "rename from '%s' to '%s'" % (cls_name, new_name) クラスの一覧を取得 2. 取得したクラスを rename_by_super_class 関数に渡す rename_by_super_class 関数ではリネーム対象かどうかチェックしている ( 次頁参照 ) 3. リネームした結果を出力 37

$[ 解説 ] 難読化対策ヘルパー Plugin の作成 (rename_by_super_class) リネーム対象かどうかをチェックする関数 (rename_by_super_class) def rename_by_super_class(self, cls): rename_targets = {$ 'Provider', 'Ljava/lang/Thread;': 'Thread', 'Landroid/os/AsyncTask;': 'AsyncTask', } super_cls_type = self.dex.gettype(cls.

'Provider', 'Ljava/lang/Thread;': 'Thread', 'Landroid/os/AsyncTask;': 'AsyncTask', } super_cls_type = self.dex.gettype(cls.

39 [ 解説 ] 難読化対策ヘルパー Plugin の作成 (rename_by_super_class) リネーム対象かどうかをチェックする関数 (rename_by_super_class) def rename_by_super_class(self, cls): rename_targets = { 'Landroid/app/Service;': 'Service', 'Landroid/app/Activity;': 'Activity', 'Landroid/content/BroadcastReceiver;': 'Receiver', 'Landroid/content/ContentProvider;': 'Provider', 'Ljava/lang/Thread;': 'Thread', 'Landroid/os/AsyncTask;': 'AsyncTask', } super_cls_type = self.dex.gettype(cls.getsuperclassindex()) if super_cls_type in rename_targets.keys(): val = rename_targets[super_cls_type] return self.append_cls_name(cls, val) else: return False リネーム対象を設定する 2. 渡されたクラスがリネーム対象かどうかチェックする 3. rename_targets 関数でリネームする 38

40 [ 解説 ] 難読化対策ヘルパー Plugin の作成 (append_cls_name) リネームを行う関数 (append_cls_name) def append_cls_name(self, cls, append_str): p = re.compile("^.* /([ w$]+);$") 1. # cls_name has package path cls_name = self.dex.gettype(cls.getclasstypeindex()) if cls_name.find(append_str) == -1: s = re.search(p, cls_name) simple_new_name = s.group(1) + '_' + append_str return self.jeb.renameclass(cls_name, simple_new_name) else: return False 正規表現オブジェクトを作る 2. Signatureに追加する文字列が含まれている場合 Signatureの末尾にその文字列を追加する 3. renameclass() メソッドを使用してクラスをリネームする 39

41 3. クロスリファレンス 40

42 クロスリファレンス JEB のクロスリファレンス要素を参照している箇所 ( メソッド ) の一覧を取得できる Plugin からクロスリファレンスの機能が使用できる Dex.getFiledReferences(index) フィールドのリファレンス Dex.getMethodReferences(index) メソッドのリファレンス Dex.getTypeReferences(index) タイプのリファレンス返り値メソッド Index のリスト参照箇所がない場合は None 41

43 Dex.getMethodSignatures() / Dex.getFieldSignatures() DEX 内のメソッドまたフィールドの Signature 一覧を取得するメソッド Dex.getMethodSignatures() メソッド Signature の一覧を取得 Dex.getFieldSignatures() フィールド Signature の一覧を取得引数は True/False True JEB で変更した内容を反映した Signature を取得 False 変更していない Signature を取得 Dex.getMethod(Field)Signatures() を使うと Index と Signature を相互変換できる Index から Signature を取得 Dex.getMethodSignatures(False)[index] Signature から Index を取得 Dex.getMethodSignatures(False).indexOf(Signature) 42

44 例題 5 参照箇所一覧を表示しよう Dex.getXxxxReferences() の使い方を理解する 43

45 [ 例題 5] 参照箇所一覧を表示する課題フォーカスしているメソッドを参照している箇所の一覧を表示する期待する出力結果ヒントフォーカス位置の Signature を取得 View.getCodePosition.getSignature() Signature の判定クラス or メソッド or フィールド () があるか, -> があるかで判定 Dex.getXxxxReferences() で参照メソッドの Index を取得 Dex.getMethodSignatures() でメソッド一覧の配列を取得参照メソッドの Index を使用してメソッド名を取得表示する Signature 配列の添字 = メソッド Index 44

46 例題 5 の解答例 References.py 45

= msigs.indexof(msig) refs = self.dex.getmethodreferences(index) else: focus_type = "field" f = self.dex.getfielddata(msig) refs = self.dex.getfieldreferences(f.

47 [ 解説 ] 参照箇所一覧を表示する view = self.ui.getview(view.type.assembly) msig = view.getcodeposition().getsignature() msigs = self.dex.getmethodsignatures(false) refs = [] focus_type = "" if "->" in msig: if "(" in msig: focus_type = "method" index = msigs.indexof(msig) refs = self.dex.getmethodreferences(index) else: focus_type = "field" f = self.dex.getfielddata(msig) refs = self.dex.getfieldreferences(f.getfieldindex()) else: focus_type = "class" cls = self.dex.getclass(msig) refs = self.dex.gettypereferences(cls.getclasstypeindex()) print "%s(%s)" % (msig, focus_type) if refs is None: print "no references" return refs = list(set(refs)) 4. for midx in refs: print " t" + msigs[midx] 5. 46

48 [ 解説 ] 参照箇所一覧を表示する 1. フォーカス位置の Signature を取得する msig = view.getcodeposition().getsignature() 1. メソッド Signature の一覧を取得する msigs = self.dex.getmethodsignatures(false) 1. 取得した Signature がクラスかフィールドかメソッドかを判定する Signature に -> が含まれていない場合クラス -> が含まれている場合 ( が含まれていない場合フィールド ( が含まれている場合メソッド 2. 判定後それぞれで Dex.getXxxxReferences() で参照メソッドの Index を持つ配列を取得するで取得した Signature 一覧を元に 4. の Index を持つ Signature を出力する 47

JEB Plugin 開発チュートリアル第3回

JEB Plugin 開発チュートリアル第3回 Japan Computer Emergency Response Team Coordination Center 電子署名者 : Japan Computer Emergency Response Team Coordination Center DN : c=jp, st=tokyo, l=chiyoda-ku, email=office@jpcert.or.jp, o=japan Computer

JEB Plugin 開発チュートリアル 第2回

JEB Plugin 開発チュートリアル第2回