<4D F736F F F696E74202D C8D4891E52089A E690B681698F4390B3816A2E707074>

Size: px

Start display at page:

Download "<4D F736F F F696E74202D C8D4891E52089A E690B681698F4390B3816A2E707074>"

てるえたにしき
8 years ago
Views:

1 東京工業大学学術国際情報センター教授横田治夫 1

2 2 現状身の回りでファイルが大量に増えているネットワークを含めた情報環境整備等により企業内のファイル増大に関する報告 Nitin Agrawal et al. [FAST 2007] Microsoft 内の 6 万台の WindowsPC のファイルシステムを調査 2000 年 ~2004 年 (5 年間 ) 平均ファイルサイズ約 2 倍平均ファイル数約 3 倍問題点欲しいファイルが見つからない簡単に見つけたい

3 3 ディレクトリ階層ファイルフォルダとその入れ子構造階層関係は作成者の概念構造に依存問題点 : 概念構造は一様ではない人によって違う組織やグループの共有ファイルシステムではファイルがどこにあるか分からない時間が経つと変わる自分が作った概念階層も忘れてしまいどこに置いたか分からなくなる特に階層が深くなると問題は大きい浅くするとフォルダ内で探すのが大変階層 A 階層 B プロジェクト X 企画見積 X 企画 X 報告報告 X プロジェクトY 提出書類 2008/04 企画 X 2009/03 報告 X 計算データ見積 X

4 4 デスクトップサーチキーワードを与えてファイルを全文検索ディレクトリ構造に依存せずディレクトリを横断した検索全文検索ベースのファイル検索システムの例 Windows Desktop Search (Microsoft) Google Desktop Spotlight (Mac OS X) Hyper Estraier Namazu を利用したファイル検索全文検索の問題点対象がキーワードを含むファイルのみキーワードを含まない画像データファイル等は対象外

5 メタデータサーチファイルごとにメタデータ ( 付加情報 ) を付与 Semantic File System [Grifford, et al.1991] 他問題点膨大なファイルすべてに対して検索に有効となるような適切なメタデータの付加は非現実的文書ファイルからの参照情報を利用 Google Image Search ウェブ上の画像をキーワード検索 HTML ファイル内の画像参照情報を利用している問題点ファイルシステム内のファイルは, 基本的には画像への参照情報を含んでいない ( 特にコピー & ペーストだと ) 5

6 6 人間が物を探すとき : あの時のあの時一緒に使っていた図のファイルは? あの報告書に使ったデータは? 同時に使っていたファイルは関連が深い関連しないファイルも開いているかもしれないがでもその頻度は低い関連が深いファイルは高頻度で同時に開くその関連性を使って検索でもどうやって? ファイルのアクセスログを解析する期待される効果キーワードを含まない図やデータも検索可能メタデータを用意する必要もない

7 写真文書図データ 7

8 ファイルアクセスログ ( 履歴 ) を取得例えば Samba の設定を変更すれば可能ファイルのオープン時刻クローズ時刻ファイルアクセスログの精錬アプリケーションによってログの残し方が違う利用開始時にオープン終了時にクローズオープンしてすぐクローズきちんとクローズされないアクセスログの解析頻繁に同時に使われるファイルの間の関係を数値化数値化した関連度を基に検索 8

9 ァイルアクセスログ9 フ1:00 open 1:20 open 1:50 close 2:30 close 3:00 open 4:00 close オープン時刻からクローズ時刻をファイル使用期間とするログクリーニング活動時間情報直ぐに閉じるファイルタイプのリスト実際にユーザが使用したファイルの時間と, 異なる幾つかの問題フ1:00 2:30 3:00 4:00 実際にユーザが使用したファイルの時間と近い情報ァイル使用期間ユーザの

10 共起 = ファイル使用期間の重なり四つの関連度要素を導入する大きいほど関連度が高い T: 共起時間の累計 C: 共起回数 D: 共起間隔の累計 P: 使用開始時間の類似度共起 1 2 関連度の計算関連度 = T α C β D γ P δ 時間 3 10

11 芋づる方式従来のキーワードサーチ ( 全文検索 ) を行いその検索結果であるファイルと関連する ( 同時に使われていた ) ファイルも関連度に従って出力する仮想ディレクトリ方式関連度に従ってクラスタリングを行い同時に使っていた頻度の高いファイル群を仮想ディレクトリ ( 仮想フォルダ ) として提供する 11

12 ファイルシステム検索可能にするファイルシステム全文検索結果 1 位 2 位検索結果 3 位 4 位関連度 12 芋づる方式の検索対象 5 位

13 Samba ファイルサーバのアクセスログを利用 Samba 2.2.3a の debug level 2 のログ Samba 自体には手を入れていない関連度計算部分関連検索部分は Java で実装 Web アプリケーションとして動作コンポーネントは既存ソフトウェアを利用全文検索エンジンは Hyper Estraier を利用 Hyper Estraier は N グラムインデックス法を利用 Web アプリケーションコンテナは Tomcat 利用関連度格納 DB は Oracle 10g PostgreSQL でも実現可能 13

14 FRIDAL: File Retrieval by Inter-file relationship Derived from Access Log ファイル使用ユーザ検索結果検索要求ファイル使用準備検索ファイルサーバー (Samba) FRIDAL アクセスログ取得ウェブインターフェイス検索要求ファイル使用関連度計算関連度格納関連度 DB 得点計算関連ファイルの検索全文インデックス全文検索コントローラ (java) 全文検索エンジン (Hyper Estraier) 全文インデックス作成ファイルシステム 14

15 ファイル間関連による得点TF-IDF による得点検索されたファイル 15

16 関連度が大きいファイルから結合 1-A 1-B デンドログラム下で結合しているほど関連度が高く上で結合しているほど関連度が低い結合結合閾値 A B 2-B 1-A 2-A 1-A 3 1-B 2-B 2-A 4 1-B 2-B 2-A 16 閾値 A 以下で結合したクラスタを仮想ディレクトリとして提示

17 デンドログラム閾値 0.4 共起ファイル数

18 研究室内のファイルサーバのアクセスログ利用被験者による評価関連度算出式のパラメータ調整 α β γ δ T C D P 他の手法との比較単なる全文検索全文検索結果ファイルが含まれるディレクトリ中のファイルキーワードを含まないファイルを検索できるか調査他人のディレクトリにあるファイルを探してもらう他の手法では探せないファイルも見つけだすことができた適合率再現率の評価 18

19 19 検索対象の拡大これまで検索することが困難であった図データなど様々な形態のファイルが同時期にアクセスしたという履歴から探し出すことが可能になる実現容易性ファイルアクセスログを取得するのは容易ファイル 1 つ 1 つにメタデータを付与しなくても他のファイルとの関連から芋づる式に見つけ出すことができるあの時に対応するキーワードから新たな検索結果提示法関連度を使ったファイルの分類手法によってある作業で使ったファイルの集合を見つけ仮想的なフォルダあるいはディレクトリとして提供できるあの時のあれらのファイル

20 エンタープライズサーチ企業のシステムに載せ企画書に使った関連資料の整理など企業内のファイルの検索に利用個人デスクトップサーチ個人の PC に載せて従来のディスクトップサーチエンジンの置き換え ( 全文検索の補完 ) 初心者高齢者向けファイル管理ディレクトリ構造の理解が困難である利用者に対し何も考えずに格納しても仮想的なディレクトリ構造を提供 20

21 Web 検索市場は既に寡占状態 Google Yahoo Microsoft エンタープライズサーチは導入が始まったところエンタープライズサーチにおける検索機能の満足度はまだ低い初心者高齢者向け対策も注目されている 21

22 実用的な環境への対応企業のファイルシステム等の大規模かつ多様なアクセスログを用いた評価実験学生を対象としたため, 検索要求が限られた手法の改善ファイル間関連度ファイル検索法の改良検索要求に応じた検索結果提示法の改善 22 さらなる展開の可能性に向けてファイルだけでなく Web アクセスログとの連携文書作成で参考にした Web ページも検索を可能に他の関連度との連携文書や図形の類似度など 2008/3/4

23 発明の名称 : ファイル検索システム出願番号 : 特願出願人 : 東京工業大学発明者 : 横田治夫渡部徹太郎小林隆志関連情報試作ソフトウェアの提供は可能 23

24 研究者横田治夫東京工業大学学術国際情報センター教授目黒区大岡山 TEL: 技術移転支援者加藤大三東京工業大学産学連携推進本部 Coordinator 横浜市緑区長津田町 4259-S2-10 TEL: , 技術移転プランナー牧本三夫科学技術振興機構シーズ展開課 TEL:

nlp1-12.key

nlp1-12.key 自然言語処理論 I 12. テキスト処理 ( 文字列照合と検索 ) 情報検索 information retrieval (IR) 広義の情報検索情報源からユーザの持つ問題 ( 情報要求 ) を解決できる情報を見つけ出すこと狭義の情報検索文書集合の中からユーザの検索質問に適合する文書を見つけ出すこと適合文書 : 検索質問の答えが書いてある文書テキスト検索 (text retrieval)