Oracle Text

Size: px

Start display at page:

Download "Oracle Text"

あいりもてぎ
5 years ago
Views:

1 Oracle Text Oracle テクニカルホワイトペーパー 2007 年 6 月

2 注 : 本書はオラクルの一般的な製品の方向性を示すことが目的ですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません下記の事項はマテリアルやコード機能の提供を確約するものではなくまた購買を決定する際の判断材料とはなりえませんオラクルの製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定いたします Oracle Text 2

3 Oracle Text はじめに... 5 身近に存在するテキスト... 5 ORACLE TEXT... 6 アーキテクチャ... 7 データストア... 7 デフォルトデータストア... 8 ファイルデータストア... 8 URL データストア... 8 ユーザー定義データストア... 8 フィルタ... 8 セクショナ... 8 レクサー... 9 レクサーの基本設定... 9 言語固有の機能... 9 ヨーロッパ系言語... 9 マルチバイト言語索引付けエンジン統合テキスト検索機能の利点 Oracle Text の機能索引タイプサブストリングと同一キー索引索引の保守と同期化パラレル索引付けローカルにパーティション化された索引問合せ演算子国際化ドキュメントサービスハイライトサービスマークアップスニペットテーマ抽出要旨の生成高度機能分類とクラスタリングナレッジベース Oracle Text の使用 Oracle Text による索引の作成 Oracle Text 3

4 オプティマイザヒント SDATA セクション複合ドメイン索引 XML のサポート XML ドキュメントのコンテンツおよび構造の検索 Oracle Secure Enterprise Search Oracle Text 11g の新機能パフォーマンス最小限のアプリケーションダウンタイム国際化容易な保守 Oracle Text 4

5 Oracle Text はじめに Oracle Text は Oracle Database 11g Standard Edition および Enterprise Edition の一部を構成する統合型フルテキスト検索テクノロジです Oracle Text では Oracle データベースやファイル Web 上に保存されたテキストやドキュメントの索引作成検索や分析に標準の SQL を使用します Oracle Text によりキーワード検索やコンテキスト問合せブール演算パターン照合テーマ混合型問合せ HTML/XML セクション検索などさまざまな方法を用いてドキュメントの言語分析やテキスト検索が可能です Oracle Text は構造化関係属性やテキストなどを含む複合問合せで優れた能力を発揮します Oracle Text はフォーマット化されていないテキスト用語ハイライト機能付き HTML オリジナルのドキュメント形式など各種フォーマットによって検索結果をレンダリングできます Oracle Text は複数の言語をサポートしており高度な関連性ランキングテクノロジによって検索の質を高めます身近に存在するテキストこの 10 年間企業はデータベースシステムに蓄積された構造化データへの迅速なアクセスを可能にするシステムに多額の投資を行ってきましたしかし構造化データは企業情報全体からすればほんの一部でしかありませんそれよりもはるかに多くの情報がドキュメントや Web ページマニュアルレポート電子メールファックスプレゼンテーションなどのテキストとして存在していますこうした有用なビジネス情報はしばしばアクセス不可能であったり費用効果的に優れた方法で管理されていなかったりしますイントラネットポータルにアクセスする社員やカタログを閲覧する購入者などの企業情報にアクセスするユーザーには希望する情報をすぐに見つけられるようテキスト検索インフラストラクチャによる洗練されたサポートが必要です Oracle Text 5

6 テキストはほとんどの企業で十分に活用されていません今やテキストは静的で形のある資産ではありません現代のテクノロジにより企業は多くのソースから得たテキスト情報を保存できるグローバルな相互接続システムを構築できるようになりましたしかし重要なテキスト資産をなくしてしまう場合があります検索の質が悪いと結果として手間が増えコストがあがります企業が持つテキスト情報の価値を引き出すことは長年の課題でした従来テキストは他のビジネスデータと異なり検索や管理に特殊なテクノロジを必要だとみなされてきましたこの誤った認識により企業は数多くのストレージシステムや検索システムさらには複数の開発環境の維持が問題となっていましたそのためすべての企業情報資産の効率的な統合が妨げられていたのですまたこの誤った認識により多数の企業がテキスト検索や構造化データ ( データベース ) 検索のニーズに対応するため多種多様な製品を購入していますこのアプローチは異なる製品の購入統合操作保守というライフサイクル全体で費用を要するだけでなくアプリケーション開発においてもパフォーマンスの問題や大きな遅れといった弊害をもたらしますさらに特殊サーバーでは高度な信頼性やスループット企業用データベースのマルチプラットフォームスケーラビリティを提供することはかなり困難ですではリレーショナルデータベースの性能や利点をテキストやその他の非構造化データを含むすべての企業情報に拡張することができるとしたらどうでしょういずれにせよテキストデータとは現実のデータベースのインフラストラクチャを保証する現実のデータでありアプリケーション開発の優れたツールでもあります本書では Oracle Text を使用してそうしたアプローチを検証します ORACLE TEXT Oracle Text は強力なテキスト検索ソリューションです Oracle Database 11g Standard Edition と Enterprise Edition の両方に搭載されています Oracle データベースのユーザーであればあらためてテキスト検索用アプリケーションを購入し統合する必要がありません Oracle Text によって Web サイト検索や e ビジネスカタログドキュメント分類アプリケーションのルーティングテキストウェアハウジングドキュメントライブラリアーカイブなど従来からあるフルテキスト検索アプリケーション用の特殊化テキスト索引を使用することが可能になりますまた各種フォーマットのドキュメントコンテンツをフィルタリングして抽出できます Microsoft Office ファイルフォーマットや Adobe PDF ファミリーフォーマット HTML XML といった広く使用されている形式を含め多数のドキュメントフォーマットをサポートしています欧米諸言語 ( 英語フランス語スペイン語ドイツ語など ) や日本語韓国語中国語 ( 繁体および簡体 ) によるドキュメント間の検索をサポートする Oracle Text は市販されている中で使用頻度の高い多言語に関する機能を備えています Oracle Text は Oracle Database 11g の一部として透過的に組み込まれており次のような多くのエンタープライズ機能によって利点を得ることができますデータのパーティション化 ( スループットと可用性の向上 ) Oracle Text 6

7 リアルアプリケーションクラスタリングまたはパラレルサーバー ( サーバースケーラビリティの向上 ) 自動問合せ最適化ツールおよび開発環境管理と制御統合セキュリティこのような統合の側面としてシステム管理者は組織のテキスト資産を管理するために新しい技術を覚える必要がないという大きな利点があります Oracle Text は Oracle Application Server Portal Oracle E-Business Suite Oracle exchange Oracle Secure Enterprise Search Oracle Content Database など他の Oracle 製品の中核となる検索ソリューションです Oracle の社内向けおよび社外向け Web サイトの検索機能もすべて Oracle Text をコア検索エンジンとして使用した Oracle Secure Enterprise Searchを採用していますアーキテクチャこの章では Oracle Text によるテキスト処理のメカニズムを取り上げますこのプロセスは図 1 のような流れになりますステージごとに検証を進めそれぞれのステージで使用可能なオプションを取り上げていきます図 1: 索引付けのアーキテクチャデータストア索引付けの対象テキストの呼出元を定義しますデータストアはデータベースやファイルシステムに保存されているテキスト HTTP によってリモートアクセスするテキストを対象とします (URL データストア ) Oracle Text 7

8 カスタムデータストアは顧客が選んだロケーションプロトコルあるいはアプリケーションからデータを呼び出すデータストアと定義できますデフォルトデータストアデフォルトデータストアはデータベース内にありますテキストは VARCHAR2 列 ( 最大 4000 字 ) または CLOB(Character Large Object) 列に保存できますフォーマット済みテキスト (Microsoft Word や PDF ドキュメントなど ) は BLOB (Binary Large Object) 列に保存できますファイルデータストア索引付けするテキストはデータベースサーバーにアクセス可能なファイルシステムに保存されますファイルの名称やパスが通常 VARCHAR2 列にあるデータベースに保存されます URL データストアデータベースに HTTP プロトコル URL が保存され索引付けされるテキストは索引付けの時点で URL から直接呼び出されますユーザー定義データストア索引付けの対象となる表の各行に対して呼び出される PL/SQL プロシージャが指定されます次に PL/SQL プロシージャが Java( データベースで実行中の場合は直接 ) や C/C++ プログラムなど他の言語で作られたプログラムを EXTPROC 外部プロシージャメカニズムを介して呼び出すことができますその結果ユーザーは索引付けの対象を完全に掌握できますフィルタフィルタステージでは Microsoft Office ファイルや PDF ドキュメントなど " フォーマット済み " のドキュメントの処理が実行されますビルトインされた AUTO_FILTER は一般的なドキュメントフォーマットであればすべて認識することができまた索引付け可能な HTML テキストに変換することも可能ですアプリケーション開発者はこのフィルタステージを自分たちが開発したカスタムビルトフィルタやサードパーティから購入したフィルタに取り替えることができますカスタムフィルタは単に 2 つの引数を取る実行可能なプログラムおよびスクリプトであり最初はフォーマット済み入力テキストを含むファイルで 2 番目にはフィルタリングされた出力を書き込むファイルの名前が書き込まれます必要に応じてカスタムフィルタによって標準の自動認識されたフィルタを呼び出すことができますそのためその企業独自のファイルフォーマットの処理が可能となりますが標準的ファイルフォーマットは標準フィルタに引き渡されますセクショナセクショナオブジェクトは各テキストユニットを含むセクションを識別します通常これらのセクションは事前定義された HyperText Markup Language (HTML) または extensible Markup Language(XML) のいずれかになっていますまたセクショナによってすべてのタグをセクションデリミタとして処理することを選択できます Oracle Text 8

9 例 :<TITLE>XML Handbook</TITLE> これは WITHIN 演算子を使用したタグ間の検索を可能にします WITHIN 演算子の使用方法は XML 検索の項で取り上げますレクサーレクサーはセクショナの出力をワードまたはトークンに分離するためのものです西ヨーロッパ系の言語によるもっともシンプルな例をあげるとレクサーによってテキストはアルファベットの連続した文字列に分割されます文字列は次のようになります Aha! It's the 5:15 train, coming here now! この文字列は句読点と特殊符号を取り除いた単語に分割されます aha it s the 5 15 train coming here now レクサーは通常ストップワードを削除しますストップワードとはアプリケーション開発者により定義されるまたはデフォルトリストから採用される共通ワードですその結果上記の文字列は以下のようになります aha * * * 5 15 train coming * now アスタリスクは削除されたストップワードを表します実際には索引付けされていませんがストップワードがその位置に存在することは索引に記述されます検索ではストップワードはフレーズの一部として使用されている単語と一致しますたとえば "kicking the ball" は "kicking a ball" と一致しますが "kicking ball" とは一致しませんストップワードはアプリケーション開発者が指定できますまたすべての数字をストップワードとして定義できますレクサーの基本設定レクサーをファインチューニングするためのオプションが多数用意されていますたとえば開発者はインデックスを大 / 小文字の区別の有無を選択でき "PL/SQL" を 2 つの単語 "PL" と "SQL" としたり単一の文字列 "PL/SQL" とするなど特定の文字をトークンに分割したりトークンの一部として索引付けしたりすることもできます言語固有の機能ヨーロッパ系言語 " 基本文字変換 - アクセント記号が付いた文字を " 正常化 " してアクセント記号のない形式に変更できますしたがって "acción" を検索すると "accion" や "acción" がマッチ対象として選択されます代替スペリング - ドイツ語など一部の言語ではアクセント記号付き文字の代わりとなるスペリング手段を備えていますたとえば "Muenchen" と "München" という 2 つの単語は同じものとみなされます Oracle Text 9

10 代替スペリング索引付けオプションを選択するとこの 2 つの単語は共に "Muenchen" として索引付けされます同様の変形が問合せの時点でも適用されるため上の 2 つの単語に関する検索は索引の "Muenchen"" と一致することになります複合語処理 - Oracle Text にはドイツ語およびオランダ語の複合語を処理する機能が搭載されています複合語は索引用にそれぞれのコンポーネントフォームに還元されますマルチバイト言語シンボリック言語にはヨーロッパ系言語のようにスペースで区切られた単語は存在しませんそのため文字群に索引を付ける方法の決定には別のルールが必要になります Oracle Text では中国語日本語韓国語のテキスト用に特殊なレクサーを用意しています次のコマンドは日本語レクサーの設定方法を表しています ctx_ddl.create_preference('japanese_lexer','japanese_vgram_lexer') また多言語検索アプリケーションを作成することも可能ですドキュメントの言語があらかじめ分かっている場合特定のデータベース列の索引付けを行う際の LANGUAGE 列として指定できますドキュメントの言語が不明な場合新しい AUTO_LEXER を使用できますこれは自動言語認識機能であり多数の言語に関する広範なセグメント分け機能やステミング機能を備えています索引付けエンジン索引付けエンジンはトークンを含むドキュメントにトークンをマッピングする逆向きの索引を作成しますこの段階では Oracle Textによってあらかじめ指定されていればテキスト索引から排除すべき語やテーマをユーザーによって指定できるストップリストが使用されますパイプラインの最終出力は逆向きの索引になりますこれはドキュメントから選び出した単語のリストであり各単語にはそれが使用されているドキュメントのリストが添付されますこれは通常のテキストの見方とは逆であることから逆向きの索引と呼ばれており各ドキュメントに単語リストが付いた状態でのドキュメントリストになっています統合テキスト検索機能の利点 Oracle Database 11g では拡張フレームワークを使用して開発者がデータベースカーネルで認識されるデータタイプを拡張することができます Oracle Text ではこのフレームワークを使用してテキスト索引と標準の Oracle 問合せエンジンとの完全統合を図りますその結果ユーザーは次のことが可能になりますすべての ( テキストおよび構造化 ) データを対象とした (2 つではなく ) 単一のリポジトリ保守バックアップなどが容易同一リポジトリでの索引テキストおよび複合問合せの効率的処理が可能アプリケーション開発のための単一 API Oracle Text 10

11 Oracle SQL 実行エンジンおよび問合せプランオプティマイザとの統合コストベースオプティマイザには問合せの実行時プロパティに基づいて最速の実行プランを選択できる能力が必要ですそのため Oracle Text では列ごとのテキスト条件を評価するために次の 2 つの方法を用意しています拡張フレームワークは行ソースとしてテキスト索引を設定し条件を満たす ROWID をカーネルに渡すことができます拡張フレームワークによって " このROWIDを持つ行は条件を満たすのか " という疑問に答えることができます ( 索引機能の起動 ) 次のように要約すると統合の利点は明白です低コスト Oracle Text は Oracle Database 11g Enterprise Edition および Standard Edition に組み込まれています他の製品を別途購入統合する必要はありません高パフォーマンスデータベースによってテキストと構造コンテンツの両方を含む問合せを実行する最速のプランが選択されます高度な整合性テキストはデータベースに保存されるためすべての整合性の利点を継承しますたとえばデータベースに関するすべての更新はテキスト検索機能に反映できるためユーザーはすべてのデータについて統合された総体的なビューを得られます複雑さの解消テキストは構造化データとして取り扱われますこのため既存システムでのテキスト検索アプリケーションの開発および統合が容易です優れた管理性 Oracle Text は管理者が一般的に持つスキルを活用して標準的エンタープライズ管理ツールによって管理することが可能ですセキュリティ Oracle Text ではデータベースのセキュリティ機能が使用されます Oracle Text の機能ここでは Oracle Text の主な機能について詳しく説明します索引タイプ Oracle Text には標準カタログ分類という 3 種類の索引タイプがありすべてのテキスト検索ニーズに対応しています表 1 は 3 種類の索引タイプの概要を示しています標準索引タイプはドキュメントや Web ページを対象とする従来型のフルテキスト検索用コンテキスト索引タイプでは不要な結果のページに Oracle Text 11

12 を返すことなく必要なコンテンツを検索できる豊富なテキスト検索機能が使用可能ですカタログ索引タイプ - e ビジネスカタログ用にデザインされた最初のテキスト索引 ctxcat カタログ索引タイプにより Web の高速化にともなう柔軟な検索およびソートが可能になります分類索引タイプは分類およびアプリケーションのルーティングを目的とした索引 ctxrule 索引タイプが問合せ表で作成されその問合せによって分類やルーティングの基準が決定されます表 1: 索引タイプの概要索引タイプアプリケーションタイプ問合せ演算子 CONTEXT テキストが大きくて一貫性のある複数のドキュメントで構成されている場合この索引を使用してテキスト検索アプリケーションを構築します Microsoft Word HTML XML 通常のテキストなどさまざまなフォーマットのドキュメントに索引付けできます CONTEXT 索引により索引をさまざまな方法でカスタマイズできます CONTAINS CTXCAT CTXRULE 項目名価格複数の列にまたがって保存されている記述など小さなテキスト断片に索引付けするための索引タイプです特に複合問合せに適していますこの CTXRULE 索引はドキュメント分類アプリケーションの構築に使用します CTXRULE 索引は各問合せに分類が設定されている問合せ表で作成されます単一のドキュメント ( 通常テキスト HTML XML) は MATCHES 演算子を使って分類することもできます CATSEARCH MATCHES サブストリングと同一キー索引 Oracle Text には CONTEXT 索引タイプによるサブストリングと同一キー索引がありますサブストリング索引付けにより左空白または両空白ワイルドカード問合せによるパフォーマンスが向上します同一キー索引付けにより右空白ワイルドカード問合せのパフォーマンスが向上します Oracle Text 12

13 索引の保守と同期化 Oracle Database 11g ではユーザーは索引の作成で索引更新の設定を手動またはコミットの段階であるいは一定の間隔で実行できますユーザーはトランザクショナルなテキスト索引を指定でき入力後または更新後直ちにドキュメントを検索できます一般に e ビジネスカタログで使用される短いタイプのテキスト用に設計されたカタログ索引タイプは常にトランザクションに関係しており同期化は不要ですパラレル索引付け複数の CPU を使用する環境ではパラレル索引付けでハードウェアを活用できますパラレル索引付けは次のような場合に有効ですパフォーマンスの向上データステージング大規模な収集データに基づくアプリケーションの迅速な初期配置アプリケーション開発中にユーザーが異なる索引パラメータやスキーマのテストを実行する必要がある場合のアプリケーションテスト以下の例では並列度 3 でテキスト索引を作成します CREATE INDEX myindex ON docs(tk) INDEXTYPE IS ctxsys.context PARALLEL 3; 図 2 はテキスト索引作成が平行して機能することを示したものです Oracle Parallel 機能は並列度に従い表を細かい部分 ( ポーション ) に分割します各パラレルスレーブは表内の 1 ポーションに関係します図 2: テキスト索引のパラレル作成 Oracle Text 13

14 ローカルパーティション索引ローカルパーティションに基づいてテキスト索引を作成できますベース表の各パーティションは独自の索引を持ち複数のパーティションにまたがる問合せは必要なすべてのローカル索引にアクセスできますこのアプローチの主な利点は次のとおりです管理性 : 管理者が索引のパーティション化の方法オンライン / オフラインにするパーティションバックアップ用パーティションなどの決定方法を指定できますパフォーマンス : 索引がローカルにパーティション化された場合スケーラビリティが大幅に改善されます問合せ演算子 Oracle Text では複数の方法に基づき検索問合せを効率的に処理できますキーワード検索 : ドキュメント内のキーワードを検索しますユーザーは問合せを正確に特定できる 1 つまたは複数のキーワードを入力しますコンテキスト問合せ : 特定のコンテキストで単語を検索しますユーザーは相互に近い単語を含むテキストを検索しますブール演算子 : キーワードとブール演算子を結び付けますユーザーはブール演算子とキーワードを結び付ける問合せを表示できます言語機能 : ファジー言語処理やその他の自然言語処理技術を使用しますユーザーは何らかの関係性を有するテキストを検索できますパターン照合 : 特定のプロパティを持つテキストの検索ですユーザーはある文字列を単語内に含むテキストを検索します表 2 に問合せ演算子の一部を示します表 2: 問合せ演算子の概要演算子 ABOUT ACCUMULATE (,) AND (&) Broader Tem (BT, BTG, GTP, BTI) EQUIValence (=) 説明可能な場合テーマ検索を実行しまた問合せから戻される関連ドキュメントの数を増やします最低限問合せ用語のうちどれか 1 つを含むドキュメントを検索します検索される用語の数に比例して関連性が高まります問合せ用語のすべてを含むドキュメントを検索しますシソーラスでより広範な用語または高レベルの用語として定義されているものを含めるように問合せを拡張します問合せで代替置換用語を指定します Oracle Text 14

15 FUZZY HASPATH INPATH MDATA MINUS (-) Narrow Term (NT, NTG, NTP, NTI) NEAR (;) NOT (~) OR ( ) Preferred Term (PT) Related Term (RT) Soundex (!) Stem ($) Stored Query Expression (SQE) 指定した用語とスペルや音が類似しているものを含めるように問合せを拡張します指定されたセクションパスを含むすべてのXMLドキュメントを検索します XML ドキュメントの特定のパス内で検索を実行します MDATA(MetaDATA) セクションの問合せを実行します特定の用語を含むドキュメントの関連性を下げますただし除外する必要はありませんシソーラスにおいて特定の用語よりも狭い範囲または低レベルの用語として定義されているものをすべて含めるように問合せを拡張します 2 つ以上の問合せ用語の近似性に基づいてスコアを返します特定の用語を含むドキュメントを排除します ("term1 NOT term2" の形で使用しなければなりません "NOT term1" の形では使用できません ) 最低限問合せ用語のどれかを 1 つ含むドキュメントを検索します問合せ内の用語をシソーラスでその用語に対し定義済みの優先語に置換します問合せ内の用語をシソーラスでその用語に対し定義済みの関連語に置換します音が類似した用語を含めるよう問合せを拡張します問合せ用語と同じ言語学的ルーツを持つ語を検索します CTX_QUERY.STORE_SQEプロシージャで作成され保存されている問合せ式を呼び出します Oracle Text 15

16 SYNonym Threshold (>) Translation Term (TR) Translation Term Synonym (TRSYM) Top Term Weight (*) WITHIN シソーラスにおいて特定の語の同義語として定義されている用語をすべて含めるように問合せを拡張しますしきい値を下回る結果セットでドキュメントを排除しますこの演算子はドキュメント内の用語のスコアに基づいて問合せ用語レベルでドキュメントを選択しますシソーラスで定義されたすべての外国語の用語を含むように問合せを拡張します問合せ用語の定義済み対応外国語問合せ用語の同義語同義語の対応外国語をすべて含むように問合せを拡張します問合せ内の用語をシソーラスの標準階層においてその用語に対して定義済みの最上位語に置換しますスコアに所定の係数 ( 最大で 100) を乗じます問合せをドキュメントセクションに限定します国際化企業活動の国際化が進むにつれて世界規模での業務における多言語機能の重要性が高まっています企業ポータルライブラリコンテンツ管理システムはさまざまな言語で作成されたコンテンツや各種文字セットでコード化されたコンテンツの検索機能を必要とします XML の登場により多言語メタデータやコンテンツの検索機能はこれまで以上にその重要性が明らかになってきました Oracle Text では ASCII UTF- 8 JA165JIS GBK BIG5 などすべての Oracle NLS 文字セットをサポートします欧米の諸言語 ( 英語フランス語スペイン語ドイツ語など ) 日本語韓国語中国語( 繁体および簡体 ) によるドキュメント間の検索もサポートしていますこのような多言語機能によりユーザーは複数言語による検索アプリケーション開発が可能となるほか以下の対応が可能になりますドキュメントコレクション内での複数言語の組合せ ( 中国語と英語のドキュメントなど ) 中国語などの用語の問合せに英語を使用し英語の用語の問合せに中国語を使用します以下の問合せにより "monitor" またはこれに相当する中国語を含む製品を検索できます Oracle Text 16

select score(1), product_id, product_name from product_information where contains (product_description, 'TRSYN(monitor, Chinese)',1)>0 order by score(1) desc ドキュメントサービス Oracle Text にはハイライトマークアップ

17 select score(1), product_id, product_name from product_information where contains (product_description, 'TRSYN(monitor, Chinese)',1)>0 order by score(1) desc ドキュメントサービス Oracle Text にはハイライトマークアップスニペットテーマ要旨という主要ドキュメントサービスが用意されていますこの種のサービスはブラウジング戦略やドキュメントプレゼンテーションに優れた機能を発揮しますまたユーザーへのフィードバック情報も提供しますハイライトサービス問合せ文字列を取り込みドキュメントコンテンツを呼び出してドキュメント内のどの用語が問合せにおける一致の根拠となったのかを表示しますマークアップマークアップはハイライトサービスをさらに一歩進めたもので一致用語がマークアップされた状態のテキストバージョンを作成します図 3 は "Servlet" と "XSQL" という用語がハイライト表示された HTML ドキュメントのスナップショットです図 3: ハイライト表示された用語のある HTML ドキュメント Oracle Text 17

スニペットこれはキーワードをハイライト表示したテキストのショートバージョンを作成するのに有効なサービスですユーザーがドキュメントを実際に開く前にその内容を知ることができる機能です図 4 はこのサービスを使用して検索結果を表示した例を示しています図 4: 検索結果を表示するドキュメントスニペット従来のテキスト検索機能を補足するため Oracle Text

18 スニペットこれはキーワードをハイライト表示したテキストのショートバージョンを作成するのに有効なサービスですユーザーがドキュメントを実際に開く前にその内容を知ることができる機能です図 4 はこのサービスを使用して検索結果を表示した例を示しています図 4: 検索結果を表示するドキュメントスニペット従来のテキスト検索機能を補足するため Oracle Text には高度な言語機能が設定されていますドキュメントサービス用のこれらの言語機能によりドキュメントテーマやテーマサマリーをオンデマンドやドキュメントごとに作成することが可能になりますテーマ抽出テーマ機能はドキュメントの内容を説明するスナップショットを作成します特定の用語やフレーズを含むドキュメントを検索するのではなくある主題に関係するドキュメントをその主題が明白に言及されていない場合でも検索できる機能ですテーマ問合せにより検索対象である主題に関係するドキュメントのヒットリストが作成されその主題にドキュメントがどの程度深く関わっているかを表すスコアが表示されます要旨の生成一般的要旨 (Generic Gist) はそのドキュメント全体に関わる主題をもっともよく表現しているセンテンスまたはパラグラフで構成されるサマリーですこの一般要旨を使用してテキストのメインコンテンツを取り出したりテキストの主題に対する関心の度合いを評価したりできます要旨はパラグラフレベルでもセンテンスレベルでも作成することが可能ですまた抽出したテーマの 1 つにもっとも深い関わりのあるドキュメント内の箇所を示す " 視点 (Point of View)" 要旨も作成できます高度機能分類とクラスタリングドキュメント分類アプリケーションは送られてくるドキュメントをその内容に基づいて分類するためのアプリケーションですこうしたアプリケーションはドキュメントルーティングアプリケーションまたはドキュメントフィルタリングアプリケーションとも呼ばれていますたとえばオンラインニュースサイトであれば送られてくる多数の記事を受信した時点で政治経済スポーツなどのカテゴリに分類することが必要になります Oracle Text 18

19 Oracle Text にはユーザーがこうしたコンテンツ分類に最適の方法を選択するのを支援する多数の機能が備わっていますルールベースのアプローチはドキュメントがあるカテゴリに属する理由を示すルールで構成されていますしたがってCTXRULE 索引タイプの場合は分類またはルーティング基準を定義するルール ( 問合せ ) が索引付けされますドキュメントが送られてきた場合 MATCHES 演算子を使用してドキュメントを分類できます図 8 は分類の主な流れを示したものです図 5: 分類アプリケーションの構造以前のアプローチではユーザーは問合せの質を高めたり全体像を理解したりするのに多くの時間を費やす必要がありましたその場合大規模なデータセットに対応することが非常に困難でした分類トレーニングアプローチは特定の主題に基づいてユーザーが提供するサンプルドキュメントで構成されています CTX_CLS パッケージによってトレーニングセットが取り込まれその主題領域でドキュメントを識別するためのルールが自動的に生成されますこれにはディシジョンツリーとサポートベクトルマシン (SVM) という 2 つの方法があります一方クラスタリングはパターンをグループへと分類する監視されない手段です Oracle Textはクラスタを構築するためのCTX_CLS.CLUSTERINGパッケージを提供しますこのパッケージによってドキュメントはその意味的内容に従いクラスタ化されます各クラスタには集合ドキュメントのサブセットが含まれますクラスタ内のドキュメント同士はクラスタ外のドキュメントに比べるとより類似しているとみなされますこれにはフラットパーティション化に関するK-means 法と階層的クラスタリング法の 2 種類がありますナレッジベース Oracle Text のナレッジベースには 2000 種類の主要カテゴリに属する広範な領域から収集した 40 万件を超えるコンセプトが含まれています Oracle Text 19

20 これらのカテゴリはビジネスと経済科学技術地理学政治と軍事社会環境抽象的アイデアと概要という 6 つの最上位語に従って階層的に組織化されています概要の分類カテゴリの選択階層組織は特に意味的あいまい性の問題を回避することに重点を置いた上で情報検索における実用性を重視して慎重に設計されていますユーザーは新しい用語を追加したり既存の用語を再定義したりすることでこのナレッジベースを拡張およびカスタマイゼーションできますたとえば医学用シソーラスをインポートした後にナレッジベースを拡張できます Oracle Text の使用このセクションでは上述した Oracle Text の主要機能に関する構文例や使用例を紹介します Oracle Text による索引の作成一般的な製品情報を含む次のような表を想定します describe product_information Name Null? Type PRODUCT_ID NOT NULL NUMBER(6) PRODUCT_NAME VARCHAR2(50) PRODUCT_DESCRIPTION VARCHAR2(2000) CATEGORY NUMBER(2) PRODUCT_STATUS VARCHAR2(20) LIST_PRICE NUMBER(8,2) PRODUCT_DESCRIPTION 列にテキスト索引を作成し検索可能な状態にします索引作成は次のSQL 文で行います CREATE INDEX description_idx ON product_information(product_description) INDEXTYPE IS CTXSYS.CONTEXT 検索は次の SQL 文で行います SELECT score(1), product_id, product_name FROM product_information WHERE CONTAINS (product_description, 'monitor NEAR "high resolution"', 1)>0 ORDER BY score(1) DESC; すでに説明したとおりテキスト索引構造はデータベースに保存されています Oracle Text の索引はそれぞれ $I $K $N $R と呼ばれる 4 つの表で構成されます Oracle Text 20

21 これらの表はテキスト索引の所有者のスキーマ内に存在し索引名である DR$ と接尾辞 ($I など ) を連結した名前になっています $I 表は索引付けされたすべてのトークンとそのトークンが含まれるドキュメントのバイナリ表現ドキュメントにおけるポジションによって構成されています各ドキュメントは内部 DOCID 値によって表します $K 表は内部 DOCID 値を外部 ROWID 値にマッピングする索引構成表 (IOT) ですこの表の各行は 1 組の DOCID/ROWID によって構成されています IOT により対応する ROWID 値から DOCID の高速検索が可能です $R 表は $K 表からの逆ルックアップ用に設計されており DOCID 値が分かっている場合 ROWID をフェッチします $N 表には削除された DOCID 値のリストが含まれており索引最適化プロセスで使用された後クリーンアップされますこれらの表はすべての CONTEXT 索引のために作成されますまたその他の表にもサブストリング索引など特定のオプションが選択されると作成されるものがありますサブ表はすべて索引オーナーのスキーマで作成されますたとえば次のように一般的な SQL コマンドを使用して表示できます SQL> SELECT table_name FROM user_tables; TABLE_NAME DR$DESCRIPTION_IDX$I DR$DESCRIPTION_IDX$K DR$DESCRIPTION_IDX$N DR$DESCRIPTION_IDX$R PRODUCT_INFORMATION 通常のビューで索引名を確認できます SQL> SELECT index_name, table_name, column_name FROM user_ind_columns WHERE table_name='product_information'; INDEX_NAME TABLE_NAME COLUMN_NAME DESCRIPTION_IDX PRODUCT_INFORMATION PRODUCT_DESCRIPTION SQL> SELECT table_name FROM user_tables; TABLE_NAME Oracle Text 21

22 DR$DESCRIPTION_IDX$I DR$DESCRIPTION_IDX$K DR$DESCRIPTION_IDX$N DR$DESCRIPTION_IDX$R PRODUCT_INFORMATION オプティマイザヒントどのプランが最適なのかが事前に分かっている場合データベースオプティマイザに " ヒント " を与えて問合せパフォーマンスを向上させることができます SELECT /*+ index product_information description_idx */ score(1), product_id FROM product_information WHERE CONTAINS ( product_description, 'monitor NEAR "high resolution"', 1) > 0 AND list_price < 500; 最後の例では標準 SQL を使用してコンテンツベースの条件と従来型のリレーショナル条件とを混合しますあらゆるタイプの問合せについて説明プランを確認できます次に例を示します SELECT score(0) scr, id, author, title FROM docs WHERE CONTAINS(text, 'money', 0) > 0 and id > 16 ORDER BY scr DESC; Rows Execution Plan 0 SELECT STATEMENT GOAL: CHOOSE 0 SORT (ORDER BY) 0 TABLE ACCESS (BY INDEX ROWID) OF 'DOCS' 0 BITMAP CONVERSION (TO ROWIDS) 0 BITMAP AND 0 BITMAP CONVERSION (FROM ROWIDS) 0 SORT (ORDER BY) 0 DOMAIN INDEX OF 'DOCS_TEXT' 0 BITMAP CONVERSION (FROM ROWIDS) 0 SORT (ORDER BY) 0 INDEX (RANGE SCAN) OF 'SYS_C001220' (UNIQUE) すでに説明したとおり Oracle Text では ABOUT 演算子を使用してテーマやコンセプトベースの検索をサポートしており逆向きの索引のテーマと一致するものがフリーテキスト問合せから抽出されますたとえばドキュメントに "train ( 列車 )" という用語がまったく含まれていなくても列車に関係するニュース記事を検索することが可能です Oracle Text 22

23 SELECT id title FROM news_table WHERE CONTAINS(article'about(train) ' ) > 0; Id Title 334 Rail Transportation in Europe テーマ ABOUT 問合せ要旨 ABOUT 問合せハイライト階層問合せフィードバックという Oracle Text のテーマベース機能はすべて内部ナレッジベースに依存しています Oracle データベースの能力によって複数分野にわたる問合せの構築が可能になりましたたとえばトロントから 35km 以内に居住していて家族内に癌の罹患歴を持つ喫煙者の家族がいる 50 歳以上の患者数を検索して胸部レントゲン写真を入手する場合次のような問合せを実行します SELECT count(p) p.age p.xray FROM patients p cities c WHERE p.age > 50 AND c.name = 'Toronto' AND SDO_WITHIN_DISTANCE(p.loc, o.loc '<= 35 km') AND Contains(p.medical_history 'smoke AND cancer')>0 SDATA セクション Oracle Text 11gでは SDATA( 構造化データ ) セクションが新たに加わりました SDATAセクションはフィールドセクションやゾーンセクション同様ドキュメントのテキスト内に組み込まれていますがこれまでのセクションと異なり文字数字日付情報を含めることができ "greater than" "less than" "between" などの演算子を使用した検索や等号検索が可能です以下は SDATA 問合せ演算子を使用した問合せの例です SELECT item_id FROM items WHERE CONTAINS (description, 'racing and SDATA(itemtype=''BOOK'') and SDATA(price<10)') > 0 ORDER BY price DESC ここではテキスト問合せの一部として範囲検索を実施していますこれはさまざまな状況に有効な新機能です複合ドメイン索引複合ドメイン索引では SDATA セクションと同じ基礎テクノロジを利用していますがより標準の方法で使いやすくなっていますはじめに用語について説明します " ドメイン索引 " とは特定のタイプのデータ ( この例の場合テキストデータ ) と共に使用するタイプの索引です通常の Oracle 用語における複合索引は複数の列を対象とする索引ですしたがって Oracle Text 23

24 複合ドメイン索引 (CDI) は複数の列を対象とする一般的ドメイン索引の拡張機能になりますここでテキスト索引と 2 つの構造化列を検索する代表的な複合問合せを確認します SELECT item_id FROM items WHERE CONTAINS (description, 'racing') > 0 AND itemtype = 'BOOK' AND price < 10 ORDER BY price DESC この問合せに適切な索引を古いバージョンで作成するには次の SQL コマンドを実行することになります CREATE INDEX typeind ON items (itemtype) CREATE INDEX priceind ON items (price) CREATE INDEX descind ON items (description) INDEXTYPE IS ctxsys.context Oracle Database 11g では 1 回の呼び出しで必要な操作をすべて実行できます CREATE INDEX compind ON items (description) INDEXTYPE IS ctxsys.context FILTER BY itemtype, price SORT BY price Oracle では price や itemtype 情報をテキスト索引内に保存します問合せを変更する必要はありません (SDATA では必要です ) オプティマイザはテキスト索引だけで問合せ要件が満たされることを理解しまた行のフィルタリングはテキスト索引プロセッサに " 押し込まれ " 問合せ要件を満たす正しい itemtype と価格を入手できますまたテキスト索引に対して正しくソートされた行を返すよう要求しますがこれはデータベースからすべての行を呼び出してその後でソートするよりもかなり効率的です XML のサポート XML 関連機能には WITHIN 演算子ネストされたセクション検索属性値内検索複数のタグの同一名へのマッピング INPATH 演算子と HASPATH 演算子を使用したパス検索などがあります次の XML の例を使用して Oracle Text 機能を示します <?xml version="1.0"?> <FAQ OWNER="Billy Text"> <TITLE>Oracle Text FAQ</TITLE> <DESCRIPTION> Everything you always wanted to know about Text</DESCRIPTION> <QUESTION>What is Oracle Text? </QUESTION> <ANSWER> Oracle Text 24

25 Oracle Text uses standard SQL to index search and analyze text and documents stored in the database files or websites. </ANSWER> </FAQ> これで検索が可能になります SELECT title description FROM FAQTable WHERE CONTAINS(text'Oracle WITHIN QUESTION')> 0; また属性値による検索も可能です SELECT title description FROM FAQTable WHERE CONTAINS(text'Billy WITHIN FAQOWNER')> 0; パス検索は次のように実行できます SELECT title description FROM FAQTable WHERE CONTAINS(text'Oracle INPATH(FAQ/TITLE)')> 0; パスの有無を判別するパステストは次のようになります SELECT title description FROM FAQTable WHERE CONTAINS(text'HASPATH(FAQ/TITLE/DESCRIPTION)')> 0; XML ドキュメントのコンテンツおよび構造の検索従来のデータベースではコンテンツや構造の検索は可能でも両者を同時に実行することはできませんでしたオラクルはコンテンツと構造を同時に問い合わせることができる独自の機能を提供します Oracle Textには XMLType 値を対象とするexistsNodeとextractという 2 種類の SQL 関数があります existsnode(): あるXPath 式が与えられた場合ドキュメントに適用されたXPathが有効なノードを返せるかをチェックします extract(): あるXPath 式が与えられた場合ドキュメントにXPathを適用しフラグメントをXMLタイプとして返します上記の関数はコンテンツ検索用のすべてのテキスト問合せ言語と組み合わせることができますたとえば ANSWER タグに "standard or SQL" を含む FAQ タグを検索し QUESTION タグの中身を表示できます select f.faq.extract('/faq/question/text()').getstringval() from faq f where contains(faq, 'standard or SQL INPATH(FAQ/ANSWER)')>0 Oracle Text 25

26 Oracle Secure Enterprise Search Oracle Secure Enterprise Search(Oracle SES) は Oracle Text テクノロジを基盤に構築された製品です Oracle Secure Enterprise Search は数多くのソースを対象に包括的でセキュアな検索を可能にするアプリケーションですインターネットで使用されているものと同じ使いやすいインタフェースを備えており Web サイトファイルサーバーコンテンツ管理システム ERP システム CRM システム BI システムデータベースなど企業のあらゆるデータソースにセキュアにアクセスできます Oracle SES によって企業情報へのアクセスが改善されるほか重要なデータを不正ユーザーから保護できます Oracle Text および Oracle Secure Enterprise Search を選択するのは次のような場合です Oracle Text SQL ベースツールキットすべてのデータベースで使用可能パーティション化レプリケーションリアルアプリケーションクラスタをサポートクローラの提供なし索引オプションに対する全面的管理 Oracle Secure Enterprise Search エンドユーザーアプリケーション埋込み型データベースを使用現在は使用不可提供されているクローラ多数索引オプションに対する限定的管理 Oracle Text 11g の新機能 Oracle Text 11g の新機能は次のとおりですパフォーマンス問合せパフォーマンスとスケーラビリティの向上新しい SDATA セクションと複合ドメインの索引パーティション数の増加新しいパラレルオプティマイズ索引 " 再構築 " モードユーザー定義スコアリングメカニズム最小限のアプリケーションダウンタイム増分索引機能オンライン索引再作成国際化多数の言語に高度なレベルで対応可能な新しい AUTO_LEXER 機能新しい INDEX_STEMS で対応言語数が増加 Oracle Text 26

27 容易な保守 Oracle Enterprise Manager で Oracle Text を管理できるようになったので次のことが可能になりますテキスト索引の状態監視索引設定の修正ディスクスペース断片化ガーベッジデータ用語の出現頻度などに関する索引レベルでの統計データ生成問題の診断と障害の発生した操作のやり直しログ管理使用量トラッキング ( 特定のインストールで使用される機能を素早く確認することが可能 ) Oracle Text 27

28 Oracle Text 2007 年 6 月著者 :Roger Ford Oracle Corporation World Headquarters 500 Oracle Parkway Redwood Shores, CA U.S.A. 海外からのお問合せ窓口 : 電話 : ファクシミリ : Copyright 2007, Oracle.All rights reserved. 本文書は情報提供のみを目的として作成されたものでありその内容は予告なく変更されることがあります本文書はその内容に誤りがないことを保証するものではなくまた口頭による明示的保証や法律による黙示的保証を含め商品性ないし特定目的適合性に関する黙示的保証および条件などのいかなる保証や条件も提供するものではありませんオラクル社は本文書に関するいかなる法的責任も明確に拒否するものでありまたいかなる契約的義務も本文書によって直接的または間接的に構成されることはありません本文書はオラクル社の書面による事前の許可なしにはいかなる目的のためにも電子的手段や印刷を含むいかなる形式や手段によっても再作成または送信することはできません Oracle は米国 Oracle Corporation およびその子会社関連会社の登録商標ですその他の名称はそれぞれの会社の商標です

Oracle Database 12cのOracle Text

Oracle Database 12cのOracle Text Oracle Database 12c の Oracle Text テキスト資産に付加価値を提供 Oracle ホワイトペーパー 2017 年 5 月目次目次... 0 はじめに... 2 身近に存在するテキスト... 2 Oracle Text... 2 統合セキュリティ... 3 アーキテクチャ... 3 データストア... 4 デフォルトデータストア... 4 ファイルデータストア...