Microsoft Word - No14_sum_mltlng.doc

Size: px

Start display at page:

Download "Microsoft Word - No14_sum_mltlng.doc"

さみけいれい
5 years ago
Views:

1 第 14 回 : まとめ正規表現によるテキスト検索の基礎 1. 授業のまとめ 1.1. 外国語処理とは基本 : 読む書く保存する印刷する入力システムの利用法エンコード方式の理解フォントの利用法さまざまな文字の入力方法論文レポートや, 資料となるデータの作成電子メール, ウェブページ等, メディアや用途に応じた外国語文書作成応用 : 加工するファイル形式の使い分け (Word 形式,RTF 形式, テキスト形式,PDF 形式など ) エンコード方式の変換 ( ローカルなエンコード方式 Unicode; ローカルなエンコード方式間, 例えば中国語簡体字繁体字 ) Unicode 変換方式の使い分け (UTF-8, UTF-16) 文字の置き換え ( 第 10, 11, 13 回資料を参照 ) ツールを使ったテキスト処理 ( 例 : ソート第 12 回資料を参照 ) 1.2 この授業で詳しく取り上げなかったことテキスト処理用プログラミング言語 (grep, sed, awk, perl など ) の利用各言語の論文の一般的な書式や電子メールの作法 PDF (Portable Document Format): 第 5 回補足資料 ( 参考 2) 参照 Adobe の開発した多機能な電子文書形式閲覧用の OS を選ばないほか, 多言語テキストにも対応 PDF の閲覧ソフト Adobe Reader は多くの基本ソフトに対応しており, ダウンロードして無償で利用できる ( 日本語における ) 漢字の問題 : 日本工業規格 JIS が定める漢字には,Shift JIS で扱える JIS 第 1 水準漢字 (2965 字 ), 第 2 水準漢字 (3390 字 ) に加え,JIS 第 3 水準漢字 (1908 字 ), 第 4 水準漢字 (2436 字 ) や補助漢字 ( 漢字 5801 字 + 漢字以外の文字 266 文字 ) があり, 人名や地名などに使われる漢字などが含まれている JIS 第 3/4 水準漢字や補助漢字は Unicode では利用可能だが,Shift JIS では利用できない日本語以外の言語用に開発されたソフトウエアの具体的な利用方法 ( 英語用以外のソフトには Windows のシステムロケールの変更が必要なものもある第 2 回資料参照 ) 1.3. パソコンでの外国語テキスト利用のポイント専攻言語の勉強を進めていくと, レポートやプレゼンテーション, 論文などはもちろんだが, 外国語のテキストをデータとしてパソコンに蓄積したいことがある ( 例えば, 外国語の用例集や用語集を作ったり, 文献一覧を作ったり, 印刷された文献やメモを入力して整理したり ) 資料として使うために作成するデータは, どうやって作成したらよいだろうか利用するアプリケーションと, ファイルの形式をまず考えよう ( 利用するアプリケーシ千葉庄寿 schiba@reitaku-u.ac.jp 1

情報処理演習 E PC による外国語処理第 14 回資料ョンは Word? Excel? EmEditor? 保存形式は Word 形式? Excel 形式? RTF ( 第 5 回補足資料 ( 参考 1) 参照 )? それともテキスト形式? テキスト形式ならエンコードは Unicode (UTF-16, UTF-8)? それともその言語地域のローカルなエンコード方式?

その言語のエンコード方式に含まれていない記号を使うと, そのテキストはローカルなエンコード方式を使ったテキストとしてそのままでは保存利用できない ( 例えば, そのままでは日本語のメールとして送信することはできない ) 2 ヶ国語の語彙集のように, 複数言語を入力する場合は Excel のセルを利用して入力場所を分離するなど, 入力方法を工夫するとよい

2 情報処理演習 E PC による外国語処理第 14 回資料ョンは Word? Excel? EmEditor? 保存形式は Word 形式? Excel 形式? RTF ( 第 5 回補足資料 ( 参考 1) 参照 )? それともテキスト形式? テキスト形式ならエンコードは Unicode (UTF-16, UTF-8)? それともその言語地域のローカルなエンコード方式? など ) データを複数のアプリケーションで利用する場合や, 電子メールや Web ページなど, 異なるメディアで利用する場合には, それらのソフトで共通して利用できるファイル形式やエンコード方式を選択することが重要テキスト中に複数の言語を混在させたり, 特別な文字記号を使ったりする必要があるか, よく考えること一旦 Unicode を使って多言語を混在させたり, その言語のエンコード方式に含まれていない記号を使うと, そのテキストはローカルなエンコード方式を使ったテキストとしてそのままでは保存利用できない ( 例えば, そのままでは日本語のメールとして送信することはできない ) 2 ヶ国語の語彙集のように, 複数言語を入力する場合は Excel のセルを利用して入力場所を分離するなど, 入力方法を工夫するとよい作業前のオリジナルデータをバックアップする ( エンコードの設定に失敗して, 復元できない文字化けが起こってから後悔しても遅い!) 2. 高度なテキスト検索 : 正規表現入門 2.1. ソフトウエアと検索キーワード : 検索オプション search options, あいまい検索, 正規表現 regular expressions Word: あいまい検索とあいまいでない検索, 検索オプション Excel: 通常の検索とオートフィルタによる絞込み検索検索オプションとしてのワイルドカード :? は任意の一文字,* は任意の ( 長さの ) 文字列 2

検索と置換 ( ちかん, 置き換え ) 検索オプションの数や種類はソフトウエアにより異なる : 検索したい対象がどのようなものかを考え, 適切なソフトウエアを選択する実習 1:file_server の Kadai の schiba 2006fl フォルダにある No14 フォルダを file_server の [user-id] にコピーしなさいコピーしたフォルダに入っている Word

大文字と小文字を区別するをチェックし, Down ( はじめの D は大文字 ) が何個見つかるか調べなさい条件大文字と小文字を区別するをチェックしない (= 1-2.) 大文字と小文字を区別するをチェックする検索件数 1-5.

3 検索と置換 ( ちかん, 置き換え ) 検索オプションの数や種類はソフトウエアにより異なる : 検索したい対象がどのようなものかを考え, 適切なソフトウエアを選択する実習 1:file_server の Kadai の schiba 2006fl フォルダにある No14 フォルダを file_server の [user-id] にコピーしなさいコピーしたフォルダに入っている Word 文書 alice.doc を開き, 以下の検索をおこないなさい 1-1. メニューバーの [ 編集 ] [ 検索 ] を開き, down を検索しなさい 1-2. 見つかったすべての項目を強調表示するをチェックし, down をすべて検索していくつ見つかるか調べなさい 1-3. オプションをクリックし, あいまい検索( 日 ) のチェックをはずしなさい 1-4. 大文字と小文字を区別するをチェックし, Down ( はじめの D は大文字 ) が何個見つかるか調べなさい条件大文字と小文字を区別するをチェックしない (= 1-2.) 大文字と小文字を区別するをチェックする検索件数 1-5. 全ての検索オプションのチェックを外して for を検索し, 何個見つかるか調べ, また, どのような単語が検索されているかをチェックしなさい次に, 完全に一致する単語だけを検索するをチェックして再度 for を検索し, 結果を比較しなさい条件検索件数検索オプションを指定しない完全に一致する単語だけを検索するをチェックする 1-6. 全ての検索オプションのチェックを外して see を検索し, 何個見つかるか調べ, また, どのような単語が検索されているかをチェックしなさい次に, 英単語の異なる活用形も検索するをチェックして再度 see を検索し, 結果を比較しなさい条件検索件数検索オプションを指定しない英単語の異なる活用形も検索するをチェックする 1-7. 全ての検索オプションのチェックを外して un を検索し, 何個見つかるか調べ, また, どのような単語が検索されているかをチェックしなさい次に, 特殊文字千葉庄寿 schiba@reitaku-u.ac.jp 3

情報処理演習 E PC による外国語処理第 14 回資料から単語の先頭を選んで再度 un を検索し, 結果を比較しなさい条件検索オプションを指定しない単語の先頭にある un を検索する検索件数 2.

正規表現が利用可能なソフトウエア : テキストエディタ EmEditor, サクラエディタ,K2 エディタ, 秀丸エディタなど多数 ( 検索置換機能 ) テキスト検索ツール grep, kwic 用の各種ツール ( 検索 ) プログラム言語スクリプト言語 sed, awk, perl, ruby, python,

正規表現ミニミニツアーよく使われるメタ文字改行 : n ( r n の場合も ) タブ : t 数字 (0-9): d 1 スペース類 ( スペース, タブなど ): s 文字類 ( アルファベットと数字 ): w 任意の 1 文字 :.

4 情報処理演習 E PC による外国語処理第 14 回資料から単語の先頭を選んで再度 un を検索し, 結果を比較しなさい条件検索オプションを指定しない単語の先頭にある un を検索する検索件数 2.2. 正規表現とはテキストを柔軟に検索するために, 特別な意味をもつ文字 ( メタ文字 meta character) を用いて検索パターンを指定する方法 EmEditor など正規表現に対応したテキストエディタでは, 検索置換に正規表現を活用することで, 複雑な検索置換をおこなうことができる正規表現が利用可能なソフトウエア : テキストエディタ EmEditor, サクラエディタ,K2 エディタ, 秀丸エディタなど多数 ( 検索置換機能 ) テキスト検索ツール grep, kwic 用の各種ツール ( 検索 ) プログラム言語スクリプト言語 sed, awk, perl, ruby, python, Tcl/Tk, JAVA, Visual Basic, C# 等その他の各種ソフトウエアホームページ作成ソフト Dreamweaver ワープロソフト Word ( ただし, 実装方法は非常に特殊 ) など 2.3. 正規表現ミニミニツアーよく使われるメタ文字改行 : n ( r n の場合も ) タブ : t 数字 (0-9): d 1 スペース類 ( スペース, タブなど ): s 文字類 ( アルファベットと数字 ): w 任意の 1 文字 :. ( ピリオド ) の後はすべて小文字で記述する大文字の D は数字以外, S はスペース類以外, W は文字類以外をそれぞれ表すので注意! EmEditor の検索置換ダイアログでは > ボタンで使える正規表現の一覧を表示してくれ便利文字グループの指定いずれかの文字 : 四角括弧 [ ] で囲む : 例 : [abc] = a か b か c 1 EmEditor では全角の数字も d に含まれる半角数字のみにマッチさせる場合は, 文字の範囲を指定する [0-9] ( 下記参照 ) などを用いるとよい 4

5 文字コード順の文字範囲 : 最初と最後の文字をハイフンで結ぶ : 例 : [0-9] = 0 から 9 まで [1-35] = 1, 2, 3, 5 のいずれか [a-za-z-] = 大文字小文字のアルファベット, またはハイフン - ( 文字中のハイフンのみ特別の意味をもつ ) 指定した文字以外 : 文字のリストを [^ と ] で囲む : 例 : [^abc] = a, b, c 以外の 1 字複数の文字からなるパターンのいずれか : 縦棒 ( パイプ ) で区切る : 例 : one two three = one か two か three 検索したい文字列の一部について, パターンを複数列挙する場合, 縦棒と括弧を使い ( パターン A パターン B) のように表す : 例 : propert(y ies) =property, properties のいずれか TRY! 日本語の動詞の変化形のパターンを正規表現で検索してみよう : 例 : 始める : 始める, 始めて, 始めな, 始めれば, 始めよう, 始めろ, 始めた =( はじ始め )([ るてなろた ] ればよう ) 始まる : 始まる, 始まって, 始まら, 始まれ, 始まったする : する, して, しな, すれば, しよう, しろ, した直前にあるパターンの連続を表す? * + パターン 0 回か 1 回 :? 例 : apples? = apple, apples のいずれかパターン 0 回以上 : * ( アスタリスク ) パターン 1 回以上 : + 括弧があれば, その括弧内のパターンの連続を表現できる例 : child(ren)? = child, children のいずれか ( ぱたばたべた )+ = ぱた, ぱたぱた, ぱたぱたぱた, ぱたぱたぱたぱた繰り返しの回数の指定 : {m} (m 回の繰り返し ) {m, n} (m 回以上 n 回以下 ) {m, } (m 回以上 ) {, n} (n 回以下 ) 例 : ( ぱたばたべた ){2} = ぱたぱた, ばたばた, べたべた ( w w){2} = どきどき, ばさばさ, おやおや d{2,4}-? d{2-4}-? d{4} = 電話番号 ( っぽい ) パターン特定の区切りを表すメタ文字行頭 : ^ ( サーカムフレックス circumflex) 行末 : $ ( ドル記号 ) 単語の区切り : b ( 単語を区切らない日本語の場合, 単語を区切らないので, b は行頭や行末, 句読点やハイフン等が入る箇所のみで機能する ) 正規表現で特別な意味を持つ文字 : ^ $. { } [ ] ( ) * +? 正規表現の中でこれらの文字を文字として検索したい場合には, 円記号 ( ) 2 をつけて表す ( 文字リテラルという ): ^ $. { } [ ] ( ) * +? 2 エンコード方式やフォント,Windows のロケールによってはバックスラッシュ (\) やウォン ( ) など他の記号で表示される場合もある千葉庄寿 schiba@reitaku-u.ac.jp 5

情報処理演習 E PC による外国語処理第 14 回資料実習 2: No14 フォルダに入っているテキスト文書 alice.txt を EmEditor で開き, 以下の検索をおこないなさい検索条件前置詞 for 動詞 see の変化形 un で始まる単語正規表現 ( 正規表現を使用するをチェックすること!

6 情報処理演習 E PC による外国語処理第 14 回資料実習 2: No14 フォルダに入っているテキスト文書 alice.txt を EmEditor で開き, 以下の検索をおこないなさい検索条件前置詞 for 動詞 see の変化形 un で始まる単語正規表現 ( 正規表現を使用するをチェックすること!) bfor b bsee b bsees b bsaw b bseen b bseeing b bun w+ 半角の丸括弧 ( ) を使うと,( ) 内のパターンにマッチした文字列を記憶し, 1, 2, 3 という表記方法で, 記憶したパターンを ( 括弧が現れた順番に ) 参照することができる 1 つの正規表現の中での前方参照として使えるほか,(EmEditor では ) 置換の際, 検索文字列や置換後の文字列の中で利用することができる実習 3: No14 フォルダに入っているテキスト文書 alice.txt を EmEditor で開き, 実習 2 でおこなった検索結果を利用して置換しなさい結果を alice2.txt として別名保存しなさい置換条件検索文字列置換表現 ( 正規表現を使用するをチェックすること!) ( bsee b bsees b bsaw b bseen b bseeing b) 1 すべて置換で一括変換しよう動詞 see の変化形を saw のように囲む b(un)( w+) < 1> 2 次を検索で単語を確認し, 置換しよう un で始まる単語のうち, 否定を表す un で始まる単語を <un>comfortable のように囲む 6

7 2.4. 正規表現利用のコツワイルドカード ( 2.1. 参照 ) と正規表現の違いに注意 :* と? は正規表現では意味が異なる正規表現は, パターンを表すブロックの組み合わせによって複雑なパターンを表現できるブロック自体は単純であるが, 組み合わせ方法は無限にあり, 目的にあわせてブロックの組み立てかたを工夫する必要があるソフトウエアの中で正規表現を処理する部分を正規表現エンジンと呼ぶアプリケーションがサポートする正規表現の種類や記述方法は, 正規表現エンジンによって異なる正規表現の開発の歴史は長く, 正規表現エンジンには独自の改良 ( 訛り ) や記述方法のゆれ ( 方言 ) があるためである特に, b, w, s, Unicode 文字の表記法などは確認する必要がある特定の文字エンコード方式にしか対応していない正規表現エンジンがある例えば, 日本語の全角文字を文字として正しく処理できないものは [ あいうえお ] のような使い方ができない ( この場合でも全角文字を 2 つの半角文字列とみなせば, 例えば ( あいうえお ) のような代用記述も可能ただし, 限界がある ) EmEditor の正規表現は,Perl というプログラミング言語の正規表現に基づいており, 今回紹介していない, より高度な正規表現も使用できる詳しくはヘルプ正規表現構文を参照するとよいなお,Perl によるプログラミング, および正規表現を使ったテキスト処理については, 後期に開講される情報処理演習 C で扱うので, 関心のある人はぜひ履修してほしい最長一致の原則 :.* や.+ で任意の長さのテキストを表すことができるしかし, このような表現は検索に時間が長くかかるばかりか, できるだけ長く一致しようとする特性のため, 意図していないパターンを検索してしまうことがあるこれを避けるには, 最短一致の正規表現を用いるか,( 最短一致の正規表現が使えない場合には ).* や.+ のかわりにより具体的なパターンを指定する誤 : b.*s b ( 任意の長さで最後が s の単語 ): 予定外の場所まで一致してしまう正 : b w*s b または b.*?s b (.*? で最短一致を表す ): 正しく単語ごとに一致する最短一致の *? が使えない場合には, 代用表現としてスペース以外の文字の連続を表す正規表現を使い,[^ ]*s b ( はスペースを表す ) などと記述しても同様の効果がある 2.5. 参考文献 : 正規表現について IDEA C (2001) 正規表現の達人ソフトバンク. 大名力正規表現によるテキスト検索オンライン資料. URL: プログラミング言語 Perl ( 情報処理演習 C で取り上げるプログラミング言語 ) の入門書には, たいてい正規表現の詳しい解説が含まれる千葉庄寿 schiba@reitaku-u.ac.jp 7

Java Scriptプログラミング入門 3.6～茨城大学工学部情報工学科 08T4018Y 小幡智裕

Java Scriptプログラミング入門 3.6～茨城大学工学部情報工学科 08T4018Y 小幡智裕 Java Script プログラミング入門 3-6~3-7 茨城大学工学部情報工学科 08T4018Y 小幡智裕 3-6 組み込み関数組み込み関数とは JavaScript の内部にあらかじめ用意されている関数のことユーザ定義の関数と同様に関数名のみで呼び出すことができる 3-6-1 文字列を式として評価する関数 eval() 関数引数 : string 式として評価する文字列戻り値 :