- PDF Free Download

Size: px

Start display at page:

Download "　"

ともなりみしま
4 years ago
Views:

1 会員からの投稿記事 UDC 02: : 米国オーストラリアにおける新聞記事デジタルアーカイブ全米新聞デジタル化プログラム (National Digital Newspaper Program: NDNP) と Australian Newspapers Online - Trove 時実象一 * 全米デジタル新聞プログラム (National Digital Newspaper Program: NDNP) は米国議会図書館 (Library of Congress: LC) と全米人文科学基金 (National Endowment for the Humanities: NEH) との共同プロジェクトで,1836 から 1922 年までに発行された米国の新聞 1070 万ページをデジタル化し,Chronicling America という検索サイトから提供している全米 40 州と自治区が参加している NDNP の仕組み, 記述,Chronicling America の検索例, 活用例について述べたまたオーストラリア国立図書館が構築した Autralian Newspapers Onine についても述べたキーワード : 議会図書館, 全米人文科学基金, オーストラリア国立図書館, 新聞記事, デジタルアーカイブ, 全文検索, 活用例 1. はじめに新聞記事デジタルアーカイブについては, すでに欧州の Europeana Newspapers の事例について調査報告した 1) 本稿では, 米国とオーストラリアにおける公的な新聞記事デジタルアーカイブについて調査した結果を報告する 2. 全米デジタル新聞プログラム (National Digital Newspaper Program: NDNP) 2.1 概要国の図書館では新聞の閲覧の需要が極めて高く, 保存上問題である保存場所の問題で, 多くの新聞はマイクロフィルム化されているが, これは取り扱いが面倒である米国では新聞は植民開拓の歴史と共にあり, 各市ごとに膨大な数の新聞が発行されている米国で発行された新聞は 20 万種に上る 2) これらの新聞は議会図書館にもあるが, 多くは地方の図書館に保存されている全米デジタル新聞プログラム (National Digital Newspaper Program: NDNP ) 3) は米国議会図書館 ( Library of Congress: LC ) 4) と全米人文科学基金 (National Endowment for the Humanities: NEH) 5) との共同プロジェクトである NEH は人文科学法 (Arts and Humanities Act: PubL ) に基づく国立の基金により設立された独立連邦政府組織であり, 人文科学における研究教育保存公共的プログラムを支援している NDNP に先立ち,United States Newspaper Program (USNP)( ) が存在した 6) これは連邦政府と各州政府の協力のもとに,18 世紀から現在までの米国で発行された新聞を収集し, 目録を作成し, マイクロフィルムで保存するものであるこの事業は NEH の助成と LC の技 * ときざねそういち東京大学大学院情報学環東京都文京区本郷 Tel tokizane@pc.highway.ne.jp ( 原稿受領 ) 術により, 成功裏に終了した約 6000 タイトルのマイクロフィルム化が行われた新聞の目録は Online Computer Library Center (OCLC) の WorldCat でアクセスできる (152,000 紙 ) マイクロフィルムは図書館間相互貸借(ILL) で閲覧できるこのプロジェクトではマイクロフィルムはネガを保存するように指示したこのネガを次のプロジェクトでデジタル化しているポジは閲覧に使用するため, 傷がついて, デジタル化に適さないマイクロ化については ANSI の標準に沿って実施した多くの図書館では, マイクロ化の後, 現物は破棄しているこれは収納場所がないためである NEH は次のプロジェクトとして,LC の協力のもとに 2003 年に NDNP を立ち上げたこれは 1836 年から 1922 年までに発行された ( 著作権保護期間満了 ) 米国の新聞から歴史的に重要なものを選定して, デジタル化して LC で保存するものである 1836 年を選んだのは, このころから今のスタイルのニュースを伝える新聞が発行されたからであるそれ以前はニュースというよりは, 政治新聞であった NDLP は, 各州 1 機関の文化遺産保存機関に対して 2 年間の助成を与え, デジタル化すべき新聞を選択し, デジタル化し,LC に提供するものである 2016 年 4 月までに 2000 紙,1070 万ページがデジタル化された LC は実際のデジタル化作業はおこなわず, 仕様の策定と技術支援を担当した各助成毎におよそ 100,000 ページのデジタル化が想定されている文化遺産保存機関とは, 州立図書館, 歴史協会, 大学などである支援金額は $325,000 である約 200 ページ / 日 /$600 となる助成実績は 40 機関 ( 多くが複数回 ), デジタル化実績は 10,000,000 ページ (2015/10/7) である ( 表 1) 2017 年 3 月現在 44 の州と自治区を網羅している ( 図 2-1) 実施機関の中には, このプロジェクトの外でもデジタル化をおこない, 合わせて独自に公開しているところもある (Portal to Texas History など,100 万ページ ) 206 情報の科学と技術 67 巻 4 号,206~210(2017)

表 1 州準州実施機関実施年 Alaska Alaska Division of Libraries, Archives, and Museums 2016 Arizona Arizona Department of Libraries, Archives, and Public Records 2012, 2010, 2008 California University of

Florida, Gainesville 2015, 2013, 2005 Hawaii University of Hawaii at Manoa 2012, 2010, 2008 Idaho Idaho State Historical Society 2015, 2013 Illinois University of Illinois, Urbana 2016, 2013, 2011,

2 表 1 州準州実施機関実施年 Alaska Alaska Division of Libraries, Archives, and Museums 2016 Arizona Arizona Department of Libraries, Archives, and Public Records 2012, 2010, 2008 California University of California, Riverside 2015, 2009, 2007, 2005 Colorado Colorado Historical Soceity 2016 Connecticut Connecticut State Library 2015, 2013 Delaware University of Delaware 2015 Florida University of Florida, Gainesville 2015, 2013, 2005 Hawaii University of Hawaii at Manoa 2012, 2010, 2008 Idaho Idaho State Historical Society 2015, 2013 Illinois University of Illinois, Urbana 2016, 2013, 2011, 2009 Indiana Indiana State Library 2015, 2013, 2011 Iowa State Historical Society of Iowa 2016, 2014, 2012 Kansas Kansas State Historical Society 2013, 2011, 2009 Kentucky University of Kentucky, Lexington 2011, 2009, 2007, 2005 Louisiana Louisiana State University 2013, 2011, 2009 Maine Maine State Library 2016 Maryland University of Maryland, College Park 2016, 2014, 2012 Michigan Central Michigan University 2016, 2014, 2012 Minnesota Minnesota Historical Society 2015, 2011, 2009, 2007 Mississippi Mississippi Department of Archives and History 2015, 2013 Missouri The State Historical Society of Missouri 2012, 2010, 2008 Montana Montana Historical Society 2013, 2011, 2009 Nebraska University of Nebraska-Lincoln Libraries 2016, 2009, 2007 Nevada University of Nevada, Las Vegas 2016, 2014 New Jersey Rutgers University, New Brunswick 2016 New Mexico University of New Mexico 2014, 2012, 2010 New York The New York Public Library, Astor, Lenox and Tilden Foundation 2009, 2007, 2005 North Carolina University of North Carolina, Chapel Hill 2016, 2014, 2012 North Dakota State Historical Society of North Dakota 2015, 2013, 2011 Ohio Ohio History Connection 2016, 2012, 2010, 2008 Oklahoma Oklahoma Historical Society 2013, 2011, 2009 Oregon University of Oregon 2013, 2011, 2009 Pennsylvania Penn State University Libraries, University Park 2012, 2010, 2008 Puerto Rico University of Puerto Rico, Rio Piedras 2015, 2013 South Carolina University of South Carolina 2013, 2011, 2009 South Dakota South Dakota Department of Education 2016, 2014 Tennessee University of Tennessee 2014, 2012, 2010 Texas University of North Texas 2016, 2011, 2009, 2007 Utah University of Utah, Marriott Libraries 2009, 2007, 2005 Vermont University of Vermont 2014, 2012, 2010 Virginia Library of Virginia 2014, 2009, 2007, 2005 Washington Washington State Library 2012, 2010, 2008 West Virginia West Virginia University Libraries 2015, 2013, 2011 Wisconsin Wisconsin Historical Society 2015 (1) 新聞の選定は次の条件でおこなう a. マイクロフィルムで全発行号がそろっているもの b. マイクロフィルムの品質が良いもの ( 縮小比が 20% 以下のもの, コントラストの良いもの,OCR に適するもの ) (2) スキャン画像 grayscale dpi( 元の紙面に対して ) 非圧縮 TIFF 6.0 (3) OCR 新聞の言語は ISO の言語であること (50% 以上が非英語紙 ) UTF-8, テキストの流れはコラム単位記事の座標 (bounding box) を語単位で,Analyzed Layout and Text Object(ALTO)(OCR テキストとレイアウト用に LC が開発したスキーマ ) テキスト埋め込み PDF で提出レイアウトの解析はおこなわない検索結果はページ単位となる (4) メタデータ新聞のメタデータ, 号版のメタデータ, ページメタデータ, マイクロフィルムリールメタデータを記録なお本プロジェクトで採用した規格は次のとおりである 8) METS XML( 構造メタデータ ) ALTO XML(OCR の結果とヒットタームハイライトのための座標情報 ) PREMIS10 and MIX11( 技術的メタデータ ) MARC and MODS12( 書誌的メタデータ ) 図 2-1 全米デジタル新聞プログラム (NDNP) の参加州自治区出典 : NEH はこのプロジェクトを 20 年間継続する予定でいるこれまでに $2000 万ドルをかけている (LC の Deborah Thomas 氏による ) 2.2 デジタル化の推進筆者は LC で NDNP の責任者を初めから務めている Deborah Thomas に 2016 年 4 月 11 日に面会し, ヒアリングをおこなった以下 Thomas 氏の情報をもとに説明する NDNP は分散作業のため, 品質を均一にすることが容易でない LC ではガイドラインの策定を重視して注力した LC が作成して各助成先に示されたガイドライン (The National Digital Newspaper Program (NDNP) Technical Guidelines for Applicants (2016)) 7) の概要は次のとおりである図 2-2 Chronicling America のトップ画面 2.3 Chronicling America デジタル化されたものは Chronicling America:Historic American Newspapers として公開されている Chronicling America は全文検索可能である Advanced Search では紙名や発行年月日など細かい指 207

図 2-3 Chronicling America の Advanced Search 画面れるサムネイルを選択してクリックするとそのページが表示できるページ単位の全文検索であるが, ヒットタームはハイライトされる必要な部分をクリッピングできる検索インタフェースのソースコードは GitHub にデポジットしているので,

4 Chronicling America の活用以下のような活用例が見られる図 2-4 Chronicling America での butch cassidy の検索結果一覧画面図 2-5 butch cassidy の検索結果紙面, ヒットタームがハイライトされている定ができる映画明日に向かって撃てで有名な butch cassidy

ツール, 可視化ツール, その他情報の創造的な活用に対して研究助成をおこなう小学生から対象となる例としては, 各地の新聞記事が野球のワールドシリーズをどのように報道したか米国各地で映画産業がどのように発展したか米国憲法修正条項がどのように実施されたか歴史的な政治運動が各地域でどのように報道されたか地方新聞の記事により,

Bill Lane Center for the American West at Stanford University (2011) (b) テキサスで発行された新聞 232,500 ページを分析し, 言語の質とパターンを可視化 The Bill Lane Center for the American West also collaborated

3 図 2-3 Chronicling America の Advanced Search 画面れるサムネイルを選択してクリックするとそのページが表示できるページ単位の全文検索であるが, ヒットタームはハイライトされる必要な部分をクリッピングできる検索インタフェースのソースコードは GitHub にデポジットしているので, 個々の図書館が独自に利用できるアクセス方法としては,RSS,API,Linked Data,JSON, IIIF がある 2.4 Chronicling America の活用以下のような活用例が見られる図 2-4 Chronicling America での butch cassidy の検索結果一覧画面図 2-5 butch cassidy の検索結果紙面, ヒットタームがハイライトされている定ができる映画明日に向かって撃てで有名な butch cassidy で検索すると, 該当する新聞にキーワードがハイライトさ (1) Chronicling America Data Challenge NEH では Chronicling America Data Challenge というキャンペーンをおこなっている 9) これは Chronicling America の年の新聞データを用いたウェブツール, 可視化ツール, その他情報の創造的な活用に対して研究助成をおこなう小学生から対象となる例としては, 各地の新聞記事が野球のワールドシリーズをどのように報道したか米国各地で映画産業がどのように発展したか米国憲法修正条項がどのように実施されたか歴史的な政治運動が各地域でどのように報道されたか地方新聞の記事により, 大統領の訪問を地図化する広告のロゴや新聞の題字の年代による変化異なる地域での消費者価格の変動の調査米国各地でのツーリズムの変動米国各地で感謝祭をどの時期に祝ったかなどが挙げられている (2) 活用研究 (a) における米国での新聞発行件数の増加の可視化 ( 年と地域 ) Rural West initiative out of the Bill Lane Center for the American West at Stanford University (2011) (b) テキサスで発行された新聞 232,500 ページを分析し, 言語の質とパターンを可視化 The Bill Lane Center for the American West also collaborated with the University of North Texas (c) 1918 年のインフルエンザの流行についてテキストマイニングにより, 新聞に反映された公衆の意見を分析 (d) 19 世紀の新聞における言い回しの流行の分析図 2-6 butch cassidy の検索結果紙面を拡大したところ (3) 教育現場での活用 NEH が発表した NATIONAL DIGITAL NEWSPAPER PROGRAM{Impact Study } という報告 10) では, 以下のような活用例が挙げられている (a) ハワイ大学の Jennifer Beamer はアップル社のモバイルスペシャリストの経験を生かしてハワイの歴史に 208

ついての ibook を作成して itune ストアから無料で公開しているこの中にハワイに関する NDNP からの新聞記事 OCR 外注 14) (4) 記事の同定カテゴリー分けテキストの入力メや NDNP データ作成時に作られた他のデータが挿入されているタデータの入力以上外注 ALTO/METS に準拠して座標を指定 (b) ノーステキサス大学では

画像中の文字も OCR 処理するあった (c) アリゾナ図書館文書記録局はアリゾナ首都博物館と記事のタイトルサブタイトル著者名最初の 4 行は別途手入力する共同でアリゾナの地域の首長についての恒久的新聞記事展示を製作 (5) (6) QA 品質アセスメント Trove に搭載 (d) オハイオ歴史協会は Chronicling America の検索戦略についてのビデオの

4 ついての ibook を作成して itune ストアから無料で公開しているこの中にハワイに関する NDNP からの新聞記事 OCR 外注 14) (4) 記事の同定カテゴリー分けテキストの入力メや NDNP データ作成時に作られた他のデータが挿入されているタデータの入力以上外注 ALTO/METS に準拠して座標を指定 (b) ノーステキサス大学では Resources4Educators というウェブサイトを開発して NDNP で公開されているカテゴリーは記事ニュース広告家族の告知評論等画像イラスト写真漫画地図グラフなどコンテンツを教室用に提供している Newspaper Narratives という記事は 1 ヵ月に 3000 ものアクセスがを分ける記事だけでなく画像中の文字も OCR 処理するあった (c) アリゾナ図書館文書記録局はアリゾナ首都博物館と記事のタイトルサブタイトル著者名最初の 4 行は別途手入力する共同でアリゾナの地域の首長についての恒久的新聞記事展示を製作 (5) (6) QA 品質アセスメント Trove に搭載 (d) オハイオ歴史協会は Chronicling America の検索戦略についてのビデオの podcast を作成し YouTube から公 3.2 検索開 (e) ユタ大学の企画部長 John Herbert は NDNP の協力企 Trove15)で Japanese Submarine と検索すると 1943 年に日本の潜水艦がオーストラリアを攻撃した時の記事が業である iarchives に依頼し記事レベルのセグメント化のためのツールを開発見つかる ( f ) バージニア図書館とバージニア南北戦争 150 周年記念委員会は Civil War 150 Project の展示品を収集する際に NDNP の記事を活用 (g) オレゴン大学のデジタル教育センターでは大学院生のデジタル教育入門という授業でテキストマイニングを教えるために Chronicling America を活用 (h) アイオワ州歴史協会では 2013 年に中学高校生を対象とした Chronicling America を勉強のために使いこなすためのワークショップを開催 ( i ) ハワイ大学では 2014 年 8 月 1 日にデジタル化と協力関係強化のための研究シンポジウムを開催した 3 Australian Newspapers Online - Trove 図 3-1 Trove で japanese submarine と検索したところ 3.1 概要 Trove はオーストラリア国立図書館が構築した新聞記事アーカイブの公開サイトである歴史的新聞は約 7700 紙記事は囲まれており左の欄にテキストが表示されているヒットタームはハイライトされているあると見られているが国立図書館と州立図書館が共同で進めている Australian Newspaper Plan ANPlan によって捜索収集されている 11) こうして集められた新聞は Australian Newspaper Digitisation Program ANDP によってデジタル化さている 12) 現在までに約 1000 誌 2000 万ページがデジタル化されており Trove では 2016 年 5 月 16 日現在 124,462,660 記事が公開されている作業工程は次のとおり 13) (1) マイクロフィルムの特定メタデータの付与 (2) マイクロフィルムからデジタル化外注図 3-2 Trove の japanese submarine の検索結果画面 LTO4 磁気テープで納品 (3) QA メタデータの追加発行日付ページ注などページ連番の付与欠号の確認重複の除去 4 まとめ NDNP は米国の文化遺産を保存し活用しようという国 209 情報の科学と技術 67 巻 4 号 2017

5 家プロジェクトである前身であるマイクロ化プロジェクト USNP から数えるとすでに 35 年近くにわたって新聞の保存とデジタル化に取り組んでいるわが国でも全国紙はデジタル化に独自に取り組んでいるが, 地方紙の保存は進んでいない国家的に取り組むことが望まれるまた Australian Newspapers Online は極めて質の高い新聞記事デジタルアーカイブである今後の発展に期待したいなお,2017 年 2 月, トランプ大統領は NEH を閉鎖する考えであると表明したその場合は, このプロジェクトを含め, 多くの文化的プロジェクトが中止に追い込まれることになり, 米国文化にとって大変な損失となる恐れがある註参考文献 01) 欧州における新聞デジタルアーカイブ.Europeana Newspapers. 情報の科学と技術.2017,67(1), ) United States Newspaper Program. ( 閲覧 2017/3/6). 03) National Digital Newspaper Program. 04) Library of Congress. 05) National Endowment for the Humanities. 06) National Endowment for the Humanities. U.S. Newspaper Program. 07) The National Digital Newspaper Program (NDNP) Technical Guidelines for Applicants (2016). 2015/9/29. es.pdf am 08) Nathan Yarasavage, Deborah Thomas, Georgia Higley. Bulking up: how accepted standards and evolving technology advance research in Chronicling America. slc_yarasavage_higley_thomas_-_bulking_up.pdf 09) National Endowment for the Humanities. NEH announces Chronicling America Data Challenge. 2015/10/ ) NATIONAL DIGITAL NEWSPAPER PROGRAM {Impact Study }. 2014/9. 4_0.pdf 11) National Library of Australia. AUSTRALIAN NEWSPAPER PLAN. 12) National Library of Australia. AUSTRALIAN NEWSPAPER DIGITISATION PROGRAM. ram 13) National Library of Australia. WORKFLOW PROCESS OVERVIEW. 14) National Library of Australia. OCR OVERVIEW. 15) Trove. Digitised newspapers and more. Special Report: Newpaper Digital Archives in Europe and America: National Digital Newspaper Program (NDNP) and Australian Newspapers Online. Soichi Tokizane (Interfaculty Institute in Information Studies, the University of Tokyo, Hongo, Bunkyo-ku, Tokyo, Japan) Abstract: The National Digital Newspaper Program (NDNP) is a joint project of the Library of Congress (LC) and National Endowment for the Humanities (NEH), and so far digitized over 10 million pages of US newspapers between 1836 and 1922, and made online through Chronicling America. Institutes from 40 states and territories have joined this project. Australian Newspaper Online was developed by the National Library of Australia was discussed, too. Keywords: Library of Congress / National Endowment for the Humanities / National Library of Australia / newspaper archive / full text searching 210

PowerPoint プレゼンテーション

PowerPoint プレゼンテーションアーカンソー Arkansas AR 501 アーカンソー Arkansas AR 870 アイオワ Iowa IA 515 アイオワ Iowa IA 712 アイオワ Iowa IA 319 アイダホ Idaho ID 208 アラスカ Alaska AK 907 アラバマ Alabama AL 205 アラバマ Alabama AL 334 アラバマ Alabama AL 256 アリゾナ Arizona