ビッグデータの活用と分析に至るプロセス

Size: px

Start display at page:

Download "ビッグデータの活用と分析に至るプロセス"

さなえつねざき
5 years ago
Views:

1 総務省 ICT スキル総合習得教材 [ コース 3] データ分析知難易技 3-1: ビッグデータの活用と分析に至るプロセス [ コース1] データ収集 [ コース2] データ蓄積 [ コース3] データ分析 [ コース4] データ利活用

本格的なデータ分析に至るプロセス ( 工程 ) を紹介します講座構成 [1] ビッグデータの特性と分析 [2] データの品質と標準化クレンジング [3] データ分析の設計と分析に至るプロセス学習のゴール

2 座学本講座の学習内容 [3-1: ビッグデータの活用と分析に至るプロセス ] 講座概要ビッグデータの特性の 3 つの V を説明しそれぞれの特性によって可能になる分析を示しますデータの品質のいくつかの観点から紹介し品質の悪いデータがもたらす社会的費用を紹介しますデータ形式の標準化およびデータクレンジングの重要性を示します国内企業におけるデータ分析の実態効率的なデータ分析の設計本格的なデータ分析に至るプロセス ( 工程 ) を紹介します講座構成 [1] ビッグデータの特性と分析 [2] データの品質と標準化クレンジング [3] データ分析の設計と分析に至るプロセス学習のゴールビッグデータの 3 つの V と各特性によって可能になる分析事例を紹介できる品質の悪いデータの社会的費用とその軽減策としてのデータ形式の標準化データクレンジングの重要性を理解する効率的なデータ分析の設計と本格的なデータ分析に至るプロセスを説明できる 2

データ利用方法としての分析この講座ではデータの利用方法の一つとしてのデータ分析と関連事項を概説します蓄積されたデータの利用方法には大別して 2 種類あり一つはデータベースとしての利用

データベースとしての利用では検索によって抽出された個々のデータレコードに注目しますデータベースとしての利用は例えば個々のデータレコードを抽出してカタログデータレコード別の情報サービス

利用方法注目対象利用事例天気データでの利用例データベースとしての利用 ( 検索による抽出 ) 分析用データとしての利用 2 種類のデータの利用方法の要点天気データでの利用例個々のデータレコード

3 データ利用方法としての分析この講座ではデータの利用方法の一つとしてのデータ分析と関連事項を概説します蓄積されたデータの利用方法には大別して 2 種類あり一つはデータベースとしての利用もう一つは分析用データとしての利用です講座 2-1 で示したようにデータベースの要件として個々のデータレコードを検索ができることが挙げられます 3-1[1] ビッグデータの特性と分析データベースとしての利用では検索によって抽出された個々のデータレコードに注目しますデータベースとしての利用は例えば個々のデータレコードを抽出してカタログデータレコード別の情報サービスとして利用できます分析用データとしての利用ではデータ全体または一部の傾向や特徴に注目しますデータの特徴や傾向を発見把握することで未知の情報を予測できるケースもあります利用方法注目対象利用事例天気データでの利用例データベースとしての利用 ( 検索による抽出 ) 分析用データとしての利用 2 種類のデータの利用方法の要点天気データでの利用例個々のデータレコードデータ全体または一部の傾向特徴カタログデータレコードの情報利用傾向特徴の発見未知の情報の予測特定の場所時点に関する天気情報の検索と抽出天気の地域性季節性の発見天気予報この講座ではデータ分析の序論としてデータの種類品質望ましい分析の設計を紹介します 3

4 ビッグデータインターネット関連のデータはその特性によってビッグデータと呼ばれることもあります PC スマートフォンをはじめとしてインターネットにつながる機器である IoT 機器が増加しています SNS 等の普及によって一般利用者がプログラム不要で様々なデータをインターネット上に保存できるようになりました数値データテキストデータのみならず画像や動画といった容量の大きいマルチメディアデータの送受信が拡大してきています 2017 年 6 月にシスコ社から公表された資料によれば全世界のインターネットにおいて送受信されたデータ量は 2016 年において年間 1.2ZB( ゼタバイト ) でしたが 2021 年には 3.3ZB に達すると予測されていますデータのサイズは byte( バイト ) から1000 倍ごとにkB MB GB TB PB EB ZBへ単位が変わります 1 年間を365 日 (31,536,000 秒 ) と見なせば年間 1.2ZBのデータ通信量は 1 秒間に約 37TB(36,550GB) に相当しますデータサイズの単位インターネット上で1 秒間に送受信されるデータ量 ( 予測値 ) 単位読み方数値表記 ( バイト ) B バイト 1 バイト kb キロバイト 1,000 千バイト MB メガバイト 1,000,000 百万バイト GB ギガバイト 1,000,000,000 十億バイト TB テラバイト 1,000,000,000,000 兆バイト PB ペタバイト 1,000,000,000,000,000 千兆バイト EB エクサバイト 1,000,000,000,000,000,000 百京バイト ZB ゼタバイト 1,000,000,000,000,000,000,000 十垓バイト 4 (TB/ 秒 ) [1] ビッグデータの特性と分析様々な機能活動によって蓄積された膨大なデータはその特性に応じてビッグデータと呼ばれることがあります年間で 2.9 倍の増加予測年 2017 年 2018 年 2019 年 2020 年 2021 年出所 Cisco Visual Networking Index: 予測と方法論 [Cisco] に基づき作成

5 ビッグデータの特性ビッグデータが持ち得る特性として 3つのV が挙げられますビッグデータの持ち得る標準的な特性としての 3つのV は 2001 年にアメリカのデータ分析者によって提示され現在でもビッグデータに関する標準的な考え方となっています出所 Deja VVVu: Others Claiming Gartner s Construct for Big Data[Gartner Doug Laney] ビッグデータにはその特性とされる 3 つの V の Variety( バラエティ ) Volume( ボリューム ) Velocity ( ベロシティ ) のいずれかを持っていることが挙げられます Variety Volume Velocity のそれぞれの頭文字の V から 3 つの V と呼ばれます 3-1[1] ビッグデータの特性と分析ビッグデータの 3つのV の意味 V 日本語訳意味 Variety データの多様性テキスト画像音声といった多様な情報とファイル形式 Volume データ量膨大なデータ量 Velocity データ生成速度頻度リアルタイムで収集できるデータ秒単位など高頻度のデータ Volume Variety Velocity IBM 社の資料では 3 つの V に加えて 4 つめの V としてデータの正確さの (Veracity) を挙げています様々な組織が公表する資料によっては価値あるデータ (Value) を加えて 5 つの V としているケース 10 以上の V ではじまる英単語を列挙しているケースもありますが 4 つ以上の V の中には 3 つの V の Variety Volume Velocity が含まれることが標準的です出所 IBM Data Engine for Hadoop and Spark(P4)[IBM] 3 つの V はビッグデータが持ち得る特性であるためビッグデータであっても対象情報やファイル形式が固定しているケースデータ量が小さいケースデータの生成速度が遅い低頻度のケースがあり得ます 5

による売上データインターネットから得られた天候情報を組み合わせて販売状況の管理分析が可能となります POS( ポス ) は [point of sales (system): 販売時点情報管理 ]

6 Variety( 多様性 ) により可能となる分析ビッグデータの Variety( 多様性 ) から様々なデータを統合した分析が可能となります株式会社 ABEJA( アベジャ ) が提供している ABEJA Platform では小売店の店舗にカメラを設置して来客人数をカウントし来客者の年齢層性別を人工知能で判定しますカメラによる画像情報 Wi-Fi/ ビーコンによる顧客の移動 IoT デバイスによる扉の開閉状況 POS による売上データインターネットから得られた天候情報を組み合わせて販売状況の管理分析が可能となります POS( ポス ) は [point of sales (system): 販売時点情報管理 ] の頭文字に由来するレジの販売情報管理です ABEJA platform for Retail におけるカメラによる情報収集と分析概要 3-1[1] ビッグデータの特性と分析 6 出所株式会社 ABEJA

7 Volume( データ量 ) により可能となる分析 3-1[1] ビッグデータの特性と分析ビッグデータの Volume( データ量 ) から膨大なデータに基づく分析が可能となります Yahoo! Japan では時期別都道府県別のインフルエンザの患者数と相関の高いキーワード検索数からインフルエンザの感染数の予測値を示していますインフルエンザ発熱寒気等のキーワードでの検索数を時期別都道府県別に集計して分析用データとして活用しています検索のキーワード検索数と実際の患者数の対応関係を分析することで予測の精度を一層高めることができます週単位都道府県別にインフルエンザの流行期拡大期蔓延期減衰期の推移を確認できますウェブサイトにおいてデータの対象期間を動かす矢印のボタンをクリックすることでインフルエンザの流行と減衰が動的に把握できます検索データに基づくインフルエンザの感染予測値と患者数インフルエンザ感染状況マップ出所ビッグデータ分析でみるインフルエンザ感染状況 : [ ヤフー株式会社 ] 7

Velocity( データ生成速度頻度 ) により可能となる分析ビッグデータの Velocity( データ生成速度頻度 )

時間後までの降水予想を地図上に示します 3-1[1] ビッグデータの特性と分析ネットショッピングサイトの Amazon.co.

3-5 に示すアソシエーション分析に基づいて表示します高解像度降水ナウキャスト ( 気象庁 ) 購入予定商品に合わせた商品推薦 (Amazon.

8 Velocity( データ生成速度頻度 ) により可能となる分析ビッグデータの Velocity( データ生成速度頻度 ) からリアルタイムでの活用ができます気象庁が提供する高解像度降水ナウキャストでは 5 分単位での降水状況および 1 時間後までの降水予想を地図上に示します 3-1[1] ビッグデータの特性と分析ネットショッピングサイトの Amazon.co.jp では各ユーザーの購入予定の商品に合わせて即座にお勧め商品を表示します詳細な地図で表示できるためゲリラ豪雨の予測にも利用できます講座 3-5 に示すアソシエーション分析に基づいて表示します高解像度降水ナウキャスト ( 気象庁 ) 購入予定商品に合わせた商品推薦 (Amazon.co.jp) 出所高解像度降水ナウキャスト [ 気象庁 ] 出所 Amazon.co.jp 8

構造化データ半構造化データ非構造化データビッグデータは人間にとって読みやすく分析しやすい構造化データだけではありませんビッグデータはその特性である多様性 (Variety) から構造化データ非構造化データのケースもあります講座 2-1のデータベースの説明においても構造化データ半構造化データ非構造化データを紹介しました半構造化データの XML JSON に関しては講座

9 構造化データ半構造化データ非構造化データビッグデータは人間にとって読みやすく分析しやすい構造化データだけではありませんビッグデータはその特性である多様性 (Variety) から構造化データ非構造化データのケースもあります講座 2-1のデータベースの説明においても構造化データ半構造化データ非構造化データを紹介しました半構造化データの XML JSON に関しては講座 1-4のAPIで利用されるファイル形式として説明しました構造化データ半構造化データ非構造化データに関する説明表データ種別説明データ形式の例構造化データ二次元の表形式になっているかデータの一部を見ただけで二次元の表形式への変換可能性変換方法が分かるデータ 3-1[1] ビッグデータの特性と分析 CSV 固定長 Excel ( リレーショナルデータベース型 ) 半構造化データ非構造化データデータ内に規則性に関する区切りはあるもののデータの一部を見ただけでは二次元の表形式への変換可能性変換方法が分からないデータデータ内に規則性に関する区切りがなくデータ ( の一部 ) を見ただけで二次元の表形式に変換できないことが分かるデータ XML JSON 規則性に関する区切りのないテキスト PDF 音声画像動画二次元の表形式の構造化データ XML 形式の半構造化データ画像形式の非構造化データ世帯名大人 1 大人 2 子供 1 < 世帯 > 山田家世帯主妻列行長女 < 世帯名 > 山田家 </ 世帯名 > < 大人 > 世帯主 </ 大人 > < 大人 > 妻 </ 大人 > < 子供 > 長女 </ 子供 > </ 世帯 > 一般に半構造化データ非構造化データは分析を行う前にデータ整理や変換が必要です 9

が蓄積するデータを半構造化データ (XML JSON) の形式でも提供しています公的統計の構造化データを提供する e-stat 3-1[1] ビッグデータの特性と分析 DATA.GO.

10 日本政府の構造化非構造化データの提供サイト日本政府のウェブサイトには公的統計の構造化データを提供するe-Stat 非構造化データを含めて幅広く提供するDATA.GO.JPがあります公的統計の調査結果データを提供している e-stat では Excel 形式 CSV 形式のデータをダウンロードでき構造化データを提供しているウェブサイトと言えます講座 4-3 の参考 2 にて R による利用方法を紹介する e-stat API においては e-stat が蓄積するデータを半構造化データ (XML JSON) の形式でも提供しています公的統計の構造化データを提供する e-stat 3-1[1] ビッグデータの特性と分析 DATA.GO.JP( データカタログサイト ) は政府の報告書などの PDF 政府ウェブサイトの HTML 報告書内の画像 JPEG といった非構造化データを含めて幅広く提供しています DATA.GO.JP( データカタログサイト ) は講座 4-1 でも紹介する日本政府のオープンデータの提供サイトでもあります非構造化データを含めて提供する DATA.GO.JP 出所 e-stat[ 総務省 ] 出所 DATA.GO.JP[ 総務省 ] 10

11 データの品質データには品質がありデータの品質が悪ければ利用や分析における障害となります国際データマネジメント協会の英国支部の資料ではデータの品質には 6 つの主要基準があると示しています [2] データの品質と標準化クレンジング構造化データに限っても重複するデータ表記揺れ等がありデータの品質が悪いケースがありますこのデータの品質基準には客観的でデータ固有の基準のみではなく利用者の主観的な有用度合いに依存する Timeliness( 適時性 ) 他のデータとの照合しやすさとして Consistency( 一貫性 ) が含まれていることが特徴的です DAMA UKのレポートによるデータの品質に関する6つの主要基準基準説明品質が損なわれている例 Completeness ( 網羅性 ) Uniqueness ( 唯一性 ) Timeliness ( 適時性 ) Validity ( 正当性 ) Accuracy ( 正確性 ) Consistency ( 一貫性 ) 保存されているデータの割合は潜在的な全データに対して 100% 網羅していること特定された対象が 2 行以上にわたって記録されていないこと要求する時点の現実を表している程度定義されている構文規則 ( フォーマット型範囲 ) に正しく準拠していること記述している現実世界の対象やイベントを正確に表している程度データセット内データセット間で一つの定義に対して複数の表現等の相異がないこと部分的なデータ重複するデータレコード速報性がない調査データ低頻度の調査データ利用者のニーズに依存表記揺れ誤記入数値が入るべきデータ項目へのテキストの記入測定誤差の大きいレコードデータセット間の西暦と和暦の混在他のデータセットとの関係に依存出所 THE SIX PRIMARY DIMENSIONS FOR DATA QUALITY ASSESSMENT[DAMA UK] データの品質が悪ければデータ利用データ分析ができなかったり誤った出力が得られたりしますある側面でデータの品質が悪かったとしても利用目的によっては不都合がないケースデータクレンジングによって修正ができるケースもあります

品質の悪いデータによる社会的費用品質の悪いデータは大きな社会的費用を生んでいます 2016 年に IBM 社より公刊された書籍では

1 兆ドルと紹介しています出所 Data Engine for Hadoop and Spark(P4)[IBM] Http://www.redbooks.ibm.

html 品質の悪いデータが生み出す社会的費用は正しいデータが確認できないことによる機会損失データの廃棄や追加的な作業によるコスト不正確なデータ利用に基づくコスト

社会的費用には実際に支出した費用のみならずデータの品質が悪いことによって得られなかった潜在的な利益も含まれます正しいデータが分からないことで

品質の悪いデータがもたらす経営上のコストは組織の収益の 10~25% にのぼるヘルスケア部門における質の悪いデータによる費用は 3140 億ドル ( 31 兆 4000

12 品質の悪いデータによる社会的費用品質の悪いデータは大きな社会的費用を生んでいます 2016 年に IBM 社より公刊された書籍では品質の悪いデータがアメリカ経済に与えているコスト推定値は年間 3.1 兆ドルと紹介しています出所 Data Engine for Hadoop and Spark(P4)[IBM] 品質の悪いデータが生み出す社会的費用は正しいデータが確認できないことによる機会損失データの廃棄や追加的な作業によるコスト不正確なデータ利用に基づくコストが挙げられますアメリカにおける品質が悪いデータが生み出すコストに関するインフォグラフィック ( 翻訳 ) 3-1[2] データの品質と標準化クレンジング社会的費用には実際に支出した費用のみならずデータの品質が悪いことによって得られなかった潜在的な利益も含まれます正しいデータが分からないことである主要な小売業者が被った被害は年間 300 万ドル ( 3 億円 ) となっている典型的な IT 予算の 50% は使えない情報とその補修に費やされる品質の悪いデータがもたらす経営上のコストは組織の収益の 10~25% にのぼるヘルスケア部門における質の悪いデータによる費用は 3140 億ドル ( 31 兆 4000 億円 ) となっている * オリジナルのインフォグラフィックの値から 1 ドル =100 円にて換算質の悪いデータによるアメリカ経済へのコストは 3 兆ドル ( 300 兆円 ) であり 2011 年の財政赤字の 2 倍以上となっている出所 SOFTWARE AG のインフォグラフィックに基づき作成 12 平均的な会社は不正確なデータのために想定した受取人に届かない郵送料に毎年 18 万ドル (1800 万円 ) を費やしている

データ形式の標準化とデータクレンジングの重要性データ形式の標準化やデータクレンジングによってデータの品質を高めることができます 2015 年に総務省統計委員会から公表された報告書ではビッグデータ活用における課題としてデータクレンジング技術の高度化企業業界横断的にデータ形式の標準化を挙げていますデータ形式の標準化やデータのクレンジングによって

pdf ビッグデータ活用における課題 ( 品質の悪いデータに対する対応策 ) 対応策主な実施主体意味 3-1[2] データの品質と標準化クレンジングデータ形式の標準化は公的機関や業界等のコンソーシアムが形式を定めデータの提供者が実施する根本療法に相当しデータクレンジングは一般に分析者利用者自身が行う対処療法に相当します根本療法としてのデータの標準化の推進が重要である一方で

13 データ形式の標準化とデータクレンジングの重要性データ形式の標準化やデータクレンジングによってデータの品質を高めることができます 2015 年に総務省統計委員会から公表された報告書ではビッグデータ活用における課題としてデータクレンジング技術の高度化企業業界横断的にデータ形式の標準化を挙げていますデータ形式の標準化やデータのクレンジングによって品質の悪いデータによる社会的費用を軽減することができます出所公的統計におけるビッグデータの活用に関する調査研究 [[ 総務省 ( 調査委託先 : 株式会社 NTT データ経営研究所 )] ビッグデータ活用における課題 ( 品質の悪いデータに対する対応策 ) 対応策主な実施主体意味 3-1[2] データの品質と標準化クレンジングデータ形式の標準化は公的機関や業界等のコンソーシアムが形式を定めデータの提供者が実施する根本療法に相当しデータクレンジングは一般に分析者利用者自身が行う対処療法に相当します根本療法としてのデータの標準化の推進が重要である一方で対処療法としてのデータクレンジングの技術が必要なケースもありますデータ形式の標準化データクレンジングデータ形式の決定 : 公的機関業界等のコンソーシアム標準化の実施 : データ提供者分析者利用者定められた基準によってデータのファイル形式や変数名を統一し利用可能なデータレコードを抽出することによってデータの利用やデータセット同士の連結を容易にすることデータレコードの重複データ内の誤記表記の揺れなどを修正統一することでデータの品質を高めること品質の良いデータであっても利活用に適する形へのデータ整理抽出やデータ加工結合は必要でありデータクレンジングデータ抽出加工結合との技術はデータ分析者利用者にとって重要ですデータクレンジングデータ抽出加工結合といった分析前の一連の作業はデータの前処理 ( まえしょり ) とも言われます 13

データ形式の標準化政策日本政府ではデータ形式の標準化に関する政策を推進しています総務省の自治体クラウドポータルサイトでは地方自治体が保有するデータの標準化を推進するべく中間標準化レイアウト仕様を公開してます中間標準レイアウト仕様では住民基本台帳印鑑登録戸籍といった行政書類の標準フォーマットを公開しています

月に実施しましたレシートのデータを電子化標準化することで様々な商店ネットショッピングサイトの消費購買データを一括して取り扱うことができるようになります総務省 ( 自治体クラウドポータルサイト ) の中間標準レイアウト経済産業省の電子レシート実証実験用アプリ出所中間標準レイアウト仕様 [ 総務省 ] http://www.

14 データ形式の標準化政策日本政府ではデータ形式の標準化に関する政策を推進しています総務省の自治体クラウドポータルサイトでは地方自治体が保有するデータの標準化を推進するべく中間標準化レイアウト仕様を公開してます中間標準レイアウト仕様では住民基本台帳印鑑登録戸籍といった行政書類の標準フォーマットを公開しています地方自治体のデータ形式を標準化することで広域でのデータ連携住民の転居に伴うデータの移行をスムーズに行うことができます 3-1[2] データの品質と標準化クレンジング経済産業省では消費購買データの標準的なフォーマットを設定し電子化された買物レシート ( 電子レシート ) の標準仕様を検証する実証実験を 2018 年 2 月に実施しましたレシートのデータを電子化標準化することで様々な商店ネットショッピングサイトの消費購買データを一括して取り扱うことができるようになります総務省 ( 自治体クラウドポータルサイト ) の中間標準レイアウト経済産業省の電子レシート実証実験用アプリ出所中間標準レイアウト仕様 [ 総務省 ] 出所電子レシートの標準仕様を検証する実験を行います [ 経済産業省 ] html 14

15 データ形式の標準化ツール日本政府ではデータ形式を標準化するツールの開発公開を行っています経済産業省が設置し情報処理推進機構 (IPA) が事務局を担当する IMI( 情報共有基盤 ) では DMD Editor というデータ形式の標準化変換を行うウェブツールを提供しています IMI は [Infrastructure for Multilayer Interoperability( 情報共有基盤 )] の略であり DMD は [Data Model Description( データモデル記述 )] の略となっています DMD Editor はウェブサイトに csv や xlsx をアップロードすることで自動で RDF/XML JSON といったファイルに変換できます RDF/XML は講座 1-5 にて示した XML に外部からの特定リンクを可能とした規格であり講座 4-1 の機械判読への適性の 5 段階でも紹介します人間が作りやすく理解しやすい csv xlsx IMI( 情報共有基盤 ) の処理イメージ変換ツール XML 3-1[2] データの品質と標準化クレンジング RDF/XML データの内容構造を示す情報をファイルに含められる Web API において標準的なファイル形式災害被災者支援支援物資提供データ ( 二次元の表形式 ) 場所提供者支援物資提供状況小学校 NPO 飲料水提供中公民館株式会社米提供準備中 RDF/XML JSON 出所 IMI( 情報共有基盤 ) <ic: 場所 rdf:resource=" 小学校 "/> <ic: 状況型 > <rdf:description> <ic: 説明 - 単純型 > 飲料水 </ic: 説明 - 単純型 > {"@id":"_:b2", " 説明 - 単純型 ": [{"@value":" 飲料水 "}], " 名称型 ": [{"@id":"_:b4"}]}, 年 1 月決定のデジタルガバメント実行計画において日本政府は IMI を整備活用する旨が示されました出所デジタルガバメント実行計画 [e ガバメント閣僚会議 ] 15

16 データのクレンジングツール無償利用可能なデータクレンジングツールもありますが日本語への対応は不十分ですデータクレンジングを行うための無償利用が可能な英語版ソフトウェアとしてOpenRefineが挙げられます出所 OpenRefine 日本語は英語に比べても漢字表記や送り仮名の違い等の表記揺れが多く標準化 ( 名寄せ ) はより重要です住所表記会社表記のデータ形式の標準化 ( 名寄せ ) 例 3-1[2] データの品質と標準化クレンジング住所の表記揺れ霞ヶ関 1 丁目 1 番地霞が関 1 丁目 1 番地霞ヶ関 1 丁目 1 霞が関 1 丁目 1 霞ヶ関 1-1 霞が関 1-1 住所表記の標準化の取り組み例標準記載法の策定と公表標準記載名データベースの公表表記揺れの統一エンジンの公開住所表記の標準化例霞が関 1 丁目 Kasumigaseki 緯度 : 経度 : 住所の表記においてはヶとがの混在丁番地の表記が不統一となっている事だけでも一貫性が損なわれてしまいますソニー株式会社の表記揺れソニー株式会社 Sony 株式会社 SONY 株式会社 Sony 株式会社 SONY 株式会社ソニー ( 株 ) Sony( 株 ) SONY( 株 ) Sony( 株 ) SONY( 株 ) ソニー ( 株 ) Sony( 株 ) SONY( 株 ) Sony( 株 ) SONY( 株 ) ソニー Sony SONY Sony SONY 16 会社表記の標準化例ソニー株式会社 Sony Corporation 東証一部 6758( 電気機器 ) 設立年月日 1946 年 5 月 7 日日本人が見れば上記 16 種の企業表記は同一の企業だと分かりますが文字列が異なるためデータ集計時には異なる企業として扱われてしまいます法人マイナンバー ( 法人番号 ) を利用すれば正式な企業名を確認することができ同じ企業名が複数ある場合でも企業を特定することができます日本語のデータクレンジングは個々のケースに合わせて Excel やプログラミングで行っているケースが多くなっています講座 3-2 では Excel を用いて日本語の表記揺れの統一を含むデータクレンジングの実習を行います

17 データクレンジングの負担 3-1[2] データの品質と標準化クレンジングデータ分析においてデータクレンジングデータ整理は時間がかかり好まれない作業です 2017 年 2 月における世界のデータサイエンティスト ( データ分析者 )197 名に対する調査ではデータクレンジングを含むデータの前処理が最も時間を割いている業務と回答した者が過半の 53% となっていますデータサイエンティストがデータサイエンスの業務時間で最も時間を割いている業務 53% 19% 10% 9% 8% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% データ収集ラベル付けデータ分析のデータのアルゴリズムその他データクレンジングデータの整理モデル構築パターンの探索 ( 定式化 ) の洗練データクレンジングはデータサイエンティストの業務の中で最も楽しめない業務として挙げられていますデータサイエンティストが最も楽しめる業務としてデータ分析のモデル構築が挙げられていますデータサイエンティストが最も楽しめない業務 ( 最大 3つ ) 0% 20% 40% 60% 80% 100% データ収集ラベル付けデータクレンジングデータのパターンの探索データ分析のモデル構築アルゴリズム ( 定式化 ) の洗練トレーニングデータの構築その他 3% 3% 5% 14% 10% 48% 51% 60% データ収集 6% ラベル付け 1% データクレンジング 10% データのパターンの探索 65% データ分析のモデル構築 78% アルゴリズム ( 定式化 ) の洗練 61% トレーニングデータの構築 13% その他 3% 出所 2017 Data Scientist Report[CrowdFlower] に基づいて作成データクレンジングは労働時間の大部分を占めるとともに心理的な負担になっておりその軽減が課題となっています 17 データサイエンティストが最も楽しめる業務 ( 最大 3つ ) 0% 20% 40% 60% 80% 100%

18 3-1[3] データ分析の設計と分析に至るプロセス国内企業におけるデータ分析の実態国内企業では業務データを見える化するデータ分析の方法が最も多くなっています総務省の 2014 年度の委託調査によれば国内企業 4,672 社のうち 72% の 3,357 社がデータ分析を行っています本スライド下部の 2 種類のグラフはいずれもデータ分析を行っている 3,357 社が分母となっています分析に活用しているデータとして顧客データ経理データの割合が高くなっていますいずれも意図的に取得したデータではなく自然に集まる業務データとなっています分析に活用しているデータの割合 ( 複数回答 : 降順上位 5 位 ) 0% 20% 40% 60% データ分析の活用方法として最も割合が高いのはデータ分析による見える化 ( 可視化 ) の 67% です見える化 ( 可視化 ) とは図表作成などを行うことでデータを分かりやすく示すことを指していますデータ分析の活用方法 ( 複数回答 ) 0% 20% 40% 60% 80% 業務データ : 顧客データ 47% データ分析による見える化 67% 業務データ : 経理データ 46% データ分析による予測 47% 顧客等とのコミュニケーション : 電子メール 31% データ分析による自動化 11% 業務データ : 業務日誌データ 24% 自動取得 : アクセスログ 14% 分析結果は活用していない 15% 出所ビッグデータの流通量の推計及びビッグデータの活用実態に関する調査研究 [ 総務省 ( 調査委託先 : 株式会社情報通信総合研究所 )] に基づき作成自然に集まる業務データを活用し見える化 ( 可視化 ) して分かりやすく表すことが分析の第一歩となっています 18

より良いデータ分析の設計 3-1[3] データ分析の設計と分析に至るプロセスより良いデータ分析の設計として目的や分析課題を明確にすることが挙げられます私達はビジネスにおいても私生活においても様々な目的がありそれに対する意思決定 ( 選択 ) をしていますデータ分析を行うことで目的に対してより効果的な意思決定 ( 選択 ) を行うことができます

販売個数 ] は下がる関係にあるデータ分析によって売上総額を最大化するための [ 販売単価 ] を知りたい私生活の目的例 : ダイエット ( 減量 ) したいダイエットには [ 食事制限 ] と [ 運動 ] の両方に効果があるとされている [ 食事制限 ] と [ 運動 ] をどのように組み合わせることがダイエットに効果的かが分からないデータ分析によってダイエットに効果的な [

19 より良いデータ分析の設計 3-1[3] データ分析の設計と分析に至るプロセスより良いデータ分析の設計として目的や分析課題を明確にすることが挙げられます私達はビジネスにおいても私生活においても様々な目的がありそれに対する意思決定 ( 選択 ) をしていますデータ分析を行うことで目的に対してより効果的な意思決定 ( 選択 ) を行うことができます必ずしも自分自身でデータ分析を行う必要はなくデータ分析を依頼することも公表されている分析結果のみを確認することもありますデータ分析を行わない人や場合においてもまずは定量的なデータや指標を確認する姿勢が重要ですビジネスの目的例 : 売上総額を上げたい売上総額は [ 販売単価 ] [ 販売個数 ] で構成されている [ 販売単価 ] は企業が決められるが [ 販売単価 ] を上げれば [ 販売個数 ] は下がる関係にあるデータ分析によって売上総額を最大化するための [ 販売単価 ] を知りたい私生活の目的例 : ダイエット ( 減量 ) したいダイエットには [ 食事制限 ] と [ 運動 ] の両方に効果があるとされている [ 食事制限 ] と [ 運動 ] をどのように組み合わせることがダイエットに効果的かが分からないデータ分析によってダイエットに効果的な [ 食事制限 ] と [ 運動 ] の組み合わせを知りたいあらかじめ何をしたいのか?( 目的 ) や何を知りたいのか?( 分析課題 ) を明確にすることで意思決定 ( 選択 ) に反映できるデータ分析の方針を定められるとともに効率的に分析作業ができますデータが手元にありつつもデータ分析の目的や分析課題を明確にしにくいケースにおいては見える化 ( 可視化 ) によってデータをく図表に表し実態や外れ値を確認することで高度な分析へのヒントが得られるケースもあります 19

本格的なデータ分析に至るプロセス ( 工程 ) 本格的なデータ分析に至る前にはいくつかのプロセス ( 工程 ) がありますデータ分析を行う際の目的や分析課題には様々なケースが考えられます

生産機械の最適なメンテナンス時期の把握顧客満足度が増減する要因の特定 3-1[3] データ分析の設計と分析に至るプロセス定性的には当たり前のことであっても

平均本の販売量という定量的な関係はデータ分析を行わないと把握できません分析結果例気温 1 度の上昇につき平均 12 本の販売量増加気温 30 度の平均販売量は 123 本

20 本格的なデータ分析に至るプロセス ( 工程 ) 本格的なデータ分析に至る前にはいくつかのプロセス ( 工程 ) がありますデータ分析を行う際の目的や分析課題には様々なケースが考えられます目的の設定最適な仕入れ量の設定購入機材の選択生産費用の削減顧客満足度の向上目的分析課題の設定例分析課題の設定環境と売上の関係を定量的に測定各機材の費用対効果を測定生産機械の最適なメンテナンス時期の把握顧客満足度が増減する要因の特定 3-1[3] データ分析の設計と分析に至るプロセス定性的には当たり前のことであっても定量的な関係な測定が分析課題となることもあります気温が上がれば冷たい飲み物の販売量が増加することは感覚的定性的に当たり前ですが気温 1 度の上昇につき平均本の増加気温度において平均本の販売量という定量的な関係はデータ分析を行わないと把握できません分析結果例気温 1 度の上昇につき平均 12 本の販売量増加気温 30 度の平均販売量は 123 本本格的なデータ分析の前には目的の設定分析課題の設定に続く一般的なプロセス ( 工程 ) があります目的の設定分析課題の設定 ( 追加的な ) データ収集設定クレンジングデータ加工データ結合可視化基本統計量の確認 ( 本格的な ) データ分析 20

21 目的課題に基づく ( 追加的な ) データ収集設定目的課題ありきの分析では追加的なデータ収集や仮設定を検討することができます目的や分析課題が明確になっている目的分析課題ありきの方法では手元にないデータ項目があっても追加的な収集や外部からの提供を検討することができます追加データを入手するには費用や労力がかかるためデータ取得自体の費用対効果も検討する必要があります 3-1[3] データ分析の設計と分析に至るプロセス目的分析課題ありきの方法と手元にあるデータからできることを考える方法の比較目的分析課題ありきの方法効率的な分析作業となりやすいストーリー実益のあるレポートとなりやすい不足データの入手や設定を検討できるゴール手元にあるデータからできることを考える方法効率的な分析作業となりにくいストーリー実益のないデータ集になりやすい不足データは検討言及できないスタート入手できないデータ項目がある場合でも近似値や仮定による設定を与えて分析をするケースもあります利用可能なデータが利用したいと時点や地点と乖離しているなど近似値のデータしか入手できないケースもあり得ます近似値のデータしか利用できないなどデータの品質が悪いケースでも利用データの注意点を記載すれば分析レポートとして提出公表することができます実際のデータ分析においては万全の品質のデータが揃っていることは稀です品質の悪いデータを利用しても分析結果には大きな影響がないケース品質の良いデータの収集のきっかけになるケースもあります 21

22 データクレンジングデータ加工データセットの結合必要に応じてデータクレンジングデータ加工データセットの結合を行います重複レコードや表記揺れがあればそれらを修正補正するデータクレンジングを行います構造化データにおけるデータセットの結合は同種のデータを追加し行 ( データレコード ) が増加するアペンド (append) 型と外部データとの照合などによって列 ( 変数 ) を追加するマージ (merge) 型に分かれますアペンド型のデータ結合は特定の県のデータに比較対象としての他県のデータを追加するなど同じ変数でデータレコードを追加し比較する範囲を広げるデータ結合ですマージ型のデータ結合は特定の県の人口のデータに可住地面積のデータを加えるなど新たな変数を追加し新しい視点を与えるデータ結合です都道府県人口 ( 万人 ) 神奈川県 913 静岡県 370 アペンド型のデータ結合マージ型のデータ結合 [3] データ分析の設計と分析に至るプロセス分析対象データの抽出や生年データから年齢データへ変換するなど必要なデータ加工があれば行いますデータ結合の事例 ( アペンド型マージ型 ) 都道府県人口 ( 万人 ) 神奈川県 913 静岡県 370 愛知県 748 行 ( データレコード ) の追加都道府県人口 ( 万人 ) 可住地面積 (km 2 ) 神奈川県 913 1,471 静岡県 370 2,749 Excel の VLOOKUP 関数を利用したマージ型のデータセットの結合は講座 3-2 にて紹介します列(変数)の追加

23 データの可視化基本統計量の導出 3-1[3] データ分析の設計と分析に至るプロセスデータの可視化や基本統計量を導出することでデータの全体像および外れ値を確認します本格的なデータの分析を行う前にグラフ等で視覚的にデータの状態を確認するデータの可視化によってデータの全体像や外れ値を把握します突出した外れ値は観測エラーや記入ミスとして除外すべきケースもあれば現実の突出した値を示し価値ある分析の糸口となるケースもあります各変数の代表的な値バラツキに関する指標最大値最小値などの基本統計量を算出しデータの特徴を概観します ( 人 ) グラフによるデータの可視化点 2 点 3 点 4 点 5 点 6 点 7 点 8 点 9 点 10 点基本統計量の導出基本統計量平均値 5.23 最頻値 6 第 1 四分位 4 中央値 ( 第 2 四分位 ) 5 第 3 四分位 7 最小値 1 最大値 10 分散 4.18 標準偏差 2.04 Excel におけるデータの可視化については講座 3-2 基本統計量の導出については講座 3-3 で説明します 23

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション総務省 ICTスキル総合習得教材概要版 eラーニング用 [ コース1] データ収集 1-5:API によるデータ収集と利活用 [ コース1] データ収集 [ コース2] データ蓄積 [ コース3] データ分析 [ コース4] データ利活用 1 2 3 4 5 座学本講座の学習内容 (1-5:API によるデータ収集と利活用 ) 講座概要 API の意味とイメージを主に利用しているファイル形式と合わせて紹介します