RDBでCDB

Size: px

Start display at page:

Download "RDBでCDB"

かずまさひめい
5 years ago
Views:

1 RDB で CDB 山ノ内

2 自己紹介名前山ノ内祥訓 ( よしのり ) 年齢居所会社主なお仕事 30 歳になったばかり (8 月 29 日生まれなので ) 熊本県熊本市内にある KIS という会社です電子カルテなどなど医療関連のシステム導入をメインでやっている SI の人たまにインフラの構築とか開発とかをやってることもあり最近他県への遠征多し

3 今日のお話最近クラウドとかの話で出てくる Google の Bigtable について興味があったのでいろいろ調べていたらもしかして普通の DB で近いものがつくれるじゃね? と何を間違ったか思ってしまった結果どんなものができたかを紹介します

4 そもそもなんでこんなことをやってみようと思ったのか医療関係のデータ ( 特に患者属性情報 ) を効率よく扱いたい時系列的に把握が必要なデータが多い身長体重バイタル薬歴検査歴などほぼ全てのデータは履歴管理が必要でもそのために行データを複製する? ほとんどの場合キー検索にしかならないデータ構造患者 ID+ 日付の検索で事足りることが多い外にデータを持つという部分についての問題診療情報を外に保存するのはと ~ ってもハードルが高い

5 まずはおさらい RDBMS についてデータ構造として行と列の 2 次元のテーブルをもちます正規化により関連付けられた複数のテーブルへデータを分割して格納しますデータの管理および操作には SQL を使用します患者患者番号患者名性別生年月日検査歴検査番号患者番号検査日診療科検査種別検査歴詳細検査番号結果項目結果値 HL 区分 SELECT TH. 検査番号,TH. 検査日,TH. 診療科,TH. 検査種別,TH. 患者番号, P. 患者名,TD. 結果項目,TD. 結果値,TD.HL 区分 FROM 検査歴 TH, 検査歴詳細 TD, 患者 P WHERE TH. 検査番号 =TD. 検査番号 AND TH. 患者番号 =P. 患者番号

6 Bigtable について Google の Web サービスで使用している分散データベースのことです数百 ~ 数千台のサーバを並列に動かしてペタバイト (10^15) クラスのデータを扱っているそうです去年からこの DB は Google App Engine (GAE) として一般ユーザも使用できるようになりました Bigtable のデータモデルや構造についてはで論文を読むことができますのでこれを手がかりに進めていきます ( ちなみに英語なので )

7 Bigtable の特徴全体的な構造としては RDBMS と同じ行と列で構成されていますただし列は行ごとに変えることができますデータ (Cell というらしい ) はバイト配列で格納されます全てのデータはタイムスタンプを持っているためバージョン管理されます KVS としては行キー (RowKey)+ 列キー (ColumnKey)+ タイムスタンプ (Timestamp) をキーとして扱いますひとつのカラムに対して複数の子要素を指定できます (ColumnFamily) SQL はサポートされていません contents author : en author author : ja <html>... <html>... <html>... wankuma わんくま同盟

8 Bigtable の特徴 2 行データのかたまり (Tablet) ごとに分けてから各サーバに格納されますかたまりの大きさは 100~200MB データが入った Tablet を束ねるのが METADATATablet で全ての METADATATablet の管理情報を持っているのが RootTablet クライアントは積極的に METADATA をキャッシュすることが求められているみたい Root Tablet METADATA Tablet 1 METADATA Tablet M UserTablet 1 UserTablet 2 UserTablet N

9 今回の環境について今回使った環境はデータベース PostgreSQL 開発環境 VisualStudio2005 C#(.NET2.0)

10 なんでポスグレ日本医師会総合政策研究機構 ORCA プロジェクトここでオープンソースとして提供されている医療事務システムである ORCA が使用しているデータベースが PostgreSQL なんでこれと同居できるようにしていますちなみに ORCA は Linux(Debian) で動きますよついでにいうと言語は COBOL ですあとクライアントは Java 版があるんで Windows でも OK です

11 全体構成についてサーバ側 1 台のサーバに PostgreSQL データベースを全部で 3 つ作成します Master データベース (RootTablet と METADATATablet) 1 Tablet データベース ( 実データが格納される UserTablet) 2 PostgreSQL サーバ Master Tablet01 Tablet02

12 クライアント側 DAO レイヤ全体構成について実際にデータベースとやり取りを行うためのロジックがおいてあるところです今回は接続先のデータベースは3つ固定としますモデルレイヤデータベースに格納したデータのエンティティモデルとCRUD 用のロジックがおいてあるところです UIレイヤユーザインターフェース用のフォームやテストコードなどがおいてあるところです UI モデル DAO EntityObject EntityObject SQL

13 エンティティモデル今回のエンティティモデルは患者属性情報をつかいます住所電話番号患者 1:N メールアドレス保険感染症アレルギー

14 Tablet テーブルテーブル構造 1 RowKey ColumnName ColumnIndex SubColumnName TimeStamp StartDate EndDate Value UpdateDate UpdateOperator UpdateTerminal text text int text timestamp date date text date text text Bigtable と異なるところ 1) 期間のデータを扱うためタイムスタンプとは別に開始日終了日を加えています 2)ColumnFamily としての子要素に対応するため ColumnIndex と SubColumnName を追加しました PrimaryKey は RowKey+ColumnName +ColumnIndex+SubColumnName +TimeStamp としました 3) 誰がいつどこから更新したか確認できるように更新日時更新者更新端末を追加しました

15 METADATA テーブルテーブル構造 2 RowKey TabletServerId VersionNo text text bigint Bigtable と異なるところ 1)RootTablet と METADATATablet は一緒にしました 2) 行キーごとに格納している Tablet サーバの位置を保存します 3) トランザクションのロック更新用の VersionNo を持っていますこのカラムは更新ロック時にインクリメントしていきます

16 エンティティとテーブルの対応 RowKey Column Name Column Index Sub ColumnName 患者のインスタンス 1 対 1 患者の各プロパティ 1 対 1 住所電話番号メールアドレス保険感染症アレルギーのインスタンス住所電話番号メールアドレス保険感染症アレルギーの各プロパティ 1 対 1 1 対 1

17 トランザクションの実装クライアント A Update Tablet 1RowData Update クライアント B データベースが行単位のロック機構の場合データの整合性が取れなくなる可能性がある!!

18 トランザクションの実装クライアント A Update Tablet 1RowData クライアント B Update METADATA に更新ロック (VersionNo=VersionNo+1) METADATA Tablet のデータ更新 Tablet のコミット METADATA のコミット

19 新患登録 < 処理の概要 > METADATA に管理情報を追加しますこのときどの Tablet にデータを格納するかは各 Tablet のデータ数で決定します今回は 2 サーバとなるので交互にデータが登録されていく形となります患者情報オブジェクトから Tablet 更新用オブジェクトを生成して DAO へ引き渡します DAO は更新オブジェクトから INSERT 文を生成してデータベースに登録します

20 患者情報取得 < 処理の概要 > 患者番号が RowKey となるので METADATA を患者番号で検索し該当キーがどの Tablet にあるか取得します Tablet の位置を特定したらその Tablet に対して RowKey と対象日で検索してデータを取得します ColumnName ColumnIndex SubColumnName と患者情報オブジェクトのプロパティをチェックしてオブジェクトにセットできるデータだけセットします患者情報オブジェクトを返します

21 患者情報更新 < 処理の概要 > 患者番号で METADATA を検索して該当キーが含まれている Tablet の位置を取得します更新対象のカラムデータを取得してそれぞれのカラムに対して変更データのチェックと既存データの開始日終了日の調整を行いますデータ追加や更新が発生した場合は Tablet 更新情報オブジェクトを生成して DAO へ引き渡します DAO は更新オブジェクトから INSERT または UPDATE 文を生成してデータベースを更新します

22 患者情報削除 < 処理の概要 > 患者番号で METADATA を検索して該当キーが含まれている Tablet の位置を取得します Tablet の患者情報を削除するオブジェクトを生成して DAO へ引き渡します DAO は更新オブジェクトから DELETE 文を生成してデータベースから削除します METADATA から患者番号を削除します

23 患者リスト取得 < 処理の概要 > 検索フィルタに格納された ColumnKey と条件値で全 Tablet に対して RowKey を取得するための SQL を発行します各 Tablet の結果をマージしますまた複数条件の場合に重複した RowKey があったときは除外しますマージされた結果をもとに患者情報取得メソッドを実行して患者リストを取得します

24 今後やってみたいことデータの再配置マルチスレッド化読み込みプロパティの限定

25 データの再配置 Tablet01 Tablet02 Tablet01 Tablet02 Tablet03 Tablet04 Tablet03 Tablet04 よく使うデータ Or 今後使用予定のデータ新規追加用今後あまり使用しないと思われるデータ

26 マルチスレッド化 Tablet01 読み込み Tablet02 読み込み Tablet03 読み込み Tablet04 読み込みマージ処理

27 読み込みプロパティ限定患者基底一覧表示用禁忌チェック用患者 DAO 必要なプロパティのみ定義全プロパティ定義

28 という感じで今後もちまちまとやっていきたいと思っていますご静聴ありがとうございました

PowerPoint Presentation

PowerPoint Presentation Webデザイン特別プログラムデータベース実習編 3 MySQL 演習, phpmyadmin 静岡理工科大学総合情報学部幸谷智紀 http://na-inet.jp/ RDB の基礎の基礎 RDB(Relational DataBase) はデータを集合として扱うデータの取り扱いはテーブル (= 集合 ) の演算 ( 和集合, 積集合 ) と同じデータベースには複数のテーブルを作ることができる