重症度スコアの評価

Transcription

1 1 重症度スコアの評価 2017 年 2 21 慈恵 ICU 勉強会 貴久

2 2 参考 献 臨床研究の教科書 医学書院 診断法を評価する 健康医療評価研究機構 マンガでわかる統計学 [ 回帰分析編 ] オーム社 Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD): The TRIPOD Statement Ann Intern Med 2015;162:55-63

3 3 p 重症度スコアとは? p 重症度スコアの意義 p 重症度スコアはどうやって作られる? p 重症度スコアの信頼性の評価 法

4 重症度スコアとは? 4 RR Lac BP PaO 2 Hb HR BT WBC Clinical Prediction Rule Prognostic model Diagnostic model

5 5 重症度スコアとは? 集中治療領域における最初の重症度スコアは 1974 年に発表された Therapeutic Intervention Scoring System Crit Care Med 1974; 2: ただし治療強度の測定に主眼が置かれており 死亡予測能についての 及が 分ではないため今 ではほとんど いられない 近年では APACHE(I~IV), SAPS(I, II, 3) に代表される重症度スコアが開発され 死亡をはじめとする転帰の予測に いられている

6 集中治療に関連する重症度スコア 6

7 7 Critical Care 2010; 14: 集中治療領域における重症度スコアの種類 使い についてのレビュー p 予後予測 p 臓器障害の評価 p 看護師の仕事量 の三種類に分けて解説されている

8 予後予測スコア 8 Ø 院内予測死亡率を算定できる Ø 院内予測死亡率 患者個 が死亡する確率

9 臓器障害のスコア /5/17 慈恵 ICU 勉強会より

10 看護師の仕事量のスコア 10 NAS(Nursing activities score) 看護師の仕事量 ( 時間ベース ) をスコア化したもの 必要 員の予測やスタッフ配置の 安とすることを 的としている その後の研究でスコアの 値と死亡との関連が された Intensive Crit Care Nurs 2008: 24;

11 11 重症度スコア使ってますか? あまりなじみがないし 意識することはない 研究に使うものでしょ? 治療 針に影響しないし

12 12 重症度スコアの意義 常的に重症度スコアを算出しながら診療を うことはほとんどない 実際にアメリカの10-15%( 患者数ベース ) のICUでしか使 されていない CHEST 2012; 141: 予後の予測が診療内容に影響を及ぼさないから?

13 ICU での診療における重症度スコアの使 13

14 /5/17 慈恵 ICU 勉強会より

15 癌の予後予測 15 IPSS-R(Revised-International Prognostic Scoring System) MDS の予後予測スコア遺伝 型 球数などでリスクを分類 存期間中央値は very low で約 8 年 very high で 1 年未満 Blood 2012: 120;

16 重症度スコアは ICU での治療内容に影響を与えない? 16 重症度スコアの点数に応じて治療内容を変更するだろうか? 例えば Ø APACHE II で重症度が いと判断し 介 を変えた Ø RRT 導 となる危険性が いため腎保護を強化した

17 17 Ann Intern Med 2006; 144: 臨床における clinical prediction rule(cpr) の扱い について解説 治療 針の決定において 常に有 なツールとなり得るが 治療効果への影響についての解析はほとんどないと述べられている 今回集中治療に関連する CPR のアウトカムへの影響を検討した 献を探したが つからなかった

18 18 BMJ 2009; 338: b375. 予後予測の研究の意義 法について解説 スコアの使い として 1 治療 針設定の基準 2 臨床研究の適切な対象の選択基準 3 施設間の治療成績の 較 が挙げられている

19 19 患者および関係者への説明 予後を予測することで医療者 患者間での共通認識をつくり 意思決定を円滑化する 例えば Framingham cardiovascular risk score を基にに脂質異常症や 圧症の治療を う SAS の重症度分類に基づいて夜間 CPAP を導 する

20 臨床研究の指標として 20

21 21 N Engl J Med 2013;368: 的 ICU の夜間のスタッフ配置についての検討 法 夜間に集中治療専 医を配置した場合とレジデントを配置して専 医が電話対応した場合の ICU 在室期間を 較 結果 両群の在室期間に差はない APACHE III score にも差がない

22 22 ü いずれかの群に 偶然に重症度が い患者が多く含まれてしまう可能性がある ü そのために誤った結果が導出されることがないように重症度を数値化し 調整が われる ü 重症度の算定が正確でなければ 患者特性の前提が崩れることとなる

23 23 重症度スコアができるまで 1 結果 転帰を 的変数 要因を説明変数として単変量解析を い 候補因 を選定 2 候補因 を出し れしながら多変量解析を いロジスティック回帰モデルを作成する 3 ロジスティック回帰モデルにおける回帰係数 ( 結果と因 の関連の強さ ) を元にスコアを作成する

24 24 ロジスティック回帰モデル 結果の起こる確率を説明変数と 関連の強さを す回帰係数から算出する式 ロジット β 0 : 切 βn: 回帰係数 Xn: 説明変数 β 0 + Ann Intern Med 2015;162:55-63 スコアは使いやすいように 回帰係数を整数化したもの

25 A Simple Clinical Predictive Index for Objective Estimates of Mortality in Acute Lung Injury 25 Crit Care Med 2009; 37: 的 ALI 患者の院内死亡率の予測スコアの作成 デザイン ALVEOLI trial のデータの 2 次解析 法 414 のデータからロジスティック回帰分析で予測モデルを作成し 459 のデータで検証を う

26 結果 26 解析の結果四つの因 が抽出され 上記のように重みづけがされた

27 27 検証結果 AUROC=0.72 Hosmer-Lemeshow goodness of fit test for the custom model in the development and validation cohort showed no evidence of inadequate fit

28 28 理想的なスコアとは? ü ある結果が 起こる か 起こらない かを確実に予測できる ü ある結果が起こるリスクの 低を層化し 確率を正確に算定できる

29 29 Discrimination( 識別能 ) ある結果が起こる と起こらない を識別する能 あるリスクと結果について検討するとき その結果が起こった 全員が起こらなかった 全員より いリスクを有していた場合 最 の識別能と評価される ( 感度 特異度ともに 100%) スコアの感度 特異度はカットオフ値によって変化

30 30 AUROC (Area Under Receiver Operating Characteristic) 感度を縦軸 1- 特異度 ( 偽陽性率 ) を横軸にとる ROC 曲線の下 積として求められる 元はレーダーが 機と他の 物を識別する能 の評価 法として開発 or

31 31 曲線が左上に近づく = 感度を めても偽陽性率が上がらない = 識別能が い AUROC は 0.5~1 の値をとる 0.5( 直線となる ) の時 結果とスコアの値には全く関連がない AUROC 識別能 0.7> poor 0.7~0.9 good 0.9< excellent Blood Purif 2015;39:246-57

32 /5/17 慈恵 ICU 勉強会より

33 33 Circulation 2007; 115: p CPR 研究における AUROC の意義や解釈の仕 について解説 p AUROC(= 識別能 ) はある結果が起こるか否かを分ける能 p どの程度の危険因 を持つ集団で ある結果が起こる確率を算定する精度を表すものではない p AUROC のみでは CPR の評価として不 分

34 34 管イベント発 の予測スコアから項 を出し れして識別能を検討 相対危険度の い項 を出し れしても識別能に 差がない

35 35 Calibration 作成した予測モデルの 集団における適合度 ある集団における予測と実際の結果がどれだけ 致するかを す 重症度 低 における予測死亡率 X% 実際の死亡率 Y%

36 36 Hosmer-Lemeshow 検定 作成されたロジスティック回帰モデルが 集団での結果をどれだけ正確に予測するかの検定 予測確率を算出し 各群が同数となるように確率によって 10 群に分割 それぞれの群における予測確率と実際の確率について χ² 検定で適合するかの有意確率を計算

37 37 帰無仮説が モデルが実際の結果に適合する であるため 有意である = 適合しない サンプル モデルによる確率の予測 確率によって 10 群に分割 予測の確率 実際の確率 モデルが実際の結果に適合するか検定

38 38 Hosmer-Lemeshow 検定の 点 サンプル数の多寡に結果が左右される可能性がある p サンプル数が多い 有意である ( 適合しない ) p サンプル数が少ない 有意でない ( 適合する ) と判定されやすい 尤度 や正判別率などの当てはまりを す他の尺度と結果が必ずしも 致しない 東京情報 学研究論集 2004: 8; 9-14

39 39 Likelihood ratio ( 層別尤度 ) Crit Care Med 2009; 37: 尤度 を重症度の層ごと = 点数別に表している 各点数において死亡者が 死亡者 = 存者の何倍いるのかを す

40 40 Internal validation スコア作成の元となった 集団のデーを使 するモデルの検証 Ø Split-sample validation Ø Cross-validation Ø Bootstrap validation などの種類がある

41 41 Split-sample validation 収集したデータの 部をモデル作成に 部を検証にあてる 法 モデル作成 のデータと検証 のデータは重複してはならない 全体のデータ モデル開発 データ 検証 データ

42 Cross validation 42 ランダムに 10 等分したデータのうち 9 群のデータでモデルを開発 残りの 1 群のデータで検証を う 10 群すべてを検証 データとして いて 10 回同様の作業を い 10 回の平均を求める モデル開発 検証 10

43 Bootstrap 法 元の集団全体から予測モデルを作成 検証する 2. 元の集団からランダムに重複を許して同数のサンプルを抽出 3. このサンプルから新しい予測モデルを作成して 元の集団で検証 4. 元のモデルを抽出したサンプルで検証し 3 と 4 の差を optimism として算出 を 100 回以上繰り返す 6. Optimism の平均を 1 の検証結果から差し引く 抽出

44 44 重症度スコアを信頼できるのか? Internal validation が われていても ある 集団でのデータから作成されたもの スコア作成の元となった 集団においては overfitting の可能性がある 他の 集団での重症度として当てはめてよいのか?

45 External validation 45 スコア開発に使われたサンプルとは全く別の集団における転帰の予測性能を検討する 通常は元のサンプルと同様の転帰をたどる可能性が い集団が選択される 地域 時間 もしくはその両者が異なるサンプルを いる Overfitting が解消されるため 低い精度が される傾向にある

46 46 Crit Care Med 2011; 39: 的 ARDS network が開発した ARDS の死亡率予測スコアの external validation 法 年に 13 の ICU に 室した ALI と診断された患者のデータを いて予測精度を検証 識別能は AUROC Calibration は実際の死亡率と予測死亡率の直接 較

47 結果 47 A: 院内死亡率 B:28 死亡率 AUROC= 0.68 AUROC= 0.64 Intermediate risk 群での予測が正確でないと結論

48 重症度スコア間の 較 48 CHEST2012; 142 : 的 各重症度スコアの精度の 較 院初 の DNR status の有無の精度への影響の検討 法 単施設の中の三つの ICU に 室した患者 2596 のデータで 4 種類のスコアの精度を検証識別能は AUROC Calibration は Hosmer-Lemeshow 検定

49 結果 ROC 曲線 49 識別能は APACHE III が最も いがスコア間の有意差は認められなかった いずれも AUROC は良好だが Hosmer-Lemeshow 検定では帰無仮説が棄却された = モデルがサンプルに適合しない

50 メタ解析 50 CABG 術後 30 までの死亡率を予測する EuroSCORE を例にメタ解析の 順について解説 22 の external validation study から解析 BMJ 2017; 356: i6460. calibration の検証の 法がばらばらであったため 後から算出が可能な O:E ratio を calibration に いている O:E ratio= 実際に観察死亡率と予測された死亡率の で calibration が良好と記載

51 51 モデルの修正 External Validation によってスコアの精度が低いと判断された場合 より精度の いモデルにアップデートが われる 新しいサンプルにおいて識別能 calibration のどちらに問題があったかでアップデートの 法が異なる

52 モデルの修正 52 1 回帰モデルの切 の調整 2 1+ 回帰係数の調整 3 2+ 新たなサンプルでの より強い予測因 に重みを加える 4 2+ 予測因 の追加 5 新たなサンプルのデータから すべての予測因 の回帰係数を変更する 6 5+ 予測因 の追加 12 は calibration 3-6 は識別能を向上させる

53 53 Intensive Care Med 2009; 35: 的 SAPS 3 のオーストラリアでの ICU における予測精度の検証 法 22 の ICU に 室した患者のデータを前向きに収集し その中での SAPS 3 の識別能 calibration について検証識別能は AUROC Calibration は Hosmer-Lemeshow 検定

54 結果 54 識別能は良好だが 当てはまりが不 分 予測死亡率 SAPS 3 の各因 の重みは変えずに回帰係数と切 を変えることで当てはまりが向上

55 まとめ 55 重症度スコアは複数の予測因 を数値化して組み合わせた clinical prediction rules(cpr) の 種 Diagnostic model と べると実際に臨床の現場で使 される場 は限られる 重症度の評価は臨床研究の信頼性の根幹を担うものであり 正確に わなければならない 重症度スコアの精度は識別能 (discrimination) と calibration に分けて考える必要がある

56 まとめ 2 56 識別能は AUROC calibration は Hosmer- Lemeshow 検定で評価されることが多い 重症度を層別化して予後を予測するスコアでは calibration は極めて重要 スコア作成の元となったサンプルでの検証では精度が過 評価される可能性があり 独 したサンプルでの検証が必要 External validation の結果から スコアをより精度の いものに修正することができる

57 57 私 同じ CPR でも結果の有無の識別を主 的とする diagnostic model とは きな違いがあると感じた Calibration を評価する 法は 献によってまちまちであり 信頼性についての結論は出せなかった 実際に Excel や SPSS でデータの扱い を学習して解析についての理解を深めたい

58 58 今後の研究について AKI の多施設観察研究 JAKID が進 中 現在症例のリクルートは終了し 転帰を追跡中 3 に転帰の追跡が終了 チェックが終了する 6 以降にデータを扱えるようになる このデータでの AKI の重症度スコアの external validation を計画

59 59 Blood Purif 2015; 39: イタリアの AKI データベースを基に開発された RRT 導 を予測するスコア Cox 回帰分析によってモデルが作成されているため更なる勉強が必要

60 PLoS One 2017: 12 60