Computerization of Surgeries Yoshikazu Nakajima / Professor and the Director, Dept. of Biomedical Information, Tokyo Medical and Dental University (TMDU) Email: nakajima.bmi@tmd.ac.jp Medicine meets Computer Science High-dimensional medical image scanning Organ recognition, disease detection and therapy planning using statistically described deformable human models 013026 生体医工学 生体イメージング Standing-position CT scan Artificial-joint 4D tracking Planning software Electric medical record system Automatic surgical planning Organ part recognition and analysis 東京医科歯科大学生体材料工学研究所中島義和 3D quantitative endoscopy Surgical procedure Multi-media database and medical IoT platform Intuitive surgical-information visualization based on AR/PM and robotic technologies Augmented reality(ar) and projection mapping(pm) in surgical navigation A novel database unifiedly identifying, combining, and processing multimedia data and programs Body-mounted compact surgical robot 講義資料コンテンツの転載ならびに再利 用禁止 Inspection (( 非破壊 ) 検査 ) 生体イメージング 外的要因 外的要因 2005 年 1 月 5 日ツタンカーメンの CT スキャン 反応 ( 信号 ) 反応 フィルタ 信号 2010 年 11 月 27 日空港保安検査に全身 X 線スキャナ導入 2012 年 03 月 27 日福島原発第一 2 号機格納容器検査 1
主な医用画像モダリティ X 線透視画像撮影装置 X-ray, Roentgen Digital Subtraction Angiography (DSA) X-ray Computed Tomography (CT) Magnetic Resonance Imaging (MRI) Ultrasonic Diagnosis (US) Endoscope Microscope Positron Emission Tomography (PET) Single Photon Emission CT (SPECT) 形態画像 X 線磁場超音波光陽電子 単一光子機能画像 一般 X 線撮影装置 心臓カテーテル X 線撮影装置 術中 X 線撮影装置 (C-Arm) 放射線 放射線の透過能力 放射線は 高いエネルギーをもった高速の粒子 ( 粒子線 ) や電磁波 + - ( 光子 ( 電磁波 )) エックス (X) 線 原子核 中性子線 ( 中性子 ) 原子 文部科学省制作中学生のための放射線副読本 知ることから始めよう放射線のいろいろ より抜粋引用 文部科学省制作 中学生のための放射線副読本 知ることから始めよう放射線のいろいろ より抜粋引用 2
Elementary particles ( 素粒子 ) 放射性崩壊 Fermions Bosons 物質をつくる素粒子力を与える素粒子質量を与える素粒子 (Scalar boson) 反ニュートリノ 16 N ベータ粒子 + 反電子ニュートリノ (β - 崩壊 ) 陽電子 + 電子ニュートリノ (β + 崩壊 ) (Force bosons) Z 0 Credit: http://ja.wikipedia.org/ Interactions among elementary particles W +, W - 16 O Credit: http://en.wikipedia.org/ http://rcwww.kek.jp/kurasi/page-1.pdf より抜粋引用 放射線 放射線の透過能力 放射線は 高いエネルギーをもった高速の粒子 ( 粒子線 ) や電磁波 ( 光子 ( 電磁波 )) エックス (X) 線 原子核 中性子線 ( 中性子 ) 原子 文部科学省制作中学生のための放射線副読本 知ることから始めよう放射線のいろいろ より抜粋引用 文部科学省制作 中学生のための放射線副読本 知ることから始めよう放射線のいろいろ より抜粋引用 3
アルファ崩壊 中性子 2 個と陽子 2 個から成るアルファ線を放出 原子番号が 2 質量数が 4 小さい原子核に変化 ベータ崩壊 原子核に対して 1 個の電子または陽電子が出入りする 質量数は変化せず 原子番号が 1 増減 http://rcwww.kek.jp/kurasi/page-1.pdf より抜粋引用 http://rcwww.kek.jp/kurasi/page-1.pdf より抜粋引用 ガンマ線放射 放射性崩壊で生まれる娘核種 電磁波の放出 原子番号 質量数は変化しない http://rcwww.kek.jp/kurasi/page-1.pdf より抜粋引用 http://rcwww.kek.jp/kurasi/page-1.pdf より抜粋引用 4
電磁波 放射能と放射線の違い 文部科学省制作 中学生のための放射線副読本 知ることから始めよう放射線のいろいろ より抜粋引用 文部科学省制作 中学生のための放射線副読本 知ることから始めよう放射線のいろいろ より抜粋引用 放射能 放射線強度の単位 半減期 文部科学省制作 中学生のための放射線副読本 知ることから始めよう放射線のいろいろ より抜粋引用 http://rcwww.kek.jp/kurasi/page-1.pdf より抜粋引用 5
放射能の半減期 X 線発生のしくみ X 線管は, 巨大な真空管と同じで, 60kV~100kV といった高電圧をかけ, 熱電子を陽極に衝突させることで連続的な X 線を発生させる. Credit: http://blog.livedoor.jp/nijhousi/archives/2012-12.html 文部科学省制作 中学生のための放射線副読本 知ることから始めよう放射線のいろいろ より抜粋引用 電離箱型 X 線検出器 半導体検出器 Xe ガス Depletion layer ( 空乏層 ) Credit: http://www.x-ray.co.jp/mame.html Credit: http://astamuse.com/ja/published/jp/no/1996075860 6
シンチレーション検出器 検出可能なフォトンエネルギー 感度波長範囲の例 放射線 α 線 β 線 γ 線 X 線 中性子線など シンチレータ放射線を可視光に変換増感紙 セラミック ( 多結晶 ) シンチレータ 単結晶シンチレータ 有機シンチレータなど 可視光 光検出器可視光を電荷に変換 X 線フィルム シリコンフォトダイオード 光電子倍増管 CCD( 電荷結合素子 ) センサー CMOS センサーなど 電荷 シンチレータ +Si フォトダイオード フラットパネル X 線検出器 表面入射型 Si フォトダイオード 取り付け時にパターンやワイヤの損傷に留意する必要あり 裏面入射型 Si フォトダイオード ワイヤーがないためフォトダイオードの間隔を詰めてタイル状に配置できる http://homepage2.nifty.com/kirislab/ 7
X 線画像の画素濃淡変化 日常生活における自然放射線と人工放射線の種類と量 検出器 X 線管 100% ~2% 先見創意の会 HP http://www.senkensoi.net/ssnet/index.html 生殖腺の被曝量 X-ray Computed Tomography (CT) X 線コンピュータ断層撮影法 ~ 人体を輪切りにする ~ GE Highspeed VCT TM 先見創意の会 HP http://www.senkensoi.net/ssnet/index.html 8
アナログ X 線断層撮影法 X-ray Tomography X 線コンピュータ断層撮影法 X-ray Computed Tomography (CT) 一般の X 線写真 アナログ断層写真 X-ray CT 画像撮影 スキャン方式の変化 スキャン X 線管 Pixel ( 画素 ) Voxel ( 体積素 ) 断面 検出器 9
X 線の減弱 画像再構成法の基礎 X 線源 または, : 入射 X 線強度 : 物体透過後の X 線強度 : 位置 (x,y) における X 線吸収係数 :X 線光軸に沿った線素 検出器 画像再構成法の基礎 投影切断面定理 X 線源 X 線源 検出器 検出器 10
復元法 ( 逆投影法 ) 単純逆投影法 Simple Back Projection 多方向からの投影データ収集 一方向のデータ収集と逆投影 多方向からの逆投影データ加算 Morgan CL: Basic Principles of CT, 1983 より フィルタ逆投影法 Filtered Back Projection X 線吸収係数 物質 or 生体組織 ハンスフィールド値 (X 線吸収係数 ) 1 空気 -1000 脂肪 -100 水 0 軟組織 30~60 骨 2 1000 1 ハンスフィールド値 (HU): 空気を -1000, 水を 0 として X 線吸収係数を表したもの 多方向からの投影データ収集 2 骨の主成分はカルシウム塩であり,X 線に鮮明に反映する. 一方向のデータ収集と逆投影 多方向からの逆投影データ加算 Morgan CL: Basic Principles of CT, 1983 より 対して, 臓器器官や血管組織は X 線の透過性が高く,X 線に鮮明に映し出されることはない. X 線透過性の低い成分, すなわち X 線減弱係数の差が大きい物質を臓器や血管等に注入することで,X 線に映し出すことが可能になる. この目的において使用されるのが造影剤である. 11
生体構成成分の CT 値 Volume rendering の例 黒 ボクセル ( ピクセル ) 値 白 Example of high definition volume rendering via Volume Ray Casting Example of a mouse skull (CT) rendering using the shear warp algorithm Wikipedia より抜粋引用 NMR と MRI 013026 生体医工学 生体イメージング 核磁気共鳴 (Nuclear Magnetic Resonance, NMR) 磁気共鳴画像検査 (Magnetic Resonance Imaging/Image, MRI): NMR を利用した画像診断法 東京医科歯科大学生体材料工学研究所中島義和 N S 1 外部要因 ( 電磁波 ) の付加 2 出力信号 ( 電磁波 ) の計測 12
MRI MRI 撮像 磁気共鳴画像検査 (Magnetic Resonance Imaging/Image, MRI): NMR を利用した画像診断法 N S 1. 患者が静磁場の中に入る. 2. 電磁波 (RF パルス ) を印加する. 3. 電磁波を切る. 4. 患者から信号が出てくる. 5. 画像を再構成する. http://www.eonet.ne.jp/~hidarite/ce/ 原子核スピン 水素原子核 ( プロトン ) はプラスの電荷を持ち, 自転運動と似た物理量 ( スピン ) を持つ. 微小な磁化 ( 磁石 ) として振る舞う. 原子核スピンの角運動量と磁気モーメント + = N S http://hobab.fc2web.com/sub2-kasseisanso.htm 13
スピン + 静磁場 スピン + 静磁場 歳差運動 S N http://homepage2.nifty.com/kirislab/ Credit: http://blackboardchalk.wordpress.com/2007/11/06/the-spin-echo-effect/ 磁化 (magnetization) Z RF パルス Sinc 関数 1. 正規化 sinc 関数 ( 標本化関数 ) Y = 2. 非正規化 sinc 関数 X いずれの場合も, 可除特異点である 0 での値は sinc(0)=1 が定義として与えられる. 巨視的磁化 14
共鳴現象 水素原子核 ( プロトン ) のラーモア (Larmor) 周波数 63MHz 42MHz 周波数帯が,RF 波 (radiofrequence wave, ラジオ波 ) 同じ大きさの (= 同じ固有周波数を持つ ) 音叉のみが鳴る. 8.5MHz 0.2T 1.0T 1.5T B 0 スピン + 静磁場 +RF パルス 計測対象物質の Larmor 周波数 (= 歳差運動の周波数 ) を持つ RF パルスを印加すると, 歳差運動の 1. 回転中心軸が傾斜する. 2. 位相が揃う. RF パルスの印加を止めると, 緩和現象により計測対象より RF 信号が出力される. 現象 1: スピン歳差運動軸の傾斜 B 0 X B 1 Z M 0 フリップ角 α RF パルス 水素原子核 ( プロトン ) は,B 1 (RF パルスの磁気力 ) の軸を中心に歳差運動を始めるため, B 0 軸を中心とした歳差運動との合成の結果として, 歳差運動軸が倒れる. ゆっくりとした歳差運動で軸が傾斜していく Y 15
緩和現象 緩和現象 基底状態励起状態基底状態 計測物質に吸収された ( 任意の周波数の ) RF パルスのエネルギー エネルギー エネルギー RF パルス RF 信号 RF 信号の検出 核磁気緩和 Larmor 周波数で振動しながら時定数 T2 で減衰 励起された原子核が電波 (NMR 信号 ) を発しながら平衡状態へと戻る過程 Const. Free induction decay (FID) S(t): NMR 信号 M(x,y): 計測範囲の核磁化分布 0 : 静磁場における Larmor 周波数 新潟大学医学部健康保健学科佐井 ( 蔡 ) 篤儀先生のスライド http://www.clg.niigata-u.ac.jp/~tsai/home-page/lecture/mri-image-construction(1).pdf Johns Hopkins 大学小野木先生より提供 16
Fourier Tranformation (FT)-NMR 緩和 http://www.agr.hokudai.ac.jp/ms-nmr/nmr/1h.htm 緩和には, T1 緩和 ( 縦緩和, スピンー格子緩和, 熱緩和 ) エネルギー放出による励起状態から熱平衡状態への移行 (= 巨視的磁化歳差運動の軸の立ち上がり ). T2 緩和 ( 横緩和, スピンースピン緩和 ) 核スピン間の磁気的相互作用による巨視的磁化歳差運動の位相の乱れ. 静磁場の不均一性による影響をキャンセル. T2* 緩和 ( 見かけの横緩和 ) 静磁場の不均一性による巨視的磁化歳差運動の位相の乱れ. の 3 つの現象がある. スピンー格子緩和 (Spin-lattice relaxation) T1 緩和, 縦緩和と同じ. 熱緩和とも言う. 縦磁化が元の大きさに戻る過程. RF パルス (90 パルス ) によって励起された状態は, 熱平衡状態から外れた状態であるので, 励起された核スピン系は, 次第に熱平衡状態に戻っていく. スピンー格子緩和と呼ばれる理由は, 高いエネルギー状態にある核スピン系が熱平衡状態に戻るためには, 周囲の熱浴 ( 分子運動や格子振動などの熱力学的自由度 ) にエネルギーを放出しなければならないためである. プロトンのラーモア周波数 ω 0 と, 格子の自然周波数 ω が近いほど効率的に起こる. 液体においては, 熱浴は, 主に分子の回転や並進運動であるが, 核磁気緩和現象は, 当初, 個体物理学において主に研究されたために, スピンー格子緩和と呼ばれている. スピンースピン緩和 (Spin-spin relaxation) T2 緩和, 横緩和と同じ. 横磁化が減少し消滅する過程. 核スピン間の磁気的相互作用によって, 個々の核スピンの歳差運動の位相が乱れ, その総和としての核磁化が小さくなる現象. 横緩和時間としては, この T2 の他に,T2* がある. これは, 静磁場の不均一性による位相の乱れによる緩和であり,T2* T2 である. 試料中の静磁場の不均一性が全くない場合には T2* と T2 は等しくなる. 磁場の不均一性 エネルギー高 周りの格子にエネルギーを与えながら戻る. エネルギー低 図は, 国立循環器病センター内藤博昭先生の講演スライド http://www.image.med.osaka-u.ac.jp/member/yoshi/mei_lecture/image_medicine/handout2007/naitomr2007-1.pdf 17
縦磁化と横磁化 (longitudial and transverse magnetization) Z 縦緩和時間と横緩和時間 RF パルスオフ 縦磁化 縦磁化 M z 横磁化 X 横磁化 M xy Y 縦緩和 : 縦の磁化ベクトル M Z が増加していく過程横緩和 : 横の磁化ベクトル M XY が減少していく過程 縦磁化の回復 横磁化の減衰 新潟大学医学部健康保健学科佐井 ( 蔡 ) 篤儀先生のスライド http://www.clg.niigata-u.ac.jp/~tsai/home-page/lecture/mri-image-construction(1).pdf 新潟大学医学部健康保健学科佐井 ( 蔡 ) 篤儀先生のスライド http://www.clg.niigata-u.ac.jp/~tsai/home-page/lecture/mri-image-construction(1).pdf 18
T1 緩和時間と T2 緩和時間 時定数とは 63% Z 軸方向の磁化の増加 自然界には, その時間的変化を指数関数で表わすことができる現象が多い. 一般に, ある量 x, あるいは y が時間 t の指数関数である場合, すなわち, あるいは T2 37% T1 XY 平面上の磁化の減少 縦磁化の回復より横磁化の減衰の方が,5~10 倍速い (T1 より T2 の方が小さい ). で表わされるとき,T をこの現象の時定数 (time constraint) という.t = T のとき,x = 1/e 0.37,y = 1 1/e 0.63 であるから,T は x が初期値の 37% まで達する時間, あるいは y が最終値の 63% にまで達する時間と考えることもできる. 19
超音波診断 ~ 音波の聴診器 ~ Ultrasonic Diagnosis (US) Three-dimensional Ultrasonic Diagnosis (3D-US) 3 次元超音波診断 ~ 音波で低侵襲 3D 画像取得 ~ Toshiba Xario TM GE VOLUSION 730 TM 超音波の種類 超音波の速さ 山本明利, 左巻健男 ( 編著 ): 新しい高校物理の教科書. 講談社,2006 伊東紘一, 入江喬介 : 超音波検査入門 ( 第 3 版 ). 医歯薬出版,2000 新日鉄グループ ( 株 ) 日鐵テクノリサーチ http://www.nstr.co.jp/ut.htm 先見創意の会 HP http://www.senkensoi.net/ssnet/index.html 20
発生方法およびエコー法 圧電素子 東京 IT 新聞 http://itnp.net/category_betsu/9/972/ http://minkara.carview.co.jp/userid/353316/car/367439/ 1154839/photo.aspx http://www.keyman.or.jp/3w/prd/45/30002645/ 東京 IT 新聞 http://itnp.net/category_betsu/9/972/ 先見創意の会 HP http://www.senkensoi.net/ssnet/index.html プローブの走査方式 ビームステアリング 先見創意の会 HP http://www.senkensoi.net/ssnet/index.html 音響工学 http://www.tuat.ac.jp/~yamada/onkyo/ 21
アレイ探触子走査の原理 ビームフォーカシング http://www.alab.t.u-tokyo.ac.jp/~ando/mesnotea.htm 音響工学 http://www.tuat.ac.jp/~yamada/onkyo/ はじめての超音波検査!http://us-ism.com/01echo/ 計測モード A モードと B モード パルスエコー計測 A モード (Amplitude モード ) B モード (Brightness モード ) M モード (Motion モード ) D モード (Doppler モード ) 2D 空間 ( 走査軸, 深さ軸 ) の反射波強度を輝度で表示 任意のビーム線の反射波を深さ ( 空間, 縦軸成分 ) と強度 ( 横軸成分 ) で表示 音響工学 http://www.tuat.ac.jp/~yamada/onkyo/ あ 22
M モード カラードプラー法 任意ビーム線上の反射波強度を輝度で表示 音響工学 http://www.tuat.ac.jp/~yamada/onkyo/ 先見創意の会 HP http://www.senkensoi.net/ssnet/index.html 4D 超音波診断 Augmented reality (AR) GE Voluson 730 GE 横河メディカルシステムHP http://japan.gehealthcare.com/ Credit: http://www.mrcas.ri.cmu.edu/ [ 中島ら 1998 三菱電機株式会社 ] 加藤産婦人科クリニック HP http://www.a-osan.com/treat.html 23
Brain-function projection Augmented-reality navigation ipad surgery Aug 22 nd, 2013 Credit: http://www.mrcas.ri.cmu.edu/ Laser-beam projection mapping Problem on application for smooth surfaces C. Hansen, et al. Illustrative visualization of 3D planning models for augmented reality in liver surgery, IJCARS (2010) 133-141. Credit: Nakajima laboratory, U. Tokyo 酒井圭一, 悪性神経膠腫に対する治療戦略 難治性がんの克服に向けて, 信州医誌, pp.189-200, 2010. Tracking of organ deformation by using shape measurement 24
Result of brain-deformation tracking Result Tracking error with respect to deformation Nonrigid ICP Proposed Vertical displacement Horizontal displacement 3-D projection mapping in surgeries [Y. Nakajima et al., IEEE Trans. on Biomedical Engineering, 2012] Fluoroscopy-based navigation [J.T. Liang et al., Int l Journal of Comp Asist Surg, 2012] 25