MR技術を医療に応用 世界初の歯科治療MRシミュレーションシステムの意義としくみ

ソフトバンクグループのリアライズ・モバイル・コミュニケーションズ株式会社と、歯科業界のリーディングカンパニーである株式会社モリタは、複合現実(MR)技術を使って、歯科手術トレーニングができるシステムを世界で初めて開発し、報道関係者向けの説明会を行った。

ゴーグル(ヘッドマウントディスプレイ)を装着して、報道陣もMRによる施術体験をする機会を得た


MR技術が歯科医の施術を支援し、万が一の事故を防ぐ

MRとは「Mixed Reality」の略称で、コンピュータがCG等で創り出す視覚情報と現実をミックスした空間を作り出す技術。
最もわかりやすい例を上げてみよう。この医師が診察しているのは「ファントム」と呼ばれるトレーニング用の人形だが、医師のゴーグル内の空間ではリアルな女性(CG)として描かれている。

実際にはトレーニング用の「ファントム」を見ているがゴーグル内の映像では女性のCGが合成されて見えている

また、ファントムの口腔内(歯や歯茎のようす)に、レントゲンやCTなどの透視データをゴーグル内で重ねたり、作業ドリル(エアタービン)等の角度を指示するガイドを表示したり、ドリルがどれくらい削って入ったか、あとどれぐらい削るべきか等をコンマmm単位で表示することで、より確実なオペレーションが可能となる、としている。



VRとの違いは、MRで見えている視界のそこには実際にファントムがあり、患者にも触われるし、歯髄に対する施術作業はリアルにトレーニングが可能になることなど。

現在の診療では、レントゲンやCT等の写真と実際の口腔内を見比べながら、慎重にドリルでの作業やオペレーションを行っているが、MR技術を使うことで更に作業を確実にする狙いがある。

実際の施術が左の例。緑の丸印のようなレントゲンやCT写真と患者の口腔内を見比べながらの作業となるが、MR技術を使った場合(右)はひとつの視界の中で必要な情報が表示されるので作業に集中できる

もちろん、重ね合わせるのに使用するのは実際のレントゲンやCTから作成した透視データであり、ファントムの歯髄や歯と合成される。



システムの構成としくみ

では現実世界の情報はどのように取得しているのだろうか。
3D空間全体の情報は施術台の上方に設置されたカメラ・センサーが捉え、空間座標を取得している。更に作業ドリルなどの機器にもセンサーがセットされていて、ドリルの位置などの詳細なデータをWindowsベースのコンピュータシステムに送っている。もちろんゴーグル装着者の視界の情報も重要だ。ゴーグルにもステレオカメラが装着されているので、その映像がMRで合成される。
神経や血管、歯髄やエナメル質の状況、インプラントの位置関係など、外側から見えにくい重要な情報を現実の視界に合成することで、万が一の施術事故なども防げるのではないかと考えられている。


診察台を囲むように天井に配置したカメラセンサーが3D空間の全体の座標を把握している


作業ドリル(エアタービン)などにもセンサーや座標検知のための器具が内蔵や増設がされている

視界映像を医師に提供するゴーグルは「Oculus Rift」。実際の視界情報をとらえるステレオカメラが前面に増設されている。また、触覚のように見えるものはゴーグルの座標を天井のセンサーに伝えるために使われている。


医療での活用の場合、ボタン選択やキータッチによるモードの切り換えなどの作業は衛生上の課題を抱える。しかし、このシステムではリープモーションを搭載することで、仮想空間のジェスチャーだけでボタン操作や選択を可能にしているため、施術中の操作も清潔を保ったまま行うことが可能だ。


※次ページにつづく (説明会でのデモンストレーション(動画)も次ページに)

ABOUT THE AUTHOR / 

神崎 洋治

神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。

PR

連載・コラム