【ドローン×AI×XR】AIスマートグラス「3rd-EYE」とドローンで捜索支援 実用化に向けて消防本部と連携 ロックガレッジ

日本は台風や豪雨、洪水、土砂災害、地震、津波、火山噴火などの大規模災害が発生した際、被害を最小化するために迅速かつ効率的な捜索活動が求められている。全国の消防組織等においては、捜索活動や被害状況の把握、人命救助活動にドローンを活用することが模索されているが、ドローンによって収集された情報の活用・伝達がまだ十分にできているとは言えず、現状では最新のデジタル技術を現場で更に有効利用されるよう推進する必要がある、と指摘する声もある。

ドローンやロボットの制御系開発を行う株式会社ロックガレッジは、これら一連の情報処理を自動化することで効率的な情報共有を行うことのできる捜索活動支援システム「3rd-EYE」を開発。茨城県が行っている、最先端デジタル技術を活用し、企業の生産性向上や新しい生活様式への対応など地域課題解決に向けた「DXイノベーション推進プロジェクト」事業の2021年度の採択を受けて、茨城西南広域消防本部と合同で、ドローン×AI×スマートグラスによる訓練形式の人命救助実証試験を実施したことを発表した。


複数回実施された一連の実証試験では、同システムの実用化に向けた性能検証と利便性追求のための評価試験を行った。なお、同プロジェクトの進行において、実際の捜索現場で活動を行う消防組織の関係者から直接意見を聞き、その声を反映することを最重要視している。現場で活躍するものづくりを目指しており、茨城県西南消防本部との合同訓練の実施や定期的な意見交換など、同システムの完成に向けて連携して開発を進めている。


ドローン×AI×XRの融合による捜索支援システム「3rd-EYE」

同システムではドローン映像をAIで自動解析し、捜索対象(人間)の位置を特定、スマートグラスにその位置情報を空間表示する。また、捜索結果は指揮本部に設置される端末にも共有されるため、指揮命令者が指示を出す際にも利用することが可能。同システムにおいてスマートグラスを装着した隊員は、その視野の中でどこに捜索対象がいるのかを直感的に理解することができるようになる。これにより、隊員間または指揮本部との意思疎通を正確に行えるため、救助活動の迅速化が期待できる。

運用の流れ:①、② パイロットがドローンを(手動or自動)飛行させる/③ 指揮本部が映像、捜索結果、隊員位置を確認し、指揮する/④ 捜索部隊が指示をもとに捜索・救助を行う



要救助者をドローンが自動検知。結果を即座に部隊へ配信

ドローンで撮影した映像をAIがリアルタイム解析して人影を抽出。捜索隊員は映像でその状態を確認しながら救助に向かうことができる。




スマートグラスが直感的に要救助者の位置を教えてくれる

表示をスマートグラスの現在位置と方位に連動させることで、要救助者が今見ている景色の中でどこにいるかが分かる。直感的な表示によって、隊員間の情報伝達のミスが無くなります。




指揮本部用タブレットですべての情報を一元把握

指揮本部に設置されるタブレット端末にはすべての情報が集約されます。タブレット端末には以下の機能が実装されており、現在の捜査状況を正確に知ることができる。

【実装されている機能】
・ドローンのリアルタイム映像表示機能
・ドローン・AIによる人影検出結果地図表示機能
・人による検知結果のダブルチェック機能
・隊員の現在位置・移動軌跡表示機能

また、地図上に”ピン”を設置することで、救助隊員のスマートグラスに目的地を指示することのできる「ピン打ち機能」が実装されており、これによって救助隊員を目的地へ正確に誘導することが可能となる。




地図表示機能 隊員の位置・移動軌跡表示

地図には隊員の現在位置がリアルタイム表示されるので、別動隊の行動を常に知ることが可能。また、一度捜索を行った場所がわかるため、同場所を二度捜索するという事が無くなり効率的に捜索を行うことができる。




「3rd-EYE」を消防の捜索活動訓練に組み込む

今回の実証試験では、実用化版「3rd-EYE」を消防組織による捜索活動訓練に組み込んで使用する実証実験を行った。同実験にて、消防組織との度重なるヒアリングと実証実験の中で仕様と機能を最適化することで、これまでの指揮系統を崩すことなく効率良く捜索活動を行えることを確認できた。実用化版の同システムでは、指揮本部に設置されるタブレット端末にすべての情報が集約され、部隊の指揮権者が要救助者その他の情報を取捨選択したうえで、各部隊に指示を出すことができるようになっている。訓練では 「あと20メートル前方へ進め」などの指示が出され、従来の部隊指揮ではできなかった、より具体的な指示が可能となったことが確かめられた。



今後の予定

今後は「3rd-EYE」の普及を進めるとともに、消防組織の活動がより便利に行うことができるよう改良を進める予定となっている。また、各種災害での利用の他、山岳遭難や徘徊老人の捜索、警備、害獣調査などにも同システムの応用が可能だ。

ABOUT THE AUTHOR / 

ロボスタ編集部

ロボスタ編集部では、ロボット業界の最新ニュースや最新レポートなどをお届けします。是非ご注目ください。

PR

連載・コラム