通常、特定の行動を映像から自動で検出するためには、検出したい行動が映った映像を大量に集めてAIに学習させるなどの準備が必要だ。その一方で、こうしたAIの学習には時間がかかるため、探したい行動をすぐに登録して検出することは技術的に困難だ。また、一つの行動には様々なバリエーションが存在するため、行動を定義してAIに学習させること自体が難しいという課題もある。
日本電気株式会社(NEC)は2021年4月5日、これら従来の課題を解決する、行動のサンプルを数秒の映像として与えるだけで、ライブカメラの映像や映像アーカイブの中から、類似の行動を簡単に見つけ出す技術「オンデマンド行動検出」を開発したことを発表した。あえて機械学習を手放すことで、柔軟で実用的な行動検出を可能にした。
映像内から、人物の任意の行動を検出することができる独自技術。肩やひじ、手首、ひざなどの関節部から約18の点を抽出し、それを線で結んだ棒人間のような骨格情報の動きから類似行動を検出することができる。
同技術を活用することで、うずくまりや倒れこみなど、支援や介助が求められる行動・動作を、商業施設などに設置されたカメラの映像などからリアルタイムに検出し、施設の管理者がすみやかに現場に駆け付けたり救急通報を行ったりすることが可能になる。また、昨今のコロナ対策で急速に関心が高まっている、アルコール消毒をする動作の検知やスポーツ放送の編集や解析などにも活用できる。
「オンデマンド行動検出」の概要
今回開発した「オンデマンド行動検出」は、一般的な映像検索技術とは異なり、見つけたい行動を事前に定義してAIに学習させる手間が不要で、対象となる行動が映っている数秒の映像をサンプルとして与えるだけで、類似行動の検出ができるようになる。また、被写体の向きに関わらず類似の行動を見つけ出すことができるため、一つの行動を検出するために複数のサンプル映像を与える必要がない。これにより、運用者の負担を軽減し、より実用性の高い行動検出サービスの表現を可能にした。同社は今後、映像解析技術などを組み合わせた見守りソリューションや映像コンテンツ編集といった用途に向けて、本技術の実証実験を進めていくと述べている。
技術の特長
同技術は、サンプル映像に映っている人物の骨格構造を推定し、その骨格の変化をライブカメラの映像や映像アーカイブ内の動作と比較することで、類似する行動を高精度に検出する。
数秒の映像を一つ与えるだけで、オンデマンドで行動を検出
サンプル映像を与えるだけですぐに類似行動の検出が可能なため、従来想定していなかった要支援行動を容易に追加し、検出することが可能。また、同技術は様々な動作に対応でき、要支援行動だけではなく、昨今のコロナ対策で急速に関心が高まっている、アルコール消毒をする動作の把握にも応用できる。
被写体の向きや大きさが異なっても、類似の行動を検出
ボールを投げる動作を例にとると、従来技術ではカメラを背にしてボールを投げる映像をサンプルとして与えるだけでは、同じ向きの類似行動しか検出することはできなかった。しかし、同技術では、向きや大きさに依存しない特徴を取り出すことで、カメラに向かってボールを投げるなど、向きが異なる動作でも検出することを可能にした。これにより、人物とカメラの位置関係を固定化することが難しい場合でも、目的の行動を検出することができる。
ライブ映像からリアルタイムに行動を検出可能
画像そのもの(面)ではなく、画像から推定した骨格の形状(十数個の関節点)を基に行動を照合することで、従来技術よりも計算量を抑えることに成功。これによりライブカメラの映像から目的の行動をリアルタイムに検出したり、映像アーカイブから高速に検索したりすることが可能になった。
https://jpn.nec.com/rd/technologies/202102/index.html
日本電気株式会社(NEC)