PR ニュースディープラーニング画像解析画像認識 IoT ロボット人工知能ディープインサイト株式会社

店頭などに本格展開へ

2021年10月18日 By ロボスタ編集部

画面やキーボードに触れず、空中で指を使ってつまむ動作をすることで文字入力やドラッグ＆ドロップ操作等ができるシステムが登場した。「KAIBER Touchless」(カイバータッチレス)で、開発したのはディープラーニングやエッジAI技術を企画・開発・販売しているディープインサイト株式会社。飲食店の厨房や、手術室などの医療現場、工場などの作業場など、キーボードや画面に触って操作できない環境での普及が期待されている。

画面の中のアイコンを人差し指と親指でつまんでドラッグしている非接触のジェスチャー操作例

「KAIBER Touchless」は、非接触UIライブラリー(ソフトウェア:SDK)として提供するため、高額な専用の入力デバイスが必要ない。そのため導入コストを抑えることができ、既存のシステムにも比較的簡単に追加することができる。

空中でのピンチ操作で入力したい文字を指定したり、画面内のアイコンをドラッグしたりできる

医療・厨房・工場などの現場で／オーダー端末やキオスクにも活用できる

ユースケースとしては、医療、厨房(飲食)、工場など、手袋をして作業する環境や、作業中に画面やキーボードに触れた操作ができない環境での使用が想定されている。また、タッチパネル式のオーダー端末やレジでの決済端末、キオスク、サイネージなどにも活用できる。

コロナ禍で需要高まる「非接触UI」

医療現場や工場、厨房などでも、パソコンや端末を利用する機会は増えている。しかし、これらの現場では作業用の手袋を着用していたり、衛生上の制約から、キーボードやマウス、タッチ画面に触れて操作することができないケースは多い。

レストランやバーガーショップなどの厨房では、衛生上の観点からキーボードやタッチパネルには触って操作するには制約が多い。作業用のグローブや手袋を使用している場合もキーボード等に触れて操作するのは難しい

また、家庭でもキッチンでは同様のケースが多く、レシピを確認しながら料理をする際などに不便を感じることが少なくない。

家庭のキッチンでも料理しながらではキー操作はやりづらい

また、公共の場で多くの人が触れるキオスク端末のタッチ画面なども、コロナ感染症の影響で、直接、指で触れる操作に抵抗を感じるユーザーが増えている。そのようなケースでも安心して利用できる環境を実現するために開発されたのが非接触UIライブラリー「KAIBER Touchless」だ。汎用のカメラを使い、AIが指の動きを認識することでキー入力やドラッグ操作などを実現するソフトウェア技術がコアとなっている。そのため高価な専用デバイスは必要ない。

非接触UIのしくみ

「KAIBER Touchless」はカメラの画像からユーザーの指の位置や状態をAIが解析、指をつまむように動かす「ピンチ」動作を認識して、キーを入力したり、画面内のアイコンや画像をドラッグすることができる「ソフトウェア開発キット(SDK)」だ。現在はWindowsとRaspberry Piに対応している。既にWindowsベースで稼働している既存のシステムに、非接触入力機能として簡単に追加することもできる。

必要なハードウェアはカメラのみだが、認識率を上げるためにLEDライトと、反射を抑えるマットブラック調のプレートを設置した「リファレンスデザインの入力用デバイス」も開発検討用サンプルとして用意されている。

高精度の非接触入力を実現するためリファレンスモデル(入力デバイスの試作機)。画面は通常のPC用ディスプレイ(タブレットではない)。プレートの上に手を置き、画面を見ながら操作することができる

重要なのは指を認識するためのカメラ。とはいえ、高解像度のカメラが必要というわけでなく、高めのフレームレートに対応できる一般のウェブカメラで十分。明るく照らすLED照明を追加している

キー入力からドラッグ、スライダーの操作など多彩

では「KAIBER Touchless」ではどのような操作に対応できるのだろうか。
「KAIBER Touchless」の操作方法は多彩だ。前述のように人差し指と親指でつまむ「ピンチ」操作が基本で、これを利用して画面内のテン・キーから数字を入力したり、文字入力、アイコンや図形をドラッグして移動、ボタンの選択、スライダーの調節、3D画像を回転などが可能になる。その他、基本的にはソフトウェアの開発次第なので、用途は幅広い。

アイコンをドラッグ＆ドロップ。複数の手にも対応できる

テンキー(数字キー)や文字キーをスマホのように選択して、任意のキーを非接触で入力

複数項目から選択(選択ボタンとラジオボタンの例)

スライダー等によるボリュームやレベル調整

飲食店の厨房での利用例。オーダーリストから、できあがった料理をフリックして消していく作業も非接触でできる

3Dモデルをドラッグしてグリグリと回す例。医療用のモデリング画像と連携すれば、手術中に臓器の3D画像の全景を確認するような作業も可能になるかもしれない

ここまで紹介してきたように、同社は「KAIBER Touchless」を病院、厨房、工場、店舗レジやオーダーシステムなどを開発しているデベロッパーやSIer、キオスク端末やシステムキッチンのメーカーなどに導入を推進していく考えだ。現在はWindowsとRaspberry Pi対応だが、将来的にはニーズに合わせてMacやiOS、Android版も検討していくという。

組込型エッジAI音声認識SDK「KAIBER voice」

ディープインサイトが開発中の非接触UIは「KAIBER Touchless」だけではない。非接触UIとしては、スマートスピーカーやスマートフォン、IoT家電などで普及が始まっている「音声入力」(音声認識)も有力だ。同社は、自作可能な組込みAI音声認識SDK「KAIBER voice」(カイバーボイス)も発表している。

特徴的なのは、組込型のエッジAIによる音声認識技術でありながら、安価なマイコンでも動作可能で、音声認識データを学習させることができる点だ。例えば、ユーザー(企業)の製品名の固有名詞や機能名、キーワード、方言、アクセントなどを高精度に音声認識するための録音・編集ツールが提供される。

また、ディープラーニングによる高い認識精度を実現できる。米国DSP Concepts社と協業していて、オーディオフロントエンド技術TalkToとの組み合わせで、マイクから離れた雑音環境での音声認識精度も飛躍的に高めることが可能となっている。

【製品構成】
音声学習データ録音・収集ツール（ウェブサービスのソースコード一式提供）　　　　　　　　　　　　　　　　　＊その他の各種プラットフォームの音声録音、編集ツールも使用可
学習データの前処理自動化ツール（CUI）
エンベデッドディープラーニングフレームワーク「KAIBER」
AI音声認識組込み推論ライブラリー　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
＊各種マイコン等への組込みカスタマイズや音声データ収集等のコンサルティングサービスも提供

展示会で体験できる

ディープインサイトは2016年3月に設立された、ディープラーニングやエッジAI技術に特化した企業。AI画像認識では時系列データ処理に対応した組込型ディープラーニングフレームワーク「KAIBER」や、エッジAI開発に特化した「KAIBER Lite」、エッジ環境向け組込型ディープラーニング学習エンジン「KAIBER engram」をリリースしている。
村田機械が自動倉庫の監視用カメラシステムのAIリアルタイム画像解析技術に「KAIBER」を採用していることでも知られている。

非接触UIライブラリー「KAIBER Touchless」や組込みAI音声認識SDK「KAIBER voice」は、展示会の同社ブースで実際の稼働デモを見たり体験してみることができる。
年内では、2021年10月27日(水)～10月29日(金)に幕張メッセで開催される「Japan IT Week【秋】IoT & 5Gソリューション展」と、2021年11月25日(木)～11月26日(金)に東京ビッグサイトで開催される「HOSPEX Japan 2021」(ホスペックスジャパン)の出展が予定されている。