ソニーが世界初「AI機能搭載インテリジェントビジョンセンサー」を発表　高速なエッジAI処理を実現、映像解析ではマイクロソフトと協業

ソニーは、世界初となる「AI 処理機能を搭載したインテリジェントビジョンセンサー」2タイプ、「IMX500」と「IMX501」を商品化したことを発表した。いずれも1/2.3型(対角 7.857mm)で、有効画素は約1230万画素。デジタルカメラやスマートフォン、カメラなどの写真撮影に使用されているイメージセンサーにAI処理機能を搭載したもの。高速なエッジAI処理を可能にし、端末が撮影時にAI技術を使って知的な動作を行うことができる。
これを採用することにより、AI機能を実装したカメラ等の開発が可能となり、小売業界や産業機器業界における多様なアプリケーションの実現や、クラウドと協調した最適なシステムの構築に役立つ。また、必要なデータだけを抽出することで、クラウドサービス利用時におけるデータ転送遅延時間の低減、プライバシーへの配慮、消費電力や通信コストの削減などの実現につながる、としている。

また、新しい使い方として、同社が公開した動画によれば、スマートスピーカーにこのセンサーを搭載することによって、スマートスピーカーは誰が話しかけているのかを顔認識機能で判断できるようになる。


また、小売店ではスマートカートに内蔵することで店舗内で顧客の属性を分析、行動を把握し、店員や商品陳列の最適化をはかることができる。また、自動車に搭載することでドライバーを認識し、最適なドライビングポジションをはじめてした運転環境の提供、居眠り運転やながらスマホの防止などに役立てることができる。


■コンセプト動画

マイクロソフトとの協業も発表

マイクロソフトとの協業も発表した。ソニーセミコンダクタソリューションズ(以下、ソニー)とマイクロソフト コーポレーション(以下、マイクロソフト)は、それぞれの顧客がより利用しやすいAIスマートカメラと映像解析を用いたソリューションの構築に向けた協業を開始する。

協業ではソニーのインテリジェントビジョンセンサー「IMX500」にマイクロソフトのクラウドプラットフォーム「Microsoft Azure AI」機能を組み込むことにより、スマートカメラ等で撮影された映像の有用な情報の抽出を可能にする。またソニーは「IMX500」の機能を補完し、映像解析の範囲や能力を拡張するAzure IoTおよびAzure Cognitive Services を用いたスマートカメラの管理アプリを法人顧客向けに開発する。

これら2つのソリューションにより、高速なエッジAI処理を実現するソニーの最先端のイメージング＆センシングテクノロジーとマイクロソフトが持つクラウドやAIプラットフォームの専門知識を融合し、さまざまな業界の顧客やパートナーに向けて新しい映像解析のソリューションを提供していく考えだ。

コストや消費電力の低減につなげ、映像解析をより利用しやすく

映像解析は業界全体の法人顧客が新しい収益機会の発見、運用の合理化、また様々な課題を解決するための手段として登場した。例えば、小売業者はスマートカメラを利用することで欠品商品を棚に補充するタイミングを検出し、レジ待ちの長さに応じて利用可能な最適なレジカウンターの数を検知できる。製造業者は製造現場で事故が発生する前に、リアルタイムに危険を特定することができる。

一方で店舗、倉庫、配送センター等のサイトに設置される多くのスマートカメラに分散されたデータの収集に依存する従来のアプリケーションでは、コンピューティングリソースの割り当てを最適化するのが困難な上、コストや消費電力の増加が生じる。

これらの課題に対処するために、ソニーのインテリジェントビジョンセンサー「IMX500」にマイクロソフトのAzure AI のテクノロジーを搭載、もしくはパートナーが独自のAIモデルを搭載することで、コンピュータービジョンのソリューションをより利用しやすくする。これにより、法人向けに使用するためのよりスマートで高度なカメラとエッジとクラウド間のリソースのより効率的な割り当てが実現し、コストと消費電力の低減につなげることができるという。

AI処理機能を搭載したインテリジェントビジョンセンサー「IMX500」

インテリジェントビジョンセンサーはAI処理機能をイメージセンサーに搭載したことで高速なエッジAI処理を可能する。また、必要なデータだけを抽出することで、クラウドサービス利用時におけるデータ転送遅延時間の低減、プライバシーへの配慮、消費電力や通信コストの削減などを実現できる。

通常のイメージセンサーで動画を撮影する場合、出力された1フレームの画像ごとにAI処理に繋げる必要があることから、データの送信が多くなり、リアルタイム性を確保することが困難。

インテリジェントビジョンセンサーはロジックチップにおいて、ISP処理および高速なAI処理(MobileNet V1の場合、3.1ミリ秒の処理時間)を行うことにより、動画の1フレーム内で全ての処理が完結する。これにより、動画を撮影しながらの対象物の高精度なリアルタイムトラッキングが可能となる。

■ インテリジェントビジョンセンサーIMX500
1/2.3 型(対角 7.857mm)有効約 1230 万画素（ベアチップ製品） サンプル出荷2020年4月、サンプル価格（税抜）10,000 円
■ インテリジェントビジョンセンサーIMX501
1/2.3 型(対角 7.857mm)有効約 1230 万画素（パッケージ製品） サンプル出荷2020年6月予定、サンプル価格（税抜）20,000 円

1/2.3 型の画素チップには有効約1230万個の裏面照射型画素を配置し、広い視野角で情報を捉えることができる。ロジックチップには通常のイメージセンサーの信号処理回路に加え、AIに特化した信号処理を担うソニー独自のDSP(Digital Signal Processor)とAIモデルを書き込むことができるメモリーを搭載している。これにより、高性能なプロセッサや外部メモリーを必要とすることなく、エッジAIシステムを実現することが可能。



画素チップから取得した信号をロジックチップで処理する過程では、ISP(Image Signal Processor)処理やAI処理を行うことにより、対象物をメタデータで出力し、扱うデータ量が削減できる。また、画像情報を出力しないことでセキュリティリスクを低減し、プライバシーに配慮した対応が可能。

ユーザーは任意のAIモデルをメモリーに書き込み、使用環境や条件に合わせて書き換え、アップデートすることが可能。例えば、IMX500を採用した複数台のカメラを店舗に設置した場合、1種類のカメラで、設置位置、状況、時間など目的や用途に応じて使い分けることができる。入り口であれば入店者のカウント、棚であれば商品の欠品検知、天井であれば来店者のヒートマップ(人が多く集まる場所の検知)などの複数の用途に活用できる。また、これまでヒートマップの検出に使用していたAIモデルを消費者行動を把握するために使用するAIモデルなどに書き換えることも可能だ。

スマートカメラの管理アプリはISVとOEM向けに開発

Azure上で展開するソニーのスマートカメラ管理アプリは、コンピュータービジョンと映像解析ソリューションを専門とする独立系ソフトウェアベンダー(ISV)とハードウェア製品に付加価値を提供することを目指すスマートカメラのOEMを対象としている。

「IMX500」の機能を補完する同アプリはISVやOEMがAIモデルをアップデートし、独自の顧客固有の映像解析とコンピュータービジョンのソリューションを構築するための基盤として機能させることで、法人顧客の要求に対応する。また、主要なワークフローを簡素化し、データのプライバシーやセキュリティを保護するために合理的な手段を講じることで、ISVが日常的なプロビジョニング作業に費やす時間を減らし、顧客の要求を満たすための独自のソリューションの構築により多くの時間を費やすことができる。法人顧客においては、映像解析シナリオ向けのAIモデルをより簡単に探し出し、アップデートおよび展開が可能になる。

さらにソニーとマイクロソフトはマイクロソフトのAI＆IoT Insider Labsプログラムの一環として、コンピュータービジョン・映像解析分野のパートナーや法人顧客との共同イノベーションの実践を促進する。AI＆IoT Insider Labs プログラムは、マイクロソフトの製品部門や研究部門と参加企業が連携して、AIやIoT を活用したソリューションの開発、プロトタイプ、テストなどを支援するプログラム。両社は、今年後半にマイクロソフトの共同イノベーション拠点において、一部の顧客を対象に取り組みを開始する。

ソニーセミコンダクタソリューションズ代表取締役社長 清水 照士氏とマイクロソフト コーポレートバイスプレジデント コマーシャルチーフマーケティングオフィサー 沼本健氏は次のようにコメントしている。

この記事を読んだ人におすすめ

関連する記事はまだありません