【神崎洋治のロボットの衝撃 vol.30】PepperとWatson IoTが連携してサッカーの実況中継、Pepper導入事例をジェナに聞く(2)

ポストカードの写真を見せると写っている東京の観光名所を解説し、行き方や所要時間を説明してくれるPepperがホテルのロビーに登場しました。また、バレンタインデーにイケメンにまぎれて愛を語るPepperや、銀行で顧客のライフステージをサポートするPepper、更にはWatsonと連携してサッカーゲームを実況中継するPepperまで現れました。
これらを開発したのは株式会社ジェナ。前回は、東京モーターショーでビーコンを使ったIoTシステムを構築し、来場者のヒートマップの実現等をレポートしましたが、今回はPepperとWatsonのシステム開発や導入事例について聞きます。



jena-00-51

前回に引き続き、PepperとWatsonのシステム開発について、株式会社ジェナの代表取締役 手塚康夫氏に話を聞いた



ポストカードの写真を読んでPepperが観光ガイド
〜ハイアット リージェンシー 東京〜



「秋葉原はJR総武線に乗って秋葉原駅で降りると、乗り換えなしで行けるから便利なんです。ここからだとおよそ30分くらいで着きますよぉ♪ 詳しくはポストカード裏面のQRコードを読み込んで確認してくださいねぇ♪」


ここはホテル「ハイアット リージェンシー 東京」のロビー。並べられた東京観光地のポストカードを一枚選び、Pepperに見せるとその場所を認識してみどころを解説したり、道案内をしてくれました。

更に「秋葉原は世界にオタク文化を発信する町、去年の前半だけで一千万人近い外国人観光客が訪れたんですってぇ♪」と、詳しい説明まで添えてくれます。

ハイアットの観光Pepper

ハイアット リージェンシー 東京(新宿)のロビーにある「Pepperによる都内観光案内“Tokyo Photo Spot Information”」。誰でも利用できる

これはハイアットリー ジェンシー 東京とジェナが共同で開発した「Pepperによる都内観光案内“Tokyo Photo Spot Information”」、東京の観光名所を紹介するポストカード全12種類を配布しています(最大で観光名所12ヶ所、ポストカードは24種類に増やす予定)。観光客は興味を持ったポストカードを自由に持ち帰ることができ、裏面のQRコードをスマートフォン等で読み込むことで、詳しい情報を表示することができます。

東京観光ポストカード

まずは数種類の東京観光名所のポストカードから興味のあるスポットを選ぶ

TOKYO KANKO POST CARDS


観光に出かけるその前にそれぞれのポストカードを使って、観光名所の解説や見どころ、そこまでの行き方、だいたいの所要時間を調べることができます。それがここにいる2台のPepperの役目です(ニュースで既報「ハイアット リージェンシー 東京がポストカードと連携した観光Pepperを導入、都内の観光スポットをご案内」)。その解説の例が、冒頭に紹介した「秋葉原」のクダリです。

ポストカード画像を読み込むPepper

ポストカードをPepperに見せると、ポストカードの写真からどこの観光名所かを認識して、みどころや行き方、だいたいの所要時間などを教えてくれる

読者の皆さんも、西新宿に行ったときにはハイアット リージェンシー 東京のロビーで観光案内をしているPepperをたずねてみては如何でしょうか。(期間限定、9月中旬まで)

■Pepperによる都内観光案内“Tokyo Photo Spot Information” 紹介動画



それにしても亀有にある「こちら葛飾区亀有公園前派出所」の両さんの銅像が14種類もあるなんて、Pepperに教えてもらって初めて知りました(皆さんは知っていましたか?)。



Pepperの導入事例が続々と登場 
〜イケメンになったり銀行員になったり〜

ジェナは大丸百貨店や八十二銀行など、多くの企業とPepperのロボアプリで共同開発を行っています。
ここではその一端を紹介しましょう。



・大丸松坂屋百貨店
大丸百貨店のイケメンショコラ隊をご存じでしょうか。

バレンタインの企画とひとつとして昨年と今年、1月と2月にかけて日時限定で行われました。特設ブースにはオーディションを勝ち抜いてきたイケメンの男性たち複数人が待機、訪れた女性に愛の言葉を囁いてくれたり、一緒に写真を撮ったりと、バレンタインらしい甘~い企画です。昨年はイケメンによる壁ドンや顎クイもあったとかなかったとか・・。

そこに登場したのがなんとお馴染みPepper、イケメンショコラ隊にまじって「アナタのココロ、ワシヅカミしちゃうかもよ~お♪」と相変わらずのゆるさを思う存分に発揮。記念撮影のポーズをとって訪れた女性たちと一緒に記念撮影をしました。



・八十二銀行
八十二銀行ではPepperが行員として入行し、お客さまの様々なライフステージをサポートする「Pepper for Biz」用アプリ「ライフステージ支援」をジェナと共同開発して搭載しました。金融商品の紹介アプリを搭載し、お客様のライフステージに応じたローンなどの提案を行います。例えば、最近子供が産まれた家庭には、住宅ローン、住宅リフォームなどの各種ローンを子育て支援を加味したプランで紹介します。



jena-02-06

このコラムの前編「【神崎洋治のロボットの衝撃 vol.29】東京モーターショー公式アプリに隠れた新技術!会場内ナビと混雑マップ機能を探るIoT最前線 ジェナに聞く(1)」でご紹介したように、ジェナはビーコンを使ったIoTのシステムを東京モーターショーや野外イベントで導入してきました。モバイル端末やウェアラブル端末の活用がメインですが、それだけではありません。同社ではモバイルやウェアラブル端末に、ロボットやIoT、IBM Watsonなとのコグニティブ・コンピュータと連携することで、より付加価値が高く、実用的なシステムが組めると考えています。

次は、PepperとWatsonを使った取り組みを紹介しましょう。


PepperとWatsonがタッグを組んで、サッカーゲームを盛り上げる



幕張のイベント会場に置かれたテーブルサッカーゲーム。
2人のプレイヤーが熱中しています。
その横で試合を中継しているのがPepperです。


「キックオフです♪ 青が優勢ですね、赤が押されています、青が優勢、ゴオオオオーーーーーール!!」


jena-02-02
これはいったいどのようなしくみで実現しているのでしょうか。

実は、ゲーム状況をWatson IoTで管理し、Pepperにその分析データを伝達することで、Pepperはゲームの進行状況を会場の観客に向けて解説しているのです。


テーブルサッカーは、プレイヤーである小さな人形がボールを蹴ってゴールを目指しますが、各プレイヤーをよく見ると背中にとても小さな装置が設置されています。まるでランドセルを背負っているようにも見えますが、これが実はIoTのセンサー装置です。


jena-02-03

各プレイヤーにはIoT向けのセンサーが設置されている。この動きを見て、優勢か劣勢かを判断することができる

フォワードなど前線のプレイヤーが激しく動作しているチームが攻撃していて、ディフェンダーなど守備プレイヤーが激しく動作しているチームが守勢に回っていることをWatson IoTがリアルタイムで解析します(少しタイムラグはあります)。


jena-02-05


■Watson IoTとPepperを使ったテーブルサッカーの実況中継



その情報から優勢と劣勢を判断し、Pepperが大きな声で実況して観客を盛り上げているのです。
また、ゲームの実況は常時Twitterにも投稿しているので、現地にいる観客以外の人にも伝えることが可能です。

神崎(編集部)

PepperとWatsonを使ったテーブルサッカーゲームの実況中継は面白い仕組みですね。

手塚(敬称略)

はい。選手の人形に取り付けたセンサーからのデータをWatson IoT Platformに送って、赤と青の優勢・劣勢を判断しています。サッカーゴールにもセンサーがあって、ゴールした場合はそれに反応してそのデータも送られます。
このときのプロトコルはMQTTと呼ばれる、IoT向けによく利用されているプロトコルを使用します。HTTPと比較して軽量で、ヘッダーが短いのが利点です。

jena-02-09

神崎

なるほど、データ通信のオーバーヘッドが短くて済むということですか?

手塚

はい。リアルタイム性が高く、IoTの処理には適していると思います。この情報を実況データを自然言語にして自動的にツイッターに投稿するとともに、Pepperにもポーズをつけて喋ってもらっています。実はこのシステムは数週間という短期間で開発し、最初はPepperの実況の予定はなかったんです。直前になって、Pepperが実況した方が面白いし、臨場感も増すだろうということで、急遽、Pepperに登場してもらうことになったのです。そのため、もう少し時間があればPepperにももっと様々なセリフを喋ってもらうことができたと思っていますので、ぜひ今後に期待してください(笑)。

神崎

御社はモバイル端末などを中心にシステム開発を展開してきましたが、ロボット端末についてはどのように考えていますか。

手塚

私達は、”ロボットは高機能なヒト型センサーである”と考えています。
ロボットは会話などでコミュニケーションができるだけでなく、相手の感情を理解することができたり、人数をカウントしたり、性別や年齢を推定したり、と高機能なセンサーであるとも言えます。特に感情の情報を得るには会話と表情、声から判断できるロボットは最適だと思います。
また、入力のインタフェースは音声入力や画像の認識ができます。音声は相手との自然言語による会話があり、画像の入力では写真などを認識することができますので、その機能を活用すれば、ハイアット リージェンシー 東京さんのPepperのようにポストカードを見せることで、行ってみたいと思っている観光地を認識することができます。

jena-02-08

神崎

なるほど。スマートフォンとロボットの違いをそのように捉えているのですね。

手塚

はい。更に今、Watsonが登場することによって、数値化された構造化データだけでなく、数値化しづらかった人の感情や気持ちなどを含め、従来はコンピュータが処理しづらかった非構造化データも処理することができるようになってきました。そうなると、データソースとして機械的なデータと人間的なデータをぶつけることで、新しい何かが生まれるんじゃないかと感じています。

神崎

今回はPepperの事例をたくさんお伺いし、Watsonとの具体的な連携の例も教えていただき、どうもありがとうございました。

■ 関連リンク
【神崎洋治のロボットの衝撃 vol.29】東京モーターショー公式アプリに隠れた新技術!会場内ナビと混雑マップ機能を探るIoT最前線 ジェナに聞く(1)
https://staging.robotstart.info/2016/07/19/kozaki_shogeki-no29.html


ABOUT THE AUTHOR / 

神崎 洋治

神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。

PR

連載・コラム