「ペッパソン2017西の陣」で三冠を獲得した「おしえてペッパー!」とは? チームメンバーは全員学生
「Pepper App Challenge 2017 Autumn」(以下PAC)と「Mashup Awards 2017」に繋がるプレ・イベントとして、関西で初めての開催となったPepperハッカソン「ペッパソン2017西の陣」。
7チームがファイナルに進出した結果、チーム「swing-by-pepper」が開発した作品「おしえてペッパー!」が、最優秀賞、DataSpider賞、Watson賞を獲得し、みごと三冠に輝いた。
「おしえてペッパー!」の概要と使用した技術
この作品の想定する舞台は「ワークショップ」。デモでは「ハロウィンイベント・折り紙・カボチャを作ろう」という折り紙教室が題材となっていた。
折り紙教室にやってきたゲストを迎えたPepperは、教室内の空いている席に案内してくれる。席が空いているかどうかは、各席に設置したソニーのブロック型IoTセンサーデバイス「MESH」が検知し、「IFTTT」を通じて「Slack」と連携し、Pepperに対して空席の情報を受け渡す。
Pepperはゲストを空席に案内すると、ゲストは折り紙を折りはじめるが、次の折り方が解らなくてつまづいてしまう場合もある。Pepperがそれを検知し、現在どこまで折れているかを画像で認識する。これはDataSpiderを通じてIBM Watsonの画像認識APIを使用する。
ゲストがどこまで折ったのかが解れば、次の折り方の手順をPepperが教える、という流れだ。決まったフォームで解説するのではなく、ゲストが困っている状況を把握して、適切なアドバイスを行う点が斬新であり、ここまでできれば、ワークショップのスタッフの代わりにPepperがゲストを支援することも可能になるだろう。
では、チーム「swing-by-pepper」はどんなメンバーで構成され、普段はどのような仕事に就いている人たちなのか。また、この作品にはどのような思いが込められているのだろうか。ペッパソン当日、トリプル受賞の熱気も冷めやらぬうちにインタビューを行った。
メンバー全員が学生で構成
チームは関西大学システム理工学部の学生で女性の加藤美咲氏、男性4名は同志社大学大学院3人と同大学学部生1人、山本泰士氏、冨田龍太郎氏、大黒智貴氏、坂東航氏で構成されている。全員が学生だ。情報系の専攻なので、ロボットやAIについては興味があったというが、今までの経験は簡単なシステム開発やアプリ開発のみ、ロボットのアプリ開発の経験はなかった。PepperやIoTについては今回のペッパソンで初めて触れたのだと言う。
編集部
受賞おめでとうございます! メンバーの方々のハッカソンやPepper開発の経験について聞かせてください。
swing-by-pepper
私(加藤)はハッカソンの出場は10回目くらいです。大阪で開発されるイベントを中心に出場してきました。しかし、ロボットを使ったハッカソンは初めてで、Pepperも今回初めて開発を行いました。他のメンバーはハッカソン自体が2~3回目で、初出場の人もいます。Pepperの開発ツール「コレグラフ」を操作したのは全員、今回が初めてです(笑)。
編集部
今回のアイディアはどのような経緯で生まれたのでしょうか?
swing-by-pepper
実は最初は違うアイディアで作品を開発する予定だったんです。水族館で迷子の子どもをみつけたらPepperが助けてあげるというものでした。しかし、そのアイディアが既に過去のハッカソンにあったことが解り、一度は行き詰まってしまいました。その時は暗い雰囲気にもなったのですが、方向転換をしようということでみんなで意見を出し合って、「Pepperの目線になって、人に何かを教える」というこのアイディアにたどり着き、最終的にはワークショップを舞台にすることに決まりました。
編集部
アイディアの根底に水族館やワークショップがあるのには何か理由があるのでしょうか?
swing-by-pepper
「ロボットだから移動させたい」という気持ちがありました。水族館であれば巡回して迷子になっている子どもがいないか確認するといった感じですね。そのため利用される場所の想定がワークショップに変更になっても、座席を案内したり、巡回して折り方で息詰まっている人をみつけるという機能はぜひとも加えたかったんです。その結果、今回の機能にまとめることができて、更に良い評価まで受けたので、とても嬉しいです。
編集部
子どもを対象とした作品を意識したのでしょうか?
swing-by-pepper
Pepperの目線を重視しました。Pepperの身長と目線から、最初は子どもを対象にした作品を考えていましたが、ワークショップなら席に座って、折り紙などの作業をするので、大人も手助けの対象になるかな、と感じました。
編集部
今回、ペッパソンに初めて参加してみて、特に難しかったところを教えてください。
swing-by-pepper
今までPepperに触れる機会がなかったので解らないことだらけでした。でもPepperをハックすることはとても楽しくて、WatsonやAIのことも突貫で調べながらプログラミングをしました。メンターやサポーターの方に協力頂いたことがとても大きかったと感じています。
swing-by-pepper
初めての分野だったので、早々からつまづいて難しかったです。例えば、通信関連の技術は過去に開発した経験がなかったので、この二日間でウェブサーバーに接続したり、画像を転送するといった基本的なことから勉強するような状態でした。
swing-by-pepper
各自が分担して開発を行いましたが、最終的にできあがった部分を統合するのが予想以上に難しかったですね。例えば、人が「教えて」と言った言葉をPepperが認識する部分の開発はできていましたし、画像を識別する部分の開発もできているのに、「教えて」と言われたら画像認識に遷移するといった統合する部分でうまくいかなかったり、微調整が必要になったりと、手間取りました。正直に言えば、納得いくところまではやりきれなかったな、という悔しい思いです。
swing-by-pepper
画像認識でWatsonを使っていますが、これにも手間取ってしまって認識率が上がらないというトラブルもありました。
swing-by-pepper
Pepperから外部にデータを送るData Spiderの部分を担当しましたが、少し高度なことをしようとするだけでハードルが上がってしまい、教えてもらいながらなんとか開発できたという感じでした。
編集部
IoTセンサーとして座席の空席をMESHで判断していますが、使ってみて如何でしたか?
swing-by-pepper
実は一番使いたかったMESHのセンサーが既に在庫がなくなっていて(笑)、別のセンサーで代用するしかない状況が厳しかったですね。僕たちが使いたいセンサーを真っ先に確保できず、遅くなったのがいけないんですが(笑)。
ペッパソンに参加して感じたこと、ロボットの可能性について
意外にもペッパソンに初めて参加したというだけでなく、Pepperやコレグラフを触るのも初めて、という技術力では駆け出しのメンバーで構成された「swing-by-pepper」チーム。しかし、アイディアと熱意、チームワークで勝ちとった賞だと言えるだろう。
今後の計画を聞くと「せっかく最優秀賞を頂いたので、PACにも出場したいと思っています」という力強い回答を返してくれた。
最後にペッパソンに参加して感じたこと、ロボットの可能性について個々に聞いてみると、次のような感想を得た。
- ロボットと人間との親和性を表現するのが意外と難しくて、今回は実装しきれなかったのが残念です。
- モノヅクリの産業用ロボットについては実用的だと感じていましたが、ドラえもんやC-3POのようなロボットはSFの中だけの夢物語だと思っていました。しかし、今回Pepperに触れてみて、日常生活にロボットが入ってくる時代がくるんだなぁ、と実感しました。
- Pepperを下から見上げる機会があり、その時とても可愛くて新鮮に感じました。ロボットはいろいろな角度から見ると見方が変わることを実感しました。
- 最初は「Pepperなんて実用的なことは何もできない」と思っていましたが、ペッパソンを通して、いろいろなことができることを実感しました。逆にいろいろできすぎて何をさせたら良いだろうかと途方に暮れたくらいです。
- MESHでIoT端末を初めて触りました。こんな小さなブロックが様々な情報を取得できて驚いたと同時に、Pepperと連携することで環境に応じてロボットが対応できる未来が既にそこまで来ていることを感じました。
ペッパソンやコンテストに出場することで、ひとりでも多くの開発者や研究者、プランナーやデザイナーが、ロボットの可能性を感じてくれる機会が生まれることを実感した。
それと同時に、これからの世代を担う彼ら学生たちの今後の活躍にも期待せずにはいられない。
Pepperを活用したロボアプリのコンテスト「Pepper App Challenge 2017 Autumn」の開催は 2017年11月22日(水)。作品応募受付の締切は 2017年10月25日(水)。
参加は現在受付中。挑戦への道は開かれている。