雑談システムを競う「対話システムライブコンペティション」開催、参加者募集中。人工知能学会「対話システムシンポジウム」で

1992年に創設された人工知能学会 言語・音声理解と対話処理研究会（SLUD）では2010年から毎年「システムシンポジウム」が開催されています。
そして、今年のシステムシンポジウムでは「対話システムライブコンペティション」が開催されることになり、現在参加者を募集しています。

「対話破綻検出チャレンジ」を経て

過去のシステムシンポジウムでは特別セッションとして、「対話破綻検出チャレンジ」が開催され、こちらは昨年度から国際イベントとなりました。
対話破綻検出チャレンジとは、対話の破綻（システムが文脈的に不適切な応答をした箇所）を検出する技術（対話破綻検出）に焦点を絞って、参加者が各自で開発した手法や技術を持ち寄って互いの技術を高め合うことを目的としたものです。例えば、システムがある発話をすると対話が破綻するという可能性を事前に推定できれば、それが回避するたいめの対策もたてられるでしょう。また、たとえ不適当な応答を防ぐ事ができなくても、その後のユーザの反応から対話の破綻が検出できれば、対話の話題を変えるなど、エラーからの回復戦略を取ることも可能となると考えられています。

対話破綻検出チャレンジのデータは、対話研究への参入を容易にしたり、現状の対話システムの問題点を明らかにしたりすることに役立ってきました。一方で、固定の対話コーパスに対してアルゴリズムを競う形式であるために、対話のライブ要素があまり検討されてこなかったという問題点もありました。

この問題点をふまえ、よりライブ性の高いイベントを行うことにより、対話システムにおけるよりリアルな難しさや面白さをシンポジウム参加者全員で共有できるようなイベントとして、今年のシステムシンポジウムでは「対話システムライブコンペティション」が開催されることとなりました。

現在その参加者を募集中です。

対話システムライブコンペティションの概要

対話システムライブコンペティションとは、開発を行った雑談対話システム（非タスク指向型対話システム）を複数の参加者間で、その出来栄えを競い合うというものです。

予選と対話システムシンポジウム内でのライブイベントから構成され、予選ではクラウドソーシングの作業者が開発された対話システムの評価を行います。ライブイベントでは予選で好成績を収めたシステムとシンポジウム参加者が対話し、その状況を対話システムシンポジウムの参加者全員で鑑賞・評価します。

評価基準

予選では、対話システムは「どれくらいまた話したいと思うか」という1つの評価軸にて5段階で評価されます。
これは抽象的な評価軸で、評価者は「対話が面白かったか／役に立ったか／自然だったか」などの様々な観点を考慮して評価することを想定しています。

評価者には対話の相手がシステムであることはあらかじめ通知され、この評価軸は。Alexa Prize と同等のものです。

評価方法

予選

予選はクラウドソーシングを用いて、一つのシステムに対し、20人のワーカーが主観評価をおこないます。

対話はシステム発話から始まり、システムとユーザは交互に発話し、それぞれ10発話ずつ行った時点で対話は終了します。（※発話数については変更の可能性があります）

なお、20人による評価の前に疎通に問題ないか、最低限の対話ができるかなどを確認するためのスクリーニングを、オーガナイザと数名のクラウドワーカーにより実施します。本スクリーニングを通過しなかったシステムは、その時点で評価の対象外とします。

ライブイベント

予選で好成績を収めたシステムはライブイベントに参加できます（上位３チームを想定していますが変更になる可能性があります）。
ライブイベントではリアルタイムでシステムとシンポジウム参加者が対話し、その状況を対話システムシンポジウムの参加者全員で鑑賞・評価します。

エントリーについて

開発するシステムのタイプは「雑談対話システム（非タスク指向型対話システム）」です。
対話システムの作成にあたっては。インスタントメッセージシステムTelegram上で動作するボットを作成します。

詳しい作成方法については、Getting Startedを参照してください。

エントリー方法

「対話システムライブコンペティション　エントリーフォーム」よりエントリーできます。
エントリーには、下記の情報が必要です。

※ 複数の組織を横断してチームを結成しても構いません

スケジュール

2018年9月30日：エントリー〆切
2018年10月1-10日：スクリーニングおよびクラウドソーシングを用いた予選
2018年10月12日：予選の結果通知
2018年10月26日：原稿締切（対話システムシンポジウムの締切に従います）
2018年11月20-21日：ライブイベント本番（対話システムシンポジウム内で実施）

その他詳細は対話システムライブコンペティションのページを参照してください。

この記事を読んだ人におすすめ

関連する記事はまだありません