MobileClick-2 キックオフイベント

NTCIR-12 MobileClick-2モバイル情報検索タスク

加藤誠（京都大学）Virgil Pavlu (Northeastern University)

酒井哲也（早稲田大学）山本岳洋（京都大学）

2

モバイル検索の現状

"NTCIR"

3

NTCIR とは ?

あなたの検索スコア

クリック数 : 2検索時間 : 00:31

"NTCIR"

4

NTCIR の締切はいつ ?



5

30 秒は

長すぎる

6

MobileClickなら

こうなる

"NTCIR"

7

NTCIR とは ?Home | NTCIRThe NTCIR Workshop is a series of evaluation

workshops designed to enhance research in

information access technologies including

information retrieval, summarization, extraction,

question answering, etc.

NTCIR-12

Held on June 9(Tue)-12(Fri), 2016

at National Center of Sciences, Tokyo, Japan

NTCIR-12 News

NTCIR-12 Schedule

NTCIR-12 Tasks



"NTCIR"

8

NTCIR の締切はいつ ? Home | NTCIR

The NTCIR Workshop is a series of evaluation





NTCIR-12

Held on June 9(Tue)-12(Fri), 2016


NTCIR-12 News

NTCIR-12 Schedule

NTCIR-12 Tasks

NTCIR-12 Schedule

20/Jan./2016: Task

Registration Due

06/Jan./2016: Document

Set Release

Jan.-May/2016: Dry Run

Mar.-July/2016: Formal Run

01/Aug./2016: Evaluation Results

Due

01/Aug./2016: Task overview release

15/Sep./2016: Paper submission Due

01/Nov./2016: All paper Due

09-12/Dec./2016: NTCIR-11 Conference



"NTCIR"

9

When is the deadline

of NTCIR? Home | NTCIRhttp://research.nii.ac.jp/ntcir/






NTCIR-11 http://research.nii.ac.jp/ntcir/

Held on December 9(Tue)-12(Fri), 2014


NTCIR-11 News http://research.nii.ac.jp/ntcir/news

NTCIR-11 Schedule http://research.nii.ac.jp/ntcir/schedule

NTCIR-11 Tasks http://research.nii.ac.jp/ntcir/tasks

NTCIR-11 Schedulehttp://research.nii.ac.jp/ntcir/schedule

20/Jan./2014: Task Registration Due

06/Jan./2014: Document Set Release



01/Aug./2014: Evaluation Results Due

01/Aug./2014: Early draft Task overview

release

15/Sep./2014: Draft paper submission Due

01/Nov./2014: All camera-ready paper Due


Your Search Score

Clicks: 1Time: 00:15

MobileClick の目標モバイルユーザが

必要な情報へ直接・即時にアクセスできるようにするこ

と

"NTCIR"

10





















release




Your Search Score


MobileClick-1 との違い

• 日英で 2 種類のサブタスク• iUnits を提供（抽出不要）

• 速やかなフィードバック• リーダーボード• クエリ頻度の提供（予定）

• クエリと iUnit 集合が与えられたときiUnit を推定された重要度順にランキング注 : iUnit はクエリ対して適合する情報の断片

iUnit Ranking サブタスク

11

iUnit

評価ワークショップ

情報アクセス技術研究の促進が目的

2016 年 6 月 20 日が参加登録締切

NTCIR

Input: Query

Input: iUnit setiUnit

1 評価ワークショップ

2 2016 年 6 月 20 日が参加登録締切

3 情報アクセス技術研究の促進が目的

……

Output: iUnit list

nDCG

0.5

文書ではなく文字列の重要度を推定研究課題

• クエリ， iUnit 集合，サブトピックが与えられたとき2 層の要約を生成

iUnit Summarization サブタスク

12

iUnit

評価ワークショップ

情報アクセス技術研究の促進が目的

…

NTCIR

Input: Query

Input: iUnit set

Subtopics

ニュース

スケジュール

…

Input: Subtopics

M-measure

0.5

NTCIR は情報検索・要約・抽出，質問応答などの情報アクセス技術研究を促進するためにデザインされた評価ワークショップです．

ニューススケジュールタスク

2nd layer20/Jan./2016: Task Registration Due





01/Aug./2016: Task overview release

15/Sep./2016: Paper submission Due

01/Nov./2016: All paper Due


Output: Two-layered summaryモバイル情報アクセ

スのために設計され

た

評価指標

どのユーザも即材に満足できるようにiUnit を配置（ IMine タスクに類似）

研究課題

Q. いつ評価結果が見られますか？A. システム出力を投稿したらすぐ見られます

リーダーボードシステム

13

結果が出たすごい結果だ！

投稿

フィードバック

• 2015 年 4 月より訓練クエリ用評価システム公開• 2015 年 8 月よりテストクエリ用評価システム公

開

リーダーボード

• 以下のトピックに興味がある方– モバイル情報アクセス– 意図推定– 多様化– 要約– 質問応答– ナゲットベース評価

• 以下のタスクの参加者の皆様– 1CLICK タスク– INTENT ， IMine タスク– RITE タスク

以下に当てはまる方はぜひ参加を検討ください

14

月イベント

2015 年 4月

CFP 第 1 段訓練クエリ用評価システム公開

2015 年 6月参加登録締切

2015 年 8月

テストクエリ公開テストクエリ用評価システム公開

2015 年12 月システム結果投稿締切

2016 年 3月参加者論文投稿締切

2016 年 6月 NTCIR-12 Conference

MobileClick-2 スケジュール

15

"NTCIR"

16





















release




Your Search Score


MobileClick-2無駄のない高速な

モバイル情報アクセスを実現

2015 年 4 月http://www.mobileclick.org/

で訓練用評価システム公開予定

2015 年 8 月 - 2015 年 12 月リアルタイム評価実施

MobileClick-2 キックオフイベント

Technology