« 2007年03月 | メイン | 2007年05月 »

2007年04月27日

ディープな検索

多くの人にとって、ネットでの検索と言えば、たいてい、自分の要求にかなうコンテンツを見つけることを指すだろう。
しかし、ある程度大きなボリュームを持ったコンテンツの場合は、コンテンツを見つけるだけでは不十分であり、そのコンテンツの中身に対する検索も必要になる。
たとえば、ある調べものをしているときに関連する専門書を発見できたとして、その本のどの部分に知りたいことが書かれているのか、さらなる検索が必要だろう。
スニペット(snippet)と呼ばれる、検索エンジンの検索結果に含まれるテキスト情報のように、検索キーワードに関連したコンテンツの一部分を抽出して表示するというやり方があるが、キーワードがそのコンテンツ内にどのように分布しているのか、たとえば、一部にしか現れていないのか、あるいは万遍無く現われているのか、などを詳細に知りたい場合があると思う。

つまり、当然ながら、コンテンツ検索の次にはコンテンツ内検索が必要になるということだ。
僕はコンテンツ内検索のことをディープサーチ(deep search)と呼んでいる。
これは、コンテンツ内の任意の部分にタグを付けることをディープタギングと呼ぶことからの連想である。

たとえば、タイルバーという仕組みでは、検索に使ったキーワードが文書中でどのように分布しているのかを示すことができる。
これによってユーザーは検索結果の文書中のどの部分を詳しく見るべきかを容易に判断することができる。
タイルバーは、(1)文書の相対的な長さ、(2)文書中のキーワードの出現頻度、(3)文書中のキーワードの分布状態を同時にかつコンパクトに示すことを目的としている。

このようにテキストコンテンツに関しては、すでにいろいろな研究があって、情報可視化のような分野の盛り上がりにもつながっている(最近「見える化」っていわれているものもそういうものですかね)。
当然、これから対象にすべきものはビデオである。

僕のいる研究室の一人の学生は卒業研究でビデオシーン検索システムを開発した。
これは、僕たちの運営している動画共有サイトSynvieで収集されたシーンへのコメントやシーン引用をしたビデオブログを用いて、シーンタグと呼ばれる検索用キーワードを抽出し、シーンタグのビデオ内での出現分布を見せることで、ビデオ内の検索を容易にできるようにしたシステムである。

このシステムは、動画コンテンツ内に深く潜る(dive)という意味を込めてDivie(ダイビィ, dive into movie)と呼ばれている。
DivieはSynvieの一部として公開されているので、興味を持たれた方はぜひお試しください(ちなみに、Synvieはデザインが一新されました)。

一般にビデオシーン検索は検索の対象をビデオ全体ではなくシーン(ビデオの一部分)としたものだと思われていると思うが、ここでは少し違う。
最終的には探しているビデオシーンにたどり着くことを目的としているものの、探している過程で、そのシーンの前後の文脈や全体におけるそのシーンの位置づけがわかるようにしている。

やはり、潜るときは見渡せる範囲はよく見渡してから、潜る場所をよく確かめて潜るのがよいのである。

もちろん、途中は素っ飛ばして結論だけ知りたい人は、ピンポイントにターゲットの狭い範囲だけを見たいかも知れない。
しかし、残念ながら、ビデオシーンにピンポイントにたどり着けるほどの精度のよい検索は現状では極めて困難である。

そもそも、検索という行為では、その過程において自分の探しているものを再確認することが多い。
つまり、何らかの当てずっぽうでダイレクトに結果に到達するより、その途中でうろうろしながら周辺の情報を確認しておくほうが、より正確に自分の求めているものに出会うことが多いのである。

ビデオシーン検索も同様で、シーンタグの付与されたシーンのみを視聴するのではなく、シーンタグがコンテンツ内でどのように分布しているかをよく見て、シーンタグの付与されている部分の周辺もざっと眺めたうえで、より詳細にビデオを視聴するやり方がよいだろう。
シーン検索の過程で、最初には思いつかなかったタグを一覧の中に見い出すこともあるだろうし、それらのタグの分布も簡単な操作で見れるようになっているべきだろう。

そのために、Divieでは、以下の図のように、検索結果の一覧を表示するときに、コンテンツ内のシーンタグの分布がわかるようにしている。

divie.jpg

つまり、候補となったコンテンツごとに、タイムラインを表示してシーンタグが付与されている時間がわかるようにしている。
また、同時に、そのコンテンツに付与されたすべてのシーンタグ一覧を表示し、その中のタグをマウスで選択すると、そのタグの分布をタイムラインに追加する。
さらに、タイムラインにはスライダーが付いており、それをドラッグすると、やはりコンテンツごとに表示されているサムネイル画像が変化する。
サムネイルはあらかじめ作成されているので、スライダーを動かしても、ビデオそのものにアクセスすることなく、その時間に対応する画像を表示できる。
そして、スライダーを止めた時間からビデオが視聴できるように、Synvieにリクエストを出せるようになっている(その場合、サムネイルか、タイムラインの直下にあるボタンをクリックする)。

このようにコンテンツ検索とコンテンツ内検索は連動しており、潜ったり浮かんだりの繰り返しが簡単にできるようになっている。

ところで、ディープサーチはビデオに限定されたものではない。
前述のタイルバーをタイムラインの代わりに用いれば、かなりのボリュームのテキストコンテンツにもほぼ同様の仕組みで潜ることができる。
また、イメージやグラフィックスの中にも潜っていくことができるだろう。

そういえば、1997年頃、Tour into the Pictureという、日立の研究所がやっていた研究があって、印象派などの有名な絵画をスパイダーメッシュという手法で分析して、絵画内の風景に奥行きの情報を加えて、単純なズーミングとは異なる手法で絵画に含まれる詳細な情報に視覚的に迫っていくという、非常に面白いビジュアルエクスペリエンスを実現したという話があった(その後、この話はどうなったのかわからないけれど)。

ディープサーチには言語的な手がかりが必要なので、これと同じことはできないが、コンテンツ内を探索していく雰囲気には近いものがあると思う。
イメージ内の要素にタグを付けることは一般的に行われるようになったが、その要素を構成するより細かい要素にタグを付けていき、タグに構造を与えていくような仕組みはまだ一般的ではない。
たとえば、GoogleがImage Labelerでやっていることも、イメージ全体に対する表層的なタグ付けである。
これには人間の解釈が入るのでタグには意味的な要素が含まれるのであるが、できればもっと深い意味の情報が欲しいだろう。

僕らのやり方は、オンラインアノテーションと呼ばれる、多くの人のコンテンツへのコメントや属性の付与を利用して、ディープサーチに利用可能な、コンテンツの要素に関する意味的情報を抽出するというものである。
このオンラインアノテーションを工夫して、できるだけコンテンツの中の深いところにコメントを付けられるようにしたいと考えている。
たとえば、ビデオに関しては、シーンやフレーム内オブジェクトである。
シーンへのコメントはビデオ内のある時間区間に表示する字幕(および注釈)みたいなもので、フレーム内オブジェクトはイメージ内の矩形領域のことであるが、コメントを付与する対象やコメントの書き方に趣向を凝らして、もっと深い情報が得られないものかと考えている。

また、コメント文を解析して、使えそうなキーワードを抽出して(このやり方についてもいろいろ工夫を凝らした)、検索用キーワード(すなわちシーンタグ)とする仕組みも実現した。
アノテーションの数が少ないと、当然ながらシーンタグのバリエーションも少ないのであるが、人間の活動をうまく知識に変換していく仕組みがあれば、自ずと検索可能なシーンや検索に使えるシーンタグが増えていくものと考えている。

最近、「情報大航海」なんていう大規模な国家プロジェクトの話が出てきているけれど、情報の大海の上を動き回って海面ばかり見渡しているだけでは不十分で、情報の中に深く潜っていく必要があるのである。
そのために重要なことは、コンテンツの表層的な解析結果にばかり依存して思考停止するのをやめることなのであるが、コンテンツの深い意味を考えることに関して、なかなかセンスのよい人が今あまりいないような気がするのは僕だけだろうか。

投稿者 nagao : 22:33 | コメント (232) | トラックバック

2007年04月15日

大学院生募集のお知らせ

名古屋大学 大学院情報科学研究科 メディア科学専攻 長尾研究室では、2008年4月入学の大学院生を募集しています。
もちろん、入学試験を受けなければならないのですが、学部入試に比べて大学院入試ははるかに楽だと思います。
だから、特にやりたいことがなくても大学院は東大に行って、最終学歴を東大にしようという人がいるようです。
これを学歴ロンダリングと言うそうです。

名古屋大学はあまり学歴ロンダリングに向いていないかも知れませんが、キャンパスもきれいで建物も新しいですから、新しいことを始めるのになかなかよい雰囲気のところだと思います。

実は、私はこれまであまり学外からの学生の勧誘をやってきませんでした。
それは、いい研究をやっていれば自ずと人が集まってくると思っていたからです。
しかし、現実はなかなか厳しくて、名古屋大学は知っていてもここの研究科や専攻は知らなかったり、たとえ知っていても「画像をやりたい、音声をやりたい」なんていう「メディア科学といえばパターン認識」的な希望の人が多くて、私のところのような「一風変わった」研究室を希望する人はあまりいないようです。

それで、今回はこのブログで来年度の入学希望者を募集しようと思います。

入学を希望される方には以下の特典があります。

1.大学院入試から入学準備までのアドバイスをします。
2.希望があれば研究室の雰囲気や活動を体験できます。
3.入学後の研究・学習プランについて相談に乗ります。
4.卒業後の就職の相談も可能な限り受け付けます。

大学院でITの未来につながるいい研究をしたい人、今の大学とは違う環境で研究をしたいと思っている人、このブログを読んで研究に興味を持った人、などなど、ご応募お待ちしています。

ご連絡は、メールでお願いします。
メールアドレスは、nagao@nuie.nagoya-u.ac.jpです。
どうぞよろしくお願いします。

投稿者 nagao : 16:03 | コメント (205) | トラックバック