« 権威を壊し、権威を創る | メイン | 形態素を数えてみたら »

2009年02月14日

タイムマシンボード:進化したホワイトボード

ご無沙汰しています。
ようやく時間が取れるようになってきましたので、僕のいる研究室の最近の成果をご紹介したいと思います。

僕のいる研究室では、ホワイトボードを電子化・ネットワーク化した新しいミーティングツールとして、タイムマシンボード(TimeMachineBoard)と呼ばれるシステムを研究開発しています。
名前から想像できますように、このシステムは、AppleのMac OS X Leopardの機能の一つ、Time Machineとほぼ同じ発想に基づいています。

もっとも、AppleのTime MachineのようにPC内のデータのバックアップがメインではなく、過去のミーティングの内容を検索して、容易に再利用できるようにすることが目的です。
たとえば、以前に誰かが書いた文字や図は、ペンのストロークごとに詳細に記録されています(書いた時間、そのときのペンの色や太さ、書いたユーザーのIDも含まれています)ので、時間を遡って再現することができます。

僕たちは、まず、以下の写真のように、大型液晶ディスプレイと赤外線LEDペン(ペン先が押されるとペンのお尻から赤外線を発信するペン)およびWiiリモコンを使って、電子的なホワイトボードを実装しました。

tmb_pen1.jpgtmb_pen2.jpg

ただし、この仕組みは僕たちのオリジナルではありません。
アメリカのCMU(カーネギーメロン大学)の学生が、すでに実現して、プログラムを公開しています(参考)。
僕たちは、ペンにユーザーIDを関連付けるために、若干の細工を施しました。
これには僕らのオリジナルデバイスであるWiiリモコン用赤外線IDデコーダも利用しています。
また、頭上に固定しているWiiリモコンにACアダプタを接続できるようにしました(これで電池切れの心配がなくなりました)。

次に、ペンでいろいろなことができるようにするためにユーザーインタフェースを工夫しました。
たとえば、個人専用のWiiリモコンのAボタンを押しながら、リモコンと同じIDを持つペンで画面をタップすると、以下の図のようなメニューパレットが表示されて、ペンや背景の属性を変えることができます(これは、ペンのみ、あるいはリモコンのみを使っても行えますが、両手にペンとリモコンを持って使うのが最も効率的です)。

tmb_penpalette.jpg

ペンの属性には、機能(通常のペン、イレーサ、アンダーライナー、オブジェクトの選択・移動・拡大縮小、範囲選択とコピー)、色、サイズ、ストロークの種類(フリーハンド、直線、矢印、矩形)があります(ちなみに、ペンを通常のマウスのように使うこともできます)。
また、背景の属性には、通常のデスクトップ画面、ホワイトボード、グリッド付きのホワイトボードがあります。

ペンによる文字入力の仕組みも作りました。
これは以下の写真のような、ひらがなとアルファベットのキーボードパネルから文字をペンで選択すると、その文字で始まる言葉(漢字の場合はその読みの先頭がマッチするもの)がリストアップされ、そのどれかをペンやリモコンの十字キーで選択する仕組みです。
これは一般のキーボードに比べると明らかに遅いですが、手書き文字入力よりは速くテキストを入力できると思います。

tmb_input1.jpgtmb_input2.jpg

また、以下の写真のように、WebブラウザやPowerPointなどのWindowsアプリケーションを立ち上げておいて、ペンでその画面の任意の部分をクリッピングしてホワイトボード画面に貼ることができます。

tmb_clip1.jpgtmb_clip2.jpg

当然ながら、僕たちが以前からミーティングで使っているWiiリモコンによるポインタ機能も同様に使うことができます。
前々回のエントリー「スティッキーとアンダーライナー」でご紹介した機能は、すべてこのタイムマシンボードで利用することができます。
たとえば、スティッキー(以下の上の図)で、テキストやイメージを、タイムマシンボードに転送することができ、以下の下の写真のように、ペンやリモコンを使って表示位置やサイズを変更することができます。

tmb_sticky1.jpg
tmb_sticky2.jpg

僕たちの使っているWiiリモコンは、ポイントしているボードを赤外線IDで識別できますので、複数のボードにまたがった操作をすることもできます。
たとえば、以下の写真のように、近くのボード上の手描き図を遠くの(より大型の)ボード(この例ではプロジェクタスクリーン)に転送して表示させるような操作です。

tmb_copy1.jpg
tmb_copy2.jpg

実は、タイムマシンボードは、いわゆるグラフィックファシリテーションの仕組みを実装することを目指して設計されています。
ファシリテーション(会議を円滑に進めるためのテクニック)に関してはいつか改めて書いてみたいと思いますが、ホワイトボードをうまく使うことで、適切に議論を誘導・調整できるように、ファシリテーションとホワイトボードの活用術には強い関連があると思われます。

たとえば、以下の左の写真のように、クリッピングしたりスティッキーで転送した図にペンでマーキングしたり、右の写真のようにテキストの任意の部分にアンダーラインを引いたりしながら、説明に抑揚をつけたり、議論の流れを適切に導いていくことができるようになっています。

tmb_marking.jpgtmb_underline.jpg

近い将来、タイムマシンボードは、参加者のファシリテーションのスキルに依存せずに、システムを使っているうちに自然にファシリテートされるような会議を実現することができるでしょう。

そのために、会議におけるユーザー行動(ペンやポインタの動き、スティッキーによる文字や画像の入力と移動、背景画像からのクリッピングなど)を自動的に記録して、その時間に基づいて構造化する仕組みによって、現在進行中の会議を支援する手法を模索しています。

たとえば、過去にボードに表示した内容の一部を引用して現在の議論に役立てたり、現在のボードの内容を消去したときに、自動的に、近くにある他のボードに直前の内容をサムネイル表示するなど、記録のさまざまな活用法を実現しています。
また、音声も記録しているので、ボードに描きながら、あるいはボードをポイントしながら話していた内容をボード内容の検索と連動して再生することができます。

さらに、タイムマシンボードのコンテンツは、Webブラウザでアクセスできるようになっていますので、どこにいてもボードに書いた内容を閲覧することができます。
これはリフレクションと呼ばれる、議論内容の振り返りを促進するための仕組みです。

このように、タイムマシンボードは、従来のホワイトボードを、過去を遡って内容の一部を検索・引用できるようにすることで、時間的に拡張し、さらに、複数のボードを柔軟に連携できるようにすることで、空間的に拡張したものと言えるでしょう。

いずれは、僕のいる研究室の一つの壁全体をタイムマシンボードとして使えるようにしようと思っています。
このような壁に、僕はタイムマシンウォールという名前を付けようと思っています(そのまんまですね)。


昨年、Panasonic(旧松下電器産業)がライフウォールというコンセプトを発表したのを見たとき、僕は「この人たち、よくわかっているなあ」と思いました。
僕は、このライフウォールおよびそのアプリケーションが、近未来の情報化・ネットワーク化された日常生活環境の一例をよく表していると思ったのです(家族の見ている前で自分宛のメールをチェックするかどうかはさておき、リビングルームに家族全員が集まる機会が増えるのはとてもよいことでしょう)。
ちなみに、僕はライフウォール(Life Wall)よりリビングウォール(Living Wall。リビングルームと「生きている」という意味をかけている)というネーミングの方が合っていると思います。
将来、Living Wallに等身大の自分の映像とメッセージを残して、子供たちへのLiving Will(遺言状)にする、などのようなことも実現されるでしょう。
遺言状は別としても、若いころの父親や母親の姿やメッセージに、現在の自分が元気づけられる場面がこれから増えるのではないでしょうか(過去の自分から未来の自分に送るメッセージというのでもよいですね)。

この仕組みは、屋内の一つの壁のほぼ全域をディスプレイとして使えるようにしたもので、たとえば、テレビ電話なら等身大の相手を表示して会話ができますし(かなり親しい間じゃないとこんなことはしないと思いますが)、画面に手を伸ばすとその手の先あたりに、ユーザーごとにカスタマイズされたメニューを表示して、表示内容を操作できるようです。
また、ユーザーの顔のあたりに子画面を表示してその人に合った情報を表示することもでき、さらに、その人が左右に歩くとその子画面が人の動きに合わせてついてくる、というデモもやっていました。

ディスプレイ前のどのあたりにユーザーが立っているかどうかは、赤外線の反射を検知するセンサーを使えば簡単にわかりますし、手の動きを認識したい場合は、よくジェスチャ認識で用いられている、赤外光の反射による2.5次元の距離画像(2次元の画像にピクセルごとのカメラからの距離を加えたもの)を処理すればよいでしょう。
しかし、一般に、ユーザーを瞬時に正確に識別するのは簡単ではないと思います(ライフウォールは顔画像認識をするのだと思いますが、最初にどの程度の画像を登録する必要があるのかよくわかりません)。

僕たちが、ユーザーインタフェースデバイスとしてID付きのWiiリモコン(とLEDペン)を使っているのは、パターン認識技術によるユーザー認証がまだしばらくは実用に耐えないと思っているからです(バイオメトリクス(生体認証)を使うのならかなり精度は良いと思いますが、センサーから1m以上も離れたらうまくいかないと思います)。
また、自宅内に限定されるのならよいですが、デジタルサイネージ(電子看板)のユーザー適応のような、公共の場で個人認証を行う場合、顔やバイオメトリクスより、できれば有効期限付きのIDを使う方が、不用意にトレースされないようにするためにはよいと思っています。

それに、Wiiリモコン(によるポインタ)やLEDペンがあれば、ハンドジェスチャの認識も必要ありません。
デモでは発生しなかったようでしたが、ジェスチャの誤認識や認識遅れによるユーザー意図とのずれはきっと発生するでしょう。
少なくともタッチパネル程度の安定性がないととても実用に耐えないと思います。
ただ、一人が複数のデバイスを持つのは適切ではないと思いますので、僕は、近い将来に、WiiリモコンとLEDペンの機能を統合したデバイス(必要に応じて分離できる)を作ろうと思っています(ポインタペンという名前も考えましたが、どうでしょう)。

ところで、ライフウォールに関して、僕がすばらしいと思っているもう一つの点は、一つの巨大ディスプレイの一部を複数のユーザーでうまく使い分けているということです。
壁全体がディスプレイになるからといって、常に壁全体に何かを表示しなければならないわけではないでしょう。
必要な情報を必要な部分に表示できれば、それ以外は壁のまま(あるいは背景となる画像のまま)でよいはずです。
壁全体がディスプレイなら、そのときの気分で好きな絵や写真を好きな位置に配置できますから、最近流行りのデジタルフォトフレームなども必要なくなるでしょう(無論、壁ではなく、机の上に飾りたい場合には有用ですが)。
省エネルギーや耐久性のことをよく考える必要がありますが、そう遠くない将来に、大型ディスプレイをかなりの省電力で常時稼働させる技術が生み出されると思います(LEDバックライトや有機ELはなかなか有望ですね)。

ライフウォールで提案されているハンドジェスチャによるユーザーインタフェースが一般に普及するには、まだまだ多くの研究が必要だと思いますが(僕はペンにもなるポインタリモコンの方が早く実用化されると思っています)、人間のいるところにその人間にとって必要な情報を表示し、その人間が移動したら情報(の表示画面)も一緒に移動する、という仕組みは、結構早い時期に実用化されるのではないかと思います(大好きな人の顔や姿をいつも間近で見ることができるようになりますよ)。
屋内外のさまざまな壁がこのような仕組みを持てば、ほぼ、どこでもディスプレイが実現できるでしょう。

ところで、どこでもディスプレイといえば、頭部装着型のディスプレイ(いわゆるウェアラブルディスプレイ)も将来の実用可能性が見えてきた気がします。
これについても、また別の機会に書いてみたいと思います。

投稿者 nagao : 2009年02月14日 00:54

トラックバック

このエントリーのトラックバックURL:
http://blog.nagao.nuie.nagoya-u.ac.jp/mt/mt-tb.cgi/161