FILE No.16

空中手書き文字認識

電気電子情報工学科　教授

西田好宏

パソコンやスマートフォンで文字などを入力する際に使われているキーボードやタッチパネル。その次の入力方法ともいえる “空中での手書き文字入力” の研究を行っているのが福井工業大学電気電子情報工学科教授の西田好宏さん。共同コンピュータ株式会社（福井市）がこの研究に着目し、手の動きで文字入力を可能にした双方向型電子看板（デジタルサイネージ）のシステムを共同開発した。看板の前に立って手を動かすと、その軌跡に沿って文字を認識、看板に必要な情報が画面に表示されるもの。公的な場所に設置する装置は、不特定多数の人が使うため、汚れや破損のリスクが大きい。タッチせずに操作できれば、破損やリスクも激減するので、この新しい技術の可能性に対する周囲の期待は大きい。「企業とタッグを組むことで実用化の可能性が出てきました。今後も他の用途を含めて製品化できればいいですね」と笑顔で話す西田先生。これからの研究にますます熱が入りそうだ。

三次元ではなく二次元(平面)の動きで認識する空中手書き文字

クラウド・コンピューティングの普及で、いつでもどこでもコミュニケーションやつぶやき、検索、データ保存などが可能になった。その際に必要になるのがテキストデータだ。現在はキーボードやタッチパネルで入力しているが、いつでもどこでもという訳にはいかない。「場所を問わずクラウドにメモを保存したり、コミュニケーションがとれたら」「何かしている最中でも、片手で簡単にメモがとれたら」との考えから取り組み始めた研究が『二次元移動方向に基づく空中手書き文字認識』だ。

研究は、まず「文字認識」から始まった。人は筆跡が残ることを前提に、それを見ながら丁寧に文字を書いている。しかし空中では筆跡は残らない。空中に描いた文字を認識することは実に難しいことなのだ。
「人が空中で手を動かして文字を書く場合、三次元の中でも、手を前に出したらそこに紙か何かがありその上に書くような感覚で手を動かす習性がある。三次元の中のどこかに二次元平面を想定して手を動かす、つまり、二次元の移動方法を使っているということです」。
西田先生はその二次元的な移動方法に着目、上げ下げの動作は利用せず、平面上の動きだけに限定。一文字を一筆書きで認識する方法にした。
また、人が書く字には癖があり、紙の上の文字でさえ認識が困難な場合もある。
「従来の手書き入力では漢字も可能ですが、空中手書きでは初めからあきらめました。空中ではひらがなですら正確に書けないし、よく似た形も多い。漢字は携帯電話で推測機能が発達。一文字入力すれば候補を上げてくれるので、そのシステムを採用すればいいことですからね」。
できることに最大限の力を注ぎ、ひたすら研究に没頭する。
しかし思った以上に認識させるのが困難で容易に前には進まない。「行き詰ったら、他の技術について調べてみたりするようにしています。視点を変えてみると、新しいひらめきや考えに行きつくこともありますよ」というものの試行錯誤の連続だった。
そして、ようやく空中手書き文字の大きさや位置に関わらず、一文字を連続ストローク（一筆書）で描いたひらがな、数字、アルファベットの認識に成功する。

『一筆連続書き文字認識ソフトウェア（認識エンジン）』開発の成功だ。

さらに認識した文字が正しいか否かを選択したり、確定したり、文字を削除するためのコマンドも必要不可欠だ。西田先生は頻繁に使用する「back space」「enter」「space」「tab」「半角/全角」のキーに対して空中操作の動作を考案した。削除、確定、変換、選択、キャンセルなどの選択も可能になった。
「課題はまだまだ残っていますが、ようやくここまできたなっていうのが実感です」と笑顔で話す西田先生。まずは大きな課題をクリアしたことで安堵しているようにも見える。

携帯電話の開発時に感じた疑問が開発のきっかけ

実は『二次元移動方向に基づく空中手書き文字認識』の研究は、8年以上前にさかのぼる。
西田先生は、福井工業大学に着任する前は、三菱電機の研究所で研究・開発部門に長年勤務し、主に映像に関する研究を担当していた。
「ある時期から、携帯電話にいろいろな機能が付き始めました。カラー液晶、ワンセグ、ゲームができるようになって、携帯電話にも映像の技術が必要不可欠になった。それで携帯電話の仕事にも関わるようになりました。そこで、自分で実際に携帯電話を使っていて気になったのが、文字入力のしにくさ。通話からメールやメッセージの割合が多くなった今の時代でも、携帯での文字入力を苦手とする人が多いですよね。もっと簡単に入力できたらいいのにと思いました」。
「こうしたい」と思い始めたら居てもたってもいられない性格。仕事の合間をみて、自分で簡単な試作品を作るなど、自分なりのアクションでアピールするものの、それ以上話が進むことはなかった。

その後も文字入力の改善に対する問題意識が消えることはなく、「携帯電話だけではなく、いつでもどこでも使える文字入力方法として、いっそ直接字を書いてみたらどうだろうと思いついたのです。空中手書きで文字入力するなら年配の方でも簡単じゃないだろうか」との思いに到達する。

好きな研究をするため企業から大学を目指す

ちょうどその頃、関係機関に出向。そこでようやく空中手書き文字認識について研究する時間を持てるようになった。本格的な研究に胸が躍る思いだった。
ところが、2年後三菱電機に戻り、異動により同じ研究を続けることは困難になった。そんな時、大学の研究室の先輩かつ三菱電機の先輩で、大学教授になっていた先輩から大学での研究および学位取得を勧められた。そこで、社会人学生として博士後期課程に入学し、空中手書き文字認識の研究をつづけ学位を取得。

そして、西田先生は新しい可能性を求めて、平成22年に福井工業大学　電気電子情報工学科の教授に就任する。ウィークデーは授業や学生指導に追われる毎日だが、研究は週末や夏休みなどの長期休暇に行っている。「自由度がある大学に満足しています。会社と違って自分で何でもしないといけませんが、したいことをするためなら苦になりません」。

近未来の技術発展の一役を担う可能性を秘める

空中手書き文字認識は大きな可能性を秘めたツールの一つといっても過言ではない。
「既に企業によるメガネ型ディスプレイが一般的ですが、今後は有機ELなどの自ら発光して何にでも表示可能なディスプレイに進化すると考えられます。その時、ペンや指輪、ブレスレット、時計型などのデバイスを身に付け、空中手書きで操作するという訳です」。

「空中手書き入力の応用として、手の動きで操作しフロントウインドウに表示するカーナビ、パソコンやスマホに対応したデバイス（指輪型やペン型など）で操作する、壁にセンサーを内蔵して壁に向かって操作することなどを考えています。リハビリや意思伝達装置にも利用できれば助かる方もいるんじゃないでしょうか。」と西田先生の探究心は尽きることがない。

「ビックリしてもらうとモチベーションが上がります」と本人が言うように、“えっ、そんなことができるの？”と驚かれることが西田先生の研究の原動力。まだ課題を抱えているというが、どんな時でも彼には「やりたいこと」がはっきり見えている。大きな可能性を秘めた研究にこれからも立ち向かっていくに違いない。