手話認識システムの研究で、研究成果発表会ベストポスター賞受賞

大学院工学研究科応用理工学専攻博士前期課程電気電子情報工学コース 1年

桑原翔

2023年春に福井工業大学大学院に進学した桑原さんは、「機械学習を用いた手話認識システム」の研究に取り組み、大学内で実施された11月の「2023年度大学院生研究成果発表会ポスターセッション」でベストポスター賞を受賞した。本研究は、手話の画像に目や肩の位置情報を取り入れ、ろう者との円滑なコミュニケーションを目指している。研究の趣旨や進め方、今後の抱負などをうかがった。

学部時代からの研究を深めるために大学院に進学

好奇心旺盛で、身の周りのさまざまな課題に気づくと、その解決法を考え始める桑原さん。工学部時代は、電気電子工学科（現：電気電子情報工学科）の西田好宏教授の下で、多くの学生が非接触インタフェースを研究する中で桑原さんは収穫時にキュウリを選別する検出法の開発に取り組んでいた。「僕の家は専業農家で祖母が朝早くから選別作業をしているのを見てこれは大変だと思い、研究室で取り組んでいる、画像を使った機械学習を活用して選別する方法を考えました。キュウリの画像から選別に必要なデータを作り、予測分析ソフトに学習させて動かすシステムです」。

課題解決のための研究に意欲的な桑原さんだが、学部時代をコロナ禍で過ごしたため、物足りなさがあったという。「大学に行けず家で学習する時間が長かったので、もっと勉強したいという思いをずっと持っていました。大学院に進むことに決め、引き続き西田教授の研究室で、ハンドサインなど非接触インタフェースによる機械学習の研究に取り組むことにしました」。

「機械学習を用いた手話認識システム」の研究に取り組む

桑原さんが、大学院での研究テーマに選んだのは「機械学習を用いた手話認識システム」の開発である。西田教授に相談する中で、従来の静止画ベースの機械学習に対して空中手書き入力のように一連の動きを加えようという考えが出され、「動きが加わったハンドサインといえば手話。これでいこう」と、とんとん拍子に決定。桑原さんの中で研究の価値や全体像がしっかりイメージできたそうだ。

目指す手話認識システムは、手話で話す人の動きをカメラやスマートフォンで取得すると、連続した画像の時系列データから、その動きが表す言葉を自動的に文字に起こしてくれるシステムで、実用化されれば、ろう者と健常者のコミュニケーションが一段と円滑になる。「ろう者と手話がわからない健常者がコミュニケーションを取ろうとすると主に筆談になりますが、時間がかかるし、意図を充分に伝えられないと思います。しかし、カメラやスマホを通して見るだけで文字になって表されれば、ろう者の方の意思が早く、正確に伝わると考えています」。

手話がわからない桑原さんは、研究を始めるに当たり、本や動画から手話を独学し、手話ができる知人にも相談。必要な“手話をする人の動画”は、自分自身が手話をする様子を撮影し、機械学習に用いる予測分析ソフトにデータとして入力し、学習させた。「本のお手本を見ながら、こうだろうと想像し、真似をする形で手を動かし撮影しました。専門家の方に相談したり、データ提供をお願いしたりするためには、ある程度の土台を完成させる必要があると思うので、まず自分なりに積み重ねていこうと思いました」。

学習させた単語は51語。学習用データと評価用データにするために、各単語を表す手話の画像を20回ずつ撮影し入力している。その結果、手の動きだけで51語の文字が出るようになったが、精度としては不十分だと考え、目の位置データも取り入れることにした。「手話には、顔の前でする動きと、顔から外れた位置でする動きがあって、顔の位置情報がないと区別がつかないんです。そこで、顔の位置がわかるようにするために目の位置データを入れました」。また、カメラやスマートフォンから得られる位置情報は被写体までの距離等により差が出るため、肩の位置情報も追加。画角を肩幅の何倍かの範囲にすることで、肩から見た手の位置が相対化され、より正確になるだろうと考えたからだ。

研究成果発表会ポスターセッションに参加し、ベストポスター賞受賞

桑原さんは、「機械学習を用いた手話認識システム」の研究内容や成果を、11月15日に大学内で開催された「2023年度大学院生研究成果発表会ポスターセッション」で発表。手話の写真や研究の過程がわかる図表を1枚のポスターにわかりやすくまとめるとともに、手話の動きがリアルにわかる画像も用意した。当日は、来場者が自由にポスターを見て回るスタイルのため、発表者は自身のポスターのそばで待機し、質問などへ対応。桑原さんは、手話の動きに対して言葉が表示される画面を見せながら説明を繰り返した。話を聞いた多くの人から、「災害時にろう者の方は絶対困るはずだから、これはいいね」など応援の言葉をもらったそうだ。また、「手話と同時に口も動かすから、読唇術を取り入れて、口パクから単語を起こすといいのでは」という意見は、桑原さんが当初から考えていた「いずれは表情や口の動きも導入する」という課題につながるものであった。

今回のセッションには23名が参加し、最も優れた研究成果を来場者の投票により決定した。結果、桑原さんの研究が「ベストポスター賞」を受賞。先進技術の活用と社会的影響の大きさが評価された。驚いた桑原さんだが、「これは期待されているということでもあると思い、完成させねばならないという気持ちが強くなりました」と語り、同時に研究に反映できる意見を聞けたことを喜んでいる。

幅広い分野の課題を解決するシステムを開発し地域に貢献したい

福井県で生まれ育った桑原さんは、「福井が好きなんです」と地元への思いが強い。現在も、手話システムの研究と並行し、個人研究として福井県の観光マップ作りを進めている。マップ上の観光スポットのマークにタッチすると写真と案内文が表示され、VRゴーグルを装着すれば3次元画像で見ることができる機能を持たせる予定だという。大学院修了後は就職し、ジャンルは問わず、地域貢献につながるソフトやアプリの開発に携わりながら、自分なりの研究にも取り組むのが理想だと話す桑原さん。探求心と課題解決力で福井の未来を拓く力になってくれそうだ。