相手が理解しているかを察する能力は、コミュニケーションにおいて非常に重要

本プロジェクトは、人間の「理解度」を推定することを目的としています。AIが何かを説明するとき、聞いている人はちゃんと内容を理解しているでしょうか。もし理解できていないようなら、より易しく説明したほうが良いかもしれません。これは、人間同士のコミュニケーションであれば、自然に行われていることです。

理解度のような人間の認知状態を調べる方法として、一般的なのは脳波やfMRIなど、脳科学的なアプローチです。しかしこれらの方法はかなり大がかりな装置が必要になるため、実際の社会生活のなかで、ロボットやモビリティーに適用する方法としては、あまり現実的とはいえません。

私たち研究グループは実用的な手法として、カメラとウェアラブルセンサーに注目しました。カメラからは、まず顔の表情がわかります。さらに画像処理でわずかな色の変動を検出することで、心拍数まで推定できることが明らかになっています（rPPG）。またサーマルカメラを使えば、顔の温度分布まで見ることができます。

一方、ウェアラブルセンサーからは、血流量、心拍数、皮膚電位、発汗量など、さまざまな生理学的データを取得できます。将来的には、自動車のハンドルをウェアラブルセンサー化するようなことも可能でしょう。

実験による判定では、8割程度の高い正答率に

研究グループは、数十名の被験者にクイズを解いてもらう実験を行いました。画面に問題を表示して、わかったらボタンを押す。理解した瞬間、つまりボタンを押した瞬間の前後で、何か変化はないか調べたのです。

 

分析の結果、クイズを解けた場合には、心拍数が上昇する傾向にあることがわかりました。これを機械学習でモデル化し、心拍数データから被験者が解けたか解けなかったか判定させたところ、8割程度の高い正答率が得られました。

機械の正答率が人間と比べるとどうなのかを確かめるために、人間に被験者の表情を見てもらい、同じように「解けた / 解けなかった」の判定を行ってもらったところ、正答率は平均で5割程度でした。シンプルな実験ではありますが、人間以上の精度を出せる可能性が見えたといえるでしょう。

この実験では、表情の分析も行ったのですが、ボタンを押した前後で、明確な変化は見られませんでした。これはおそらく、人間は機械相手だと感情が表に出にくいためと考えられます。人間同士のコミュニケーションであれば、表情から理解度を検出できるようになる可能性もあるでしょう。

ビジネスや教育、さまざまな分野での応用に期待

研究グループが開発した理解度推定システムの技術は、将来的に、さまざまな用途への応用が考えられます。たとえば仕事でプレゼンテーションをするとき、聞いている人が理解できているかどうかは重要な情報です。理解度をモニターし、それに応じて表現を変えたりすれば、成功する確率を上げることができます。

またコロナ禍により、学校では遠隔授業も行われるようになりましたが、生徒が内容を理解できているのかどうか、画面越しではどうしてもわかりにくいという難しさがありました。このシステムで理解度を推定できれば、授業内容の改善につなげられる可能性があります。

ロボットやモビリティーでは、UIの開発などにも活用できるかもしれません。機械側からの提示に対する理解度を数値化できれば、UIをよりわかりやすいものに改善しやすいでしょう。

クイズの実験が瞬間的な刺激であったのに対し、これらの応用シーンは基本的に連続的な反応になります。また人間同士の場合、その関係性などによって反応が異なるという複雑な面もあります。理解度の推定には、まだまだ解決すべき課題がたくさんあり、いくつもの新しいイノベーションが必要になるでしょう。

しかしコミュニケーションにおいて、相手が理解したかどうか把握するということは、関係を一方的なものではなく、双方向的なものにするためにも欠かせません。もしこれができるようになれば、AIはもっと人によりそえる存在になれるはずです。