昨今、AIを利用した画像処理が日々進化し、普及しています。
アルモニコスにおいても、木口認識、データマトリクス認識の研究成果をラボラトリーでご紹介させていただきました。
今回は、人間固有の「表情」に焦点をあて、第1段階としてプログラムで人間の表情を自動認識、さらに「無表情」と認識した場合には、第2段階として 「一定時間、連続して目を閉じている」と判断すると「眠気」と検知するアルゴリズムに挑戦してみました。

世の中の最先端技術においては、カメラ画像に写った人間の表情（眼球の動きなど）から、犯罪者予測もしくは危険人物の判別まで行いセキュリティに活かそうという流れもあります。自分が犯罪者や危険人物として識別されてしまったら？と考えると、怖い技術ですね。アルモニコスにおいては、ソフトウェア技術の時流に追随するべく、知的好奇心をベース（アルモニコスで大事にしていること）に、「世の中に役立つ技術開発をする」というモチベーションで研究をしています。

年齢、性別判断などのAI利用も進めていますが、並行して実施している以下の2点の成果をご報告いたします。

1.　「怒、不快、恐、喜、通常（無表情）、悲、驚」の表情認識
2.　1の表情認識において「通常（無表情）」と判断した後の眠気検知

1.「怒、不快、恐、喜、通常（無表情）、悲、驚」の表情認識

処理フロー

① 顔認識
② ランドマーク検出
③ ランドマーク間のユークリッド距離計算
④ 学習済モデルに「怒、不快、恐、喜、通常（無表情）、悲、驚」のうち、どれか予想させる

2. 表情認識において「通常（無表情）」と判断した後の眠気検知

処理フロー

① 顔認識
② ランドマーク検出
③ ランドマーク間のユークリッド距離計算
④ 学習済モデルに「怒、不快、恐、喜、通常（無表情）、悲、驚」のうち、どれか予想させる
⑤ 「通常（無表情）」と判断した場合にのみ、目の周辺のランドマークを抽出
⑥ 目の周辺のランドマークから「一定時間、目を閉じている」と判断すれば、「眠気」と検知

※「一定時間、目を閉じている」とは、以下の条件とした
閾値
・一定時間
・目を閉じているフレームの数

今後の課題

1. 「怒、不快、恐、喜、通常（無表情）、悲、驚」の表情認識
   「怒、不快、喜、通常（無表情）、驚」の5種類の表情は認識できました。
   「恐、悲」の表情認識は、プログラムは存在していますが、確認できませんでした。学習データ不足、および被験者の表情不足（表情筋次第？）が原因と思われます。表情が乏しいタイプの人は、普通に人間が見ても「何を考えているか分からない。」と思われることがあります。AIでは人間以上の判別は難しいのでしょうか？
   
   
2. 年齢判断
   性別判断は高確率で正解となりますが、年齢判断は不安定な結果となりました。
   こちらは学習データ不足が原因と思われます。我々も、数えきれないほどの人の顔を見てきた蓄積で年齢判断しています。西洋人と東洋人ではお互いに顔判別が難しい、年齢判断はもっと難しいと言われているのも、学習データ不足が原因です。学習データを大量に蓄積すれば解決する課題かと思います。

以下、様々な検知結果をご紹介します。

研究担当のエンジニアでは認識できなかったので、担当外の「表情豊か」なエンジニアに被験者になってもらいました。

まとめ

自動車業界が日本経済を牽引する一つの主要産業である現代において、「次世代自動車はどうなるのか」は、我々日本人の注視するべきトピックスです。

完成車として、EV化が進むのか？水素自動車が普及するのか？自動運転はどこまで進むのか？法整備は追いつけるのか？製造工程の脱炭素化「カーボンニュートラル」はどのように実現するのか？

解決するべき課題は多種多様です。自動運転において、ハンドル操作だけではなく、ドライバーの顔画像から眠気を検知する機能もすでに実用化が進んでいます。アルモニコスの研究成果が、いつかどこかで皆様のお役に立てる日がくることを信じて、研究を続けていこうと思います。

最後に、研究者コメントをご紹介します。

　于： 全体的に面白かったです。開発環境の準備に疲れました。
　中山：ランドマークを利用して何かを判定する、もっといいアイデアを出したかったです。
　岡村：学習済みデータの偉大さを実感しました。

研究担当