新しい働き方には新しい見守り方を。表情分析AIでリモートワーカーのメンタルヘルスを守る「INNER FACE™」

－「INNER FACE™」とはどのようなプロジェクトなのか、簡単に教えてください。

川島：2022年5月に立ち上がったプロジェクトで、世界中で普及した新しい働き方「リモートワーク」によって起こるメンタルヘルスを把握しづらい、という課題に対し、表情分析AIを使って従業員の新しい見守り方をデザインしました。PCのWebカメラを通じ、リモートワーカーの表情を1秒に1回、1日に約3万回のスパンで分析することで、自身のコンディションをリアルタイムに把握することができます。

国際広告賞である「MAD STARS 2023（2023釜山国際マーケティング広告祭）」では、62カ国から2万282作品のエントリーがあった中で、 Data Insight「クリスタル」を受賞しました。現在は、実証実験を重ねて産学共同で研究を進めている最中です。

－メンタルヘルスの課題とは、具体的にはどのようなものですか？

川島：新型コロナウイルス感染拡大の影響で、日本のみならず世界的にうつ病・うつ状態になる方が増加しています。また月刊総務が2020年に実施した調査によると、リモートワーク環境の浸透に伴い、従業員のメンタルヘルスケアに課題を感じている企業の割合が70％以上と、従業員も企業も大きな課題を抱えていることがわかっています。

－たしかにリモートワークの場合、出社に比べて他者とのコミュニケーションが減り、気持ちがふさぎがちになる傾向がありますね。

川島：そこで、メンタルヘルスのサインとして「表情」を活用できないかと考え、このプロジェクトが始まりました。 

「INNER FACE™」で表情分析をし、その結果を確認することで、自分の感情推移を客観視できる仕組みとなっています。

－表情分析は、どのような仕組みで行われているのですか？

畑：表情イメージから感情を推論する機械学習モデルで実現しています。学習モデルには、画像から表情を学習するFAR-2013などのデータセットと学習効率を向上する畳み込みニューラルネットワーク（CNN）、実行にはTensorflow.jsを活用しています。これによりフロントエンド側で、エクマン理論に基づいた「怒り」「嫌悪」「恐れ」「喜び」「悲しみ」「驚き」の6つに「平常」を加えた7つの感情に分類し、データ化しています。

畑：分析結果を見る画面では、曜日別で時間帯による表情変化が視覚的にわかるようになっています。今はそのデータを福島学院大学・早稲田大学の心理学・人間科学の専門家に共有しつつ、研究を重ねている段階です。

－他の曜日との比較もあると、よりわかりやすいですし、楽しく見ることができますね。そもそも、なぜこのようなプロジェクトを立ち上げようと思われたのですか？

川島：もともとはソーシャルプロジェクト（電通デジタルが行っている、デジタルテクノロジーとクリエイティブを活用し、さまざまな社会課題の解決に取り組む活動）のアイデアを何か出せないかと話していたのが発端でした。その中で、メンタルヘルスケアの課題解決を目指すアイデアが出たのです。 

また私の周りのリモートワーカーが、在宅勤務が続くことでメンタル的に落ち込んでしまっていたこともあり、そういう人を救うきっかけになればという思いから、プロジェクトがスタートしました。私自身もリモートワークで無表情が続いたり、気分が沈んでしまったりすることもあったので、なんとかできないかなと思ったのです。

安永：働き方が変化したならば、従業員のメンタルヘルスをどのようにサポートすべきか、新しい見守り方について考える必要があると思います。 

うつ病の方は表情に特徴が出ると聞いたことがあり、表情を分析すればメンタルヘルスケアに役立てられるのではないかと考えました。現状のテクノロジーで調べられるすべての表情をデータとして蓄積し、研究資源として活用していく方向性で進めています。現在は1,550万以上の表情分析データを取得し、研究者の方と連携をとって相関関係を明かすフェーズです。

－実証実験の際に、利用された方から寄せられた声で印象的なものがあれば教えてください。

安永：自分の表情を見つめ直すきっかけになったというポジティブな反応をいただきました。「私、こんな表情をしていたんだ」などと、雑談のネタにもなり、副次的に笑顔が生まれていたのが印象的でした。データをきっかけに表情を改善しようという気持ちになってもらえたことは、大きな手応えかなと感じています。

川島：私が体験しての実感ですが、やはり自分の表情を客観的に見ることでメンタルヘルス改善に大きく役立つと感じましたね。この曜日は定例会議があるから笑顔が多い、この曜日は作業が多いのであまり表情の変化がない、といったように自分を把握するきっかけとなりました。

－プロジェクトを進める中で大変だったことがあれば教えてください。

安永：チャレンジングな研究プロジェクトなので、自分たちで開拓していく必要があるのはとても大変でした。いつもはクライアント企業のやりたいことをどう実現させるかを考えます。しかし今回は、クライアント企業がいたわけではありませんし、自分たちのやりたいことをどのようにカタチにしていくかという点も難しいところでした。また学校や研究所という、いつもと異なるステークホルダーの方々と共同で進めているため、進行管理や彼らの希望をどのようにくんで進めていくのかについても考える必要がありました。

川島：利用される方が監視されていると感じないように、心理的障壁を削減するのもひとつの課題でしたね。従業員の安全を守りたいという気持ちと監視されたくないという従業員の気持ちを、どう折衷させるかは検討を重ねました。CXを意識して考えた結果、「INNER FACE™」では映像データを一切取得・保存せず、デスクトップ上で数値化された表情データを利用して分析する形にしています。

あとはプロジェクトとそのデータをどのように活用して社会実装するかも難しいところですね。これからの課題として、その土壌をしっかり作らなくてはいけないと考えています。

－「INNER FACE™」の今後の展望を教えてください。

川島：今はまだ始まったばかりということもあり、これからも丁寧な検証を続けていくつもりです。また、今回海外アワードで評価いただいたことに加え、すでに50以上のメディアにも取り上げられており、それらをふまえると、本プロジェクトは世界的にもメンタルヘルスケアの重要性を再認識するきっかけになると感じています。今後も新たなアワードの挑戦やグローバルな場にも進出していければと思っています。 

ただ、まだまだリモートワーカーのメンタルヘルスケアは十分ではありません。自分のメンタルを見つめて打ち手を探す”新しい見守り”に「INNER FACE™」が役立つと思っているので、そうした形で新しい文化を作っていければいいですね。

安永：まだ見えていないところも多いのですが、今後もっと先へ進むとしたら、サービスとしてローンチすることも視野に入れる必要があります。教育機関で授業中の生徒の参加態度を見守ったり、企業の人事が従業員のメンタルヘルスを把握する一助になったりと、さまざまな活用が期待できると思います。現在は準備段階ですが、ありがたいことに企業からのお声がけもいただいているので、まずは基盤を整えていければと思っています。

畑：これは僕の野望ですが、今回のプロジェクトを元に電通デジタルのクリエイティブ発信の学習モデルを高いレベルで完成させて、そのデータを電通デジタル全体のクリエイティビティに参照できるようにしていきたいと思っています。そうなれば、より質の高いアウトプットができますし、もっとクリエイティブが楽しくなるはずです。 

外部にも内部にもいい効果を波及させる事例となるべく、今後も「INNER FACE™」をもとにより精度を高めていきたいです。