見守りの新時代：ミリ波センサーによるプライバシーを保護した見守り技術と応用

こんにちは。コンバージングテクノロジー研究所の白石と吉岡です。私たちは、富士通のＡＩ技術と、行動科学や心理学などとのコンバージングテクノロジーの研究開発を行っています。その中から、ミリ波センサーを用いた見守り技術とその応用についてご紹介します。

ミリ波センサーってなに？

ミリ波センサーとは、周波数帯が30 ~ 300 GHzの範囲内の電波を照射（送信）し、周辺物により反射された電波を受信することで、周辺状況の情報を取得することができるセンサーです。最近では、車に搭載されて追突防止機能に応用されていたりします。

では、どのように周辺状況の情報を取得しているのでしょうか？送信波が動体で反射されたとき電波の周波数はわずかに変調します。この特性に着目し、周波数の変調度合いを解析することで、反射物の3次元位置座標、速度などの高次元データを得ることができるのです。ミリ波センサーは複数のアンテナから電波を照射するため、1回（フレーム）の電波の照射で高次元データを多数取得することができ、これを点群データと呼びます。

これは車だけでなく人も同様で、動いている人にミリ波を照射すると点群データを得ることができます（図１）。

プライバシーに配慮しながら人の行動を見守る必要性

2022年、日本において高齢者が総人口に占める割合は29.1%となりました。この数字は年々増加する傾向にあり、今後さらなる高齢化社会が予想されます。

高齢者は若年者に比べて転倒リスクが高く、転倒によって重大な障がいが生じるリスクも高いです。公益社団法人全日本病院協会によると、国内14病院において、2022年度は1か月あたり231件の入院患者の転倒が発生したそうです。実際、高齢者はベッドから起き上がる際などにバランスを崩して転倒してしまうことがあります。このような転倒事故のうち、予定外の処置や治療、入院、入院期間延長などが必要となるケースは１か月あたり4件発生しており、見守り技術の需要が高まっています。

近年では、病院や介護施設などで見守り対象者がベッドから離れたことを検知する離床センサーなどの物理センサーを設置するケースが増えています。これにより、見守り対象者の予期せぬ危険行動を迅速に発報することが可能となっていますが、転倒してしまったことを判断できないケースもあり、また転倒につながる過程や詳細な行動までは把握できないといった課題があります。一方で、病室などにカメラを設置する見守り技術は、患者のプライバシーを損なう観点から導入が難しいという側面があります。カメラを使えば姿勢や動きなどをダイレクトに把握できますが、生活空間を記録し続けるわけにはいきません。

人の位置を点群データとして取得するミリ波センサーであれば、プライバシーに配慮しやすく、暗所でも使うことができるため、病室等のような空間でも設置できる可能性があります。そこで、ミリ波センサーで得られる点群データから人の行動を推定する技術の開発に着手しました。

プライバシーに配慮した見守り技術の開発に着手

国内電波法に準拠する79GHz帯の一般的なミリ波センサーを用いて、点群データから人の行動を推定するための2つの技術（①点群データの拡張技術、②点群から人の姿勢を推定するAI技術）を開発しています。

開発技術１：点群拡張技術

ミリ波センサーは、信号の送受信アンテナの数によって得られる点群の密度が変わります。私たちは、介護施設等に導入しやすくするためにできるだけ安価な装置での実現を目指しました。

1回あたりの電波の照射で取得できる点群データの粒度が疎な安価なミリ波センサーでも高精度な推定を実現するため、人の姿勢が時系列の点群データとして表現できることに着目しました。図２のように、複数回の電波の照射によって取得できる大量の点群データから、人の姿勢を推定するのに適した点群データを選定することで、粒度が密な点群データへと拡張する点群データ拡張技術を開発しました。これにより、１時点あたりのデータ量が数十点しか得られなかった場合でも、近隣の時点の点群データから最新の時点の点群データと関連の強い点群データを選定することで数百点まで拡張することが可能となりました。

開発技術２：人の姿勢を推定するＡＩ技術

姿勢推定に充分な粒度に拡張した点群データをもとに高精度に姿勢を推定するため、点群データと人の関節点（図３）の3次元座標情報を対応させた大規模データセットを構築しました。データセットは、約140人の人物による表１に示すような異なるシーンでの行動データを取得して構成し、このデータセットに基づいて姿勢推定AIモデルを開発しました。

これにより図４のように点群データを入力として、リアルタイムに人の関節点17点に対する3次元座標情報を推定・出力することが可能となります。

このAIを用いることで、カメラを使わずとも転倒などの危険な状態を知ることができ、プライバシーを保護した見守りを実現することができます。図５にミリ波センサーで人の転倒を捉えた例を示します。

AIと犯罪心理学を融合：特殊詐欺実証を基に被害者の心理状態に関係する要素を分析

ご紹介したミリ波センサーでは、心拍数や呼吸数といったバイタル情報を取得する機能の開発も進められており、見守り以外の分野での活用も期待されています。

近年、高齢者を狙った特殊詐欺が多発しています。この被害を防ぐために、詐欺電話に応対しているときの高齢者のバイタル情報をミリ波センサーで取得し、高齢者の性格などのもともとの心理特性と合わせて電話中の心理状態を分析することで詐欺に引っかかっている危険性があるかどうかを分析する技術も開発しています（図６）。

ミリ波センサーは見守りなどのHealthy Living領域だけでなく、Trusted Societyなど様々な領域に応用することで、より効果的に安心安全で持続可能な社会の実現に貢献できる可能性があります。