マルチカメラトラッキングの特長のご紹介

こんにちは、データ＆セキュリティ研の伊藤です。今日は、Fujitsu Kozuchi (code name) - Fujitsu AI Platform （以下 Fujitsu Kozuchi）に搭載されているマルチカメラトラッキングについてご紹介します。

この記事は、5週連続集中連載の第3弾です。前回「Fujitsu Neuro-Symbolic Explainerの特長のご紹介」はこちらです！

マルチカメラトラッキングは、複数のカメラで、同一人物をリアルタイムでトラッキング（追跡）できる技術です。富士通が研究開発した先端AI技術を迅速に試すことができるプラットフォームFujitsu Kozuchiの、AIのコア技術単位のソフトウェア部品「AIコアエンジン」です。

従来のカメラ映像から人物を追跡するシステムでは、画角の違う複数のカメラを使うと人物の追跡が途切れてしまい、同一人物としての追跡が困難でした。また、追跡対象者が一時的に物陰に隠れたり、混雑した場所で人と重なって映った場合も追跡が途切れてしまいました。この課題を解決するためにマルチカメラトラッキングを開発しました。　

マルチカメラトラッキングの価値と利用イメージ

マルチカメラトラッキングの価値は、広範囲の場所に対して、混雑していても、同一人物の追跡ができるということです。2つの特長を説明します。

1つ目は、複数のカメラに映る同一人物を検出可能ということです。広い場所や入り組んだ場所をモニタリングする場合、複数のカメラを使うことが必要です。しかし、各カメラの画角によって人物の見え方が異なるため、従来は複数のカメラを使った同一人物の追跡は困難でした。マルチカメラトラッキングは、画角が違う異なるカメラでも、外見の特長から同一人物を特定します。これにより、駅や空港などの広い場所や、オフィスビルの中など建物内の入り組んだ場所であっても、複数カメラを使って同一人物を追跡できます。

2つ目は、一時的に物や人に遮られても同一人物を継続して追跡できることです。従来技術では人の移動方向などから同一人物を推定する方式が使われています。この方式だと、物や人に遮られた時に追跡対象が移動方向を変えると、追跡が途切れてしまいます。マルチカメラトラッキングは、映像に映る追跡対象以外の人物の特徴も活用することで、一時的に物や人に隠れて見えなくなった場合でも同一人物を同定し追跡が可能です。

利用イメージは以下の図をご覧ください。

まず画面で追跡対象者を選択して追跡を開始します。（Camera1）
別のカメラで対象者を検出すると、色枠と検出時刻を表示します。（Camera2）
一時的に物や人に隠れても継続して追跡できます。（Camera3）

利用イメージ

マルチカメラトラッキングの技術の特長

マルチカメラトラッキングは２つの技術がポイントです。まず複数カメラ間で人物再同定を高精度化する技術です。追跡対象の外見の特徴量を随時抽出し更新することで、各カメラの人物の見え方の違いを吸収し、複数のカメラをまたいでの人物トラッキングを可能にしています。

そして、遮蔽にも頑健な人物追跡技術です。映像に映る人物の特徴量を時系列で比較し、類似度が大きく低下したところで一旦人物の軌跡を切断、周囲の人の特徴量と比較し軌跡を再接続します。この技術は人物追跡の世界的なベンチマークMultiple Object Tracking Benchmark (MOT-17, 2023.3, MOT-20,2023.10) で世界No.1の精度を実現しました。