こんにちは、Physical AI研究所のWorld Inteligence CPJ) 長村とPhysical OS CPJ) Fanです。
今回は、FG20261に採択された2つの研究成果について紹介します。
FG2026について
FG（IEEE International Conference on Automatic Face and Gesture Recognition）は、顔認識やジェスチャ認識、人の行動理解に関する研究分野のトップ国際会議です。 顔・身体動作の認識や解析、感情コンピューティング、心理・行動分析など幅広いテーマを扱い、世界中の研究者が最新の研究成果を発表・議論します。
開催情報
- 開催期間：2026年5月25日～5月29日
- 開催地：Kyoto Research Park（京都，日本）
- 投稿・採択状況：301件の投稿に対し107件が採択（Long Paper 94件、Short Paper 13件）
- 採択率：35.55%
- 発表形態：口頭発表34件、ポスター発表73件
今回は京都で開催され、日本国内からも参加しやすい環境の中で、多くの研究者が活発な議論を交わしました。 採択率からも分かるように競争率の高い国際会議であり、このような競争率の中、私たちの2件の研究が採択されたことは非常に光栄です
またキーノート講演では、Shunsuke Saito氏・Iain Matthew氏・Yukie Nagai氏 らによる講演も行われ、Digital Human や人とAIの相互理解に関する活発な議論が行われていました。 なお、General Chairの一人であるCMUのLaszlo教授は、Fujitsu-Carnegie Mellon Physical AI Research Center2のメンバーでもあります。
開催会場の様子
キーノート講演の様子
CMUのLaszlo教授(右)による紹介の後、
MetaのShunsuke Saito氏(左)が講演
会議内の様子
口頭発表では最新技術に関する深い議論が行われ、ポスター発表では研究者同士が直接意見を交わしながら活発な情報交換を行っていました。 また、バンケットではGeneral ChairsであるCMUの金出教授をはじめ、国内外の著名な研究者との交流の機会にも恵まれました。
口頭発表会場の様子
ポスター発表会場の様子
本研究の概要
人とロボットが自然に協調するためには、人を理解する技術と計測する技術の両方が不可欠です。今回発表した2件の研究は、それぞれ人物行動意図推定3と人体モーションキャプチャ4を対象とした基盤技術です。以下では、「理解」と「計測」の両面からPhysical AIの実現を目指す研究成果について紹介します。
ポスター発表の様子（長村）
口頭発表の様子（Fan）
研究① CP-VLM: Causal Prompting for Human Intention Inference with Vision–Language Models
研究背景
近年、Vision-Language Model（VLM）は画像説明や視覚質問応答において高い性能を示しています。一方で、「何が起きているか」の認識は得意であるものの、「なぜその行動が起きているのか」という目的や意図の理解には課題があります。
そこで本研究では、人物意図を推論するための因果的推論フレームワークCP-VLM（Causal Prompting Vision-Language Model） を提案しました。
CP-VLMでは、図に示すように、人間の行動は「Intention → Scene Structure → Observed Image」という因果過程によって生成されると考えます。本研究では、この生成過程を逆方向にたどることで、観測画像から人物の意図を推論します。
提案手法
CP-VLMでは、観測された行動から人物の意図を推論するために、Scene Graph PromptingとCausal Promptingを組み合わせた2段階推論を導入しました。
まず、Scene Graph Promptingにより、人物・物体・それらの関係性をScene Graphとして構造化し、シーン全体の状況を理解します。続いて、Causal Promptingにより、構造化されたシーン情報を基に因果関係を推論し、行動の背景にある目的や意図を推定します。
これにより、単なる行動認識にとどまらず、観測された行動の背後にある目的や意図を考慮した、より深い人物行動理解を実現します。
さらに、LoRA（Low-Rank Adaptation）による軽量なファインチューニングを導入することで、ベースモデルのアーキテクチャを維持したまま効率的な適応を実現しました。
評価結果
人物行動理解データセット JRDB-Socialを用いて評価した結果、提案手法であるCP-VLMは従来手法を大きく上回る性能を示しました。 また、推論時間の増加はほとんどなく、高い精度と効率性を両立していることが確認できました。
| Method | F1 (%) | Time (s) |
|---|---|---|
| Base Prompting | 19.2 | 1.84 |
| Base Prompting + LoRA | 31.0 | 1.84 |
| Scene Graph Prompting | 22.6 | 1.90 |
| Scene Graph Prompting + LoRA | 55.4 | 1.90 |
| Causal Prompting | 24.3 | 1.92 |
| CP-VLM (Causal Prompting + LoRA) | 58.8 | 1.92 |
また、定性評価の結果からも、CP-VLMは単なる行動認識にとどまらず、行動の背景にある人物の意図を推論できることが確認できました。ここで用いた入力画像は、前述の「CP-VLMの全体フレームワーク」に示したカフェのシーンです。
このシーンに対して、Base PromptingおよびScene Graph Promptingでは、人物が「何かを待っている（waiting for something）」という観測可能な行動のみが推定されました。一方、CP-VLMで用いたCausal Promptingでは、人物がカフェの列に並んでいる状況や周囲の環境との関係性を考慮することで、「食べ物を注文している／購入しようとしている（eating/ordering food）」という、より具体的な行動目的を推定できています。
この結果から、CP-VLMは観測された行動の認識だけでなく、その行動が行われている背景や目的まで推論できることが分かります。
| Method | Result |
|---|---|
| Base Prompting | waiting for something |
| Scene Graph Prompting | waiting for something |
| Causal Prompting | eating/ordering food |
研究② StickCalib: Stick-based Metric Multi-Camera Extrinsic Calibration for Sports Motion Capture
研究背景
スポーツ解析では、複数カメラを用いて選手や用具の3次元動作を計測することが重要です。そのためには、各カメラの位置・姿勢関係を表す外部パラメータを正確にキャリブレーションする必要があります。
しかし、従来手法ではチェッカーボードやワンドなどの専用器具が必要であり、屋外環境やカメラ配置が頻繁に変化するスポーツシーンでは大きな負担となります。また、人の動きのみを利用する手法では、人間の体格差に起因するスケール曖昧性のため、実世界スケールを正確に推定することが困難でした。
そこで本研究では、図のようなゴルフクラブや野球バットなどの長さが既知のスポーツ用具に着目し、専用キャリブレーション器具や追加センサーを用いることなく、RGB映像のみから実スケールのマルチカメラキャリブレーションを実現する手法「StickCalib」を提案しました。
提案手法
提案手法では、複数カメラ映像から抽出した人体キーポイントとスポーツ用具の両端点を利用し、カメラ外部パラメータと3次元動作を同時に推定します。
図に示すように、まず人体とスポーツ用具の2Dキーポイントを用いて、スケール未定の3次元構造とカメラ外部パラメータを推定します。続いて、既知長のスポーツ用具を利用して実世界スケールを回復し、最後にスケール制約を考慮した最適化を行うことで、高精度な外部キャリブレーションを実現します。
これにより、人間の豊富な動き情報とスポーツ用具の長さ情報を組み合わせ、メトリックスケールを持つ3次元再構成とカメラキャリブレーションを可能にしました。
評価結果
ゴルフ、野球、ホッケー、剣道を対象とした合成データセット Sports-Stick-Syn を用いて評価した結果、提案手法は既存手法を大きく上回る性能を達成しました。
| Method | Rotation Error (°) | Translation Error (m) |
|---|---|---|
| ArucoCalib | 0.087 | 0.007 |
| CalibPerson | 0.268 | 0.072 |
| ExtraCalib | 0.239 | 0.044 |
| Kineo | 0.075 | 0.098 |
| StickCalib (Ours) | 0.020 | 0.001 |
また、アブレーション実験では、人間の動きのみを利用する場合はスケール推定が不安定となる一方、既知長のスポーツ用具を組み合わせることで高い精度と安定性を実現できることが確認されました。
| Input Setting | Rotation Error (°) | Translation Error (m) |
|---|---|---|
| Human (GT height) | 0.217 | 0.031 |
| Human (±0.1m error) | 0.252 | 0.043 |
| Stick only | 0.023 | 0.001 |
| Human + Stick (Ours) | 0.020 | 0.001 |
さらに、図に示すように、実環境の屋外ゴルフシーンにおいても、メトリックスケールの3次元人体・クラブ動作の再構成に成功しており、フォーム解析やスイング解析などへの応用可能性を示しました。
おわりに
FG2026では、顔認識やジェスチャ認識、人の行動理解に関する最先端研究に触れることができました。人をより深く理解し、その理解を実世界で活用することへの関心の高まりを強く感じる会議でした。今回私たちが発表した2件の研究は、それぞれ「人を理解する技術」と「人を計測する技術」に焦点を当てたものです。人とロボットが自然に協調するためには、人が何をしようとしているのかを理解し、その行動を正確に計測・認識できることが重要です。今回の研究成果は、その両面を支える基盤技術として、Physical AIの実現に向けた重要な一歩であると考えています。今後も、人の行動意図推定と高精度な実世界計測技術の研究を発展させ、人とロボットが相互に理解しながら協調できる社会の実現に向けて研究開発を進めていきます。
