こんにちは、富士通研究所コンバージングテクノロジー研究所のオオイジュンイと武部浩明です。このたび東京で開催された国際会議 SIGGRAPH Asia 2024において、"Birds of a Feather: XR in Enterprises & Society of Japan"というセッションを企画・オーガナイズし、その中でVR(Virtual Reality)/メタバースに関する研究成果を発表しましたので、その内容を紹介します。
- 国際会議：SIGGRAPH Asia 2024
- セッション：Birds of a Feather: XR in Enterprises & Society of Japan
- 発表：Realization of work skills training that can be effectively learned through VR
- 著者：Hiroaki Takebe(Fujitsu Limited)
1. セッションの企画・オーガナイズ
セッションの趣旨
近年、XR(Extended Reality, Cross Reality)技術は進化を遂げ、社会への浸透が進んでいます。それに伴いビジネスでの応用事例が数多く見られるようになりましたが、その成果や今後の展望について企業間で議論する場がありませんでした。そこで我々は、最近XRにおいて研究活動をされているクラスター・サイバーエージェント・Shiftall・博報堂といった企業の研究者を招待し、それぞれの研究発表とディスカッションを通して、XRの未来を議論する場を設けました。
SIGGRAPH AsiaとBirds of a Featherについて
当セッションは国際会議SIGGRAPH Asia 2024のプログラムの１つであるBirds of a Featherに属します。SIGGRAPH Asia(アジア)は、SIGGRAPH(北米)とともに、ACM主催のコンピュータグラフィックス（CG）とインタラクティブ技術に関する世界最大の国際会議・展示会です。Birds of a Featherは、同じトピックに関心を持つ参加者同士が集い、情報を共有し議論を行う場として開催されるプログラムです。セッションを開催するには、公募期限内にSIGGRAPH Asia に提案書を提出する必要があります。提案書の内容はセッションの趣旨・SIGGRAPH Asiaとの親和性・想定登壇者リスト・想定参加者数などが求められます。今回我々は、XRの未来や可能性に関する情報共有や議論を行う場として、複数の企業の研究者を招き、それぞれのXR研究や社会実装について紹介していただくセッションを提案し、採択されました。
当日までのセッション運営
セッションの登壇者の選定
セッションの運営をしていたオオイが主に登壇者の選定・招待連絡のやりとりを担当しました。選定基準としては、例えば、様々な業界でXRがどのように活用されるか、また業界ごとにXRのどのような面が重視されるかなどを理解することによって、XRの全体像が見えてくるように、登壇者が話すトピックの多様性を重視しました。広告、エンターテイメント、デバイス製造、ソーシャルメディアなど様々な業界で活躍されている研究者に声をかけ、登壇者が話すトピックに多様性をもたらしました。例えば、今回登壇を依頼した方々の中には、XRイベントで知り合い、その場で招待した方もいらっしゃいます。富士通研究所からは、武部が製造業の応用を想定したXRの研究成果を発表することにしました（2節で発表内容を紹介します）。
広報活動
多くの方へセッションに参加していただけるよう宣伝活動を行いました。ポスターや特設ウェブサイトを作成するとともに、登壇者には自社の社内広報やご自身のSNS（X、LinkedIN）などで発信していただきました。図１がセッションのポスターと当日の様子です。
セッションの様子
参加者は、国内外の企業に勤める会社員、研究者、学生、ジャーナリストなど、幅広い層の方々にお越しいただきました。想定の70人を大幅に超える、90人近くの方にご参加いただき、大変盛況でした。席が足りなかったので、後ろや入口に立ちながら聴講された参加者もいらっしゃいました（図1右下）。セッションでは、サイバーエージェントの岩崎さんは、Apple Vision Pro最新のディスプレイを活用したサウナ×XRという大変ユニークな実用例をご紹介下さいました。クラスターの廣井さんは、日本最大級のメタバースプラットフォームを持つ企業の研究者であり、VRコンテンツ制作の民主化に貢献するテーマについて話され、非プログラマーがメタバースプラットフォームで仮想オブジェクトの動的な挙動を設計できるシステムなどを紹介して下さいました。Shiftallの岩佐さんは、数少ない日本国内のVR HMD(Head Mount Display)を開発・販売する企業の研究者であり、XRを支えているインフラであるハードウェアの紹介をしていただきました。博報堂の目黒さんは、現実世界とデジタル情報を重ね合わせる空間コンピューティング技術を使った新しい体験事例として、場所と連動したSNS「spatial message」などを紹介して下さいました。質疑では登壇者のXRに対する熱い思いが活発に述べられ、1時間半のセッションを大盛況で終えることができました。
2. 研究発表
研究の背景
少子高齢化による人材不足や転職の一般化などによる人材の流動化によって、企業は社員の早期育成や習熟化の必要性が増しています。我々は、これらの必要性の解決に向け、身体スキルを使った業務にVR(仮想現実、XRに含まれる)空間を活用することにより、現実世界でのトレーニングよりも効果的なトレーニングを可能にするようなシステムの研究に取り組みました。特に、熟練者の習熟したスキルやノウハウが必要となるような業務を対象にしています。この研究において、我々が着眼したのは「自己操作感」です。これは、動作の主体は自分であるという感覚のことで、行為主体感、動作主体感とも呼ばれるものです。身体スキルのトレーニングでは、高い自己操作感が技能定着のために重要であると言われており、これにより能動的な学習が可能になって、効果的なトレーニングが可能になります。我々は、VR空間を活用することにより、高い自己操作感を保持したトレーニングシステムを実現できないだろうかと考え、研究を行いました。
研究の内容
我々の研究の取り組み内容について説明します。業務において、熟練者の動作を学ぶためには、視線や腕などの身体部位の動かし方を身に着けることが重要です。我々は、高い自己操作感を保持したまま、身体を誘導または身体スキルをトレーニングする方法として「ヘッドリダイレクション[1]」と「融合身体[2]」という２つの方法に着目しました。ヘッドリダイレクションは、HMDを装着したユーザに対して、頭部の動きを気づかれずにコントロールして視線を誘導する方法であり、融合身体は、複数のユーザがVR空間で一つのアバターを共有して操作するというものです。我々はこれら２つの方法について実業務を想定したタスクに適用した実験を行うことにより、誘導・トレーニング効果を生み出せるかどうかということを検証し、実際に効果を確認することに成功しました。
ヘッドリダイレクションの適用実験
ヘッドリダイレクション技術
ヘッドリダイレクションは、HMDを装着した被験者に対して、VR空間の回転を制御することにより、被験者に気づかれないように頭部回転に影響を与え、頭部の向きを向いてほしいターゲットの方向に徐々に近づける方法です。例えば、被験者の頭部が静止している場合、図2(a)で示すようにターゲットを近づける方向に気づかれない程度の遅い速度でVR空間を等速回転します。また、被験者の頭部が回転している場合、ローテーションゲインを制御することでVR空間の回転を制御します。ターゲットが近づいている向きに回転している場合は、VR空間を回転してさらに近づくように増幅します(図2(b-1))。ターゲットから遠ざかる向きに回転している場合は、 VR空間を回転させてその動きを抑制するようにします(図2(b-2))。このようにして、知らず知らずのうちにターゲットの方を向くように誘導するのがヘッドリダイレクションです。
適用実験方法と結果
身体スキルの中で視覚を用いる点検業務、例えば異常箇所の発見などに対して、ヘッドリダイレクションが適用できるのではないかと考え、点検業務を想定したタスクに適用し効果を評価しました。具体的には、ヘッドリダイレクションにより、被験者が自己操作感を保持したまま被験者の視線をターゲットへ誘導できるかを検証しました。図3に実験の様子を示しました。右側はHMDを装着して実験を行う被験者で、左側は実際に被験者が見ているVR空間です。VR空間は、図4のように被験者を中心に周囲360°に渡り、同一の漢字ブロックを均等に配置しているのですが、この中に少しだけ異なる漢字ブロックがひとつだけあり、それを見つけることがタスクです。ヘッドリダイレクションを使った場合と使わない場合について、タスクの達成度を計測して評価しました。
図5に実験結果を示しました。まず、誘導効果は、タスク所要時間がヘッドリダイレクションなし(HR OFF)の場合の43秒に対して、ヘッドリダイレクションあり(HR ON)が29秒と、約33%削減されました。タスク所要時間削減に成功した被験者も21名中16名と約8割となり、効果を確認できました。自己操作感の保持に関しても、誘導に気付かなかった被験者が21名中17名と約8割であり、効果を確認できました。これより、ヘッドリダイレクションによって誘導に気付かせず高い自己操作感を保ったまま誘導してタスクを速く実行させることができることがわかりました。なお、実験の詳細や分析については[3][4]をご参照ください。
融合身体の適用実験
融合身体技術
融合身体は、複数人の動作を同一のアバターに反映させることで、複数人で操作するバーチャルな身体のことです。図6に例を示しました。プレイヤーAとBのそれぞれの腕の動作が50%ずつ真ん中のアバターに反映されブレンドされるようになっており、アバターの腕はAとBの中間に位置しています。学習者と熟練者である教師が融合身体によってあるタスクを実行するとき、学習者は、教師とのインタラクションによって矯正された動作をあたかも自分の動作であると感じながらトレーニングすることが可能です。学習者はタスクに成功しながら学べ、「あっこういうことか」を会得できるのです。
適用実験方法と結果
身体スキルとして腕の動作に関する技能を伴う業務のタスクに適用し効果を評価しました。具体的には、融合身体によるトレーニングにより、技能の習得スピードや定着が向上するかを検証しました。図7に実験の様子を示しました。HMDを装着した2人の被験者の正面にVR空間が映し出されています。タスクはジェスチャによるクレーン操作です。腕を使ったジェスチャによって、アバターが一定の範囲及びタイミングで動くときにクレーンが動作するようになっており、クレーンが所定の動作をするようにジェスチャを行うことがタスクです。左側が学習者で、右側が熟練者で、学習者のジェスチャに従うアバターに対し、熟練者はアバターの動作が正解になるように介入を行います。被験者グループを「熟練者が音声による指示だけで介入する」と「熟練者が融合身体と音声によって介入する」の2つに分け、トレーニングと1週間後のテストを行いました。
実験結果を図8に示しました。まず、トレーニング時の習得スピードは、「融合身体＋音声」が、「音声」に対して約2割スピードアップすることができました。図8右上のグラフは、トレーニング時のタスク達成に関する時系列変化を表すグラフで、横軸が時間、縦軸が達成できたタスクの数を表します。融合身体＋音声がより速くタスク達成に近づいていることがわかるかと思います。習得の定着率は、「融合身体＋音声」が、「音声」に対して約3割増加することができました。図8右下のグラフは、1週間後のタスク達成に要した時間を表すグラフで、横軸が時間、縦軸がタスクで、各タスクを達成した時間を表します。赤系マークの「融合身体＋音声」の被験者がより速くより多くのタスクを達成できていることがわかるかと思います。これにより、融合身体によって、より速く、より定着率のよいトレーニングをできた、ということがわかりました。
研究のまとめ
今回、ヘッドリダイレクション及び融合身体という２つの方法に関し、実業務を想定したタスクに対し実証実験を行い、誘導・トレーニング効果を生み出すことを検証できました。今後の課題としては、実際の業務、例えば、点検業務の事前トレーニングや、工場での組立作業の事前検証などにおいて、技能の能力向上や定着の検証が考えられます。また、視覚や腕だけでなく、歩行など他の身体スキルやそれらの組合せに対しての検証が考えられます。さらにこの他にも、例えば未来の状況をVR空間で表現して理解してもらうことなどに本技術を応用していくことにより、企業活動の意思決定業務支援などへも応用の可能性を探っていきたいと思います。
参考文献
[1] 夏偉, 平尾悠太朗, ペルスキアエルナンデス・モニカ, 磯山直也, 内山英昭, 清川清,“全方位動画視聴時の追体験のためのヘッドリダイレクションによる視覚誘導手法の提案と評価”, 電子情報通信学会技術研究報告, MVE2023-12, pp.63-68, 2023.
[2] D. Kodama, T. Mizuho, Y. Hatada, T. Narumi and M. Hirose, “Effects of Collaborative Training Using Virtual Co-embodiment on Motor Skill Learning”, IEEE Transaction and Computer Graphics, Vol.29, No.5, 2023.
[3] 武部浩明, 岡礼華, 馬場幸三, 石原正樹, 馬場孝之, “高い自己操作感を保つ業務スキルトレーニングシステムに向けたヘッドリダイレクションによる視覚誘導効果の検証”, 情報処理学会 インタラクション2024, 2B-19, pp.714-717, 2024.
[4] 馬場幸三, 武部浩明, 岡礼華, 石原正樹, 馬場孝之, “ヘッドリダイレクションによる視覚誘導の傾向と課題の分析 －高い自己操作感を保つ業務スキルトレーニングシステムへの取り組み－“, 電子情報通信学会技術研究報告, MVE2023-45, pp.19-24, 2024.
