敵対的サンプル攻撃検知の特長のご紹介

こんにちは、AIトラスト研究センターの町田卓謙です。今日は、Fujitsu Kozuchiに搭載されている敵対的サンプル攻撃検知についてご紹介します。

この記事は、5週連続集中連載の第5弾です。前回「画角変更検知の特長のご紹介」はこちらです！

敵対的サンプル攻撃検知は、画像認識AIの誤認識を引き起こす攻撃をリアルタイムで検知できる技術です。富士通が研究開発した先端AI技術を迅速に試すことができるプラットフォームFujitsu Kozuchiの、AIのコア技術単位のソフトウェア部品「AIコアエンジン」です。

特殊な模様（パッチなど）を物体に貼り付けることによって、AIに物体を別のものとして誤認識させる攻撃が可能であることが報告されています。この攻撃は、敵対的サンプル攻撃や敵対的パッチ攻撃と呼ばれます。従来の敵対的サンプル攻撃の対策技術では、攻撃が発生したことは分かっても、何の物体をどのように誤認識したのかまでは分かりませんでした。また、新たな種類のパッチによる攻撃が発生すると、その度にAIの再学習が必要となるため、スピーディに現場へ適用することが難しいという状況でした。この課題を解決するために、私たちは敵対的サンプル攻撃検知を開発しました。

敵対的サンプル攻撃検知の価値と利用イメージ

敵対的サンプル攻撃検知の価値は、リアルタイムでの敵対的サンプル攻撃の検知、そしてAIが誤認識した物体と、どのように誤認識したのかが分かるということです。

店舗の商品に攻撃パッチを貼付された場合を例に説明します。攻撃パッチが貼付されたワインは、既存の画像認識AIで正しく認識ができなくなります。ワインとは違う別の物体と誤認識することや、認識結果なしと物体の存在自体を認識できなくなることが起こります。カメラでセルフレジを映し、画像認識AIを用いて商品をレジに通したかどうかを確認する不正監視を行っている場合には、攻撃パッチが貼付されたワインを”認識結果無し（商品無し）”と誤認識すると、ワインをレジに通さなくても不正と判断されません。不正を見逃し、結果として売り上げの損失も発生します。

敵対的サンプル攻撃検知は、攻撃パッチが貼付されている物体であっても、正しく認識することができます。認識結果が、既存の画像認識AIの認識結果と一致しない場合、画像認識AIの正しい認識を阻害する攻撃の発生を検知します。図の例では、既存の画像認識AIの認識結果が“商品無し”、敵対的サンプル攻撃検知の認識結果が“ワイン”であるため、ワインを“商品無し”と誤認識させる攻撃が発生したと知ることができます。このような不正をリアルタイムで検知できるため、早期に必要な対策を取ることができるようになります。

この技術は、車のナンバープレートにパッチを貼付することでナンバーを偽る不正入場や取締り逃れの検知、パッチを印刷した服を着ることで自身の存在を偽る不審者の検知などにも活用することができます。

敵対的サンプル攻撃検知には、適用が容易という特長もあります。敵対的サンプル攻撃検知を導入する際、既存の画像認識AIの変更は不要です。AIモデルを修正する必要はありません。また、敵対的サンプル攻撃検知は外付けで利用が可能なため、容易に導入することができます。さらに、新たな種類のパッチによる攻撃が生じた場合でも、長時間かかるAIの再学習を行う必要がないので、運用の手間を削減します。

敵対的サンプル攻撃検知の技術の特長

敵対的サンプル攻撃検知は、パッチの攻撃力を低下させる複数の技術を用いた富士通独自の説明可能アンサンブル学習により、対象の物体を早期に正しく認識することができます。画像認識AIが学習済みの物体に応じて攻撃を検知するためのカスタマイズツールも用意しており、現場適用の容易さが特長です。なお、本技術は、Ben-Gurion University of the Negevとの共同研究における成果物です。