こんにちは。コンバージングテクノロジー研究所の鈴木と、Human Digital Twin 事業部の伊集院です。 私たちの研究グループでは、『海洋デジタルツイン』の実現を目指し、その一環として画像AIを活用した複数の海藻種の自動分類技術を開発しています。 先日、第31回海洋工学シンポジウムにて、その研究成果を発表しました。今回は、その内容についてご紹介します！
研究の背景と目的
私たちは、海洋のあらゆる状態を高精度にデジタル化し、目的に応じた施策の立案・事前検証を可能にする『海洋デジタルツイン』の実現を目指しています。 （海洋デジタルツインの詳細はこちらのプレスリリースをご覧ください）
海洋デジタルツインの実現の第一歩として、私たちはブルーカーボンクレジットに関する開発に取り組んでいます。
ブルーカーボンクレジットとは、海藻藻場、海草藻場、マングローブ林、塩性湿地、干潟といったブルーカーボン生態系によるCO2吸収・貯留量を「クレジット」として認証する制度です。
企業や団体は、ブルーカーボン生態系の保全・再生プロジェクトを実施することで、大気中のCO2吸収量に見合ったクレジットを得ることができます。
このクレジットは、自社の排出量相殺に利用したり、他の企業や団体に販売したりすることが可能です。
CO2吸収量をクレジット化するためには、海藻の種類と面積を正確に測定する必要があります。 従来、この測定は潜水士による目視で行われています。 しかし、潜水士にかかる負担が大きく、測定に多大な時間を要するという課題がありました。
そこで、私たちは海洋デジタルツインを活用し、海洋データの自動収集と分析を導入することで、この課題解決を目指します。 特に、自動収集された海藻画像から複数の海藻種を自動分類する技術は、海洋データ分析において非常に重要となります。 本記事では、この自動分類技術について詳しくご紹介します。
なお、海洋デジタルツインの実現に向けたこれまでの取り組みとして、『石垣島自然共生サイトでの海洋デジタルツイン技術実証』を過去のブログ記事で公開しております。 こちらもぜひご覧ください！
関連技術
海藻画像から複数の海藻種を自動分類する技術は、大きく分けて以下の2種類の手法があります。
- 半手動による分類技術: 画像内でどこにどの海藻種があるかを手作業で指定し、最尤法で画像を分割して分類する方法です。しかし、1フレームあたり6分もの処理時間を要する上、水中濁りがある場合は指定が難しいという課題があります。
- 機械学習による分類技術: 大量の海藻画像データをAIに学習させ、自動的に分類する方法です。しかし、海藻１種類あたり１万枚もの学習データが必要となる上、水中濁りがある場合は分類性能が低下するという課題があります。
これらの課題を踏まえ、私たちは、短時間かつ少量のデータで利用可能な水中濁りに強い複数の海藻種の自動分類技術を提案しました。
提案技術
私たちの技術は、クラス別特徴マップ作成フェーズと自動分類フェーズの2段階で構成されます。
- クラス別特徴マップ作成フェーズ: 被写体から0.5m以内の近距離で撮影した鮮明な画像を用いて、自動分類の基準となる汎用的な特徴マップを作成します。これにより、水中濁りや見え方に依存しない識別性の高い特徴を抽出し、少量データでの自動分類を実現します。
- 自動分類フェーズ: 水中濁りの影響を受けた海藻画像に対し鮮明化処理を施し、複数の海藻種を自動分類します。鮮明化処理により、少量データでも水中濁りに強い分類を実現します。さらに、水中濁りや見え方に依存しない海藻本来の特徴を比較することで、短時間での分類を実現します。
以下に２つのフェーズの詳細を説明します。
クラス別特徴マップ作成フェーズ
まず、水中濁りの影響を受けにくい近距離から撮影した画像を、海藻種ごとに1枚用意します。
次に、分類したい海藻種の領域を指定し、クラス別参照画像を作成します。
このクラス別参照画像を複数のパッチに分割し、各パッチをUMAP（Uniform Manifold Approximation and Projection）という次元圧縮手法によって2次元特徴に圧縮します。
UMAPを用いることで、海藻種の違いを強調する2次元特徴を自動抽出することができます。
この自動抽出した2次元特徴がクラス別特徴マップとなり、海藻種の自動分類における比較元となります。
結果として、海藻種ごとに1枚という少ない画像から、水中濁りや見え方に依存しない識別性の高いクラス別特徴マップを作成できます。
自動分類フェーズ
まず、海藻画像と参照画像を比較可能にするために、水中濁りの影響を受けた海藻画像の鮮明化を行います。
水中濁りの影響を画像の色被りとぼけと定義し、それらを復元する技術を私たちは過去に開発しました。
鮮明化技術の詳細については、こちらのプレスリリースをご覧ください。
この鮮明化技術により、水中濁りに強い分類が可能となります。
次に、鮮明化処理後の画像に対し、クラス別特徴マップ作成フェーズと同様のパッチ分割とUMAPによる特徴抽出を行います。
抽出された特徴と、クラス別特徴マップ作成フェーズで作成したクラス別特徴マップを、kNN（k-Nearest Neighbor法：k近傍法）を用いて比較し、海藻種を自動分類します。
これにより、複数の海藻種を短時間で自動分類できます。
実験と結果
静岡県下田市で撮影した水中濁りを伴う紅藻・緑藻のデータを用いて、提案技術の有効性を検証しました。
その結果、提案技術は従来技術(正解画像)と比較して平均80.5%の一致率を達成し、潜水士による目視と同等の精度を実現しました。
また、処理速度は従来の半手動分類が6分/フレームであったのに対し、提案技術は21.2秒/フレームと大幅に短縮されました。 これにより、1haあたりの作業時間は、従来の半手動分類の約3.5日から、提案技術では約5時間に短縮されます。 さらに、従来の機械学習では1種あたり1万枚のデータが必要だったのに対し、提案技術では1種あたりわずか1枚のデータで自動分類が可能です。
まとめ
水中濁りの影響下でも、潜水士の目視と同等の精度を維持しつつ、短時間かつ少量のデータで利用可能な複数藻種の自動分類技術を提案しました。 今後は、自動分類の対象となる海藻種を拡大していきます。 また、海藻以外の生物にも対象を広げ、ブルーカーボンだけでなく、生物多様性保全などへの展開も進めていきます。 そして、2030年度には全地球規模の海洋データプラットフォーム化を行い、人類と海洋が共存する持続可能な海洋の実現を目指します！
最後に、先日参加した海洋工学シンポジウムの様子をお伝えします。
海洋工学シンポジウムは、海洋工学の幅広い分野における最新情報を、ワークショップ形式で共有する場です。
今回で第31回目を迎え、日本大学理工学部 駿河台校舎を会場に、「未来をひらく海〜海の多様性を知ることができる2日間〜」をコアテーマとして開催されました。
ブルーカーボンクレジット、海洋調査・開発、津波防災など、多岐にわたるテーマについて、約100名の参加者が集まり、熱心な議論が交わされました。
今回のシンポジウムへの参加と発表を通して、富士通と海洋分野との繋がりをより多くの方に知っていただき、「富士通＝海洋」というイメージを浸透させていければと考えています。
