こんにちは、データ＆セキュリティ研究所の宮前です。Trustable Internetチームは、昨年末にFujitsu Research Portal上で偽情報対策技術の体験デモを公開しましたが、今回は、ユーザが入力した任意の言説の内容や、指定されたWebページの内容を自動的に真偽判定するWebアプリを公開しました。
この技術は、インターネット上で真偽不明な情報に遭遇した人が、ファクトチェック団体の判定を待つことなく、真偽を手軽かつ迅速に確認できるようにするための技術で、インターネット上の情報を安心して利用できる世の中へ変わることを期待しています。
本ブログ記事では、一般の自動ファクトチェック技術やTrustable Internet独自の自動ファクトチェック技術および公開したWebアプリの利用方法について、概要を説明します。
自動ファクトチェック技術
インターネット上で膨大な量の情報が生成され、かつこれらの情報が非常に速く拡散されるようになった現代のジャーナリズムでは、出稿までの限られた時間の中で原稿の内容の真実性を効率的に検証する必要性が生じました。 そのような状況の中、ニュースサイトやSNSにおいて誤情報（Misinformation）・偽情報（Disinformation）が社会問題化したことをきっかけにして、2010年代以降、自然言語処理や機械学習の応用技術として、情報の真実性を自動的に検証する「自動ファクトチェック（Automated Fact-checking）技術」の研究開発が活発に行われてきました *1。
これまでに発表された自動ファクトチェック技術は、自然言語処理や機械学習の既存の研究成果を組み合わせて活用するために、多くの場合にファクトチェックの工程を独立した①クレーム抽出・②証拠収集・③真偽判定・④根拠説明の4つのタスクに分解し、パイプライン化したアーキテクチャを採用しています（「クレーム」とは、客観的な証拠情報に基づいて真偽判定を行うことが可能な情報のことを指します）。パイプラインを図で示すと、図1のようになります。
Trustable Internetの自動ファクトチェック技術
これまでのTrustable Internetのコンセプト発表では主としてファクトチェックのユースケース（例：静岡県の水害の写真に関するファクトチェック）を用いて説明してきましたが、実際にTrustable Internetプロジェクトの現場においても、「自動ファクトチェックの真偽判定精度向上」が研究開発テーマの一つの柱となっています。 Trustable Internetの自動ファクトチェックでも、基本的なフレームワークは上記の①クレーム抽出・②証拠収集・③真偽判定・④根拠説明のパイプラインであり、そこに真偽判定精度を高めるためのTrustable Internet独自の以下の機能を盛り込んでいます。
(1) クレームフィルタリング
プロンプトエンジニアリングにより、ユーザにとって重要なクレームを自動的に抽出するクレーム抽出技術
(2) 再帰的証拠収集
検索エンジンから収集した証拠情報を元に、さらに関連する証拠情報を再帰的に探索し、証拠情報の信憑性を高める証拠収集技術
(3) 信頼ベース真偽判定
大規模言語モデル（LLM: Large Language Models）を応用した証拠情報のスタンス判定技術、および証拠情報の発信者の信頼度に基づく真偽判定技術
なお、今回のWebアプリでは、Trustable Internet独自ではない機能については、カーネギーメロン大学が開発に関わっているOSSの FacTool *2 のサンプル実装を流用しました。 従って、今回のWebアプリのアーキテクチャは図2のようになります。
利用方法
1. Fujitsu Research Portalにアカウントを作成
Fujitsu Research Portalのアカウントがない方は、最初にアカウントを作成してください。詳しい作成方法は、以下のページを参照してください。
https://blog.fltech.dev/entry/2023/09/29/annoucing-fujitsu-research-portal-ja
2. Webアプリへアクセス
Fujitsu Research Portal上のTrustable Internet技術ページ の「Webアプリ」からアクセスしてください。
3. 任意の言説に対する自動ファクトチェック
画面下部のテキスト欄に、ファクトチェックしたい言説の内容かWebページのURLを入力してください。
しばらく待つと、画面上に自動的に真偽判定結果が表示されます。
ご自身でより深く判定結果の根拠を確認されたい場合は、出力されたURLをクリックして自動ファクトチェックの分析時に使用されたエンドースメントグラフを確認してください。
このように、Trustable Internetの自動ファクトチェック技術による真偽判定処理の内容を確認していただくことが可能です。詳しい利用方法、技術の詳細は Trustable Internetのドキュメント を参照してください。
今後の展望
今後、Trustable Internetの自動ファクトチェック技術は、証拠情報の管理基盤として既にTrustable Internetの主要技術として発表済みの エンドースメントグラフ機能 を活用する予定です。
また、Trustable Internetの自動ファクトチェック技術には既にTrustable Internet独自の機能が盛り込まれているとはいえ、将来の実用化に向けては、真偽判定の精度を向上できる余地が残されています。 例えば、クレーム抽出方式・検索クエリ生成方式の改良を含めた証拠収集能力の全体的な向上や、真偽判定ロジックの見直しなどにより、真偽判定精度の更なる向上を目指しますので、どうかご期待ください。
なお、本技術に関して何かお気づきのことがございましたら、下記のお問い合わせフォームなどからお気軽にお問い合せください。
