Please enable JavaScript in your browser.

fltech - 富士通研究所の技術ブログ

富士通研究所の研究員がさまざまなテーマで語る技術ブログ

系統的汎化(systematic generalization)に関する研究成果をNeurIPS 2021で発表します

f:id:fltech:20211209095648p:plain

こんにちは.人工知能研究所 自律学習プロジェクトの佐々木智丈です.富士通研究所では「自律的に学習可能なAI」の実現を目指しており,この目標に向けてマサチューセッツ工科大学(MIT)およびCenter for Brains, Minds and Machines(CBMM)の研究者と2019年から共同研究を行っています.この共同研究のうち,Vanessa D'AmarioさんXavier Boixさんと行った研究の成果を現在開催中のNeurIPS 2021で発表するので,その概要を紹介します.

対象論文
- タイトル:How Modular Should Neural Module Networks Be for Systematic Generalization?
- 著者:Vanessa D'Amario, Tomotake Sasaki, Xavier Boix
- 発表会議:Thirty-fifth Conference on Neural Information Processing Systems (NeurIPS 2021)
- Link to Paper, Link to Presentation1, Link to Presentation2, Link to GitHub

続きを読む

Our research result on systematic generalization presented at NeurIPS 2021

f:id:fltech:20211209095648p:plain

I'm Tomotake Sasaki, a senior researcher at Autonomous Learning Project in Fujitsu Research. Fujitsu Research aims to create “AI that can learn autonomously”, and has been running a joint research program towards this goal with researchers at Massachusetts Institute of Technology (MIT) and Center for Brains, Minds and Machines (CBMM) since 2019. One of the results of this collaboration conducted with Dr. Vanessa D'Amario and Dr. Xavier Boix has been accepted at NeurIPS 2021. In this blog post, I would like to show its outline.

The paper introduced in this blog post
- Title: How Modular Should Neural Module Networks Be for Systematic Generalization?
- Authors: Vanessa D'Amario, Tomotake Sasaki, Xavier Boix
- Conference: Thirty-fifth Conference on Neural Information Processing Systems (NeurIPS 2021)
- Link to Paper, Link to Presentation1, Link to Presentation2, Link to GitHub

続きを読む

World's Largest Scale Deep Learning on Supercomputer Fugaku Achieved World's Highest Performance

f:id:fltech:20211207154724p:plain

Introduction

Hello. We are the five MLPerf HPC members from the ICT Systems Laboratory of Fujitsu Limited. In November 2021, at the international Supercomputing Conference (SC'21), the new supercomputer Fugaku, jointly developed by RIKEN and Fujitsu, held the number one spot in four different supercomputing rankings (TOP500, HPCG, HPL-AI, and Graph500), for the fourth consecutive term. At the same conference, we also won the number one spot in the MLPerfTM HPC benchmark, which is dedicated to the actual deep learning (DL) training process. In this blog, we discuss the challenges of training CosmoFlow, one of the applications of MLPerf HPC, using more than half of the entire Fugaku and becoming the best in the world.

  • Introduction
    • What is MLPerf HPC? (Shirahata)
    • What is CosmoFlow? (Tabuchi)
    • What is Fugaku? (Tabuchi)
      • Processor
      • Interconnect
      • Storage
  • Performance Tunings
    • DL frameworks and library (Yamazaki)
      • TensorFlow + OneDNN for aarch64
      • Mesh TensorFlow
      • Weak scaling
    • Synchronization and scheduling (Tabuchi)
      • Inter-job synchronization
      • Placing multiple jobs
    • Data staging (Kasagi)
      • Data staging on Fugaku
  • Result (Shirahata)
  • Conclusion (Tabaru, Shirahata, Kasagi, Tabuchi, Yamazaki)
続きを読む

世界最大規模のディープラーニングを「富岳」で実施して世界一になりました

f:id:fltech:20211126143315p:plain

はじめに

こんにちは。富士通株式会社ICTシステム研究所のMLPerf HPC五人衆です。先週、国際学会SC’21 において、理化学研究所/富士通が共同で開発した新しいスーパーコンピュータ(スパコン)「富岳」がスパコンランキングで4期連続の4冠(TOP500, HPCG, HPL-AI, Graph500)を獲得しましたが、同会議で発表された、実際のディープラーニング(DL)学習処理に特化したMLPerfTM HPC ベンチマークにおいても世界一を獲得しました。 本ブログでは、このMLPerf HPCの一つのアプリケーションであるCosmoFlowの学習を「富岳」で大規模に行い世界一となった、その挑戦についてお話させてもらいます。

  • はじめに
  • 背景
    • MLPerf HPCって何?(白幡)
    • CosmoFlowって何?(田渕)
    • 「富岳」って何?(田渕)
      • プロセッサ
      • 通信ネットワーク
      • ストレージ
  • 準備
    • 環境の構築、チューニング(山崎)
      • TensorFlow + OneDNN for aarch64
      • Mesh TensorFlow
      • Weak scaling
    • 処理の同期、スケジューリング(田渕)
      • ジョブ間同期
      • ジョブの配置
    • データの準備、ステージング(笠置)
      • 「富岳」でのステージング
  • 結果(白幡)
  • まとめ(田原、白幡、笠置、田渕、山崎)
続きを読む

情報通信理論を起点とした生成的AI の研究成果をPCSJ/IMPS2021で講演します

f:id:fltech:20211110185456p:plain こんにちは。人工知能研究所の中川です。

富士通研究所では、「自律的に学習可能なAI技術」の研究の一つとして、生成的AIの研究を行っています。 これまで、我々は、画像符号化などで活用されている情報通信理論を起点として、VAEなどの生成的AIモデルの定量的な特徴の理論解析に成功しました。この理論を活用することで、従来の深層学習では困難だったデータの定量的な処理・分析が可能となります。これらの研究成果は、AI分野のトップカンファレンスの一つ ICML 2020/2021で採択されています。

続きを読む

能動学習の論文がIROS2021に採択されました

f:id:fltech:20211005153616j:plain

こんにちは.人工知能研究所 自律学習PJの鈴木です.富士通研究所では「自律的に学習可能なAI技術」に関する研究開発を行っています.今回は我々の研究成果のうちの一つがロボティクス分野の主要な国際会議であるIROS2021に採択されたので,その内容について概要を説明します.

対象論文

続きを読む

ECSは、EKSと何が違うのか?

f:id:fltech:20210922181011p:plain

先端融合技術研究所ソーシャルデジタルツインPJのkunikawaです。

私達のPJは、社会課題を解決するデジタルツインの研究開発を行っています。 社会課題を解決するため、継続的に素早く研究成果を展開することを重視しており、 研究開発のクラウドネイティブ化を推進しています。 今回は、クラウドネイティブ化の推進の一環として、コンテナオーケストレーションのマネージドサービスについて、Amazon Elastic Container Service(ECS)を類似サービスのAmazon Elastic Kubernetes Service (EKS)と比較する形で調査しました。

続きを読む

ゾーン障害を考慮したk8s Pod配備

f:id:fltech:20210820185140p:plain

こんにちは。富士通株式会社研究本部ソーシャルデジタルツインPJのmacです。

私たちの部署では、社会課題を解決するデジタルツインシステムの研究開発を行っています。社会課題の解決を目的としたシステムには高い可用性が求められます。というわけで、今回はKubernetesを利用したクラウドサービスの可用性向上のお話です。

続きを読む

Inriaとの共同研究成果がICMLおよびIJCAIに採択されました

f:id:fltech:20210729222042p:plain

こんにちは.人工知能研究所 自律学習PJの池です.富士通研究所では「データの幾何学的形状」をとらえる位相的データ解析(トポロジカルデータアナリシス; TDA)について,フランスの国立研究機関であるInriaと共同研究を行っています.今回は,共同研究成果に関する論文がAI分野の主要な国際会議であるICML2021およびIJCAI2021に採択されたので,それらの内容について概要を説明します.

TDAに関する富士通研究所の研究成果や応用例についてはWEBサイトFujitsu's TDA Technologiesで紹介しています.ご興味ある方はこちらのWEBページも見ていただけますと幸いです.

対象論文

  • (1) Optimizing persistent homology based functions 論文リンク
    • Mathieu Carrière, Frédéric Chazal, Marc Glisse, Yuichi Ike, Hariprasad Kannan, and Yuhei Umeda
    • The 38th International Conference on Machine Learning (ICML2021)
  • (2) Topological Uncertainty: Monitoring trained neural networks through persistence of activation graphs プレプリントのリンク
    • Théo Lacombe, Yuichi Ike, Mathieu Carrière, Frédéric Chazal, Marc Glisse, and Yuhei Umeda
    • The 30th International Joint Conference on Artificial Intelligence (IJCAI2021)
続きを読む

AI研究用データセット公開サイト Dataset Platter をオープンしました

f:id:fltech:20210628104401p:plain

こんにちは。人工知能研究所 自律学習PJの河東孝と酒井彬です。

このたび富士通研究所はAI研究促進を目的に、AI研究用データセット公開サイト Dataset Platter を立ち上げました。ここで公開しているデータセットは、富士通が有益と考える問題設定に即して独自に作成したものであり、5月8日より開催されていたThe International Conference on Learning Representations (ICLR) 2021で発表した論文にも利用しているものです。

どなたでもご自由に利用可能ですので、ぜひお役立てください!

続きを読む

はてなブログ DevBlog Online Meetupに登壇しました

f:id:fltech:20210615174103p:plain

先端融合技術研究所の横田です。GitHub等では@sushichopとして活動しています。

2021年5月24日(月)に開催されたはてなブログ DevBlog Online Meetupに登壇しました。株式会社はてな 大西さんにモデレータを行っていただきながら、エムスリー株式会社 山崎さん、LINE株式会社 桃木さんとともに、3つの各テーマに沿って「企業における技術ブログ」の運用・活用についてディスカッション形式でお話しさせていただきました。

続きを読む

InriaとのTDAに関する共同研究成果の論文がAISTATS2021に採択されました

f:id:fltech:20210407172401p:plain

こんにちは.人工知能研究所 自律学習PJの池祐一と梅田裕平です.富士通研究所では「データの幾何学的形状」をとらえる位相的データ解析(トポロジカルデータアナリシス; TDA)について,フランスの国立研究機関であるInriaと共同研究を行っています.今回は共同研究を通して得られた成果に関する論文がAI分野の主要な国際会議であるAISTATS2021に採択されたので,その内容について概要を説明します.

TDAに関する富士通研究所の研究成果や応用例についてはWEBサイトFujitsu's TDA Technologiesで紹介しています.ご興味ある方はこちらのWEBページも見ていただけますと幸いです.

続きを読む

深層学習の数理と学習ダイナミクスに関する論文がAISTATS2021に採択されました

f:id:fltech:20210409043903p:plain AISTATS2021に採択された論文"The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry"について紹介します. AISTの唐木田亮さんとの共著です.

この記事の筆者:人工知能研究所 自律学習PJ 早瀬友裕(博士 数理科学)

続きを読む