Please enable JavaScript in your browser.

fltech - 富士通研究所の技術ブログ

富士通研究所の研究員がさまざまなテーマで語る技術ブログ

トップ > AI > 人工知能研究所の自律学習PJについて

人工知能研究所の自律学習PJについて

AI ML

こんにちは。人工知能研究所 自律学習PJの小橋です。

これまで我々のPJ(プロジェクト)では、折をみてブログで研究ネタを発信してきましたが、「そもそも富士通のAI研究って何してるの？自律学習PJって何なの？」という話しはしてきませんでした。せっかくなので、（二ヶ月近く過ぎちゃいましたが）2022年度も始まったことですし、そのあたりを少し紹介してみようと思います。

で、もし我々の活動に興味が湧けば、最後に書いてあるMeety(カジュアル面談)や採用ページからのコンタクトをお待ちしております！！

お前は誰だ？

小橋博道といいます。2003年に株式会社富士通研究所(当時)に入社して、途中で海外赴任(イギリス・5年)したこともありますが、そこも含めてずっと富士通の研究開発領域に生息しています。

現在は、人工知能研究所に3つあるプロジェクト(PJ)の中の自律学習PJで、プロジェクトディレクタをしています。端的にいうと部長ですね。PJの詳しい人数は企業秘密ですが、四捨五入すると100人になる規模のPJで、私の配下には日本のみならず、アメリカ・イギリス・インドの拠点にいる研究員が所属しており、多国籍・多文化・多時差なグローバル組織をまめることを生業としています。(ちなみに共同研究先を含めると国とタイムゾーンがさらに増えます)

人工知能研究所と自律学習PJ

人工知能研究所は富士通研究所の内部に幾つかある研究所の一つで、穴井が所長をしています。人工知能研究所についてはこちらの記事が詳しいです。

信頼と新しい価値の創出で人と協調するAIへ

富士通株式会社 研究本部 人工知能研究所長 穴井 宏和

https://www.fujitsu.com/jp/about/research/business/artificial-intelligence/index.html

人工知能研究所は基礎から応用まで幅広く研究開発をしています。機械学習や深層学習は当然ですが、例えばAI倫理とかは他ではあまり見ない研究テーマですね。

では、その中で自律学習PJは何をしているPJかというと、この記事のなかでは

自律学習AIは、人と同じように様々な経験を通して学び、成長するAIを実現するための先進的な研究テーマです。現在のAIのように大量のデータからそれらの間の表層的な関係を学ぶのではなく、データを生み出している社会の仕組みを段階的に理解し、これまで経験したことない状況でも人の助けを借りずに対応できるAIを目指します。

のように書かれています。自律的なAIを実現する技術を研究開発するPJですね。 他の観点での位置づけとしては先進的・長期的なテーマをやるPJともなっていて、富士通の将来のビジネスにつながるような基礎研究テーマが多いかな、という感じです。実際、特許や論文を書くのが主担務という人が多いです（もちろん企業研究者としてはそれだけはダメなんですが）。また数理人材が多いことも特徴でして、数学の知識を生かした研究テーマ推進に励んでいます。

自律学習PJで具体的に何やっているの？

企業秘密もあるので多くは書けませんが、幾つか既にオープンになっているものをキーワードを交えて紹介します。

AutoML

自律化の一歩として当然自動化が必要になります。AIの分野で自動化と言えば機械学習自動化AutoMLですね。世の中には様々にAutoMLのツールがあり、他社でもAutoMLをサービスとして提供しているところもあり、皆さんも使っていることと思います。それらのツールやサービスの多くは、我々の見解としては「ハイパーパラメータチューナのお化け」です。良い最適化アルゴリズム使って大量の計算機で殴る、という感じにとらえています。これはTech Giantsのようなリソース（計算機や資金）が潤沢にあるところでは良いアプローチかもしれませんが、普通の人にとってはそうそう使えるものではなく、またデータサイエンティストが試行錯誤を繰り返す現在の機械学習/AIの適用プロセスとも合いにくいであろうと見込んでいます。

そこで我々は、コード生成ベースのAutoML（生成型AutoMLと呼んでいる）を研究開発しています。詳しくは以下の記事を見ていただきたいですが、この生成型AutoML SapientMLは、データとコードを組みで学習し、推論時にはデータを渡すと適切な機械学習モデル作成コードを生成します。これを実行するとでデータサイエンスティストは所望のモデルを素早く入手できますし、必要であればコードを修正してモデルを作り変えることも容易です。しかもコードを書き換えたのであれば、そのコードでSapientMLを再度学習させることによりSapientML自体も賢くなっている（自律成長）という具合です。

Out-of-Distribution Generalization

自律的にAIが動き出すと、学習時に想定してなかったケースに頻繁に遭遇することは容易に想像できます。また自律的に動かないまでも、訓練時とは状況が異なる環境にデプロイされると精度が劣化し、AIの社会実装で問題になっていることは周知の事実です。そういった精度劣化が起きないように予め対処しておこうと当然Augmentationを頑張るわけですが、それでも限界があり、他の方法で改善することも必須になります。

我々は、未知のデータ(Out-of-Distribution, OOD)へもDNNを汎化させるために、Neuroscienceの第一人者であるMIT CBMMのPoggio教授と協力して、人の脳に着想を得て未知のデータを高精度に認識できるAI技術を開発しています。この研究内容については昨年度、NeurIPSやNature Machine Intelligence, Frontiers in Computer Neuroscienceに論文が採択されています。詳しくは以下に関連ブログやMITからのプレスリリースがありますので、ご覧ください。また、このテーマ関連はデータセットの整備も重要と思っていて、世の中の研究者が試せるデータセットも順次公開しています。

教師なし表現学習

AIにおいて最良の表現を獲得することは一つの大きな目標です。良い表現を獲得でれば高い性能を期待できますし、またそれを使って様々なタスクに適用することも可能です。特に後者は上のOoD汎化とも強く関連し、近年話題になっている汎用性能の高い事前学習済モデルを作ることにも貢献します。自律の観点からは、この表現獲得の自動化が課題です。別の言い方としてはラベル付けデータを前提としする学習方法では自律学習を実現できません。教師なしで如何に良い表現を獲得していくか、が大きな目標になります。

我々はこのターゲットに関して、DeepTwinという名前で情報理論の観点から研究開発を進めており、ICMLで論文発表(2年連続)しています。2年ほど前に「次元の呪いを解決する技術」のキーワードでバズったので、目にした方もいらっしゃるかもしれません。現在はこれを発展させた技術をある大学と研究開発しています（そのうち紹介しますね）。

TDA

最後にトポロジカルデータ解析(Topological Data Analysis, TDA)についてメンションしておきます。 TDAは、「データの形」を捉えることで詳細な情報を把握する位相幾何学を基礎にしたデータ解析手法です。このテーマには高度な数理知識を必要とし、富士通でもトップクラスの数理人材が取り組んでいます。また共同研究先として、フランスInriaのData Shapeチーム(Chazal教授)と連携しており、かれこれ5年ほど連携しています。当初は時系列データを対象に研究を行っていましたが、最近では対象をDNNに移してきており、ICMLやIJCAI,AISTATなどで論文発表しています。さらに時系列データ向けTDAは社会実践も積極的に行っており、対外的に言えるものとしては東大病院との連携があります。

また、Inria連携に端を発してScikit-learnコンソーシアムへもGoldメンバとして参加しており、日本初のScikit-learn DevSprintを開催し、機械学習/AI分野OSSの持続的発展にも寄与しています。

終わりに

今回は人工知能研究所の自律学習プロジェクトについて、普段はあまり触れないような内容を記事にしてみました。ここに書けなかった研究テーマも他に幾つかあるのですが、それはまた公開できる時期になれば研究員がこのブログで記事にしますので楽しみにしていてください。ちなみに一番手っ取り早く聞く方法は、我々の一員になることです :)

というわけで、富士通研究所では一緒に働ける方やインターンシップを随時募集しています。もし興味を持たれた方がいらっしゃいましたら、私、小橋がMeetyでカジュアル面談を募集していますので、是非ご連絡ください！ 以下に募集しているポストも貼っておきます。