Please enable JavaScript in your browser.

fltech - 富士通研究所の技術ブログ

富士通研究所の研究員がさまざまなテーマで語る技術ブログ

ISC2024に参加・発表しました #1 ~HPCシステムの最新動向を知る!~

こんにちは、富士通研究所コンピューティング研究所の小田嶋哲哉です。去年(2023年)に引き続き、文部科学省の科学技術試験研究委託事業「次世代基盤に係る調査研究」の一環として、2024年5月12日~16日にハンブルク(ドイツ)で開催された国際会議ISC2024 (https://www.isc-hpc.com/) に現地参加し、コンピューティング基盤の動向調査を行ってきました。今回は複数のメンバーが現地参加をしていることから、それぞれがISC2024で得られた知見、企業展示内容などをまとめた記事を3本連載していく予定です。本投稿では、第1回目として動向調査結果、特に大規模HPCシステムの動向について報告します。

ISC High Performanceの概要

ISC High Performance (以降「ISC」) は例年5月(まれに6月)にドイツで開催されているHPC (High Performance Computing) に関する大規模な国際会議および展示会です。去年に引き続き、論文・研究発表の分野では、AI (Artificial Intelligence) /ML (Machine Learning) を含めたアプリケーション・アルゴリズム、量子コンピューティング、コンピュータアーキテクチャ、ネットワークと幅広い分野を対象としています。中でも今回は、量子コンピューティングに関係する論文発表や企業展示が多かったように感じました。その他にも、ポスター展示・発表、関連するBoFやフォーカスセッションを含め、多数のセッションがあります。2024年の総参加者は3,409名で、去年より1割以上増加しました。去年と同じ会場であったため、確かに人の多さを実感しました。

ISC会場 (©ISC High Performance 2024)

Keynote: Beyond Exascale Computing

今回の基調講演では、カリフォルニア大学バークレー校のKatherine Yelick氏からエクサスケールシステムのその先に関する発表がありました。HPCの領域では、より大きなシミュレーション・データ解析(例えば、地球規模の気象予測やビッグデータ解析など)を実行するために、スーパーコンピュータに対する演算性能要求が高まっています。特に、Deep Leaningの台頭により、これまで以上の速度で要求が増加しています。エクサスケール級スーパーコンピュータの時代までは、メモリが十分にあるという前提において、システムの演算コア数を増強していくことで、実行できるアプリケーションの規模は比例して大きくなってきました。言い換えれば、一定時間内に実行完了できるアプリケーションの規模は大きくなってきました(これを「Weak Scaling」といいます)。しかしながら、Zettascale (Exascaleの1,000倍)を目指していくと、単純にアプリケーションはWeak Scalingできないという問題が出てきます。例えば、陽解法流体計算において、より高精細なシミュレーションを実行するには、メッシュを細かく分割することにあわせて時間発展方向もより高精度(Δtを小さくする)にしなければならないからです。Δtを小さくしないと、計算上の情報伝達速度が実現象の速さに追従できず、数値が発散します(これをCFL条件といいます)。つまり、今よりも1,000倍の性能を有するシステムで、1,000倍高精度なアプリケーションを実行しても、必要な時間発展ループは数倍になるため、Δtを数倍小さくする必要があり、結果として実行時間は数倍になるということです。

このように、現在の方向性で新たなHPCシステムを開発していっても、これまでのように様々なアプリケーションを汎用的に加速させることは困難です。そのため、特定分野に特化したシステムを開発していくという方向にならざるを得ません。そこで、AIや量子コンピューティングの活用が期待されています。AIはChatGPTのような大規模言語モデルが注目されていますが、科学技術計算においても、AIを使って計算する領域を限定して、トータルの計算量を減らすことなどにも活用可能です(AI in ScienceまたはAI for Science) 。例えば、創薬の分野において、新多くはたな薬などを創出するにあたって、多数の分子の組み合わせ・構造に対して影響を評価する必要があります。その際に、網羅的に評価するのではなく、AIによりある程度効果が期待される組み合わせを抽出し、実際に詳細な計算を行う候補を減らすことで、全体の探索時間を削減するという活用法も考えられます。今後出現してくるHPCシステムの多くは、これを前提としてくると考えられます。一方、量子コンピュータは世界中で活発な開発が行われていますが、まだ本格的に実用可能にはなっていません。しかし、例えば素材・材料の分野において、原子の結合・切断といった現象は、量子コンピュータとの相性が良いと言われており、従来の実験的な探索を置き換えられることで探索時間の削減などが期待されています。このように、これまでの延長でシステム性能を向上させるだけでなく、HPCシステムを有する機関・大学が注力したいアプリケーションの領域に特化したAIや量子コンピューティングを組み合わせた独自のシステムの開発が主流になっていくと考えられます。

基調講演(小田嶋撮影)、メインホールの参加者(©ISC High Performance 2024)

TOP500とGreen500

TOP500は、HPL (High Performance Linpack) と呼ばれる共通のベンチマークを用いて、システムの演算性能を競うアワードです。1位のシステムはオークリッジ国立研究所のFrontier (1.206ExaFLOPS) であり、プログラムのチューニングなどにより前回よりも1%性能が向上しています。2位はアルゴンヌ国立研究所のAurora (1.012ExaFLOPS) です。AuroraはIntel社製のGPUを主としたスーパーコンピュータであり、前回まではシステムの数十パーセントにとどまるノードによる測定結果でしたが、今回は90%程度を利用した測定で初めて1ExaFLOPSを超えてきました。これにより、米国は2つのエクサスケール級スーパーコンピュータを有することになります。また、AuroraはAIの性能に重要な低精度演算によるHPLのランキングであるHPL-MxP (Mixed-Precision) においてFrontierの性能を超え1位になったことも注目です。さらに、来年以降にはEl Capitan(システム性能は2ExaFLOPS!) が登場してくる予定です。TOP10のうち、新規に登場したシステムは6位のスイス国立スーパーコンピューティングセンター(CSCS)のAlps (270PFLOPS) です。AlpsはNVIDIA社製のCPU・GPU密結合システムであるGrace Hopper Superchipを主とした大規模なシステムです。今回より、このNVIDIA社製のCPUやGPUを搭載するシステムが多くランキングに登場してきており、日本では東京工業大学のTSUBAME4.0 (AMD EPYC + NVIDIA H100) が31位を記録しています。さらに、来年にはJCAHPCのMiyabiシステム(OFP-II; NVIDIA Grace Hopper Superchip) が登場予定です。

Green500は、TOP500にランキングされたシステムを対象とした、電力性能(FLOPS/W)を指標としたランキングですが、TOP500同様にNVIDIA社製GPUが数多くラインクインしています。特に、1位~3位まではすべてHopperアクセラレータを搭載したシステムであり、電力性能の高さが際立っています。日本のPreferred NetworksがMN-3で2021年に39.89GFLOPS/Wを記録して1位を獲得した2.5年後の今、GFLOPS/Wの値は約2倍に向上しており、電力性能の進歩が著しいことがわかります。スーパーコンピュータの消費電力は非常に大きく、例えば、スーパーコンピュータ「富岳」は最大30MWであり、これは中規模水力発電所1基と同等であり、最大電力を増加させることは困難です。そのため、今後のシステム開発において、電力性能を向上させていくことが、システムのピーク性能向上に大きく寄与します。

TOP500の概要報告と表彰(小田嶋撮影)

世界のスーパーコンピュータ動向

ここでは、米国とヨーロッパのシステムに注目します。

まず、米国のシステムに関して、エクサスケールシステムとして、Frontierに遅れてAuroraが本格稼働しています。これらは、それぞれAMD社とIntel社のアクセラレータを主としたシステムです。Frontierに関しては、HPLの性能だけでなく、HPCG (High-Performance Conjugate Gradient) やGraph500といったベンチマークにおいても高い性能を発揮していますが、AuroraはHPLベンチマークだけを重点的に実施しており、他のベンチマークについては使用するノード数をシステムの40%程度に制限しています。この原因が、時間的な問題であるのか、システム由来の問題であるのかはわかっていません。これら2つのシステムを比較すると、FrontierのほうがAuroraよりも実行性能は20%ほど高い一方で、消費電力は70%ほどAuroraのほうが高いという点が気になります。ノード間を接続するインターコネクト(Slingshot-11)やメモリ(HBM2e)は同様のものを使用しているため、電力の差はアクセラレータを提供するベンダの差であると言えます。また、予定では今年中に第3のエクサスケールシステムであるローレンスリバモア国立研究所El CapitanがAMDの最新のCPU・GPU統合システムを搭載して登場予定です。ローレンスリバモアでは、El Capitanシステム単体だけではなく、CerebrasやSambaNovaなど主にAIを加速するためのアクセラレータを併設し、システムレベルのヘテロジニアス化を実現する予定です。現在はシステムレベルでの実現にとどまりますが、これがシステム内に特化型アクセラレータが搭載されていくかどうかも、注目していくポイントです。

次に、ヨーロッパのシステムに関して、TOP500でもあったようにCSCSのスーパーコンピュータがAlpsとして刷新されました。また、ヨーロッパ初のエクサスケールシステムとしてユーリッヒスーパーコンピューティングセンター(ドイツ)のJUPITERが登場予定であり、そのプレシステムとしてJEDIが今年のGREEN500の1位を獲得しました。そのため、実際のエクサスケールシステムも非常に高い電力性能であると考えられます。

注目した論文発表

ここではBest Research Paperの論文を紹介します。

ISCでのResearch Paperが対象とする分野は、アプリケーションからアーキテクチャ、量子コンピュータと広範囲です。ISC2024からは、すべての発表論文がIEEE Digital Libraryにてオープンアクセスで公開されるようになりました。読者の皆様も、興味のある分野の論文を自由に参照することができます。今回の投稿は80本の内、採録された論文は24本と採択率は30%にとどまり、去年に引き続き高い競争率です。

この中から、Best Research Paperとして選ばれたDaan Campsらの「Evaluation of the Classical Hardware Requirements for Large-Scale Quantum Computations」 (https://ieeexplore.ieee.org/document/10528937) に注目します。

本論文の概要は、超伝導量子ビットとサーフェスコードアーキテクチャに基づく、フォールトトレラント量子コンピュータをサポートする古典コンピュータ(スーパーコンピュータなどの現システム)とネットワーク資源を評価するモデルを提案するものです。量子コンピュータでは、量子計算を行うときに発生するノイズを補正する必要があり、ここに従来のコンピュータシステムが必要になります。この補正にどれくらいの演算性能が要求されるかを推定し、現在研究されている量子技術の中で、最も高速に動作する超伝導量子ビットにおいても、数ペタFLOPSに等しいことを示しました。これは、最新のGPUであれば数十枚で達成可能な性能値であり、現在のコンピューティング資源で十分に対応可能であることを示せたことが重要です。しかしながら、現在のシステムは常温周辺での稼働を前提としているため、極低温化を前提としている現在の量子コンピューティング環境下、さらに限られた電力制約のなかでこれを実現することが現在の課題とされています。

この発表のように、量子コンピューティングに関する発表は年々増加していると感じます。AIに関してはDeep Leaningの劇的な発達により、すでに多くの場所で使用されるようになり、より身近なものになりつつあります。しかしながら、量子コンピューティングに関しては、先の発表のように課題はまだまだ多く、HPCの領域での活用は次世代以降のシステムになることが考えられます。動作原理がこれまでのコンピュータとは全く異なることから不安である一方、実際に使用できる機会がくることを期待します。

富士通研究所においても、量子技術の研究が進められていますが、詳しくは本連載の3本目の記事で深く解説されると思いますので、ぜひご期待ください。

おわりに

ここ数年は、エクサスケールシステムを実現するため、より高速・高機能なAI技術に関する研究が盛んに行われてきました。ところが、現在はすでにその先を見据え、AIはすでにある技術としてどのように活用していくか、エクサスケールシステムの先はどうすればよいか、さらには量子コンピューティング技術との組み合わせを模索していくという段階に来たと感じました。しかしながら、旺盛な演算性能の要求に対応するために、より高い演算性能を効率的に提供する必要性は変わっていません。ISC2024の参加を通じて、これらを実現するための研究・開発に関するモチベーションがより高くなったと実感しました。

クロージングセッション (©ISC High Performance 2024)

謝辞

本研究は文部科学省「次世代計算基盤に係る調査研究」事業で実施されたものである。