1bit量子化で広がるLLMの可能性：高速・省メモリ化の最前線

こんにちは。富士通株式会社　人工知能研究所の酒井です。本ブログでは「1bit量子化」について、分かりやすく紹介します。本技術開発の背景には、巨大化する生成AIモデルと、それに伴う計算資源の課題があります。今回、人工知能研究所はこの問題を解決する画期的な技術である1bit量子化を実現し、さらに本技術をOSS公開しました。本ブログではその背景から技術までを簡単に説明します。

なぜ量子化が重要なのか？

生成AIモデル、特に大規模言語モデル（LLM）は、パラメータ数が数百億から数兆に達しています。この規模になると、推論や学習に必要なメモリや計算コストは膨大です。そこで登場するのが「量子化」という手法です。

量子化とは、モデルの重みや演算を低精度に変換することで、メモリ使用量や計算負荷を減らす技術です。一般的には 8bit や 4bit が使われますが、今回のテーマはなんと 1bit。「1bitって、ほぼ情報ゼロじゃない？」と思うかもしれませんが、ここに面白い工夫があります。

1bit量子化とは？

1bit量子化では、重みの符号（プラスかマイナスか）だけを保持します。つまり、重みの値を「+1」か「-1」に丸めてしまうのです。これにより、メモリ使用量は劇的に減少します。例えば、16bit浮動小数点で表現していた重みを1bitにすれば、理論上 16分の1 のサイズになります。これは大型サーバーが必要な大規模言語モデルをノートPCで動かせるだけのインパクトがあるんですよ！

メリット

メモリ削減：超大規模モデルでも、より小さなデバイスで動かせる可能性。
高速化：演算が単純化されるため、推論速度が向上。

課題

精度低下：情報を極端に削るため、モデルの性能が落ちやすい。
学習の難しさ：1bit化した状態で学習するのは非常に難しい。
1bit量子化のイメージ

富士通のアプローチ

1bit量子化はこうした困難から、その有効性は明らかでありつつも、達成困難な目標と考えられてきました。ところが、富士通は1bit量子化の課題を克服するための新しいアルゴリズムを開発し、2025年9月8日にプレスリリースを行いました。ポイントは独自の量子化アルゴリズムQEPと最適化アルゴリズムQQAです。

**QEP：理論的洞察に基づき、層をまたいで量子化誤差を伝播させることで増大を防ぐ新たな量子化アルゴリズム（NeurIPS2025採択済み）。
**QQA：Quasi-Quantum Annealing：連続と離散を行き来する量子力学における量子性に着想を得た、大規模最適化問題で世界一の性能を発揮する当社が開発したアルゴリズム（ICLR2025採択済み）。

開発技術の効果

以下のテーブルは、提案手法 QEP が従来の Layer-wise PTQ や既存の補正手法と比較して、低ビット量子化においてどれほど優れた性能を示すかを示した結果です。複数の大規模言語モデルを対象に、2bit、3bit、4bitという非常に低いビット幅で評価したところ、従来手法ではビット幅が下がるほど精度が大きく低下し、既存の補正手法でも改善は限定的でした。一方、QEP は層間で誤差を補償する仕組みにより、すべてのモデル・ビット幅で最良の結果を達成し、特に 2bit では従来手法に比べて大幅な精度向上を示しました。