2024年2月27日、マイクロソフトの中国チームは、大規模言語モデル（LLM）の新たな進化形として、「BitNet 1.58Bits」と呼ばれる1ビット量子化LLMを発表しました。この技術は、従来の32ビット精度で計算を行うLLMと比較して、8.9倍の高速化を実現することに成功しています。BitNet 1.58Bitsは70億のパラメータを有し、推論に必要な計算量の大幅な削減を可能にしました。
これにより、消費電力の低減も実現し、AI関連の演算がGPUがなくても動作することが可能となります。
この技術の発展により、エッジデバイスやモバイルデバイス上でのLLMの利用が現実的になります。リアルタイム翻訳や音声認識などのアプリケーションの性能向上が期待され、AI技術の民主化に寄与する可能性があります。BitNet 1.58Bitsは現在研究段階にありますが、この革新的なアプローチは、AIの未来に大きな変革をもたらす可能性を秘めています。今後の研究開発によって性能がさらに向上し、様々な分野での活用が期待されています。
気になるのは、既存のAI環境との兼ね合いです。特にAI半導体で強い影響力を持つエヌビディア（NVDA）との関連ですね。
BitNet 1.58Bitsは推論のみならず学習にも影響がありそうなので、効率化が進むと学習における大規模投資の必要性が下がる側面があります。
まず、NIDIAのAI GPUがNVIDAのシェアを大きく奪う可能性については学習メインで推論はさほど……思われがちですが、エヌビディアのデータセンター向けのAI GPUの売上は現在は推論が40%で学習60%です。
一方、AIにはスケーリングロウが働くので、効率化されるなら、それだけ学習データを巨大化させる方向に働くかと思います。
実用化されれば学習、推論とも影響があるように思えますが、やはり推論への影響の方が大きそうです。
しかし、1ビット量子化技術のような新たな計算パラダイムの出現は、計算ハードウェアの設計に新たな要求を生み出し、これに応えるための技術開発が求められるでしょう。
監修者のコメント：AIを用いて複数のニュースからまとめました