AI半導体というキーワードが昨今注目が集まっていますが、その主役の座にあるのがNVIDIA（NVDA)です。昨年生産をスタートしたNVIDIAのGH200 SuperChipは、72コアのGrace CPUとH100 Tensor Core GPUを組み合わせたもので、最大480GBのLPDDR5メモリと96GBのHBM3メモリを搭載できます。このチップは、AIやHPCの分野で高いパフォーマンスを発揮することが期待されています。
2024年2月8日に、Phoronixというサイトで、このチップのLinuxベンチマークが公開されました。この記事では、そのベンチマークの結果と、他のサーバー用プロセッサとの比較を紹介します
NVIDIAのGH200は、Arm Neoverse-V2コアを採用したGrace CPUと、Tensor Coreを備えたH100 GPUを一つのチップに収めたものです。このチップは、AIやHPCのアプリケーションに最適化されており、高速なメモリアクセスと高い計算能力を提供します。Grace CPUは、1コアあたり1MBのL2キャッシュと、117MBのL3キャッシュを持ち、最大2.6GHzのクロック速度で動作します。H100 GPUは、4096個のCUDAコアと256個のTensorコアを持ち、最大2.4GHzのクロック速度で動作します。このチップは、最大480GBのLPDDR5メモリと、96GBのHBM3メモリまたは144GBのHBM3eメモリをサポートします。LPDDR5メモリは、CPUとGPUの間で共有され、HBMメモリは、GPU専用のメモリとして使用されます。このチップは、PCIe Gen5やNVLinkなどの高速なインターフェースも備えています。
Phoronixというサイトでは、このチップを搭載したGPTshop.ai GH200というシステムのベンチマークを実施しました。GPTshop.aiは、GH200を使ったAIやHPC向けのデスクトップシステムを販売している会社です。彼らのシステムは、QCTというメーカーのマザーボードを使用し、2000W以上の電源を2つ搭載しています。また、SSDやBluefield/Connect-Xなどのアダプターも選択できます。彼らのシステムは、空冷で静音に動作するという特徴があります。ただし、価格は安くありません。GPTshop.ai GH200 576GBモデルは、47,500ユーロ（約610万円）からとなっています。
Phoronixでは、このシステムにUbuntu 23.10とLinux 6.5をインストールし、GCC 13というコンパイラを使用してベンチマークを行いました。ベンチマークには、CPUに関する様々なテストを用いました。また、他のサーバー用プロセッサとの比較も行いました。比較対象となったプロセッサは、AMDのEPYC、IntelのXeon、AmpereのAltra Maxなどです。これらのプロセッサは、それぞれ最大のメモリ周波数とチャネル数で動作させました。
ベンチマークの結果は、Phoronixのサイトで詳しく見ることができますが、ここではいくつかのポイントを紹介します。まず、GH200は、CPUのコア数やキャッシュサイズなどのスペックでは、他のプロセッサよりも劣っていることがわかります。しかし、実際のパフォーマンスでは、GH200は、多くのテストで他のプロセッサを上回っています。特に、AIやHPCに関連するテストでは、GH200の優位性が顕著に現れています。例えば、TensorFlowやPyTorchといった機械学習のフレームワークを使ったテストでは、GH200は、他のプロセッサの数倍から数十倍の速度を出しています。また、NAMDやLAMMPSといった分子動力学のシミュレーションを使ったテストでは、GH200は、他のプロセッサの2倍から4倍の速度を出しています。これらのテストでは、GH200のGPUの計算能力と、HBMメモリの高速なメモリバンド幅が大きな役割を果たしています。
一方で、GH200は、他のプロセッサに比べて、一部のテストでは劣っていることもわかります。例えば、OpenSSLや7-Zipといった暗号化や圧縮のテストでは、GH200は、他のプロセッサの半分から4分の1の速度しか出せませんでした。また、SQLiteやPostgreSQLといったデータベースのテストでは、GH200は、他のプロセッサの3分の1から5分の1の速度しか出せませんでした。これらのテストでは、GH200のCPUのクロック速度やキャッシュサイズが不足していることが影響しています。また、LPDDR5メモリのメモリレイテンシが高いことも問題になっています。
しかし、GH200はモバイルプロセッサーとして知られるARMベースのプロセッサであり、x86ベースの他のプロセッサよりも電力効率に優れます。AI向けのスーパーコンピューターでは消費電力が問われる段階になった今、重要な選択肢となっているようです。
参照元：Phoronix
監修者のコメント：AIをもちいてまとめました