こんにちは、皆さん。Appleからの最新の研究をお届けします。今回は、自然言語処理（NLP）の分野において、Appleが探求しているメモリ制約のあるデバイスでの大規模言語モデル（LLM）のフルパラメータ調整です。
iPhoneやMacなどのApple製品は、私たちの日常生活に欠かせない存在となっています。しかし、これらのデバイスは限られたリソースしか持っていません。例えば、GPUのメモリ容量は有限であり、数十億のパラメータを持つ大規模なモデルを効率的に調整することは容易ではありません。そこで、Appleは新たなアプローチを模索しています。
以下は、アップルがLLM in a flash:Efficient Large Language Model Inference with Limited Memoryのタイトルで投稿した内容を日本語に翻訳した要約です。
- 背景と目的：LLMは自然言語処理のさまざまなタスクで優れた性能を発揮しますが、推論には大量の計算とメモリが必要です。特に、DRAMの容量がモデルのサイズよりも小さい場合は、フラッシュメモリにモデルのパラメータを保存する必要があります。しかし、フラッシュメモリからのデータ転送は時間とエネルギーのコストが高く、推論の速度を低下させます。そこで、フラッシュメモリからのデータ転送を最小限に抑える技術を提案します。
- 提案手法：LLMのFFN層には高いスパース性があることを利用して、推論時に必要なパラメータだけをフラッシュメモリからDRAMにロードします。具体的には、以下の3つの技術を組み合わせています。
- ウィンドウ化：過去の数トークン分のパラメータだけをロードし、直近のトークンの活性化を再利用します。これにより、フラッシュメモリへのIOリクエストを減らします。
- 行列のバンドル化：アッププロジェクション層の列とダウンプロジェクション層の行を結合して、フラッシュメモリから大きな連続したチャンクを読み込みます。これにより、フラッシュメモリのスループットを高めます。
- 効率的なデータ管理：DRAMにロードされたデータの管理を最適化します。事前に必要なメモリを割り当てて、ポインタやスカラなどのデータ構造を用いて、不要なデータの削除や新しいデータの挿入を効率的に行います。
- 実験と評価：OPT 6.7BモデルとFalcon 7Bモデルを用いて、提案手法の有効性を検証しました。DRAMの容量がモデルのサイズの半分しかない状況で、提案手法はCPUで4-5倍、GPUで20-25倍の推論速度の向上を達成しました。これは、従来のローディング方法と比較して、大幅な改善です。
- 結論と今後の課題：本研究では、メモリが制限されたデバイスでLLMを効率的に実行するための技術を提案しました。フラッシュメモリとDRAMの特性を考慮したコストモデルに基づいて、データ転送を最小化し、メモリ使用効率を高める技術を開発しました。この技術は、リソースが限られた環境で高度なLLMを展開するために重要であり、その可能性とアクセシビリティを拡大します。今後は、ハードウェア特性を考慮した推論最適化のアルゴリズムの開発をさらに進めることが望まれます。
Appleは、リソース制約のある環境でのLLMのフルパラメータ調整に向けて、新たな道を切り拓いています。これにより、我々は限られたリソースでも高度な言語モデルを展開できる可能性を広げています。今後も、ハードウェア特性を考慮した最適化手法の研究を進めていきます。
なお、メモリ制約のある環境で大規模な言語モデルを効率的に実行するために、いくつかのアプローチがあります。以下にいくつかの方法を紹介します。
- 量子コンピュータの活用：量子コンピュータは、従来のバイナリコンピュータよりも高速で効率的な計算ができる可能性があります。特に、大規模な言語モデルのトレーニングや推論において、量子コンピュータの利用は注目されています。
- モデルの軽量化：モデルのサイズを削減することで、メモリ使用量を減らすことができます。軽量化の方法には、パラメータ削減、プルーニング、量子化、蒸留などがあります。
- モデルの分散処理：大規模なモデルを複数のデバイスやクラウド上のリソースに分散して実行することで、メモリ使用を均等に分散できます。分散処理フレームワークを活用して、トレーニングや推論を効率的に行いましょう。
- メモリ管理の最適化：モデルのパラメータや中間データのメモリ管理を最適化することで、効率的な実行が可能です。メモリの再利用、キャッシュの最適化、データの圧縮などを検討しましょう。
Appleは2.と4.を採用しているようですね。
Appleの技術が、私たちの日常をより便利で効率的なものにしてくれることを願っています。
参照元：LLM in a flash:Efficient Large Language Model Inference with Limited Memory
監修者コメント：LLMパラメーターの内容が専門的なため翻訳等はAIに任せています。これは解釈の余地なく要約なので引用としました。ただし、AIにまかせて記事全体を構成している訳ではありません。アップルが発表した意義については、同社がデバイスメーカー、セキュリティを重視してること、エッジAIへの取り組みなどを判断してバイアスを与えています。