マイクロソフトの小規模言語モデルPhi-2、MITライセンスで商用利用可能に

2024年1月6日、マイクロソフトは、AI開発のPhi-2モデルをMITオープンソースライセンスの下でリリースしました。MITライセンスは非常に寛容なライセンスで、ライセンスされたソフトウェアの商用利用、配布、改造、および個人使用を許可しています。唯一の条件は著作権およびライセンス通知を維持することです​​。

Phi-2モデルは、従来の研究目的のライセンスからMITライセンスに変更されたことで、Phi-2は商用利用も可能になりました。これにより、研究者や企業は、自然言語処理やAIの分野において、より多くの研究や開発が進むことが期待されます。Phi-2は、言語理解、コーディング、推論のベンチマークにおいて、70BパラメータのLlama-2モデルを凌駕し、最大25倍の大きさのモデルに匹敵する性能を持つと報じられています. このような高性能なモデルが、PCやエッジAIなどに利用されることで、より多くの人々に恩恵をもたらすことが期待されます。

マイクロソフトによるPhi-2とは？

2023年12月12日にリリースされたMicrosoft Researchの最新発表による小規模AI言語モデル「Phi-2」は、その小さなサイズにもかかわらず、非常に高い性能を示しています。これは、2.7億パラメータを持ち、様々なベンチマークで大規模モデルと同等またはそれ以上の性能を発揮しています。

最初のモデルである「Phi-1」は、1.3億パラメータを持ち、Pythonコーディングにおいて既存のSLMの中で最高の性能を示しました。その後、同じく1.3億パラメータの「Phi-1.5」を開発し、5倍大きなモデルと同等のパフォーマンスを達成しました​​。

新たに発表された「Phi-2」は、2.7億パラメータの言語モデルで、顕著な推論能力と言語理解能力を示しています。このモデルは、13億パラメータ未満の基本言語モデルの中で最先端の性能を示し、複雑なベンチマークでは25倍大きなモデルと同等以上の性能を発揮しています。これは、モデルのスケーリングと教科書レベルのテキストという訓練データのキュレーションにおける新しい革新のおかげです​​。

「Phi-2」のコンパクトなサイズは、研究者にとって理想的な環境を提供します。これには、メカニズム解釈、安全性の向上、さまざまなタスクに対する微調整実験などの探索が含まれます。このモデルはAzure AI Studioモデルカタログで公開されており、言語モデルに関する研究と開発を促進しています​​。

「Phi-2」は、トランスフォーマーベースのモデルであり、次の単語を予測することを目的としています。1.4兆トークンから成る合成データセットとWebデータセットの混合物に対して複数回のパスを行い、96台のA100 GPUを使用して14日間のトレーニングが行われました。このモデルは、強化学習による人間のフィードバック（RLHF）を受けていない基本モデルであり、指示に基づいた微調整も行われていません。それにもかかわらず、既存のオープンソースモデルと比較して、有害性やバイアスに関してより良い振る舞いを示しています​​。

以下の表は、Phi-2と他のSLMの性能を比較したものです。BBH（Big Bench Hard）は、Googleが提案したLLMの能力を測るためのベンチマークであり、常識推論（PIQA, WinoGrande, ARC, SIQA）、言語理解（HellaSwag, OpenBookQA, MMLU, SQuADv2, BoolQ）、数学（GSM8k）、コーディング（HumanEval, MBPP）などのタスクが含まれています。Phi-2は、これらのタスクにおいて、7Bや13Bのモデルを上回るか同等の性能を示している。特に、複数のステップを要する推論タスクであるコーディングや数学では、25倍以上のパラメータを持つLlama-2-70Bモデルよりも優れた性能を発揮しています。

「Phi-2」は、様々な学術的ベンチマークで優れたパフォーマンスを示しており、2.7億パラメータながら、7Bおよび13BパラメータのMistralおよびLlama-2モデルよりも優れた性能を示しています。特に、25倍大きなLlama-2-70Bモデルと比較して、コーディングや数学などの複数ステップ推論タスクでより良いパフォーマンスを達成しています。さらに、サイズが小さいにもかかわらず、最近発表されたGoogleのGemini Nano 2と同等以上の性能を発揮しています​​。

Microsoft Research

監修者のコメント：記事の主目的はPhi-2の商用利用可ですが、技術情報をAIによって追加しています。