huggingfaceで突如公開された、Miqu-70Bという正体不明のAIモデルが話題になっています。
一部ではMistral-Mediumの可能性があると言われていますが、他の説としては、MiquはMistralAIからのモデルであり、初期のMoE（Mixture of Experts）実験版や他のバージョンの可能性があるとも言われています。さらに、Llama2の微調整版である可能性も指摘されています。
Mistral AIは、Mixtral 8x7Bをリリースしたことを発表しており、これは高品質なSparse Mixture-of-Expertsモデル(SMoE)で、オープンウェイトを持っています。Apache 2.0の下でライセンスされ、Llama 2 70Bをほとんどのベンチマークで上回り、推論速度が6倍速いとされています。コストパフォーマンスの観点から最も優れたオープンウェイトモデルであると説明されています。Mixtralは、32kトークンのコンテキストを扱い、英語、フランス語、イタリア語、ドイツ語、スペイン語をサポートしており、コード生成においても強力なパフォーマンスを発揮します。
Miqu-70Bに関するHacker Newsの投稿では、このモデルがMistral-Mediumのリークであるかどうかについて確定的な証拠はないものの、多くの人々が試してみてMistral-MediumがAPIを通じて提供する出力と非常に近い、時には完全に一致する結果を得ているとの声があります。この情報は、4chanやTwitter、huggingfaceなどでの投稿を通じて共有されています。
（更新）MistralのCEO、アーサー・メンシュ氏によると、miqu-1-70bはMistralが開発したものであり、このモデルは「Mistral Quantized」の略称ではないかとされています。これは、MistralがMetaの大規模言語モデルLlama 2から再トレーニングを行い、Mistral 7Bとしてリリースしたものであることを意味します。このプロセスは、古いモデルの量子化版として一部の熱狂的な従業員によって公開されましたが、正式なリリース前にアーリーアクセスを許可された企業の従業員が関与していたことが明らかにされています。
参照元：sina hackerNews
監修者のコメント：AIで現在の最新情報をまとめました。その後、真相が判明したため記事を更新しています。