NVIDIAは2月14日、「Chat with RTX」という新しいデモ版のアプリケーションを公開しました。これは、NVIDIAのGPUを搭載したPC上で動作する、自分専用のチャットソフトです。ここからダウンロードできます（35GBもありますが……）。
とりあえずどんな感じか見てみたい人向けの動作デモはこちら。
自分のPCローカル上で動くなら、セキュリティも完璧かつ、レスポンスも高速。「Chat with RTX」の動作環境はOSはWindows 11で、NVIDIA GeForce RTX 30シリーズまたはそれ以上のGPUを搭載したWindows PCで利用可能であり、少なくとも8GBのVRAMが必要です。
これによりユーザーは自身のAIチャットボットを作成できるようになりました。この技術は、個人的なコンテンツをAIチャットボットに統合し、高速でセキュアなカスタマイズ可能な応答を実現します。これは、NVIDIAのRTX GPUを活用して、文書、メモ、ビデオなどのさまざまなファイル形式をサポートし、YouTubeプレイリストのトランスクリプトも含めることができます。
「Chat with RTX」で使用されているLLM（Large Language Model）は、NVIDIAのTensorRT-LLMを基にしています。TensorRT-LLMは、NVIDIA RTXアクセラレーションを活用し、retrieval-augmented generation (RAG) 技術によって、ユーザーが自身のコンテンツ（ドキュメント、メモ、ビデオなど）に接続されたカスタムGPT大規模言語モデルをパーソナライズできるようにするデモアプリケーションです。なお、デフォルトでは「Mistral 7B int4」が用いられています。
私、gdsマスターもPCにインストールして早速試してみたのですが……まず、セットアップ中にコンソールが開きます。これはEnterボタン連発で突破できます。そしてブラウザに画面が起動します。
デフォルトの質問例で英語ならスラスラ回答してくれます。
日本語だと反応しないので「anwer in japanese」と英語で質問すると……
きちんと動くのは英語で、日本語だと返事しなくもないけど、バグってしまいました。とりあえず使い込むのはまた今度ということで。
何にせ、ローカルでAIが動くというのは、期待値大。「Chat with RTX」の日本語対応に期待したいですね。
参照元：NVIDIA
監修者のコメント：AIを使って基本情報をまとめた上で、独自に体験しました。