Vicuna-13B: GPT-4に感銘を与えるオープンソースのチャットGPT代替ツール
チャットボットの世界は、OpenAI の ChatGPT のような大規模言語モデル (LLM) の開発により、近年大きな進歩を遂げています。 ただし、ChatGPT のアーキテクチャとトレーニングの詳細はまだ解明されておらず、研究者がその成功に基づいて構築することは困難です。 ここで Vicuna-13B の出番です。ChatGPT に代わるオープンソースのチャットボットであり、堅牢なデータセットとスケーラブルなインフラストラクチャに支えられています。 この記事では、Vicuna の機能、開発方法、将来の研究の可能性について詳しく説明します。
Vicuna-13B とは？
Vicuna (opens in a new tab) は、UC バークレー、CMU、スタンフォード、および UC サンディエゴの研究者チームによって作成された、Vicuna-13B と呼ばれるオープンソースのチャットボット モデルです。 これは、ShareGPT からのユーザー共有会話で LLaMA モデルを微調整することによって構築されており、予備評価では、ChatGPT の品質の 90% 以上を達成することが示されています。 特に、Vicuna-13B のトレーニング費用は約 300 ドルです。
Vicuna-13B はどのように機能しますか?
Vicuna-13B は、予備評価で 印象的なパフォーマンスを示しました。 70,000 のユーザー共有 ChatGPT 会話で Vicuna を微調整することにより、モデルは詳細で適切に構造化された回答を生成できるようになります。 その品質は ChatGPT と同等で、90% 以上のケースで LLaMA や Stanford Alpaca などの他のモデルを上回っています。
!【Vicuna公演】(https://docs-us.oss-us-west-1.aliyuncs.com/img/blog-cover-images/vicuna-performance.jpeg (opens in a new tab))
VicuVicuna-13Bna の開発: トレーニングとサービスのインフラストラクチャ
Vicuna-13B チームは、ShareGPT.com から約 70,000 件の会話を収集し、Alpaca が提供するトレーニング スクリプトを強化しました。 彼らはトレーニングのために 8 つの A100 GPU で PyTorch FSDP を使用し、軽量の分散サービス システムを実装しました。 チームはまた、80 の多様な質問のセットを作成し、GPT-4 を使用してモデルの出力を判断することにより、モデルの品質の予備評価を実施しました。
Vicuna-13B をトレーニングするために、チームはユーザー共有の会話を使用して LLaMA ベース モデルを微調整しました。 HTML をマークダウンに戻し、不適切または低品質のサンプルを除外することで、データの品質を確保しました。 また、メモリの最適化、マルチラウンドの会話処理、スポット インスタンスによるコスト削減など、トレーニング レシピにさまざまな改善を加えました。
Vicuna 用に構築されたサービス提供システムは、分散ワーカーを使用して複数のモデルを提供できます。 オンプレミス クラスターとクラウドの両方から GPU ワーカー向けの柔軟なプラグインをサポートします。 SkyPilot のフォールト トレラント コントローラーとマネージド スポット機能を使用することで、サービス提供システムは複数のクラウドからの安価なスポット インスタンスでうまく機能し、サービス提供コストを削減できます。
Vicuna-13B チームは、GitHub (opens in a new tab) でトレーニング、サービス提供、および評価コードをリリースしました。
GPT-4 によるチャットボットの評価
チャットボットの評価は困難な作業ですが、Vicuna チームはチャットボットのパフォーマンス評価を自動化するために GPT-4 に基づく評価フレームワークを提案しています。 彼らは、チャットボットのパフォーマンスのさまざまな側面をテストするために 8 つの質問カテゴリを考案し、GPT-4 が比較的 一貫したスコア とそれらのスコアの 詳細な説明 を生成できることを発見しました。 ただし、GPT-4 のような大規模な言語モデルは幻覚を起こしやすいため、この提案された評価フレームワークはまだ厳密なアプローチではありません。 チャットボットの包括的で標準化された評価システムを開発することは、さらなる研究が必要な未解決の問題のままです。
限界と今後の研究
VicuVicuna-13Bna は、他の大規模な言語モデルと同様に、推論や数学を含むタスクに制限があります。 また、自身を正確に識別したり、アウトプットの事実に基づく正確性を確保したりすることが困難な場合もあります。 さらに、安全性、毒性、またはバイアス緩和のために十分に最適化されていません。
それにもかかわらず、Vicuna-13B は、Auto-GPT や LongChain などの AI 分野における他の最新のブレークスルーと共に、これらの制限に対処するための将来の研究のオープンな出発点として機能します。
よくある質問
-
Vicuna 13-b モデルのウェイトを入手して使用するにはどうすればよいですか? Vicuna 13-b モデルを使用するには、元の LLaMa 13B モデルをダウンロードし、Vicuna チームが提供するデルタ ウェイトを適用する必要があります。 デルタの重みは、https://huggingface.co/lmsys/vicuna-13b-delta-v0 (opens in a new tab) で確認できます。
-
デルタ ウェイトを LLaMa 13B モデルに適用するにはどうすればよいですか? FastChat リポジトリのコマンドに従ってデルタ ウェイトを適用できます: python3 -m fastchat.model.apply_delta --base /path/to/llama-13b --target /output/path/to/vicuna-13b --delta lmsys/vicuna-13b-delta-v0. このコマンドは、デルタ ウェイトを自動的にダウンロードしてベース モデルに適用します。
-
Vicuna 13-b モデルを llama.cpp/gpt4all 形式に変換できますか? はい、Vicuna 13-b モデルは llama.cpp/gpt4all 形式に量子化できます。 モデルは、構造を変更せずに、既存の重みをわずかに微調整するだけです。
-
Vicuna 13-b の使用にライセンスの問題はありますか? Vicuna チームは、LLaMa モデル ライセンスに準拠するために、ウェイトをデルタ ウェイトとしてリリースします。 ただし、商業目的でモデルを使用することは、法的に複雑になる可能性があるため、依然として悪い考えです。