Skip to content
GPT4All-J: 高性能AIチャットボットでデータを活用しましょう

GPT4All-J-v1.0:日本語での包括的な記事

GPT4All-J-v1.0は、Nomic AIが開発した大規模なカリキュラムベースのアシスタント対話データセットを含む、Apache-2ライセンスのチャットボットです。本記事では、その概要と特徴について説明します。

📚

モデルの詳細

GPT4All-Jは、GPT-Jからファインチューニングされたモデルで、英語での対話を中心に設計されています。いくつかのバージョンがリリースされており、それぞれ異なるデータセットで学習されています。以下にその概要を示します。

  • v1.0: 最初のモデルで、v1.0データセットで学習されています。
  • v1.1-breezy: AI言語モデルのすべてのインスタンスを削除したデータセットで学習されています。
  • v1.2-jazzy: 「I'm sorry, I can't answer...」やAI言語モデルのようなインスタンスを削除したデータセットで学習されています。
  • v1.3-groovy: v1.2データセットにDollyとShareGPTを追加し、Atlasを使用して意味的な重複を含むv1.2のデータセットの約8%を削除して学習されています。

特定のリビジョンのモデルをダウンロードするには、以下のコードを実行します。

from transformers import AutoModelForCausalLM
 
model = AutoModelForCausalLM.from_pretrained("nomic-ai/gpt4all-j", revision="v1.2-jazzy")
 

リビジョンを指定せずにダウンロードすると、デフォルトでmain/v1.0が選択されます。

モデルのリソース

学習手順

GPT4Allは、提携コンピュートパートナーであるPaperspaceの協力により実現されています。8台のA100 80GB GPUを搭載したDGXクラスタで約12時間学習されています。DeepspeedとAccelerateを使用し、グローバル

モデルBoolQPIQAHellaSwagWinoGrandeARC-eARC-cOBQA
GPT4All-J 6.7B v1.073.474.863.464.754.936.040.2
GPT4All-J v1.1-breezy74.075.163.263.655.434.938.4
GPT4All-J v1.2-jazzy74.874.963.663.856.635.341.0
GPT4All-J v1.3-groovy73.674.363.863.557.735.038.8
GPT4All-J Lora 6.7B68.675.866.263.556.435.740.2
GPT4All LLaMa Lora 7B73.177.672.167.851.140.440.2
Dolly 6B68.877.367.663.962.938.741.2
Dolly 12B56.775.471.062.264.638.540.4
Alpaca 7B73.977.273.966.159.843.343.4
Alpaca Lora 7B74.379.374.068.856.643.942.6
GPT-J 6.7B65.476.266.264.162.236.638.2
LLaMa 7B73.177.473.066.952.541.442.4
Pythia 6.7B63.576.364.061.161.335.237.2
Pythia12B67.776.667.363.863.934.838.0