GPT4All-J-v1.0：日本語での包括的な記事

Name

Akira Sakamoto

Published on 2024/4/28

(opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab)

GPT4All-J-v1.0は、Nomic AIが開発した大規模なカリキュラムベースのアシスタント対話データセットを含む、Apache-2ライセンスのチャットボットです。本記事では、その概要と特徴について説明します。

モデルの詳細

GPT4All-Jは、GPT-Jからファインチューニングされたモデルで、英語での対話を中心に設計されています。いくつかのバージョンがリリースされており、それぞれ異なるデータセットで学習されています。以下にその概要を示します。

• v1.0: 最初のモデルで、v1.0データセットで学習されています。
• v1.1-breezy: AI言語モデルのすべてのインスタンスを削除したデータセットで学習されています。
• v1.2-jazzy: 「I'm sorry, I can't answer...」やAI言語モデルのようなインスタンスを削除したデータセットで学習されています。
• v1.3-groovy: v1.2データセットにDollyとShareGPTを追加し、Atlasを使用して意味的な重複を含むv1.2のデータセットの約8%を削除して学習されています。

特定のリビジョンのモデルをダウンロードするには、以下のコードを実行します。

from transformers import AutoModelForCausalLM
 
model = AutoModelForCausalLM.from_pretrained("nomic-ai/gpt4all-j", revision="v1.2-jazzy")
 

リビジョンを指定せずにダウンロードすると、デフォルトでmain/v1.0が選択されます。

モデルのリソース

• リポジトリ: https://github.com/nomic-ai/gpt4all (opens in a new tab)
• ベースモデルリポジトリ: https://github.com/kingoflolz/mesh-transformer-jax (opens in a new tab)
• 論文（オプション）: GPT4All-J: An Apache-2 Licensed Assistant-Style Chatbot
• デモ（オプション）: https://gpt4all.io/ (opens in a new tab)

学習手順

GPT4Allは、提携コンピュートパートナーであるPaperspaceの協力により実現されています。8台のA100 80GB GPUを搭載したDGXクラスタで約12時間学習されています。DeepspeedとAccelerateを使用し、グローバル