InternGPT: ポイント以外の方法でChatGPTとのインタラクションを拡大
- Name
- Amber de Ligt
Published on
ChatGPTがAIとのコミュニケーション方法を革命させた一方、その基盤を拡張する新しいパラダイムが出現しています。この開発により、ポイントを使ってChatGPTを操作するだけでなく、言語も活用することで、より豊かなインタラクティブな体験が可能になります。このシステムにより、AIとの視覚的なコミュニケーションのフロンティアが広がります。
InternGPTの概要
InternGPTは、単なる視覚的なインタラクティブシステムを超える存在です。InternGPTとは、インタラクション、非言語、ChatGPTの頭文字をとったもので、これらの要素を組み合わせることで、独自のインタラクション体験を提供します。基盤となるのは、クリック、ドラッグ、作成などの操作にポイントデバイスを使用することで、ChatGPTの機能を拡張することを実現しています。
InternGPTは、中国科学院大学のOpenGVLab研究者たちによるオープンソースプロジェクトとして開発され、ChatGPTモデルを拡張することで生み出されました。この大型言語モデルチャットボットに変換技術が組み込まれた拡張機能として、テキスト生成や言語翻訳から、クリエイティブな素材の制作、質問に対する有益な回答の提供など、多岐にわたる可能性を持ちます。
InternGPT: デジタルインタラクションの新たなツール
InternGPTは、今後さらに発展することで、様々な分野で強力なツールとなる可能性があります。例えば、画像編集ツールなどの他のソフトウェアとのインタラクション能力を備え、様々な業界でのインパクトを高めることができます。この相互作用により、テキストベースのコミュニケーションと視覚的操作がシームレスに統合され、無数の可能性が開かれます。
InternGPTのインストールとセットアップ
InternGPTをインストールするためには、Linux、Python 3.8以上、PyTorch 1.12以上、CUDA 11.6以上、そして基本ツールを読み込むために少なくとも17GのGPUメモリが必要など、いくつかの基本的な前提条件が必要です。Pythonの環境が作成され、アクティブ化された後、pipコマンドを使用してPython依存関係をインストールします。
その後、HuskyVQA、SegmentAnything、ImageOCRRecognitionなどの必要なコンポーネントとともにiChat Gradioサービスを起動します。また、音声アシスタント機能を有効にする場合には、OpenSSLを使用して証明書を生成する必要があります。
InternGPTのインタラクティブな機能
InternGPTは、ChatGPTとのインタラクションを刷新するだけでなく、画像関連のインタラクション機能を備えています。例えば、画像をアップロードして、その画像に関する会話を始めるといったマルチモーダルな対話機能を提供しています。さらに、「画像に何があるか？」や「画像の背景の色は何ですか？」といったコマンドを生成することができます。
さらに、InternGPTは、画像操作に対応しています。ユーザーは、画像の特定の領域を選択し、その場所で光学式文字認識を実行することができます。また、画像からマスクエリアを削除または置換することもできます。これらのコマンドにより、ユーザーの入力を基にした画像の操作と生成が大幅に向上することが期待されます。
InternGPTは、音声ファイルから1枚の画像、あるいは音声とテキストの組み合わせから新しい画像を作成することができます。この画像生成機能は、デジタルホワイトボード上にお絵かきし、それらのペン跡から画像を生成する機能を持つため、創造性にあふれる可能性があります。
InternGPTのGitHubへのアクセスはこちら (opens in a new tab)から。
結論: InternGPT - AIとのインタラクションの未来
新しいChatGPTとのインタラクティブインターフェイスとしてのInternGPTは、AIとのインタラクション方法を変える可能性がある、パイオニア的な取り組みです。言語とポイントをあわせて視覚的コミュニケーションを行う能力により、InternGPTはAIとの可能性のフロンティアを広げ、テキストと視覚的コミュニケーションの壁を打ち破ります。開発が進むにつれ、この革新的なツールが示す応用範囲に期待が高まります。