Skip to content

GPT4All: 로컬 랩탑에서 작동할 수 있는 미니 ChatGPT

Antonio Di Nicola
Name
Antonio Di Nicola

Published on

LLaMA 7B 모델을 기반으로한 간소화된 로컬 ChatGPT 솔루션인 GPT4All의 잠재력을 탐색해보세요. 필요한 도구를 설치하고 모델을 실행하는 단계별 가이드를 제공합니다.

GPT4All은 GPT-J와 LLaMa를 기반으로 한 강력하고 유연한 AI 도구를 제공하는 오픈소스 어시스턴트 스타일의 대형 언어 모델입니다. 이 글에서는 필요한 도구를 설치하고 모델을 실행하는 단계별 가이드를 제공합니다.

📚

    GPT4All이란?

    GPT4All-J는 GPT-J 아키텍처를 기반으로한 최신 GPT4All 모델입니다. Mac/OSX, Windows 및 Ubuntu용 네이티브 챗 클라이언트 설치기를 제공하여 사용자들이 챗 인터페이스 및 자동 업데이트 기능을 즐길 수 있습니다. 원시 모델은 프로젝트에서 제공하는 C++ 바인딩과만 호환됩니다.

    LLaMa 아키텍처를 기반으로한 원래의 GPT4All 모델은 GPT4All 웹사이트에서 이용할 수 있습니다. 다양한 운영 체제에서 쉽게 실행할 수 있는 CPU 양자화 버전이 제공됩니다. GPT4All-J의 학습 과정은 GPT4All-J 기술 보고서에서 자세히 설명되어 있습니다. 사용자는 모델을 직접 리플리케이션하기 위한 정돈된 훈련 데이터에 액세스할 수 있습니다. 훈련 데이터는 prompt에 대한 Atlas Map과 response에 대한 Atlas Map의 형태로 제공됩니다.

    GPT4All 작동 방식

    GPT4All은 CPU 및 GPU 인터페이스를위한 공식 Python 바인딩을 제공합니다. 사용자는 Python 스크립트를 통해 GPT4All 모델과 상호 작용 할 수 있으므로 모델을 다양한 애플리케이션에 통합하기 쉽습니다. GPT4All 프로젝트는 호환되는 엣지 모델의 커뮤니티를 지원하여 사용 가능한 언어 모델의 범위를 확장하도록 장려합니다. 개발자는 커뮤니티가 성장함에 따라 프로젝트에 기여하고 풀 리퀘스트를 제출할 것을 권장합니다.

    로컬에서 GPT4All 실행하기

    GPT4All을 시작하려면 먼저 필요한 구성 요소를 설치해야합니다. 시스템에 Python이 설치되어 있는지 확인하세요(가능한 경우 Python 3.7 이상). 그런 다음이 단계를 따르십시오.

    1. GPT4All 저장소를 GitHub에서 다운로드합니다: https://github.com/nomic-ai/gpt4all.git (opens in a new tab)
    2. 다운로드한 파일을 원하는 디렉토리에 추출합니다
    3. 터미널 또는 명령 프롬프트를 열고 추출 된 GPT4All 디렉토리로 이동합니다.
    4. 다음 명령을 실행하여 필요한 Python 패키지를 설치합니다:

    단계 1: 설치

    python -m pip install -r requirements.txt

    단계 2: GPT4All 모델 다운로드

    GPT4All 모델을 GPT4All 저장소 또는 GPT4All 웹 사이트에서 다운로드합니다. 모델 파일의 확장자는 '.bin'이어야합니다. 다운로드한 모델 파일을 GPT4All 폴더 내의 'chat' 디렉터리에 배치합니다.

    단계 3: GPT4All 실행

    GPT4All을 실행하려면 터미널 또는 명령 프롬프트를 열고 GPT4All 폴더 내의 'chat' 디렉터리로 이동 한 다음 다음 명령을 입력하십시오. 사용 중인 운영 체제에 적합한 명령을 입력하세요:

    • M1 Mac/OSX: ./gpt4all-lora-quantized-OSX-m1
    • Linux: ./gpt4all-lora-quantized-linux-x86
    • Windows (PowerShell): ./gpt4all-lora-quantized-win64.exe
    • Intel Mac/OSX: ./gpt4all-lora-quantized-OSX-intel

    단계 4: GPT4All 사용 방법

    GPT4All을 성공적으로 실행했다면 프롬프트에 입력하고 Enter를 눌러 프롬프트를 입력하여 모델과 상호작용 할 수 있습니다. GPT4All은 입력에 기반한 응답을 생성합니다.

    단계 5: Python에서 GPT4All 사용

    GPT4All을 Python에서 사용하려면 프로젝트에서 제공하는 공식 Python 바인딩을 사용할 수 있습니다. 먼저 다음 명령을 실행하여 nomic 패키지를 설치하세요.

    pip install nomic

    그런 다음 Python 스크립트를 만들고 GPT4All 패키지를 가져옵니다.

    from nomic.gpt4all import GPT4All
 
# Initialize the GPT4All model
m = GPT4All()
m.open()
 
# Generate a response based on a prompt
response = m.prompt('write me a story about a lonely computer')
 
# Print the generated response
print(response)

    결론

    GPT4All은 GPT-3와 같은 대규모 AI 모델 대안으로 접근 가능하고 오픈 소스입니다. 이 단계별 가이드를 따라 GPT4All의 기능을 활용하여 프로젝트 및 애플리케이션에 활용할 수 있습니다. 더 많은 정보를 원하시면 GPT4All GitHub 저장소를 확인하고 지원 및 업데이트를 위해 GPT4All Discord 커뮤니티에 가입하십시오.

    📚