PrivateGPT: 오프라인 GPT-4 보안 및 개인 정보 보호
- Name
- Viktor Zinchenko
Published on
인공 지능 (AI) 및 자연 언어 처리 (NLP) 분야에서 보안은 주요 고민 중 하나로, 특히 민감한 데이터를 다룰 때 그러합니다. PrivateGPT는 이러한 문제를 극복하기 위해 혁신적인 도구로 설계되었습니다. 인터넷 연결 없이 로컬에서 실행되도록 설계되어 실행 환경 내 데이터가 누출되지 않도록 완벽한 개인 정보 보호를 보장합니다.
PrivateGPT란?
PrivateGPT는 엄격한 개인 정보 보호 조치와 함께 GPT-4의 강력한 언어 이해 기능을 결합한 혁신적인 도구입니다. LangChain, GPT4All, LlamaCpp, Chroma 및 SentenceTransformers의 강점을 활용하여 PrivateGPT는 사용자가 GPT-4를 로컬에서 완전히 상호 작용할 수 있습니다. PrivateGPT를 성공적으로 설치하고 사용하는 방법을 자세히 알아보겠습니다.
PrivateGPT 설치: 단계별 안내
PrivateGPT 설치는 주로 두 단계로 구성됩니다. 필수 요구사항 설치와 환경 설정입니다. 먼저, Python 3.10 이상이 설치된 컴퓨터를 사용하는 것이 좋습니다.
단계 1: 의존성 패키지 설치
pip3 install -r requirements.txt단계 2: 언어 학습 모델 (LLM)을 다운로드하고 선택한 디렉터리에 위치시킵니다. 기본 모델은 ggml-gpt4all-j-v1.3-groovy.bin이지만, GPT4All-J 호환 모델이라면 어떤 모델이든 사용할 수 있습니다.
단계 3: example.env 파일을 .env로 이름 변경한 뒤 환경 변수를 수정합니다.
MODEL_TYPE: LlamaCpp 또는 GPT4All 중 하나를 지정합니다.PERSIST_DIRECTORY: 벡터 저장소 폴더를 설정합니다.MODEL_PATH: LLM 경로를 지정합니다.MODEL_N_CTX: LLM 모델의 최대 토큰 제한을 결정합니다.EMBEDDINGS_MODEL_NAME: SentenceTransformers 임베딩 모델 이름을 지정합니다.TARGET_SOURCE_CHUNKS: 질문에 사용할 청크 번호를 설정합니다.
환경 설정이 끝나면 데이터를 추출할 수 있습니다.
PrivateGPT에서 데이터 추출
PrivateGPT는 CSV, 워드 문서, HTML 파일 등 다양한 파일 형식을 지원합니다. 파일을 추출하는 방법은 다음과 같습니다.
단계 1: source_documents 폴더에 파일을 넣습니다.
단계 2: ingest.py 스크립트를 실행하여 모든 데이터를 처리합니다.
python ingest.py스크립트는 db 폴더에 로컬 임베딩 데이터베이스를 생성합니다. 문서 크기에 따라 약 20-30초가 걸립니다.
PrivateGPT에서 상호 작용하기
이제 PrivateGPT를 사용하여 로컬에서 질문에 답할 수 있는 방법을 살펴보겠습니다.
단계 1: privateGPT.py 스크립트를 실행합니다.
python privateGPT.py단계 2: 쿼리를 입력하라는 메시지가 나오면 쿼리를 입력하십시오.
기계의 속도에 따라 20-30초 이내에 GPT-4 모델을 사용하여 답변을 생성하고 응답을 만드는 데 사용한 문서에서 소스를 제공합니다.
PrivateGPT의 파워 언리쉬딩: 기본적인 메커니즘
PrivateGPT의 무단 데이터 보호 로컬 동작은 강력한 도구의 혼합으로 지탱됩니다. ingest.py는 LangChain 도구를 활용하여 문서를 구문 분석하고 HuggingFaceEmbeddings(문장 변형의 일부)를 사용하여 로컬 임베딩을 작성합니다. 그 결과 생성된 embedding은 Chroma vector store의 로컬 벡터 데이터베이스에 저장됩니다.
privateGPT.py는 사용자 쿼리를 이해하고 적합한 응답을 만드는 데 사용되는 로컬 LLM - GPT4All-J 또는 LlamaCpp - 를 사용합니다. 로컬 벡터 저장소는 이러한 응답의 문맥을 추출하는 데 사용되며, 유사도 검색을 이용하여 흡입 문서에서 해당 문맥을 찾습니다.
시스템 요구 사항 및 문제 해결
PrivateGPT의 시스템 요구 사항에는 Python 3.10 이상이 필요합니다. pip 설치 과정에서 C++ 컴파일러 오류가 발생한 경우 Windows 10/11과 Mac 인텔에서의 설치 지침이 제공됩니다.
PrivateGPT GitHub에 여기 (opens in a new tab)에서 액세스할 수 있습니다.
결론
PrivateGPT는 GPT-4와 엄격한 데이터 프라이버시 프로토콜의 퓨전을 증명하는 사례로, 사용자들이 문서와 상호작용할 수 있는 보안 환경을 제공하여 외부로 데이터가 노출되지 않도록 보장합니다. 인공지능 애호가이든 개인정보 보호에 민감한 사용자든간에, PrivateGPT는 프라이버시 보존 인공지능 응용 분야에 새로운 가능성을 엽니다.