Databricks는 Dolly 2.0 출시: 상업적 사용을 위한 Open LLM
- Name
- Viktor Zinchenko
Published on
Databricks는 최근 상업용으로 사용하기 위한 최초의 공개 명령 준수 LLM인 Dolly 2.0을 출시했습니다. AI 기술의 이 획기적인 발전은 자연어 명령 처리의 판도를 바꿀 잠재력을 가지고 있습니다.
Dolly 2.0이란?
Dolly 2.0은 상업적 사용이 허가된 Databricks 기계 학습 플랫폼에서 훈련된 명령을 따르는 대형 언어 모델입니다. Pythia-12b를 기반으로 하며 브레인스토밍, 분류, 비공개 QA, 생성, 정보 추출, 공개 QA 및 요약을 비롯한 다양한 기능 도메인에서 Databricks 직원이 생성한 ~15,000개의 지침/응답 미세 조정 레코드에 대해 교육을 받았습니다.
Dolly 2.0은 어떻게 작동합니까?
Dolly 2.0은 자연어 명령을 처리하고 주어진 명령을 따르는 응답을 생성하는 방식으로 작동합니다. 폐쇄형 질의 응답, 요약 및 생성을 포함하여 광범위한 응용 프로그램에 사용할 수 있습니다.
Dolly 2.0을 사용하려면 Transformers 및 Accelerate 라이브러리가 설치되어 있어야 합니다. 그런 다음 파이프라인 함수를 사용하여 파이프라인 다음 명령어를 로드할 수 있습니다. 파이프라인을 사용하여 지침에 응답하고 텍스트를 생성할 수 있습니다.
Dolly 2.0의 장점
Dolly 2.0의 정확성과 효율성은 자연어 명령을 빠르고 정확하게 처리하고자 하는 기업과 개발자에게 귀중한 도구입니다. 오픈 소스 특성은 또한 AI 산업의 혁신을 촉진하고 윤리적이고 책임 있는 AI 기술 개발을 장려합니다.
HugginFace에서 Databricks Dolly-v2-12b 저장소 (opens in a new tab)를 확인할 수 있습니다.
Dolly 2.0의 한계
Dolly 2.0은 최첨단 생성 언어 모델이 아니며 보다 현대적인 모델 아키텍처 또는 더 큰 사전 훈련 말뭉치가 적용되는 모델과 경쟁적으로 수행하도록 설계되지 않았습니다. 또한 복잡한 구문 프롬프트, 프로그래밍 문제, 수학적 연산, 사실적 오류, 날짜 및 시간, 개방형 질문 응답, 환각, 특정 길이의 목록 열거, 문체 모방 및 유머로 어려움을 겪습니다.
또한 Dolly 2.0의 교육 데이터는 2023년 3월과 4월에 걸쳐 Databricks 직원이 생성한 자연어 지침을 나타내며 폐쇄형 QA 및 요약과 같은 지침 범주에 대한 참조 구절로 Wikipedia의 구절을 포함합니다. 데이터 세트에는 외설, 지적 재산권 또는 비공개 인물에 대한 개인 식별 정보가 포함되어 있지 않지만 오타 및 사실 오류가 포함될 수 있으며 Databricks 직원의 관심사 및 의미론적 선택을 반영할 수 있습니다. 전 세계 인구.
결론
Dolly 2.0은 AI 개발의 판도를 바꿀 수 있는 개방적이고 명령을 따르는 LLM입니다. 그 정확성과 효율성은 자연어 명령을 빠르고 정확하게 처리하고자 하는 기업과 개발자에게 귀중한 도구입니다. 오픈 소스 특성은 또한 AI 산업의 혁신을 촉진하고 윤리적이고 책임 있는 AI 기술 개발을 장려합니다. 약간의 제한이 있을 수 있지만 Dolly 2.0은 상업적 사용을 위한 개방적이고 명령을 따르는 LLM 개발을 향한 중요한 단계이며 의심할 여지 없이 AI의 미래를 형성하는 데 중요한 역할을 할 것입니다.