SimplyRetrieve
Dependencies Update
? 뉴스 : 2023년 8월 21일 -- 이제 사용자는 GUI에 새로 추가된 Knowledge Tab 통해 즉시 지식을 생성하고 추가할 수 있습니다. 또한 구성 및 지식 탭에 진행률 표시줄이 추가되었습니다.
SimplyRetrieve 는 기계 학습 커뮤니티에 검색 중심 생성 (RCG) 접근 방식을 위한 완전히 지역화되고 가볍고 사용자 친화적인 GUI 및 API 플랫폼을 제공하는 것을 목표로 하는 오픈 소스 도구입니다.
문서와 언어 모델을 사용하여 사용자 정의가 가능한 채팅 도구를 만드세요. 특징은 다음과 같습니다:
이 도구에 대한 기술 보고서는 arXiv에서 확인할 수 있습니다.
이 도구에 대한 짧은 비디오는 YouTube에서 볼 수 있습니다.
우리는 RCG 접근 방식을 구현하기 위한 오픈 소스 도구를 공유함으로써 안전하고 해석 가능하며 책임감 있는 LLM 개발에 기여하는 것을 목표로 합니다. 이 도구를 통해 기계 학습 커뮤니티가 개인 정보 보호 및 로컬 구현을 유지하면서 LLM 사용을 보다 효율적인 방법으로 탐색할 수 있기를 바랍니다. 컨텍스트 해석에서 LLM의 중요한 역할을 강조하고 지식 기억을 검색기 구성 요소에 맡김으로써 RAG(검색 증강 생성) 개념을 기반으로 구축된 검색 중심 생성은 보다 효율적이고 해석 가능한 생성을 생성하고 생성 작업에 필요한 LLM의 규모. 이 도구는 T4, V100 또는 A100과 같은 단일 Nvidia GPU에서 실행될 수 있으므로 광범위한 사용자가 액세스할 수 있습니다.
이 도구는 주로 Hugging Face, Gradio, PyTorch 및 Faiss의 훌륭하고 친숙한 라이브러리를 기반으로 구성되었습니다. 이 도구에 구성된 기본 LLM은 지침이 미세 조정된 Wizard-Vicuna-13B-Uncensored입니다. 검색기의 기본 임베딩 모델은 multilingual-e5-base입니다. 우리는 이러한 모델이 이 시스템뿐만 아니라 Hugging Face에서 사용할 수 있는 다양한 크기의 오픈 소스 LLM 및 검색기에서도 잘 작동한다는 것을 발견했습니다. 이 도구는 적절한 LLM을 선택하고 대상 언어에 따라 프롬프트 템플릿을 사용자 정의하여 영어 외에 다른 언어로도 실행할 수 있습니다.
pip install -r requirements.txtchat/data/ 디렉터리에 넣고 데이터 준비 스크립트를 실행합니다( cd chat/ 이후 다음 명령). CUDA_VISIBLE_DEVICES=0 python prepare.py --input data/ --output knowledge/ --config configs/default_release.json
pdf, txt, doc, docx, ppt, pptx, html, md, csv 이며 구성 파일을 편집하여 쉽게 확장할 수 있습니다. NLTK 관련 오류가 발생한 경우 이 문제에 대한 팁을 따르십시오.Knowledge Tab 통해 지식 기반 생성 기능을 사용할 수 있습니다. 이제 사용자는 즉시 지식을 추가할 수 있습니다. 도구를 실행하기 전에 위의 prepare.py 스크립트를 실행할 필요는 없습니다. 위의 필수 구성 요소를 설정한 후 현재 경로를 chat 디렉터리( cd chat/ )로 설정하고 아래 명령을 실행합니다. 그럼 grab a coffee! 로드하는 데 몇 분 밖에 걸리지 않습니다.
CUDA_VISIBLE_DEVICES=0 python chat.py --config configs/default_release.json
그런 다음 http://<LOCAL_SERVER_IP>:7860 으로 이동하여 즐겨 사용하는 브라우저에서 웹 기반 GUI에 액세스하세요. <LOCAL_SERVER_IP> GPU 서버의 IP 주소로 바꿉니다. 이제 준비가 끝났습니다!
GUI operation manual docs/ 디렉토리에 있는 GUI readme를 참조하십시오.API access manual examples/ 디렉토리에 있는 API readme 및 샘플 스크립트를 참조하세요.다음은 GUI의 샘플 채팅 스크린샷입니다. 포괄적인 RCG 튜닝 패널과 함께 친숙한 스트리밍 챗봇 인터페이스를 제공합니다.
현재 이 도구를 실행할 로컬 GPU 서버가 없습니까? 괜찮아요. 이 저장소를 방문하십시오. AWS EC2 클라우드 플랫폼에서 이 도구를 사용해 보는 지침을 보여줍니다.
피드백과 의견을 자유롭게 보내주세요. 새로운 기능, 개선 사항, 더 나은 문서를 포함하여 이 도구에 대한 모든 토론과 기여를 환영합니다. 자유롭게 이슈나 토론을 열어보세요. 아직 문제나 토론을 위한 템플릿이 없으므로 지금은 무엇이든 할 수 있습니다.
향후 개발
이 도구는 검색 중심 접근 방식 내에서도 생성 AI 모델의 완전히 안전하고 책임감 있는 응답을 보장하기 위한 완벽한 솔루션을 제공하지 않는다는 점에 유의하는 것이 중요합니다. 보다 안전하고 해석 가능하며 책임감 있는 AI 시스템의 개발은 여전히 활발한 연구 및 지속적인 노력 분야로 남아 있습니다.
이 도구에서 생성된 텍스트는 현재 세대 LLM의 다음 토큰 예측 동작으로 인해 프롬프트나 쿼리를 약간만 수정하는 경우에도 변형이 나타날 수 있습니다. 이는 사용자가 최적의 응답을 얻기 위해 프롬프트와 쿼리를 모두 신중하게 미세 조정해야 할 수도 있음을 의미합니다.
우리의 작업이 유용하다고 생각되면 다음과 같이 인용해 주세요.
@article{ng2023simplyretrieve,
title={SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool},
author={Youyang Ng and Daisuke Miyashita and Yasuto Hoshi and Yasuhiro Morioka and Osamu Torii and Tomoya Kodama and Jun Deguchi},
year={2023},
eprint={2308.03983},
archivePrefix={arXiv},
primaryClass={cs.CL},
journal={arXiv preprint arXiv:2308.03983}
}
?️ 소속: 일본 Kioxia Corporation 메모리 기술 R&D 연구소
