Open Assistant 다운로드

Open Assistant

기타 소스코드

v0.0.4

다운로드

개방형

참고 : OpenAssistant가 완료되고 프로젝트가 완료되었습니다. 기여한 모든 분들께 감사드립니다! 자세한 내용은 블로그 게시물을 확인하십시오. 최종 게시 된 OASST2 데이터 세트는 OpenAssistant/OASST2에서 HuggingFace에서 찾을 수 있습니다.

Open Assistant 란 무엇입니까?

Open Assistant는 모든 사람이 훌륭한 채팅 기반 대형 언어 모델에 액세스 할 수 있도록하는 프로젝트입니다.

우리는 이렇게함으로써 우리는 언어 혁신의 혁명을 일으킬 것이라고 믿는다. 안정적인 혼란과 마찬가지로 세상이 새로운 방식으로 예술과 이미지를 만들도록 도와주었습니다. Open Assistant가 언어 자체를 향상시켜 세상을 개선 할 수 있기를 바랍니다.

유용한 링크

데이터 수집
채팅
프로젝트 문서

시도하는 방법

AI와 채팅

채팅 프론트 엔드는 이제 여기에 살고 있습니다. 로그인하고 채팅을 시작하십시오! 채팅 할 때 조수의 응답을 위해 엄지 손가락으로 위 또는 아래로 반응하십시오.

데이터 수집에 기여합니다

데이터 수집 프론트 엔드는 이제 여기에 살고 있습니다. 로그인하고 작업을 시작하십시오! 우리는 많은 양의 품질 데이터를 수집하고 싶습니다. 제출, 순위 및 라벨링 모델 프롬프트 및 응답을 통해 공개 비서의 기능을 개선하는 데 직접 도움이됩니다.

로컬로 개발 설정 실행 (채팅없이)

개발 프로세스에 기여하지 않는 한 프로젝트를 로컬로 운영 할 필요는 없습니다. 위의 웹 사이트 링크는 데이터 수집 앱과 채팅을 사용할 수있는 공개 웹 사이트로 이동합니다.

개발을 위해 데이터 수집 앱을 로컬로 실행하려면 웹 사이트, 백엔드 및 관련 종속 서비스를 포함하여 Docker와 함께 개방형 보조를 실행하는 데 필요한 전체 스택을 설정할 수 있습니다.

데모를 시작하려면 리포지토리의 루트 디렉토리에서 이것을 실행하십시오 (문제가있는 경우이 FAQ를 확인하십시오).

docker compose --profile ci up --build --attach-dependencies

참고 : M1 칩으로 MACOS에서 실행할 때는 다음을 사용해야합니다. DB_PLATFORM=linux/x86_64 docker compose ...

그런 다음 http://localhost:3000 (부팅하는 데 시간이 걸릴 수 있음)으로 이동하여 웹 사이트와 상호 작용하십시오.

참고 : 빌드에 문제가 발생하면 FAQ로 가서 Docker에 대한 항목을 확인하십시오.

참고 : 이메일을 통해 로그인 할 때 http://localhost:1080 으로 이동하여 Magic 이메일 로그인 링크를 얻으십시오.

참고 : VSCODE를 로컬 또는 GitHub Codespaces를 사용하여 웹 브라우저에서 표준화 된 개발 환경 ( "DevContainer")에서 실행하려면 제공된 .devcontainer 폴더를 사용할 수 있습니다.

채팅을 위해 로컬로 개발 설정을 실행합니다

개발 프로세스에 기여하지 않는 한 프로젝트를 로컬로 운영 할 필요는 없습니다. 위의 웹 사이트 링크는 데이터 수집 앱과 채팅을 사용할 수있는 공개 웹 사이트로 이동합니다.

또한 로컬 설정은 개발을위한 것이며 자신이하고있는 일을 모르는 한 로컬 챗봇으로 사용되지는 않습니다.

당신이하고있는 일을 알고 있다면, 추론 시스템을 시작하고 실행하기위한 inference 폴더를 보거나, 위 명령에서 --profile ci 외에 --profile inference 살펴보십시오.

비전

우리는 Chatgpt 복제에서 멈추지 않을 것입니다. 우리는 미래의 조수를 구축하고 이메일과 표지를 작성할뿐만 아니라 의미있는 작업을 수행하고, API를 사용하고, 역동적으로 연구 정보를 사용하는 등을 사용하여 모든 사람이 개인화하고 확장 할 수있는 능력을 원합니다. 그리고 우리는 개방적이고 액세스 할 수있는 방식 으로이 작업을 수행하고자합니다. 즉, 훌륭한 어시스턴트를 구축 할뿐만 아니라 소비자 하드웨어에서 실행하기에 충분히 작고 효율적으로 만들어야합니다.

계획

우리는 InstructGpt 논문에 요약 된 3 단계를 따라 가능한 한 빨리 초기 MVP에 도달하고 싶습니다.

고품질의 인간 생성 교육 성취 샘플 (프롬프트 + 응답), 목표> 50K를 수집하십시오. 우리는 프롬프트를 수집하고 검토하기 위해 크라우드 소싱 프로세스를 설계합니다. 우리는 홍수/독성/스팸/정크/개인 정보 데이터를 훈련시키고 싶지 않습니다. 우리는 진행 상황과 가장 활발한 사용자를 보여주는 커뮤니티에 동기를 부여하는 리더 보드를 갖게 될 것입니다. Swag는 최고 기부자에게 주어집니다.
수집 된 각 프롬프트에 대해 우리는 여러 완료를 샘플링 할 것입니다. 그런 다음 하나의 프롬프트를 완료하면 사용자에게 무작위로 표시되어 최고에서 최악으로 순위가 매겨집니다. 다시 한 번 이것은 크라우드 소스가 발생해야합니다. 예를 들어, 우리는 신뢰할 수없는 잠재적 인 악의적 인 사용자를 다루어야합니다. 전반적인 계약을 측정하려면 독립 사용자의 최소한 여러 표를 징수해야합니다. 수집 된 순위 데이터는 보상 모델을 훈련시키는 데 사용됩니다.
이제 프롬프트와 보상 모델을 기반으로 RLHF 교육 단계를 따릅니다.

그런 다음 결과 모델을 가져 와서 다음 반복을 위해 2 단계 완료 샘플링을 계속할 수 있습니다.