verbaflow

VerbaFlow

언어 모델링 작업을 위해 특별히 설계된 Go로 작성된 신경 아키텍처인 VerbaFlow에 오신 것을 환영합니다. 강력한 RWKV RNN을 기반으로 구축된 이 모델은 표준 CPU의 효율적인 성능에 최적화되어 있어 소비자 하드웨어에서도 상대적으로 큰 언어 모델을 원활하게 실행할 수 있습니다.

Pile 데이터 세트에서 사전 훈련된 모델을 활용하는 기능을 통해 VerbaFlow는 다음 토큰 예측은 물론 텍스트 요약, 텍스트 분류, 질문 답변 및 일반 대화와 같은 기타 작업에서도 GPT와 유사한 Transformer 모델과 유사한 성능을 발휘합니다.

설치

요구사항:

• 1.20으로 이동

이 저장소를 복제하거나 라이브러리를 가져옵니다.

 go get -u github.com/nlpodyssey/verbaflow

용법

VerbaFlow 사용을 시작하려면 Hugging Face Hub에서 사용할 수 있는 사전 훈련된 모델 RWKV-4-Pile-1B5-Instruct 사용하는 것이 좋습니다. 이 모델은 Pile 데이터 세트를 사용하여 미세 조정되었으며 xP3 데이터 세트에서 미세 조정된 것처럼 인간의 지시를 이해하고 실행하도록 특별히 설계되었습니다. 이 모델이 파생된 원본 RWKV-4-Pile-1B5-Instruct-test2-20230209 모델은 여기에서 액세스할 수 있습니다.

라이브러리는 x86-64 CPU에서 실행되도록 최적화되었습니다. 다른 아키텍처에서 실행하려면 GOARCH=amd64 환경 변수를 사용할 수 있습니다.

VerbaFlow를 빌드하고 사용하는 데 다음 명령을 사용할 수 있습니다.

 go build ./cmd/verbaflow

이 명령은 go 프로그램을 빌드하고 verbaflow 라는 실행 파일을 생성합니다.

 ./verbaflow -model-dir models/nlpodyssey/RWKV-4-Pile-1B5-Instruct download

이 명령은 지정된 모델을 다운로드합니다(이 경우 "models" 디렉터리 아래의 "nlpodyssey/RWKV-4-Pile-1B5-Instruct").

 ./verbaflow -model-dir models/nlpodyssey/RWKV-4-Pile-1B5-Instruct convert

이 명령은 다운로드한 모델을 프로그램에서 사용하는 형식으로 변환합니다.

 ./verbaflow -log-level trace -model-dir models/nlpodyssey/RWKV-4-Pile-1B5-Instruct inference --address :50051

이 명령은 지정된 모델에서 gRPC 추론 엔드포인트를 실행합니다.

위 명령을 실행하기 전에 필요한 종속성이 설치되어 있는지 확인하십시오.

예

LLM의 가장 흥미로운 기능 중 하나는 프롬프트에 따라 반응하는 능력입니다.

추론에서 명령을 사용하여 verbaflow gRPC 엔드포인트를 실행한 후 다음 프롬프트를 입력하여 prompttester 예시를 실행합니다.

실시예 1

즉각적인:

 echo 'nQ: Briefly: The Universe is expanding, its constituent galaxies flying apart like pieces of cosmic shrapnel in the aftermath of the Big Bang. Which section of a newspaper would this article likely appear in?nnA:' | go run ./examples/prompttester --dconfig ./examples/prompttester/config.yaml

예상 출력:

 Science and Technology

실시예 2

즉각적인:

 echo 'nQ:Translate the following text from French to English Je suis le père le plus heureux du mondennA:' | go run ./examples/prompttester --dconfig ./examples/prompttester/config.yaml

예상 출력:

 I am the happiest father in the world. 

종속성

주요 종속성 목록은 다음과 같습니다.

• Spago - 기계 학습 프레임워크
• RWKV - RWKV RNN 구현
• GoTokenizers - 토크나이저 라이브러리
• GoPickle - Go용 피클 라이브러리

로드맵

• Hugging Face 모델 허브에서 사전 훈련된 모델 다운로드
• 효과적인 "프롬프트" 카탈로그
• 더 나은 샘플링
• 빔 검색
• 더 나은 토크나이저
• 단위 테스트
• 코드 리팩토링
• 선적 서류 비치
• gRPC /HTTP API

크레딧

RWKV RNN 및 사전 훈련된 모델을 포함한 모든 관련 리소스를 생성한 PENG Bo에게 감사드립니다!

프로젝트 이름에 대한 퀴즈

"VerbaFlow"는 단어를 뜻하는 라틴어인 "verba"와 "flow"를 결합한 것으로, 네트워크의 유창하고 연속적인 단어의 흐름을 표현하여 순환 신경망의 특성을 암시합니다. 새로운 단어를 생성할 때 내부 상태를 유지하고 이전 단어와 문맥을 "기억"하는 능력.