poyro
0.6.6
Poyro는 LLM 애플리케이션을 테스트하기위한 Vitest (농담과 같은 API를 가진 현대 테스트 프레임 워크)의 가벼운 확장입니다. Vitest에 익숙해지면 Poyro에서 더 많은 것을 얻을 수 있습니다.
Poyro는 LLM을 사용하여 응용 프로그램 LLM의 출력을 평가하는 모범 사례를 따릅니다. Poyro는 자연 언어 조건을 이진 단위 테스트로 변환합니다. 단위 테스트는 기본적으로 AI 앱을 포함하여 무료 및 오픈 소스 여야하므로 로컬로 실행되는 작은 LLM을 사용하여 응용 프로그램의 출력을 평가합니다.
Poyro를 사용하는 이유에 대한 자세한 내용과 Vitest to Unit Test LLM 앱과 함께 사용하는 방법에 대한 예제는 에세이를 읽으십시오.
풀 스택 엔지니어링의 일환으로 AI 테스트
AI 웹 앱에 대한 단위 테스트 작성 방법
사례 연구 - 법적 AI 앱을 테스트하는 단위 테스트
이 기사의 실행 가능한 코드 예제
Node.js 20 이상
최초의 1.6.0 이상
프로젝트에는 "type": "module"이 있어야합니다.
권장 : CUDA 호환 GPU (NVIDIA) 또는 최상의 성능을 얻으려면 금속 호환 GPU (Apple Silicon).
빨리 시작하려면 단순히 실행하십시오.
NPX POYRO Init
매치자를 사용하려면 프로젝트 내 어디서나 Extension .test.ts 가있는 파일을 만듭니다. 예는 다음과 같습니다.
// myfirsttest.test.tsimport { "vitest"에서 {expect, expling, it}; spection ( "myfirsttest", () => {
It ( "True", Async () => {// LLM 앱의 OutputConst llmoutput = "Hello, World!" 안녕하세요 ");
}, 10000); // 세 번째 인수로 필요에 따라 시간 초과를 늘리십시오}); toFulfillCriterion LLM 출력이 자연어 기준을 충족하는지 또는 충족하지 않는지 여부를 결정할 수 있습니다.
위의 것과 같은 테스트를 처음 실행하면 로컬 실행 LLM의 모델 파일이 다운로드됩니다. 몇 분이 걸립니다.
예를 들어 npm 과 같은 패키지 관리자와 함께 Vitest를 실행하십시오.
NPM 테스트
유사한 명령은 yarn 및 pnpm 과 함께 작동합니다.
문제 해결 페이지에서 일반적인 문제에 대한 솔루션을 제공합니다. 그곳의 솔루션을 살펴보고 계속 문제가 발생하면 주저하지 말고 저희에게 연락하십시오.
GitHub 저장소로 가서 새로운 문제를 만들어 문제를 제출할 수 있습니다. 문제를 제출하기 전에 비슷한 문제가 이미 제출되었는지 확인하십시오.
도움을 받으려면 Good Evals에 대한 브레인 스토밍을하거나 다른 Poyro 개발자와 채팅하고 싶다면 Discord에서 커뮤니티에 가입하십시오!
Poyro에 기여하고 싶다면 기고 가이드를 읽으십시오.
저장소 복제로 시작하십시오.
git 클론 https://github.com/poyro/poyro.git
다음으로 모든 종속성을 설치하십시오.
PNPM 설치
개발할 때는 루트에서 pnpm dev 실행할 수 있으며 변경 사항이 완료되면 모든 관련 패키지를 자동으로 빌드하거나 작업중인 패키지 내에서 pnpm dev 실행할 수 있습니다.
