YiVal
v0.1.0a10
2.2 저장소를 복제하십시오
git clone https://github.com/YiVal/YiVal.git
cd YiVal 시 설정 : Python 가상 환경을 초기화하고시를 사용하여 의존성을 설치하십시오. 아래 CMD In /YiVal 디렉토리를 실행하십시오.
poetry install --sync설정 후 임의의 기술 스타트 업 비즈니스 이름의 데이터 세트를 생성하여 Yival을 신속하게 시작할 수 있습니다.
Yival 디렉토리로 이동하십시오 .
cd /YiVal/src/yival OpenAi API 키 설정 : $YOUR_OPENAI_API_KEY 실제 OpenAI API 키로 바꾸십시오.
MacOS 또는 Linux 시스템에서
export OPENAI_API_KEY= $YOUR_OPENAI_API_KEYWindows 시스템에서
setx OPENAI_API_KEY $YOUR_OPENAI_API_KEY Yival Configuration 정의 : 다음 내용으로 자동 테스트 데이터 세트 생성을 위해 config_data_generation.yml 이라는 구성 파일을 만듭니다.
description : Generate test data
dataset :
data_generators :
openai_prompt_data_generator :
chunk_size : 100000
diversify : true
model_name : gpt-4
input_function :
description : # Description of the function
Given a tech startup business, generate a corresponding landing
page headline
name : headline_generation_for_business
parameters :
tech_startup_business : str # Parameter name and type
number_of_examples : 3
output_csv_path : generated_examples.csv
source_type : machine_generated Yival 실행 : /YiVal/src/yival 디렉토리 내에서 다음 명령을 실행하십시오.
yival run config_data_generation.yml 생성 된 데이터 세트를 확인하십시오 . 생성 된 테스트 데이터 세트는 generated_examples.csv 에 저장됩니다.
Yival에 대한 자세한 내용은 Yival Docs 페이지를 참조하십시오!
| 유스 케이스 데모 | 지원되는 기능 | Github 링크 | 비디오 데모 링크 |
|---|---|---|---|
| ? Chatgpt 및 Midjourney로 AI 이야기를 만들어냅니다 | 멀티 모달 지원 : Yival의 동시 텍스트 및 이미지에 대한 멀티 모달 지원을 사용하여 AI 기반 이야기를 설계하십시오. 인간 피드백 (RLHF)의 원시적이고 원활한 강화 학습 및 AI 피드백 (RLAIF)의 강화 학습을 지원합니다. 이 사용 사례에 대한 위의 비디오를보십시오. | ||
| ? 자신의 Q & A 테스트 데이터 세트로 여러 LLM의 성능 평가 | Litellm 덕분에 선택 모델의 성능을 편리하게 평가하고 비교하십시오 . 사용자 정의 된 테스트 데이터 또는 사용 사례에 맞춰진 모델 성능 벤치 마크를 분석합니다. | ||
| 스타트 업 회사 헤드 라인 생성 봇 | 자동화 된 테스트 데이터 생성 , 프롬프트 제작 , 결과 평가 및 GPT-4를 통한 성능 향상 으로 스타트 업을위한 헤드 라인 생성을 간소화하십시오. | ||
| ? 맞춤형 여행 가이드 봇을 구축하십시오 | Travel Community의 가장 인기있는 제안에서 영감을 얻은 자동 프롬프트는 Awesome-Chatgpt-Prompts의 제안에서 영감을 얻었습니다. | ||
| 저렴한 번역기 구축 : GPT-3.5를 사용하여 LLAMA2를 가르치기 위해 추론 비용이 낮은 번역기를 만듭니다. | Replicate 및 GPT-3.5의 테스트 데이터를 사용하여 LLAMA2의 번역 봇을 미세 조정할 수 있습니다. 6%의 성능 감소 만 경험하면서 18 배 절약의 혜택. | ||
| ? ️ 좋아하는 캐릭터와 채팅 -Dantan Ji From From From From From To Moon | 자동화 된 프롬프트 제작 및 캐릭터 스크립트 검색을 통해 좋아하는 캐릭터를 생생하게 가져 오십시오. | ||
| ? Python (.py) 출력 생성에서 Guardrails의 성능을 평가하십시오 | 가드 레일 : 내 가드 레일은 어디에 있습니까? ? <br> Yival : 나는 여기 있습니다. 닐 <br><br> 통합 평가 실험은 GuardRail을 사용하고 GPT-4 만 사용하여 CSV에서 80 개의 레트 코드 문제로 수행됩니다. 가드 레일의 경우 정확도는 0.625에서 0.55로 떨어지고 대기 시간은 44%증가하고 비용은 140%증가합니다. Guardrail은 여전히 데모에서 프로덕션으로 갈 길이 멀다. | ||
| ? 전 세계의 다른 음식을 시각화하십시오!? | 음식이 속한 곳과 맛볼 최고의 계절을 주면 계절별 음식의 비디오를 얻을 수 있습니다!? | ||
| ? COD와의 뉴스 기사 요약 | "밀도 체인"방법을 통합하여 텍스트 요약에서 인핸서의 능력을 평가하십시오 .? 평가를 위해 GPT-4에 의해 생성 된 3 개의 논문 포인트를 사용하면 일관된 점수는 20.03% 증가했으며, 속성 점수는 25.18% 증가했습니다! , 2054.6-> 1473.4 (-28.3%) 의 평균 토큰 사용. | ||
| ? 자동 Tiktok 타이틀 생성 봇 | 두 개의 입력 라인만으로 원하는 대상 대상 및 비디오 컨텐츠 요약을 기반으로 간결하고 세련된 Tiktok 비디오 타이틀을 쉽게 만들 수 있습니다. 이것은 자동 홍보 기능 에 의해 제공됩니다. 프로세스가 자동화되므로 요구 사항을 입력하고 번거 로움이없는 결과를 누릴 수 있습니다! |
Yival에 기여하려면 기여 가이드 라인을 검토하십시오. 요청 및 버그를 추적하기 위해 GitHub 문제를 사용합니다. 일반적인 질문과 토론을 위해 Yival의 Discord 채널에 가입하십시오. 연구원 및 소프트웨어 엔지니어로서의 고유 한 전문 지식이 높은 공동 작업 커뮤니티에 가입하십시오! 우리의 프로젝트에 기여하고 모든 코드 및 연구 통찰력이 기술의 발전을 적극적으로 연료로 연료를 공급하여 지능적으로 연결되고 보편적으로 접근 할 수있는 미래를 조성하는 혁신적인 공간의 일부가 되십시오.
? Yival은 귀하의 기여를 환영합니다! ?
? 우리의 놀라운 기고자들 모두에게 정말 감사합니까?
| 종이 | 작가 | 주제 | 유사 기고자 | 데이터 생성기 | 변형 생성기 | 평가자 | 선택자 | 인핸서 | 구성 |
|---|---|---|---|---|---|---|---|---|---|
| 대형 언어 모델은 인간 수준의 프롬프트 엔지니어입니다 | Yongchao Zhou, Andrei Ioan Muresanu, Ziwen Han | 유사 진화 자, 자동 충전 | OpenaipromptDatagenerator | OpenaipromptVariationGenerator | Openaipromptevaluator, Openaieloevaluator | ahpselector | OpenaipromptbasedcombinationEnhancer | 구성 | |
| Bertscore : Bert로 텍스트 생성 평가 | Tianyi Zhang, Varsha Kishore, Felix Wu | Yival Evaluator, Bertscore, Rouge | @crazycth | - | - | Bertscoreevaluator | - | - | - |
| 알파카에 발 | Xuechen Li, Tianyi Zhang, Yann Dubois et. 알 | 유사 평가자 | - | - | Alpacaevalevaluator | - | - | 구성 | |
| 밀도의 사슬 | 그리핀 아담스 알렉산더 R. Fabbri et. 알 | 프롬프트 엔지니어링 | - | ChainofdensityGenerator | - | - | - | 구성 | |
| 최적화제로서 큰 언어 모델 | Chengrun Yang Xuezhi Wang et. 알 | 프롬프트 엔지니어링 | @crazycth | - | - | - | - | 최적화 _by_prompt_enhancer | 구성 |
| LORA : 대형 언어 모델의 낮은 순위 적응 | Edward J. Hu Yelong Shen et. 알 | LLM FINETUNE | @crazycth | - | - | - | - | sft_trainer | 구성 |
