DataDreamer

https://datadreamer.dev

즉각적인. 합성 데이터를 생성합니다. 훈련 및 정렬 모델.

DatadReamer는 프롬프트, 합성 데이터 생성 및 교육 워크 플로우를위한 강력한 오픈 소스 파이썬 라이브러리입니다. 단순하고 매우 효율적이며 연구 등급으로 설계되었습니다.

설치 pip3 install datadreamer.dev
demo.py	demo.py 의 결과
전체 데모 스크립트를 참조하십시오	합성 데이터 세트와 훈련 된 모델을 참조하십시오
더 많은 시연과 레시피는 빠른 투어 페이지를 참조하십시오.

DatadReamer를 사용하면 다음을 수행 할 수 있습니다.

• 프롬프트 워크 플로 만들기 : 주요 오픈 소스 또는 API 기반 LLM을 사용하여 멀티 단계, 복잡한 작업 플로우를 쉽게 만들고 실행하십시오.
• 합성 데이터 세트 생성 : 새로운 작업을위한 합성 데이터 세트를 생성하거나 LLM을 사용하여 기존 데이터 세트를 보강합니다.
• 열차 모델 : 모델 정렬. 미세 조정 모델. 교육-튜닝 모델. 증류 모델. 기존 데이터 또는 합성 데이터를 훈련시킵니다.
• ... 개요 안내서에서 가능한 것에 대해 자세히 알아보십시오.

DatadReamer는 다음과 같습니다.

• ? 단순 : 현명한 불이행으로 사용하기에 간단하고 접근하기 쉬운 것이지만 출혈 엣지 기술을 지원하는 강력합니다.
• ? 연구 등급 : 연구원, 연구원이 구축했지만 모든 사람이 접근 할 수 있습니다. 정확성, 모범 사례 및 재현성에 중점을 둡니다.
• ? 닐 효율성 : 공격적인 캐싱 및 재개 내장. 양자화, 파라미터 효율적인 훈련 (LORA) 등과 같은 기술에 대한 지원.
• 재현 가능 : DatadReamer로 구축 된 워크 플로우는 쉽게 공유하고 재현 가능하며 확장 가능합니다.
• ? 쉽게 공유 할 수 있습니다 : 데이터 세트와 모델 게시는 간단합니다. 메타 데이터로 데이터 카드 및 모델 카드를 자동으로 생성합니다. 필요한 인용 목록을 생성하십시오.
• ... DatadReamer의 동기 부여 및 디자인 원칙에 대해 자세히 알아보십시오.

소환

DatadReamer 논문을 인용하십시오.

 @misc { patel2024datadreamer ,
      title = { DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows } , 
      author = { Ajay Patel and Colin Raffel and Chris Callison-Burch } ,
      year = { 2024 } ,
      eprint = { 2402.10379 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CL }
}

연락하다

질문, 의견 또는 피드백이 있으시면 이메일 ([email protected]) 또는 discord를 통해 연락하십시오.

---

Copyright © 2024, Ajay Patel. MIT 라이센스에 따라 릴리스.

DatadReamer에 필요한 기부금을 수락하고 업스트림 지원을 제공해 주신 Hugging Face 및 Litellm의 관리자에게 감사합니다.

---

자금 지원 승인

_{ODNI, IARPA : 이 연구는 Hiatus Program Contract #2022-22072200005를 통해 Intelligence Advanced Research Project Projects Activity (IARPA)의 National Intelligence (ODNI) 사무소에 의해 부분적으로 지원됩니다. 여기에 포함 된 견해와 결론은 저자의 견해와 결론이며, ODNI, IARPA 또는 미국 정부의 표현 또는 묵시적 정책을 반드시 표현하는 것으로 해석되어서는 안됩니다. 미국 정부는 저작권 주석에도 불구하고 정부 목적으로 재판을 재생산하고 배포 할 수있는 권한이 있습니다.}