ai worker

AI 작업자

경고

AI 네트워크는 베타 단계에 있으며 생산 준비가 완료되었지만 아직 개발 중입니다. 문제가 발생하면 Livepeer Discord에 신고해 주세요.

이 리포지토리는 Livepeer AI 서브넷에서 추론 요청을 처리하기 위한 AI 작업자 및 실행기를 호스팅합니다.

개요

AI 작업자 저장소에는 다음이 포함됩니다.

• Runner : 컨테이너화된 Python 애플리케이션인 AI Runner는 Livepeer AI의 파이프라인 및 모델에 대한 추론 요청을 처리하고 모델 상호 작용을 위한 REST API를 제공합니다.

• 작업자 : AI 작업자는 go-livepeer의 ai-video 분기가 AI 러너와 상호 작용할 수 있도록 합니다. 여기에는 golang API 바인딩, 추론 요청 라우팅을 위한 작업자 및 AI 실행기 컨테이너용 Docker 관리자가 포함됩니다.

달리는 사람

AI 러너의 코드는 러너 디렉터리에 있습니다. 자세한 내용은 AI Runner README를 참조하세요.

노동자

AI 작업자의 코드는 작업자 디렉터리에 있습니다. 여기에는 다음이 포함됩니다.

• Golang API 바인딩 : make codegen 사용하여 AI 실행기의 OpenAPI 사양에서 생성됩니다.

• Worker : Livepeer AI 서브넷의 추론 요청을 수신하고 이를 AI Runner로 라우팅합니다.

• Docker Manager : AI Runner 컨테이너를 관리합니다.

짓다

AI 워커와 러너는 go-livepeer의 ai-video 브랜치와 함께 작동하도록 설계되었습니다. 테스트를 위해 두 가지를 독립적으로 실행할 수 있습니다. AI 작업자를 로컬에서 빌드하고 예제를 실행하려면 다음 단계를 따르세요.

1. 러너 디렉터리의 README 지침에 따라 모델 체크포인트를 다운로드하고 러너 이미지를 빌드하세요.

2. make codegen 사용하여 실행기 OpenAPI 사양에 대한 Go 바인딩을 생성합니다.

3. cmd/examples 디렉터리에서 예제를 실행하세요. 예를 들어 go run cmd/examples/text-to-image/main.go <RUNS> <PROMPT> 실행하세요.

개발 문서

AI Runner 개발 및 디버깅에 대한 자세한 내용은 개발 설명서를 참조하세요.