ai comic factory

Titel	Emoji	FarbeVon	colorTo	SDK	angepinnt	app_port	deaktivieren_embedding	kurze_beschreibung	hf_oauth	hf_oauth_expiration_minutes	hf_oauth_scopes
KI-Comic-Fabrik	?‍?	Rot	Gelb	Docker	WAHR	3000	FALSCH	Erstellen Sie Ihren eigenen KI-Comic mit einer einzigen Eingabeaufforderung	WAHR	43200	Inferenz-API

KI-Comic-Fabrik

Letzte Veröffentlichung: AI Comic Factory 1.2

Die AI Comic Factory wird bald eine offizielle Website haben: aicomicfactory.app

Weitere Informationen zu meinen anderen Projekten finden Sie unter linktr.ee/FLNGR.

Führen Sie das Projekt zu Hause durch

Zunächst möchte ich hervorheben, dass alles Open Source ist (siehe hier, hier, hier, hier).

Allerdings handelt es sich bei dem Projekt nicht um einen monolithischen Raum, der dupliziert und sofort ausgeführt werden kann: Für die Ausführung sind verschiedene Komponenten für Frontend, Backend, LLM, SDXL usw. erforderlich.

Wenn Sie versuchen, das Projekt zu duplizieren, öffnen Sie die .env Sie werden sehen, dass einige Variablen erforderlich sind.

Anbieterkonfiguration:

• LLM_ENGINE : kann eines von INFERENCE_API , INFERENCE_ENDPOINT , OPENAI , GROQ oder ANTHROPIC sein
• RENDERING_ENGINE : kann vorerst eines von „INFERENCE_API“, „INFERENCE_ENDPOINT“, „REPLICATE“, „VIDEOCHAIN“, „OPENAI“ sein, es sei denn, Sie codieren Ihre benutzerdefinierte Lösung

Auth-Konfiguration:

• AUTH_HF_API_TOKEN : Wenn Sie sich entscheiden, Hugging Face für die LLM-Engine zu verwenden (Inferenz-API-Modell oder ein benutzerdefinierter Inferenzendpunkt)
• AUTH_OPENAI_API_KEY : um OpenAI für die LLM-Engine zu verwenden
• AUTH_GROQ_API_KEY : um Groq für die LLM-Engine zu verwenden
• AUTH_ANTHROPIC_API_KEY : um Anthropic (Claude) für die LLM-Engine zu verwenden
• AUTH_VIDEOCHAIN_API_TOKEN : Geheimes Token für den Zugriff auf den VideoChain-API-Server
• AUTH_REPLICATE_API_TOKEN : falls Sie Replicate.com verwenden möchten

Rendering-Konfiguration:

• RENDERING_HF_INFERENCE_ENDPOINT_URL : erforderlich, wenn Sie sich für die Verwendung eines benutzerdefinierten Inferenzendpunkts entscheiden
• RENDERING_REPLICATE_API_MODEL_VERSION : URL zum VideoChain-API-Server
• RENDERING_HF_INFERENCE_ENDPOINT_URL : optional, standardmäßig nichts
• RENDERING_HF_INFERENCE_API_BASE_MODEL : optional, standardmäßig „stabilityai/stable-diffusion-xl-base-1.0“
• RENDERING_HF_INFERENCE_API_REFINER_MODEL : optional, standardmäßig auf „stabilityai/stable-diffusion-xl-refiner-1.0“
• RENDERING_REPLICATE_API_MODEL : optional, standardmäßig „stabilityai/sdxl“
• RENDERING_REPLICATE_API_MODEL_VERSION : optional, falls Sie die Version ändern möchten

Sprachmodellkonfiguration (abhängig von der LLM-Engine, die Sie verwenden möchten):

• LLM_HF_INFERENCE_ENDPOINT_URL : „“
• LLM_HF_INFERENCE_API_MODEL : „HuggingFaceH4/zephyr-7b-beta“
• LLM_OPENAI_API_BASE_URL : „https://api.openai.com/v1“
• LLM_OPENAI_API_MODEL : „gpt-4-turbo“
• LLM_GROQ_API_MODEL : „mixtral-8x7b-32768“
• LLM_ANTHROPIC_API_MODEL : „claude-3-opus-20240229“

Darüber hinaus gibt es einige Community-Sharing-Variablen, die Sie einfach ignorieren können. Diese Variablen sind nicht erforderlich, um die AI Comic Factory auf Ihrer eigenen Website oder Ihrem Computer auszuführen (sie sollen eine Verbindung mit der Hugging Face-Community herstellen und sind daher nur für offizielle Hugging Face-Apps sinnvoll):

• NEXT_PUBLIC_ENABLE_COMMUNITY_SHARING : Das brauchen Sie nicht
• COMMUNITY_API_URL : Das brauchen Sie nicht
• COMMUNITY_API_TOKEN : Das brauchen Sie nicht
• COMMUNITY_API_ID : Das brauchen Sie nicht

Weitere Informationen finden Sie in der .env Standardkonfigurationsdatei. Um eine Variable lokal anzupassen, sollten Sie eine .env.local erstellen (übertragen Sie diese Datei nicht, da sie Ihre Geheimnisse enthält).

-> Wenn Sie beabsichtigen, es mit lokalen, in der Cloud gehosteten und/oder proprietären Modellen auszuführen , müssen Sie programmieren ? ‍ .

Die LLM API (Large Language Model)

Derzeit nutzt die AI Comic Factory zephyr-7b-beta über einen Inference Endpoint.

Sie haben mehrere Möglichkeiten:

Option 1: Verwenden Sie ein Inferenz-API-Modell

Dies ist eine neue Option, die kürzlich hinzugefügt wurde und bei der Sie eines der Modelle des Hugging Face Hub verwenden können. Standardmäßig empfehlen wir die Verwendung von Zephyr-7b-beta, da es bessere Ergebnisse liefert als das 7b-Modell.

Um es zu aktivieren, erstellen Sie eine .env.local Konfigurationsdatei:

LLM_ENGINE= " INFERENCE_API "

HF_API_TOKEN= " Your Hugging Face token "

# "HuggingFaceH4/zephyr-7b-beta" is used by default, but you can change this
# note: You should use a model able to generate JSON responses,
# so it is storngly suggested to use at least the 34b model
HF_INFERENCE_API_MODEL= " HuggingFaceH4/zephyr-7b-beta "

Option 2: Verwenden Sie eine Inferenzendpunkt-URL

Wenn Sie die AI Comic Factory auf einem privaten LLM ausführen möchten, das auf dem Hugging Face Inference Endpoint-Dienst ausgeführt wird, erstellen Sie eine .env.local Konfigurationsdatei:

LLM_ENGINE= " INFERENCE_ENDPOINT "

HF_API_TOKEN= " Your Hugging Face token "

HF_INFERENCE_ENDPOINT_URL= " path to your inference endpoint url "

Um diese Art von LLM lokal auszuführen, können Sie TGI verwenden (weitere Informationen zur Lizenzierung finden Sie in diesem Beitrag).

Option 3: Verwenden Sie einen OpenAI-API-Schlüssel

Dies ist eine neue Option, die kürzlich hinzugefügt wurde und mit der Sie die OpenAI-API mit einem OpenAI-API-Schlüssel verwenden können.

Um es zu aktivieren, erstellen Sie eine .env.local Konfigurationsdatei:

LLM_ENGINE= " OPENAI "

# default openai api base url is: https://api.openai.com/v1
LLM_OPENAI_API_BASE_URL= " A custom OpenAI API Base URL if you have some special privileges "

LLM_OPENAI_API_MODEL= " gpt-4-turbo "

AUTH_OPENAI_API_KEY= " Yourown OpenAI API Key "

Option 4: (neu, experimentell) Groq verwenden

LLM_ENGINE= " GROQ "

LLM_GROQ_API_MODEL= " mixtral-8x7b-32768 "

AUTH_GROQ_API_KEY= " Your own GROQ API Key "

Option 5: (neu, experimentell) Anthropic (Claude) verwenden

LLM_ENGINE= " ANTHROPIC "

LLM_ANTHROPIC_API_MODEL= " claude-3-opus-20240229 "

AUTH_ANTHROPIC_API_KEY= " Your own ANTHROPIC API Key "

Option 6: Verzweigen und ändern Sie den Code, um ein anderes LLM-System zu verwenden

Eine andere Möglichkeit könnte darin bestehen, das LLM vollständig zu deaktivieren und es durch ein anderes LLM-Protokoll und/oder einen anderen LLM-Anbieter (z. B. Claude, Replicate) oder stattdessen eine von Menschen generierte Geschichte zu ersetzen (durch Rückgabe von Schein- oder statischen Daten).

Notizen

Es ist möglich, dass ich die AI Comic Factory ändere, um sie in Zukunft einfacher zu machen (z. B. Unterstützung für Claude oder Replicate hinzufügen).

Die Rendering-API

Diese API wird zum Generieren der Panel-Bilder verwendet. Dies ist eine API, die ich für meine verschiedenen Projekte bei Hugging Face erstellt habe.

Ich habe noch keine Dokumentation dafür geschrieben, aber im Grunde ist es „nur ein Wrapper™“ um andere bestehende APIs:

• Der hysts/SD-XL Space von @hysts
• Und andere APIs zum Erstellen von Videos, Hinzufügen von Audio usw., die Sie jedoch für die AI Comic Factory nicht benötigen

Option 1: Stellen Sie VideoChain selbst bereit

Sie müssen den Quellcode klonen

Leider hatte ich noch keine Zeit, die Dokumentation für VideoChain zu schreiben. (Wenn ich das tue, werde ich dieses Dokument aktualisieren, um auf die README-Datei von VideoChain zu verweisen)

Option 2: Replizieren verwenden

Um Replicate zu verwenden, erstellen Sie eine .env.local Konfigurationsdatei:

RENDERING_ENGINE= " REPLICATE "

RENDERING_REPLICATE_API_MODEL= " stabilityai/sdxl "

RENDERING_REPLICATE_API_MODEL_VERSION= " da77bc59ee60423279fd632efb4795ab731d9e3ca9705ef3341091fb989b7eaf "

AUTH_REPLICATE_API_TOKEN= " Your Replicate token "

Option 3: Verwenden Sie eine andere SDXL-API

Wenn Sie das Projekt forken, können Sie den Code ändern, um die Stable Diffusion-Technologie Ihrer Wahl zu verwenden (lokal, Open-Source, proprietär, Ihr benutzerdefinierter HF Space usw.).

Es wäre sogar etwas anderes, etwa Dall-E.