ai comic factory

titre	émoticône	couleurDe	couleurÀ	SDK	épinglé	port_app	désactiver_embedding	description_courte	hf_oauth	hf_oauth_expiration_minutes	hf_oauth_scopes
Usine de bandes dessinées IA	?‍?	rouge	jaune	docker	vrai	3000	FAUX	Créez votre propre bande dessinée IA avec une seule invite	vrai	43200	API d'inférence

Usine de bandes dessinées IA

Dernière version : AI Comic Factory 1.2

L'AI Comic Factory aura bientôt un site officiel : aicomicfactory.app

Pour plus d'informations sur mes autres projets, veuillez consulter linktr.ee/FLNGR.

Exécuter le projet à la maison

Tout d’abord, je voudrais souligner que tout est open-source (voir ici, ici, ici, ici).

Cependant, le projet n'est pas un espace monolithique qui peut être dupliqué et exécuté immédiatement : il nécessite l'exécution de divers composants pour le frontend, le backend, le LLM, le SDXL, etc.

Si vous essayez de dupliquer le projet, ouvrez le .env vous verrez qu'il nécessite certaines variables.

Configuration du fournisseur :

• LLM_ENGINE : peut être INFERENCE_API , INFERENCE_ENDPOINT , OPENAI , GROQ , ANTHROPIC
• RENDERING_ENGINE : peut être l'un des : "INFERENCE_API", "INFERENCE_ENDPOINT", "REPLICATE", "VIDEOCHAIN", "OPENAI" pour l'instant, sauf si vous codez votre solution personnalisée

Configuration d'authentification :

• AUTH_HF_API_TOKEN : si vous décidez d'utiliser Hugging Face pour le moteur LLM (modèle d'API d'inférence ou point de terminaison d'inférence personnalisé)
• AUTH_OPENAI_API_KEY : pour utiliser OpenAI pour le moteur LLM
• AUTH_GROQ_API_KEY : pour utiliser Groq pour le moteur LLM
• AUTH_ANTHROPIC_API_KEY : pour utiliser Anthropic (Claude) pour le moteur LLM
• AUTH_VIDEOCHAIN_API_TOKEN : token secret pour accéder au serveur API VideoChain
• AUTH_REPLICATE_API_TOKEN : si vous souhaitez utiliser Replicate.com

Configuration de rendu :

• RENDERING_HF_INFERENCE_ENDPOINT_URL : nécessaire si vous décidez d'utiliser un point de terminaison d'inférence personnalisé
• RENDERING_REPLICATE_API_MODEL_VERSION : url vers le serveur API VideoChain
• RENDERING_HF_INFERENCE_ENDPOINT_URL : facultatif, valeur par défaut : rien
• RENDERING_HF_INFERENCE_API_BASE_MODEL : facultatif, la valeur par défaut est "stabilityai/stable-diffusion-xl-base-1.0"
• RENDERING_HF_INFERENCE_API_REFINER_MODEL : facultatif, par défaut "stabilityai/stable-diffusion-xl-refiner-1.0"
• RENDERING_REPLICATE_API_MODEL : facultatif, par défaut "stabilityai/sdxl"
• RENDERING_REPLICATE_API_MODEL_VERSION : facultatif, au cas où vous souhaiteriez changer de version

Configuration du modèle de langage (en fonction du moteur LLM que vous décidez d'utiliser) :

• LLM_HF_INFERENCE_ENDPOINT_URL : ""
• LLM_HF_INFERENCE_API_MODEL : "HuggingFaceH4/zephyr-7b-beta"
• LLM_OPENAI_API_BASE_URL : "https://api.openai.com/v1"
• LLM_OPENAI_API_MODEL : "gpt-4-turbo"
• LLM_GROQ_API_MODEL : "mixtral-8x7b-32768"
• LLM_ANTHROPIC_API_MODEL : "claude-3-opus-20240229"

De plus, il existe certaines variables de partage communautaire que vous pouvez simplement ignorer. Ces variables ne sont pas nécessaires pour exécuter AI Comic Factory sur votre propre site Web ou ordinateur (elles sont destinées à créer une connexion avec la communauté Hugging Face et n'ont donc de sens que pour les applications officielles Hugging Face) :

• NEXT_PUBLIC_ENABLE_COMMUNITY_SHARING : vous n'en avez pas besoin
• COMMUNITY_API_URL : vous n'en avez pas besoin
• COMMUNITY_API_TOKEN : vous n'en avez pas besoin
• COMMUNITY_API_ID : vous n'en avez pas besoin

Veuillez lire le fichier de configuration par défaut .env pour plus d'informations. Pour personnaliser une variable localement, vous devez créer un .env.local (ne validez pas ce fichier car il contiendra vos secrets).

-> Si vous avez l'intention de l'exécuter avec des modèles locaux, hébergés dans le cloud et/ou propriétaires , vous devrez coder ? ‍ .

L'API LLM (Large Language Model)

Actuellement, AI Comic Factory utilise zephyr-7b-beta via un point de terminaison d'inférence.

Vous avez plusieurs options :

Option 1 : Utiliser un modèle d'API d'inférence

Il s'agit d'une nouvelle option ajoutée récemment, où vous pouvez utiliser l'un des modèles du Hugging Face Hub. Par défaut, nous suggérons d'utiliser zephyr-7b-beta car il fournira de meilleurs résultats que le modèle 7b.

Pour l'activer, créez un fichier de configuration .env.local :

LLM_ENGINE= " INFERENCE_API "

HF_API_TOKEN= " Your Hugging Face token "

# "HuggingFaceH4/zephyr-7b-beta" is used by default, but you can change this
# note: You should use a model able to generate JSON responses,
# so it is storngly suggested to use at least the 34b model
HF_INFERENCE_API_MODEL= " HuggingFaceH4/zephyr-7b-beta "

Option 2 : Utiliser une URL de point de terminaison d'inférence

Si vous souhaitez exécuter AI Comic Factory sur un LLM privé exécuté sur le service Hugging Face Inference Endpoint, créez un fichier de configuration .env.local :

LLM_ENGINE= " INFERENCE_ENDPOINT "

HF_API_TOKEN= " Your Hugging Face token "

HF_INFERENCE_ENDPOINT_URL= " path to your inference endpoint url "

Pour exécuter ce type de LLM localement, vous pouvez utiliser TGI (Veuillez lire cet article pour plus d'informations sur les licences).

Option 3 : utiliser une clé API OpenAI

Il s'agit d'une nouvelle option ajoutée récemment, où vous pouvez utiliser l'API OpenAI avec une clé API OpenAI.

Pour l'activer, créez un fichier de configuration .env.local :

LLM_ENGINE= " OPENAI "

# default openai api base url is: https://api.openai.com/v1
LLM_OPENAI_API_BASE_URL= " A custom OpenAI API Base URL if you have some special privileges "

LLM_OPENAI_API_MODEL= " gpt-4-turbo "

AUTH_OPENAI_API_KEY= " Yourown OpenAI API Key "

Option 4 : (nouvelle, expérimentale) utiliser Groq

LLM_ENGINE= " GROQ "

LLM_GROQ_API_MODEL= " mixtral-8x7b-32768 "

AUTH_GROQ_API_KEY= " Your own GROQ API Key "

Option 5 : (nouveau, expérimental) utiliser Anthropic (Claude)

LLM_ENGINE= " ANTHROPIC "

LLM_ANTHROPIC_API_MODEL= " claude-3-opus-20240229 "

AUTH_ANTHROPIC_API_KEY= " Your own ANTHROPIC API Key "

Option 6 : Forkez et modifiez le code pour utiliser un autre système LLM

Une autre option pourrait être de désactiver complètement le LLM et de le remplacer par un autre protocole et/ou fournisseur LLM (par exemple Claude, Replicate), ou une histoire générée par l'homme à la place (en renvoyant des données fictives ou statiques).

Remarques

Il est possible que je modifie AI Comic Factory pour le rendre plus facile à l'avenir (par exemple ajouter le support de Claude ou Replicate)

L'API de rendu

Cette API est utilisée pour générer les images du panneau. Il s'agit d'une API que j'ai créée pour mes différents projets chez Hugging Face.

Je n'ai pas encore écrit de documentation à ce sujet, mais en gros, il s'agit de "juste un wrapper ™" autour d'autres API existantes :

• L'Espace hysts/SD-XL par @hysts
• Et d'autres API pour créer des vidéos, ajouter de l'audio, etc. mais vous n'en aurez pas besoin pour AI Comic Factory

Option 1 : Déployez vous-même VideoChain

Vous devrez cloner le code source

Malheureusement, je n'ai pas encore eu le temps d'écrire la documentation de VideoChain. (Quand je le ferai, je mettrai à jour ce document pour pointer vers le README de VideoChain)

Option 2 : utiliser la réplication

Pour utiliser Replicate, créez un fichier de configuration .env.local :

RENDERING_ENGINE= " REPLICATE "

RENDERING_REPLICATE_API_MODEL= " stabilityai/sdxl "

RENDERING_REPLICATE_API_MODEL_VERSION= " da77bc59ee60423279fd632efb4795ab731d9e3ca9705ef3341091fb989b7eaf "

AUTH_REPLICATE_API_TOKEN= " Your Replicate token "

Option 3 : Utiliser une autre API SDXL

Si vous lancez le projet, vous pourrez modifier le code pour utiliser la technologie Stable Diffusion de votre choix (locale, open-source, propriétaire, votre espace HF personnalisé, etc.).

Ce serait même autre chose, comme Dall-E.