ai comic factory

título	emoticons	corDe	corPara	SDK	fixado	app_port	desativar_incorporação	descrição curta	hf_oauth	hf_oauth_expiration_minutos	hf_oauth_scopes
Fábrica de quadrinhos AI	?‍?	vermelho	amarelo	janela de encaixe	verdadeiro	3.000	falso	Crie sua própria história em quadrinhos de IA com um único prompt	verdadeiro	43200	API de inferência

Fábrica de quadrinhos AI

Última versão: AI Comic Factory 1.2

A AI Comic Factory terá em breve um site oficial: aicomicfactory.app

Para obter mais informações sobre meus outros projetos, consulte linktr.ee/FLNGR.

Executando o projeto em casa

Primeiramente, gostaria de destacar que tudo é open source (veja aqui, aqui, aqui, aqui).

No entanto, o projeto não é um espaço monolítico que pode ser duplicado e executado imediatamente: ele requer vários componentes para execução no frontend, backend, LLM, SDXL etc.

Se você tentar duplicar o projeto, abra o .env e verá que ele requer algumas variáveis.

Configuração do provedor:

• LLM_ENGINE : pode ser INFERENCE_API , INFERENCE_ENDPOINT , OPENAI , GROQ , ANTHROPIC
• RENDERING_ENGINE : pode ser um dos seguintes: "INFERENCE_API", "INFERENCE_ENDPOINT", "REPLICATE", "VIDEOCHAIN", "OPENAI" por enquanto, a menos que você codifique sua solução personalizada

Configuração de autenticação:

• AUTH_HF_API_TOKEN : se você decidir usar o Hugging Face para o mecanismo LLM (modelo de API de inferência ou um endpoint de inferência personalizado)
• AUTH_OPENAI_API_KEY : para usar OpenAI para o mecanismo LLM
• AUTH_GROQ_API_KEY : para usar Groq para o mecanismo LLM
• AUTH_ANTHROPIC_API_KEY : para usar Antrópico (Claude) para o mecanismo LLM
• AUTH_VIDEOCHAIN_API_TOKEN : token secreto para acessar o servidor VideoChain API
• AUTH_REPLICATE_API_TOKEN : caso você queira usar Replicate.com

Configuração de renderização:

• RENDERING_HF_INFERENCE_ENDPOINT_URL : necessário se você decidir usar um endpoint de inferência personalizado
• RENDERING_REPLICATE_API_MODEL_VERSION : url para o servidor API VideoChain
• RENDERING_HF_INFERENCE_ENDPOINT_URL : opcional, padrão é nada
• RENDERING_HF_INFERENCE_API_BASE_MODEL : opcional, o padrão é "stabilityai/stable-diffusion-xl-base-1.0"
• RENDERING_HF_INFERENCE_API_REFINER_MODEL : opcional, o padrão é "stabilityai/stable-diffusion-xl-refiner-1.0"
• RENDERING_REPLICATE_API_MODEL : opcional, o padrão é "stabilityai/sdxl"
• RENDERING_REPLICATE_API_MODEL_VERSION : opcional, caso queira alterar a versão

Configuração do modelo de linguagem (dependendo do mecanismo LLM que você decidir usar):

• LLM_HF_INFERENCE_ENDPOINT_URL : ""
• LLM_HF_INFERENCE_API_MODEL : "AbraçandoFaceH4/zephyr-7b-beta"
• LLM_OPENAI_API_BASE_URL : "https://api.openai.com/v1"
• LLM_OPENAI_API_MODEL : "gpt-4-turbo"
• LLM_GROQ_API_MODEL : "mixtral-8x7b-32768"
• LLM_ANTHROPIC_API_MODEL : "claude-3-opus-20240229"

Além disso, existem algumas variáveis ​​de compartilhamento da comunidade que você pode simplesmente ignorar. Essas variáveis ​​não são necessárias para executar o AI Comic Factory em seu próprio site ou computador (elas são destinadas a criar uma conexão com a comunidade Hugging Face e, portanto, só fazem sentido para aplicativos oficiais do Hugging Face):

• NEXT_PUBLIC_ENABLE_COMMUNITY_SHARING : você não precisa disso
• COMMUNITY_API_URL : você não precisa disso
• COMMUNITY_API_TOKEN : você não precisa disso
• COMMUNITY_API_ID : você não precisa disso

Leia o arquivo de configuração padrão .env para obter mais informações. Para personalizar uma variável localmente, você deve criar um .env.local (não confirme este arquivo, pois ele conterá seus segredos).

-> Se você pretende executá-lo com modelos locais, hospedados na nuvem e/ou proprietários , você precisará codificar ? ‍ .

A API LLM (modelo de linguagem grande)

Atualmente, a AI Comic Factory usa zephyr-7b-beta por meio de um Inference Endpoint.

Você tem várias opções:

Opção 1: use um modelo de API de inferência

Esta é uma nova opção adicionada recentemente, onde você pode usar um dos modelos do Hugging Face Hub. Por padrão, sugerimos usar zephyr-7b-beta, pois fornecerá melhores resultados que o modelo 7b.

Para ativá-lo, crie um arquivo de configuração .env.local :

LLM_ENGINE= " INFERENCE_API "

HF_API_TOKEN= " Your Hugging Face token "

# "HuggingFaceH4/zephyr-7b-beta" is used by default, but you can change this
# note: You should use a model able to generate JSON responses,
# so it is storngly suggested to use at least the 34b model
HF_INFERENCE_API_MODEL= " HuggingFaceH4/zephyr-7b-beta "

Opção 2: use um URL de endpoint de inferência

Se você quiser executar o AI Comic Factory em um LLM privado em execução no serviço Hugging Face Inference Endpoint, crie um arquivo de configuração .env.local :

LLM_ENGINE= " INFERENCE_ENDPOINT "

HF_API_TOKEN= " Your Hugging Face token "

HF_INFERENCE_ENDPOINT_URL= " path to your inference endpoint url "

Para executar este tipo de LLM localmente, você pode usar o TGI (leia esta postagem para obter mais informações sobre o licenciamento).

Opção 3: use uma chave de API OpenAI

Esta é uma nova opção adicionada recentemente, onde você pode usar a API OpenAI com uma chave de API OpenAI.

Para ativá-lo, crie um arquivo de configuração .env.local :

LLM_ENGINE= " OPENAI "

# default openai api base url is: https://api.openai.com/v1
LLM_OPENAI_API_BASE_URL= " A custom OpenAI API Base URL if you have some special privileges "

LLM_OPENAI_API_MODEL= " gpt-4-turbo "

AUTH_OPENAI_API_KEY= " Yourown OpenAI API Key "

Opção 4: (nova, experimental) usar Groq

LLM_ENGINE= " GROQ "

LLM_GROQ_API_MODEL= " mixtral-8x7b-32768 "

AUTH_GROQ_API_KEY= " Your own GROQ API Key "

Opção 5: (novo, experimental) usar Antrópico (Claude)

LLM_ENGINE= " ANTHROPIC "

LLM_ANTHROPIC_API_MODEL= " claude-3-opus-20240229 "

AUTH_ANTHROPIC_API_KEY= " Your own ANTHROPIC API Key "

Opção 6: bifurque e modifique o código para usar um sistema LLM diferente

Outra opção poderia ser desabilitar completamente o LLM e substituí-lo por outro protocolo e/ou provedor LLM (por exemplo, Claude, Replicate) ou por uma história gerada por humanos (retornando dados simulados ou estáticos).

Notas

É possível que eu modifique o AI Comic Factory para torná-lo mais fácil no futuro (por exemplo, adicionar suporte para Claude ou Replicate)

A API de renderização

Esta API é usada para gerar as imagens do painel. Esta é uma API que criei para meus vários projetos no Hugging Face.

Ainda não escrevi documentação para isso, mas basicamente é "apenas um wrapper ™" em torno de outras APIs existentes:

• O espaço hysts/SD-XL por @hysts
• E outras APIs para fazer vídeos, adicionar áudio, etc., mas você não precisará delas para o AI Comic Factory

Opção 1: implante você mesmo o VideoChain

Você terá que clonar o código-fonte

Infelizmente, ainda não tive tempo de escrever a documentação do VideoChain. (Quando o fizer, atualizarei este documento para apontar para o README do VideoChain)

Opção 2: usar replicar

Para usar o Replicate, crie um arquivo de configuração .env.local :

RENDERING_ENGINE= " REPLICATE "

RENDERING_REPLICATE_API_MODEL= " stabilityai/sdxl "

RENDERING_REPLICATE_API_MODEL_VERSION= " da77bc59ee60423279fd632efb4795ab731d9e3ca9705ef3341091fb989b7eaf "

AUTH_REPLICATE_API_TOKEN= " Your Replicate token "

Opção 3: use outra API SDXL

Se você bifurcar o projeto, poderá modificar o código para usar a tecnologia Stable Diffusion de sua escolha (local, código aberto, proprietário, seu espaço HF personalizado, etc.).

Seria até outra coisa, como Dall-E.