FacePoke

Titel	Emoji	FarbeVon	colorTo	SDK	angepinnt	Lizenz	Kopfzeile	app_file	app_port	deaktivieren_embedding	kurze_beschreibung
FacePoke	?‍ ↔️ ?	Gelb	Rot	Docker	WAHR	mit	Mini	app.py	8080	WAHR	Importieren Sie ein Porträt, klicken Sie, um den Kopf zu bewegen!

FacePoke

Inhaltsverzeichnis

• Einführung
• Danksagungen
• Installation
  • Lokales Setup
  • Docker-Bereitstellung
• Entwicklung
• Mitwirken
• Lizenz

Einführung

Eine Kopftransformations-App in Echtzeit.

Um die beste Leistung zu erzielen, führen Sie die App bitte von Ihrem eigenen Computer aus (lokal oder in der Cloud).

Repository : GitHub – jbilcke-hf/FacePoke

Sie können die Demo ausprobieren, aber es handelt sich um einen gemeinsam genutzten Bereich. Die Latenz kann hoch sein, wenn mehrere Benutzer vorhanden sind oder Sie weit entfernt vom Rechenzentrum wohnen, in dem der Hugging Face Space gehostet wird.

Live-Demo : FacePoke über das Umarmen von Gesichtsräumen

Danksagungen

Dieses Projekt basiert auf LivePortrait: https://arxiv.org/abs/2407.03168

Es verwendet die Gesichtstransformationsroutinen von https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait

Installation

Vor der Installation

FacePoke wurde nur in einer Linux-Umgebung mit Python 3.10 und CUDA 12.4 (also einer NVIDIA-GPU) getestet.

Beiträge sind willkommen, um andere Plattformen zu unterstützen!

Lokales Setup

1. Stellen Sie sicher, dass Git und Git LFS global installiert sind (https://git-lfs.com):

   git lfs install

2. Klonen Sie das Repository:

   git clone https://github.com/jbilcke-hf/FacePoke.git
   cd FacePoke

3. Installieren Sie Python-Abhängigkeiten:

   Die Verwendung einer virtuellen Umgebung (Python venv) wird dringend empfohlen.

   FacePoke wurde mit Python 3.10 getestet.

   pip3 install --upgrade -r requirements.txt

4. Frontend-Abhängigkeiten installieren:

    cd client
   bun install

5. Erstellen Sie das Frontend:

   bun build ./src/index.tsx --outdir ../public/

6. Starten Sie den Backend-Server:

   python app.py

7. Öffnen Sie http://localhost:8080 in Ihrem Webbrowser.

Docker-Bereitstellung

1. Erstellen Sie das Docker-Image:

   docker build -t facepoke .

2. Führen Sie den Container aus:

   docker run -p 8080:8080 facepoke

3. So stellen Sie es in Hugging Face Spaces bereit:

   • Forken Sie das Repository auf GitHub.
   • Erstellen Sie einen neuen Bereich auf Hugging Face.
   • Verbinden Sie Ihr GitHub-Repository mit dem Space.
   • Konfigurieren Sie den Space für die Verwendung der Docker-Laufzeitumgebung.

Entwicklung

Die Projektstruktur ist wie folgt organisiert:

• app.py : Haupt-Backend-Server, der WebSocket-Verbindungen verwaltet.
• engine.py : Kernlogik.
• loader.py : Initialisiert und lädt KI-Modelle.
• client/ : Frontend-React-Anwendung.
  • src/ : TypeScript-Quelldateien.
  • public/ : Statische Assets und erstellte Dateien.

Erhöhen der Framerate

Ich teste verschiedene Dinge, um die Framerate zu erhöhen.

Ein Projekt besteht darin, statt des gesamten Bildes nur den veränderten Kopf zu übertragen.

Eine andere Möglichkeit besteht darin, sich automatisch an die Server- und Netzwerkgeschwindigkeit anzupassen.

Mitwirken

Beiträge zu FacePoke sind willkommen! Bitte lesen Sie unsere Beitragsrichtlinien für Einzelheiten zum Einreichen von Pull-Anfragen, zum Melden von Problemen oder zum Anfordern von Funktionen.

Lizenz

FacePoke wird unter der MIT-Lizenz veröffentlicht. Einzelheiten finden Sie in der LICENSE-Datei.

Bitte beachten Sie, dass der Code von LivePortrait und Insightface zwar Open Source ist und „keine Einschränkung sowohl für die akademische als auch für die kommerzielle Nutzung“ aufweist, die aus Insightface-Daten trainierten Modellgewichte jedoch nur für nichtkommerzielle Forschungszwecke verfügbar sind.

---

Entwickelt mit ❤️ von Julian Bilcke bei Hugging Face