FreeChat

Freechat

Chatten Sie mit LLMs auf Ihrem Mac, ohne andere Software zu installieren. Jedes Gespräch wird lokal gespeichert, alle Gespräche kommen offline.

• Passen Sie die Persona und das Fachwissen an, indem Sie die Systemaufforderung ändern
• Probieren Sie jedes lama.cpp -kompatible Modell aus
• Keine Internetverbindung erforderlich, alle lokal (mit der Option, eine Verbindung zu einem Remote -Modell herzustellen)

H264.Screen.recording.2023-09-13.at.1.54.49.pm.mov

Installieren

Treten Sie der Testflight Beta bei: https://6032904148827.gumroad.com/l/freechat-beta

Oder im Mac App Store herunterladen: https://apps.apple.com/us/app/freechat/id6458534902

Oder erstellen Sie aus der Quelle über "Archiv" in Xcode nach Abschluss der Dev -Setup unten.

Ziele

Das Hauptziel von Freechat ist es, mehr Menschen offen, lokale, private Modelle zugänglich zu machen.

Freechat ist ein natives LLM -Gerät für MacOS, das vollständig lokal ausgeführt wird. Laden Sie es herunter und stellen Sie Ihrem LLM eine Frage ohne Konfiguration. Eine lokale/lama -Version von OpenAIs Chat ohne Anmeldung oder Tracking. Sie sollten in der Lage sein, aus dem Mac App Store zu installieren und sofort zu verwenden.

• Keine Konfiguration. Nutzbar von Personen, die noch nicht von Models, Aufforderungen oder LLMs gehört haben.
• Leistung und Einfachheit über Entwicklererfahrungen oder -funktionen. Notizen nicht Wort, Swift nicht Elektron.
• Lokal zuerst. Kernfunktionalität sollte keine Internetverbindung erfordern.
• Kein Gesprächsverfolgung. Sprechen Sie mit Freechat über alles, was Sie wollen, genau wie Notizen.
• Open Source. Was bringt es, lokale KI auszuführen, wenn Sie nicht prüfen können, dass sie tatsächlich lokal ausgeführt wird?

Aktualisieren Sie Ihre Modelle

Sobald Sie in Betrieb sind, macht es Spaß, verschiedene Modelle in Freechat auszuprobieren. Die KI -Trainingsgemeinschaft veröffentlicht im Grunde genommen jeden Tag neue Modelle. Freechat ist mit jedem gguf formatierten Modell kompatibel, mit dem Lama.cpp zusammenarbeitet.

Modelle werden normalerweise mit ihrer Parameterzahl (z. B. 7b) benannt und mit unterschiedlichen angewandten Verlustkomprimierung (Quantisierung) formatiert. Die allgemeine Faustregel lautet, dass Modelle mit mehr Parametern tendenziell langsamer und klüger sind, und mehr Quantisierung macht es dümmer.

Um Modelle zu finden, versuchen Sie, das Gesicht zu umarmen. Die meisten Modelle haben eine verknüpfte "Modellkarte" des Autors, die seine Schulungen und Fähigkeiten erörtert.

Dev Setup

1. Öffnen Sie MAC/FREECHAT.XCODEPROJ
2. Fehler ausführen und beheben

Roadmap / Todo (ungefähr in Ordnung):

• Chatten Sie mit Lama 3, ohne etwas anderes zu installieren
• Probieren Sie jedes lama.cpp -kompatible Modell aus
• Ändern Sie die Systemaufforderungen, Personas oder Fachwissen zu ändern
• Laden Sie Modelle in der App herunter (Shrink App von 3 GB auf 10 MB, viel besser für Updates).
• Erweiterte Einstellungen (Eingabeaufforderungformat, Temperatur, Wiederholungsstrafe)
• Personas - Speichern Sie die Einstellungen zur Systemeingabeaufforderung / des Modells für später und ändern Sie Persönlichkeiten, wenn Sie eine neue Konversation erstellen
• Suchen Sie Gespräche

Beitragen

Beiträge sind sehr willkommen. Lassen Sie uns Freechat einfach und kraftvoll machen.

Credits

Dieses Projekt wäre nicht möglich, ohne die harte Arbeit von:

• Georgi Gerganov für Lama.cpp
• Meta für das Training von Lama 2
• Jon Durbin für das Training Spicyboros, das Standardmodell
• TheBloke (Tom Jobbins) zur Modellquantisierung
• Monica Kogler für das Freechat -Logo und unzählige UX -Konsultationen

Vielen Dank auch an Billy Rennekamp, ​​Elliot Hursh, Tomás Savigliano, Judd Schönholtz, Alex Farrill für unschätzbare Spitball -Sitzungen.