FreeChat

Freechat

Discutez avec LLMS sur votre Mac sans installer d'autres logiciels. Chaque conversation est enregistrée localement, toutes les conversations se produisent hors ligne.

• Personnaliser la personnalité et l'expertise en modifiant l'invite du système
• Essayez n'importe quel modèle compatible Llama.cpp
• Aucune connexion Internet requise, tous locaux (avec la possibilité de se connecter à un modèle distant)

H264.Screen.reCording.2023-09-13.at.1.54.49.pm.mov

Installer

Rejoignez la version bêta de Testflight: https://6032904148827.gumroad.com/l/freechat-beta

Ou télécharger sur le Mac App Store: https://apps.apple.com/us/app/freechat/id6458534902

Ou construire à partir de la source via "Archive" dans Xcode après avoir terminé la configuration de développement ci-dessous.

Objectifs

L'objectif principal de Freechat est de rendre accessible les modèles locaux et privés locaux à plus de personnes.

Freechat est un appareil LLM natif pour MacOS qui s'exécute complètement localement. Téléchargez-le et posez une question à votre LLM sans faire de configuration. Une version locale / lama du chat d'Openai sans connexion ni suivi. Vous devriez pouvoir installer à partir du Mac App Store et l'utiliser immédiatement.

• Pas de configuration. Utilisable par des personnes qui n'ont pas entendu parler de modèles, d'invites ou de LLM.
• Performances et simplicité sur l'expérience ou les fonctionnalités du développement. Notes pas mot, Swift pas Elektron.
• Local d'abord. La fonctionnalité de base ne doit pas nécessiter de connexion Internet.
• Pas de suivi de la conversation. Parlez de tout ce que vous voulez avec Freechat, tout comme les notes.
• Open source. Quel est l'intérêt d'exécuter une IA locale si vous ne pouvez pas auditer qu'elle s'exécute réellement localement?

Améliorez vos modèles

Une fois que vous êtes opérationnel, c'est amusant d'essayer différents modèles dans Freechat. La communauté de formation de l'IA publie de nouveaux modèles essentiellement tous les jours. Freechat est compatible avec tout modèle formaté GGUF avec lequel Llama.cpp travaille.

Les modèles sont généralement nommés avec leur nombre de paramètres (par exemple 7b) et sont formatés avec différents niveaux de compression avec perte appliquée (quantification). La règle générale est que les modèles avec plus de paramètres ont tendance à être plus lents et plus sages et plus de quantification le rend stupide.

Pour trouver des modèles, essayez d'étreindre le visage. La plupart des modèles ont une «carte modèle» liée par l'auteur qui discute de sa formation et de ses capacités.

Configuration de développement

1. Ouvrir mac / freechat.xcodeproj
2. Exécuter et corriger les erreurs

Feuille de route / todo (à peu près en ordre):

• Discuter avec Llama 3 sans rien installer d'autre
• Essayez n'importe quel modèle compatible Llama.cpp
• Modifier les invites du système pour modifier les personnages ou l'expertise
• Téléchargez les modèles à partir de l'application (application rétractable de 3 Go à 10 Mo, bien mieux pour les mises à jour)
• Paramètres avancés (format d'invite, température, répétition de pénalité)
• Personas - Enregistrez les paramètres d'invite / modèle système pour plus tard et modifiez les personnages lorsque vous créez une nouvelle conversation
• Rechercher des conversations

Contributif

Les contributions sont les bienvenues. Rendons Freechat simple et puissant.

Crédits

Ce projet ne serait pas possible sans le travail acharné de:

• Georgi Gerganov pour lama.cpp
• Meta pour la formation Llama 2
• Jon Durbin pour la formation de Spicyboros, le modèle par défaut
• TheBloke (Tom Jobbins) pour la quantification du modèle
• Monica Kogler pour le logo Freechat et les consultations innombrables UX

Un grand merci également à Billy Rennekamp, ​​Elliot Hursh, Tomás Savigliano, Judd Schoenholtz, Alex Farrill pour les sessions inestimables de spitball.