FreeChat

Freechat

Chatear con LLM en su Mac sin instalar ningún otro software. Cada conversación se guarda localmente, todas las conversaciones ocurren fuera de línea.

• Personalizar personalidad y experiencia cambiando el indicador del sistema
• Pruebe cualquier modelo compatible con LLAMA.CPP
• No se requiere conexión a Internet, todo local (con la opción de conectarse a un modelo remoto)

H264.screen.recording.2023-09-13.at.1.54.49.pm.mov

Instalar

Únase a la beta de TestFlight: https://6032904148827.gumroad.com/l/freechat-beta

O descargue en la tienda de aplicaciones de Mac: https://apps.apple.com/us/app/freechat/id6458534902

O construir desde la fuente a través de "Archivo" en Xcode después de completar la configuración de Dev a continuación.

Objetivos

El objetivo principal de Freechat es hacer que los modelos abiertos, locales y privados sean accesibles para más personas.

Freechat es un aparato nativo de LLM para macOS que se ejecuta completamente localmente. Descárguelo y haga una pregunta a su LLM sin hacer ninguna configuración. Una versión local/LLAMA del chat de Operai sin iniciar sesión o seguimiento. Debería poder instalar desde Mac App Store y usarla de inmediato.

• Sin configuración. Utilizable por personas que no han oído hablar de modelos, indicaciones o LLM.
• Rendimiento y simplicidad sobre la experiencia o las características de desarrollo. Notas no palabra, swift no elektron.
• Local primero. La funcionalidad central no debe requerir una conexión a Internet.
• Sin seguimiento de conversación. Hable sobre lo que quiera con Freechat, al igual que las notas.
• Código abierto. ¿Cuál es el punto de ejecutar IA local si no puede auditar que realmente se está ejecutando localmente?

Actualiza tus modelos

Una vez que está en funcionamiento, es divertido probar diferentes modelos en Freechat. La comunidad de capacitación de IA está lanzando nuevos modelos básicamente todos los días. Freechat es compatible con cualquier modelo formateado de GGUF con el que trabaja llama.cpp.

Los modelos generalmente se nombran con su recuento de parámetros (por ejemplo, 7B) y se formatean con diferentes niveles de compresión con pérdida aplicada (cuantificación). La regla general es que los modelos con más parámetros tienden a ser más lentos y más sabios, y más cuantificación lo hace más tonto.

Para encontrar modelos, intente abrazar la cara. La mayoría de los modelos tienen una "tarjeta modelo" vinculada por el autor que discute su capacitación y habilidades.

Configuración de desarrollo

1. Abra Mac/Freechat.xCodeproj
2. Ejecutar y corregir errores

Hoja de ruta / TODO (aproximadamente en orden):

• Chatear con Llama 3 sin instalar nada más
• Pruebe cualquier modelo compatible con LLAMA.CPP
• Cambiar las indicaciones del sistema para modificar personas o experiencia
• Descargue modelos desde dentro de la aplicación (Aplicación de reducción de 3GB a 10 MB, mucho mejor para las actualizaciones)
• Configuración avanzada (formato de inmediato, temperatura, penalización repetida)
• Personas: guarde la configuración del mensaje / modelo para más adelante y cambie las personas cuando cree una nueva conversación
• Búsqueda de conversaciones

Que contribuye

Las contribuciones son muy bienvenidas. Hagamos que Freechat sea simple y poderoso.

Créditos

Este proyecto no sería posible sin el arduo trabajo de:

• Georgi Gerganov para Llama.CPP
• Meta para el entrenamiento Llama 2
• Jon Durbin para entrenar a Spicyboros, el modelo predeterminado
• THEBLOKE (Tom Jobbins) para cuantización del modelo
• Monica Kogler para el logotipo de Freechat y las consultas de UX incontables

También muchas gracias a Billy Rennekamp, ​​Elliot Hursh, Tomás Savigliano, Judd Schoenholtz, Alex Farrill por invaluables sesiones de spitballing.