FreeChat

Freechat

Converse com o LLMS no seu Mac sem instalar nenhum outro software. Toda conversa é salva localmente, todas as conversas ocorrem offline.

• Personalizar persona e experiência alterando o prompt do sistema
• Experimente qualquer modelo compatível com lhama.cpp
• Nenhuma conexão à Internet necessária, toda local (com a opção de conectar -se a um modelo remoto)

H264.Screen.Recording.2023-09-13.at.1.54.49.pm.mov

Instalar

Junte-se ao teste Beta: https://6032904148827.gumroad.com/l/freechat-teta

Ou faça o download na Mac App Store: https://apps.apple.com/us/app/freechat/id6458534902

Ou construa a partir da fonte via "Archive" no Xcode após a conclusão da configuração do desenvolvedor abaixo.

Metas

O principal objetivo do Freechat é tornar modelos privados abertos e locais acessíveis a mais pessoas.

O Freechat é um aparelho LLM nativo para MacOS que funciona completamente localmente. Faça o download e faça uma pergunta ao seu LLM sem fazer nenhuma configuração. Uma versão local/llama do bate -papo do OpenAI sem login ou rastreamento. Você poderá instalar na Mac App Store e usá -la imediatamente.

• Sem configuração. Usável por pessoas que não ouviram falar de modelos, avisos ou LLMs.
• Desempenho e simplicidade sobre a experiência ou recursos de desenvolvimento. Notas NÃO PALAVRAS, SWIFT NÃO ELEKTRON.
• Local primeiro. A funcionalidade principal não deve exigir uma conexão com a Internet.
• Sem rastreamento de conversas. Fale sobre o que você quiser com o Freechat, assim como notas.
• Código aberto. Qual é o sentido de executar a IA local se você não pode auditar que está realmente funcionando localmente?

Atualize seus modelos

Quando você estiver em funcionamento, é divertido experimentar modelos diferentes no Freechat. A comunidade de treinamento da IA ​​está lançando novos modelos basicamente todos os dias. O Freechat é compatível com qualquer modelo formatado GGUF com o qual o llama.cpp trabalha.

Os modelos geralmente são nomeados com sua contagem de parâmetros (por exemplo, 7b) e são formatados com diferentes níveis de compressão com perdas aplicados (quantização). A regra geral é que os modelos com mais parâmetros tendem a ser mais lentos e mais sábios e mais quantização o tornam mais burro.

Para encontrar modelos, tente abraçar o rosto. A maioria dos modelos possui um "cartão de modelo" vinculado pelo autor que discute seu treinamento e habilidades.

Configuração do dev

1. Abra o Mac/Freechat.xcodeproj
2. Executar e corrigir erros

Roteiro / TODO (aproximadamente em ordem):

• Converse com o LLAMA 3 sem instalar mais nada
• Experimente qualquer modelo compatível com lhama.cpp
• Alterar os avisos do sistema para modificar personas ou experiência
• Faça o download de modelos de dentro do aplicativo (aplicativo Shrink de 3 GB a 10 MB, muito melhor para atualizações)
• Configurações avançadas (formato rápido, temperatura, penalidade repetida)
• Personas - Salvar configurações de prompt / modelo do sistema para posterior e alterar personas quando você cria uma nova conversa
• Conversas de pesquisa

Contribuindo

As contribuições são muito bem -vindas. Vamos tornar o Freechat simples e poderoso.

Créditos

Este projeto não seria possível sem o trabalho duro de:

• Georgi Gerganov para llama.cpp
• Meta para treinamento llama 2
• Jon Durbin para treinar Spicyboros, o modelo padrão
• TheBloke (Tom Jobbins) para quantização do modelo
• Monica Kogler para o logotipo Freechat e Consultas UX incontáveis

Também muito obrigado a Billy Rennekamp, ​​Elliot Hursh, Tomás Savigliano, Judd Schoenholtz, Alex Farrill por sessões inestimáveis ​​de cuspir.