FreeChat

Freechat

与Mac上的LLM聊天，而无需安装任何其他软件。每次对话都是在当地保存的，所有对话都会脱机。

• 通过更改系统提示来自定义角色和专业知识
• 尝试任何LLAMA.CPP兼容模型
• 无需互联网连接，所有本地（可以选择连接到远程模型）

H264.Screen.Recording.2023-09-13.at.1.54.49.pm.mov

安装

加入TestFlight Beta：https：//6032904148827.gumroad.com/l/freechat-beta

或在Mac App Store上下载：https：//apps.apple.com/us/app/freechat/id6458534902

或在下面完成DEV设置后，通过XCode中的“存档”从源构建。

目标

Freechat的主要目标是使更多人可以访问开放的本地，私人模型。

Freechat是MacOS的本机LLM设备，它完全在本地运行。下载它并在不进行任何配置的情况下向您的LLM提出问题。 Openai的聊天的本地/骆驼版本，无登录或跟踪。您应该能够从Mac App Store安装并立即使用它。

• 没有配置。由没有听说模型，提示或LLM的人使用。
• 对开发经验或功能的性能和简单性。注释不是言语，而不是Elektron。
• 本地第一。核心功能不应需要Internet连接。
• 没有对话跟踪。像笔记一样谈论您想要的一切。
• 开源。如果您不能审核它实际上在本地运行，那么运行本地AI的意义是什么？

升级您的模型

启动并运行后，尝试在Freechat中尝试不同的型号很有趣。 AI培训社区基本上每天都在发布新模型。 Freechat与Llama.cpp使用的任何GGGUF格式化模型兼容。

模型通常用其参数计数（例如7B）命名，并以不同级别的有损压缩（量化）格式（量化）。一般的经验法则是，具有更多参数的模型往往更慢，更明智，更量化使其变得笨拙。

要找到模型，请尝试拥抱脸。大多数模型都有作者讨论其培训和能力的链接“模型卡”。

开发设置

1. 打开Mac/freechat.xcodeproj
2. 运行并修复错误

路线图 /托多（大约按顺序）：

• 与骆驼3聊天而无需安装其他任何内容
• 尝试任何Llama.CPP兼容模型
• 更改系统提示修改角色或专业知识
• 从应用程序中下载模型（收缩应用程序从3GB到10MB，更新的方法更好）
• 高级设置（及时格式，温度，重复惩罚）
• 角色 - 在创建新对话时，将系统提示 /模型设置保存以供以后进行，并更改角色
• 搜索对话

贡献

贡献非常欢迎。让我们变得简单而强大。

学分

没有艰苦的工作：

• Georgi Gerganov for Llama.cpp
• 用于训练骆驼2的元
• 乔恩·德宾（Jon Durbin
• TheBloke（Tom Jobbins）用于模型量化
• 莫妮卡·科格勒（Monica Kogler）用于Freechat徽标和无数UX咨询

也非常感谢Billy Rennekamp，Elliot Hursh，TomásSavigliano，Judd Schoenholtz，Alex Farrill的宝贵吐痰会议。