FreeChat

Freechat

與Mac上的LLM聊天，而無需安裝任何其他軟件。每次對話都是在當地保存的，所有對話都會脫機。

• 通過更改系統提示來自定義角色和專業知識
• 嘗試任何Llama.CPP兼容模型
• 無需互聯網連接，所有本地（可以選擇連接到遠程模型）

H264.Screen.Recording.2023-09-13.at.1.54.49.pm.mov

安裝

加入TestFlight Beta：https：//6032904148827.gumroad.com/l/freechat-beta

或在Mac App Store上下載：https：//apps.apple.com/us/app/freechat/id6458534902

或在下面完成DEV設置後，通過XCode中的“存檔”從源構建。

目標

Freechat的主要目標是使更多人可以訪問開放的本地，私人模型。

Freechat是MacOS的本機LLM設備，它完全在本地運行。下載它並在不進行任何配置的情況下向您的LLM提出問題。 Openai的聊天的本地/駱駝版本，無登錄或跟踪。您應該能夠從Mac App Store安裝並立即使用它。

• 沒有配置。由沒有聽說模型，提示或LLM的人使用。
• 對開發經驗或功能的性能和簡單性。註釋不是言語，而不是Elektron。
• 本地第一。核心功能不應需要Internet連接。
• 沒有對話跟踪。像筆記一樣談論您想要的一切。
• 開源。如果您不能審核它實際上在本地運行，那麼運行本地AI的意義是什麼？

升級您的模型

啟動並運行後，嘗試在Freechat中嘗試不同的型號很有趣。 AI培訓社區基本上每天都在發布新模型。 Freechat與Llama.cpp使用的任何GGGUF格式化模型兼容。

模型通常用其參數計數（例如7B）命名，並以不同級別的有損壓縮（量化）格式（量化）。一般的經驗法則是，具有更多參數的模型往往更慢，更明智，更量化使其變得笨拙。

要找到模型，請嘗試擁抱臉。大多數模型都有作者討論其培訓和能力的鏈接“模型卡”。

開發設置

1. 打開Mac/freechat.xcodeproj
2. 運行並修復錯誤

路線圖 /托多（大約按順序）：

• 與駱駝3聊天而無需安裝其他任何內容
• 嘗試任何Llama.CPP兼容模型
• 更改系統提示修改角色或專業知識
• 從應用程序中下載模型（收縮應用程序從3GB到10MB，更新的方法更好）
• 高級設置（及時格式，溫度，重複懲罰）
• 角色 - 在創建新對話時，將系統提示 /模型設置保存以供以後進行，並更改角色
• 搜索對話

貢獻

貢獻非常歡迎。讓我們變得簡單而強大。

學分

沒有艱苦的工作：

• Georgi Gerganov for Llama.cpp
• 用於訓練駱駝2的元
• 喬恩·德賓（Jon Durbin
• TheBloke（Tom Jobbins）用於模型量化
• 莫妮卡·科格勒（Monica Kogler）用於Freechat徽標和無數UX諮詢

也非常感謝Billy Rennekamp，Elliot Hursh，TomásSavigliano，Judd Schoenholtz，Alex Farrill的寶貴吐痰會議。