FreeChat

FreeChat

他のソフトウェアをインストールせずに、MacでLLMSとチャットします。すべての会話はローカルで保存され、すべての会話はオフラインで行われます。

• システムプロンプトを変更して、ペルソナと専門知識をカスタマイズします
• llama.cpp互換モデルをお試しください
• インターネット接続は必要ありません。すべてのローカル（リモートモデルに接続するオプションがあります）

H264.screen.Recording.2023-09-13.AT.1.54.49.PM.MOV

インストール

TestFlightベータ版に参加してください：https：//6032904148827.gumroad.com/l/freechat-beta

または、Mac App Store：https：//apps.apple.com/us/app/freechat/ID6458534902でダウンロードしてください

または、以下のDEVセットアップを完了した後、Xcodeの「アーカイブ」を介してソースから構築します。

目標

Freechatの主な目標は、より多くの人々がアクセスできるオープンでローカルのプライベートモデルを作成することです。

FreeChatは、完全にローカルで動作するMacOS向けのネイティブLLMアプライアンスです。それをダウンロードして、構成を行わずにLLMに質問してください。ログインや追跡なしのOpenaiのチャットのローカル/ラマ版。 Mac App Storeからインストールし、すぐに使用できるはずです。

• 構成なし。モデル、プロンプト、またはLLMを聞いたことがない人が使用できます。
• 開発者の経験や機能に対するパフォーマンスとシンプルさ。ノートは言葉ではなく、エレクトロンではなく迅速です。
• ローカルファースト。コア機能はインターネット接続を必要としないはずです。
• 会話追跡はありません。メモのように、FreeChatであなたが望むものは何でも話してください。
• オープンソース。実際にローカルで実行されていると監査できない場合、ローカルAIを実行するポイントは何ですか？

モデルをアップグレードします

立ち上がって走ったら、Freechatでさまざまなモデルを試すのは楽しいです。 AIトレーニングコミュニティは、基本的に毎日新しいモデルをリリースしています。 FreeChatは、llama.cppが動作するGGUF形式のモデルと互換性があります。

モデルは通常、パラメーター数（例えば7b）で命名され、異なるレベルの損失圧縮適用（量子化）でフォーマットされます。一般的な経験則では、より多くのパラメーターを持つモデルがより遅く、賢くなり、量子化が多い傾向があることです。

モデルを見つけるには、顔を抱きしめてみてください。ほとんどのモデルには、著者によるリンクされた「モデルカード」があり、そのトレーニングと能力について議論しています。

開発セットアップ

1. Open Mac/freechat.xcodeproj
2. エラーを実行および修正します

ロードマップ /トッド（おおよそ順番）：

• 他に何もインストールせずにLlama 3とチャットします
• llama.cpp互換モデルをお試しください
• システムプロンプトを変更して、ペルソナや専門知識を変更します
• アプリ内からモデルをダウンロードします（3GBから10MBからShrinkアプリ、アップデートのためにはるかに優れています）
• 高度な設定（プロンプト形式、温度、繰り返しペナルティ）
• ペルソナ - 新しい会話を作成するときにシステムプロンプト /モデル設定を保存し、ペルソナを変更します
• 会話を検索します

貢献

貢献は大歓迎です。 Freechatをシンプルでパワフルにしましょう。

クレジット

このプロジェクトは、次のような努力なしでは不可能です。

• llama.cppのGeorgi Gerganov
• トレーニング用のメタラマ2
• デフォルトモデルであるSpicyborosをトレーニングするためのJon Durbin
• モデル量子化のためのブローク（Tom Jobbins）
• Freechatのロゴと数え切れないUXコンサルティングのためのMonica Kogler

また、Villy Rennekamp、Elliot Hursh、TomásSavigliano、Judd Schoenholtz、Alex Farrillの貴重なスピットボールセッションに感謝します。