FreeChat

Фричат

Общайтесь с LLMS на вашем Mac без установки другого программного обеспечения. Каждый разговор сохраняется на месте, все разговоры происходят в автономном режиме.

• Настроить личность и опыт, изменяя систему
• Попробуйте любую совместимую модель Llama.cpp
• Не требуется подключение к Интернету, все локально (с возможностью подключения к удаленной модели)

H264.Screen.Recording.2023-09-13.at.1.54.49.pm.mov

Установить

Присоединяйтесь к бета-версии Testflight: https://6032904148827.gumroad.com/l/freechat-beta

Или загрузить в Mac App Store: https://apps.apple.com/us/app/freechat/id6458534902

Или построить из источника через «Архив» в xcode после завершения настройки DEV ниже.

Цели

Основная цель FreeChat - сделать открытые, местные, частные модели доступными для большего числа людей.

Freechat - это нативное устройство LLM для MacOS, которое работает полностью локально. Загрузите его и задайте вашему LLM вопрос, не выполняя какую -либо конфигурацию. Локальная/лама версия чата Openai без входа в систему или отслеживания. Вы должны быть в состоянии установить из Mac App Store и немедленно использовать его.

• Нет конфигурации. Пригодны для использования людьми, которые не слышали о моделях, подсказках или LLMS.
• Производительность и простота по сравнению с опытом или функциями. Примечания, а не слово, не elektron.
• Местный первый. Основная функциональность не должна требовать подключения к Интернету.
• Нет отслеживания разговоров. Поговорите о том, что вы хотите с FreeChat, как заметки.
• Открытый исходный код. Какой смысл запустить местный ИИ, если вы не можете проверить, что он на самом деле работает локально?

Обновите свои модели

Как только вы будете работать, весело пробовать разные модели в FreeChat. Сообщество обучения ИИ выпускает новые модели в основном каждый день. FreeChat совместим с любой моделью форматированной GGUF, с которой работает Llama.cpp.

Модели обычно названы с количеством их параметров (например, 7b) и отформатируются с различными уровнями применяемого сжатия потерь (квантование). Общее практическое правило заключается в том, что модели с большим количеством параметров, как правило, медленнее и мудрее, а более квантование делает его тупее.

Чтобы найти модели, попробуйте обнять лицо. Большинство моделей имеют связанную «модельную карту» автора, который обсуждает его обучение и способности.

Настройка разработки

1. Открыть Mac/freeChat.xcodeproj
2. Запустить и исправить ошибки

Дорожная карта / Тодо (примерно по порядку):

• Общайтесь с Llama 3, не установив ничего другого
• Попробуйте любую совместимую модель Llama.cpp
• Изменить подсказки системы для изменения персонажей или опыта
• Скачать модели из приложения (приложение Shrink с 3 ГБ до 10 МБ, намного лучше для обновлений)
• Усовершенствованные настройки (формат приглашения, температура, повторный штраф)
• Personas - Сохранить системную подсказку / настройки модели на потом и изменить Personas, когда вы создаете новый разговор
• Поисковые разговоры

Внося

Взносы очень приветствуются. Давайте сделаем FreeChat простым и мощным.

Кредиты

Этот проект был бы невозможным без тяжелой работы:

• Георги Герганов для llama.cpp
• Мета для обучения ламы 2
• Джон Дурбин для обучения Spicyboros, модель по умолчанию
• TheBloke (Tom Jobbins) для квантования модели
• Моника Коглер для логотипа FreeChat и бесчисленных консультаций UX

Также большое спасибо Билли Реннекампа, Эллиоту Хурш, Томасу Савильяно, Джадду Шенхольцу, Алексу Фарриллу за бесценные сессии с шипиками.