лм х

Магистр права X

Расширение Chrome | Веб/мобильное приложение

Заявление о конфиденциальности:

LLM X не выполняет никаких внешних вызовов API. (идите дальше, проверьте вкладку сети и посмотрите раздел «Извлечение»). Ваши чаты и создание изображений на 100% конфиденциальны. Этот сайт/приложение работает полностью в автономном режиме.

Проблемы:

LLM X (веб-приложение) не будет подключаться к незащищенному серверу. Это означает, что вы можете использовать LLM X на локальном хосте (считается безопасным контекстом), но если вы пытаетесь использовать llm-x по сети, сервер должен быть https, иначе он не будет работать.

Недавние дополнения:

• Поддержка нескольких моделей! Чаты теперь поддерживают несколько моделей с любого подключенного сервера и могут отвечать на каждую из них одновременно.
• Быстрое удаление! используя панель быстрого поиска/kbar, очень легко удалить все данные, связанные с приложением.
• Поддержка расширений Chrome! Все возможности веб-приложения встроены в браузер.
• Поддержка Gemini Nano!
• Поддержка IndexedDB! Весь текст теперь сохраняется в IndexedDB, а не в локальном хранилище.
• Автоматическое подключение при нагрузке. Если есть сервер, который виден и готов к подключению, мы подключаемся к нему за вас.

Как использовать:

Предварительные условия для подачи заявления

• Оллама: загрузите и установите Олламу.
  • Вытащите модель (или несколько) из библиотеки. Пример: ollama pull llava (или воспользуйтесь приложением).
• LM Studio: загрузите и установите LM Studio.
• AUTOMATIC1111: клон Git AUTOMATIC1111 (для создания изображений).
• Gemini Nano: загрузите и установите Chrome Canary
  • Включите модель на устройстве, выбрав BypassPerfRequirement
  • Включить Api Gemini для nano
  • Перезапустите Chrome (возможно, придется подождать, пока он загрузится)

Как использовать веб-клиент (без установки):

Предварительные требования для веб-клиента

• Варианты Олламы:
  • Используйте FAQ Олламы, чтобы установить OLLAMA_ORIGINS = https://mrdjohnson.github.io
  • Запустите это в своем терминале OLLAMA_ORIGINS=https://mrdjohnson.github.io ollama serve
    • (Пользователи Powershell: $env:OLLAMA_ORIGINS="https://mrdjohnson.github.io"; ollama serve )
• ЛМ Студия:
  • Запустите это в своем терминале: lms server start --cors=true
• А1111:
  • Запустите это в папке проекта a1111: ./webui.sh --api --listen --cors-allow-origins "*"
• Gemini Nano: работает автоматически

---

• Используйте браузер, чтобы перейти на LLM-X
• Выйдите в оффлайн! (необязательный)
• Начни общаться!

Предварительные требования для расширения Chrome

• Загрузите и установите расширение Chrome
• В идеале это работает «из коробки», для подключения не требуется ничего особенного! Если нет, продолжайте выполнять следующие действия:
• Варианты Олламы:
  • Используйте FAQ Олламы, чтобы установить OLLAMA_ORIGINS = chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk
  • Запустите это в своем терминале OLLAMA_ORIGINS=chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk ollama serve
    • (Пользователи Powershell: $env:OLLAMA_ORIGINS="chrome-extension://iodcdhcpahifeligoegcmcdibdkffclk"; ollama serve )
• ЛМ Студия:
  • Запустите это в своем терминале: lms server start --cors=true
• А1111:
  • Запустите это в папке проекта a1111: ./webui.sh --api --listen --cors-allow-origins "*"

Как использовать в автономном режиме:

• Следуйте инструкциям «Как использовать веб-клиент».
• В строке поиска вашего браузера должна быть кнопка «Загрузить/установить», нажмите ее.
• Выйдите в оффлайн! (необязательный)
• Начни общаться!

Как использовать из исходного кода проекта:

Предварительные требования для источника проекта

• Оллама: Запустите это на своем терминале ollama serve
• LM Studio: запустите это в своем терминале: lms server start
• A1111: Запустите это в папке проекта a1111: ./webui.sh --api --listen

---

Режим предварительного просмотра Vite

• Снести этот проект; yarn install , yarn preview
• Выйдите в оффлайн! (необязательный)
• Начни общаться!

Докер

• Запустите это в своем терминале: docker compose up -d
• Откройте http://localhost:3030.
• Выйдите в оффлайн! (необязательный)
• Начни общаться!

Расширение Chrome

• Снести этот проект; yarn chrome:build
• Перейдите по адресу chrome://extensions/
• Загрузить распакованный вариант (опция режима разработчика) по пути: llm-x/extensions/chrome/dist

Цели/Особенности

• ПОЛНОСТЬЮ ЧАСТНЫЙ; РАБОТАЕТ ПОЛНОСТЬЮ ОФЛАЙН
• Интеграция Оллама!
• Интеграция с LM Studio!
• Открытая интеграция с сервером AI!
• Интеграция Gemini Nano!
• АВТОМАТИЧЕСКАЯ интеграция 1111!
• Генерация текста в изображение с помощью AUTOMATIC1111
• Изображение в текст с использованием мультимодальных возможностей Ollama
• Подсветка кода с помощью Highlight.js (пока работает только с распространенными языками)
• Панель поиска/команд обеспечивает быстрый доступ к функциям приложения через kbar.
• Поддержка Латекса
• Разрешите пользователям иметь столько подключений, сколько они хотят!
• Автоматическое сохранение истории чата
• Управление несколькими чатами
• Копирование/редактирование/удаление отправленных или полученных сообщений
• Перезаписать сообщение пользователя (запуск обновления ответа)
• Настройка системных подсказок с помощью функции «Персоны»
• Изменение темы через DaisyUI
• Изображение чата Модальный предварительный просмотр через лайтбокс Еще один ответ
• Импорт/экспорт чатов
• Непрерывное развертывание! Слияние с основной веткой автоматически запускает сборку/развертывание новой страницы github.

Скриншоты:

Показ режима расширения Chrome с помощью Gemini Nano от Google на устройстве

Показ режима расширения Chrome с помощью llama3.2-vision от Ollama

Демонстрация способности одновременно запускать ollama и LM Studio.

Разговор о логотипе

Пример создания изображения!

Демонстрация омнибара и кода

Демонстрация кода и светлой темы

Отзыв о кошке

Поддержка Латекса!

Еще один ответ на логотип

Что это? Пользовательский интерфейс в стиле ChatGPT для нишевой группы людей, которые локально запускают Ollama (подумайте об этом как об автономном GPT-сервере чата). Поддерживает отправку и получение изображений и текста! РАБОТАЕТ АВТОНОМНО через стандарты PWA (Progressive Web App) (оно не умерло!)

Зачем это делать? Я уже некоторое время интересуюсь пользовательским интерфейсом LLM , и это показалось мне хорошим вводным приложением. Благодаря этому проекту я познакомился со многими современными технологиями, это было весело!

Откуда столько модных словечек? Я не мог не быть крутым?

Технический стек (спасибо):

Логические помощники:

• Реагировать
• Машинопись
• Лодаш
• Зод
• Мобкс
• Дерево состояний Mobx (отлично подходит для быстрого запуска проекта, но ужасен для долгосрочного обслуживания)
• Лангчейн.js

Помощники пользовательского интерфейса:

• CSS попутного ветра
• DaisyUI
• СледующийUI
• Highlight.js
• Реагировать на уценку
• кбар
• Еще один лайтбокс React
• Реакция речи на текст

Помощники по настройке проекта:

• Вите
• Плагин Vite PWA
• Веб-расширение плагина Vite

Вдохновение: проект ollama-ui. Это позволяет пользователям подключаться к олламе через веб-приложение.

Perplexity.ai Perplexity имеет некоторые удивительные улучшения пользовательского интерфейса в области пользовательского интерфейса LLM, и мне очень хотелось добраться до этой точки. Надеюсь, этот стартовый проект позволит мне приблизиться к созданию чего-то подобного!

Начало локальной разработки

(обратите внимание на минимальные требования к движку в пакете json)

Клонируйте проект и запустите yarn в корневом каталоге.

yarn dev запускает локальный экземпляр и открывает вкладку браузера по адресу https:// (по причинам PWA)

РАЗНОЕ

• Во время загрузки этого приложения была предпринята попытка использования LangChain.js, но, к сожалению, оно не было правильно настроено для остановки входящих потоков. Я надеюсь, что это будет исправлено позже в будущем ИЛИ, если возможно, для использования LangChain можно использовать специальный агент LLM.

  • редактировать: Langchain работает и теперь добавлен в приложение!

• Первоначально я использовал create-реагировать-приложение? создавая этот проект, не зная, что он больше не поддерживается, я теперь использую Vite. ? Это уже позволяет мне использовать такие библиотеки, как ollama-js , которые я раньше не мог использовать. Очень скоро будем тестировать больше с langchain

• Этот файл readme был написан с помощью https://stackedit.io/app.

• Изменения в основной ветке вызывают немедленное развертывание на https://mrdjohnson.github.io/llm-x/.