узел ламы cpp

узел-лама-cpp

Запускайте модели ИИ локально на своем компьютере

_{Предварительно созданные привязки предоставляются с возможностью возврата к сборке из исходного кода с помощью cmake.}

v3.0 уже здесь!

Функции

• Запускайте LLM локально на своем компьютере.

• Поддержка Metal, CUDA и Vulkan.

• Предоставляются готовые двоичные файлы с возможностью возврата к сборке из исходного кода без node-gyp или Python.

• Автоматически адаптируется к вашему оборудованию, не нужно ничего настраивать

• Полный набор всего, что вам нужно для использования LLM в ваших проектах.

• Используйте CLI для общения с моделью без написания кода

• Актуальная версия llama.cpp . Загрузите и скомпилируйте последнюю версию с помощью одной команды CLI.

• Заставьте модель генерировать выходные данные в анализируемом формате, например JSON, или даже заставьте ее следовать определенной схеме JSON.

• Предоставьте модели функции, которые она может вызывать по требованию для получения информации о выполняемых действиях.

• Поддержка внедрения

• Отличный опыт разработчика с полной поддержкой TypeScript и полной документацией.

• Гораздо больше

Документация

• Руководство по началу работы

• Справочник по API

• Справка по интерфейсу командной строки

• Блог

• Журнал изменений

• Дорожная карта

Попробуйте без установки

Общайтесь с моделью в вашем терминале с помощью одной команды:

 npx -y node-llama-cpp чат

Установка

 npm установить узел-llama-cpp

В этот пакет входят готовые двоичные файлы для macOS, Linux и Windows.

Если двоичные файлы недоступны для вашей платформы, можно загрузить версию llama.cpp и собрать ее из исходного кода с помощью cmake . Чтобы отключить это поведение, установите для переменной среды NODE_LLAMA_CPP_SKIP_DOWNLOAD значение true .

Использование

 импортировать {fileURLToPath} из "url";импортировать путь из "path";импортировать {getLlama, LlamaChatSession} из "node-llama-cpp";const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama = await getLlama();const model = await llama.loadModel({modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = await model.createContext();const session = new LlamaChatSession({contextSequence: context.getSequence()});const q1 = "Привет, как дела?";console.log("Пользователь: " + q1);const a1 = await session.prompt(q1);console.log("AI: " + a1);const q2 = "Подведите итог тому, что вы сказали";console.log("Пользователь: " + q2);const a2 = await session.prompt (q2);console.log("AI: " + a2);

Дополнительные примеры см. в руководстве по началу работы.

Содействие

Чтобы внести свой вклад в node-llama-cpp прочтите руководство по участию.

Благодарности

• llama.cpp: ggerganov/llama.cpp

Если вам нравится этот репозиторий, поставьте ему звездочку ✨