GenossGPT

Genoss Gpt

Одна замена линии для Openai Chatgpt & Enterdings, оснащенные моделями OSS

Genoss-новаторская инициатива с открытым исходным кодом, целью которой является предложение беспроблемной альтернативы моделям OpenAI, таким как GPT 3.5 и 4, используя модели с открытым исходным кодом, такие как GPT4All.

Проект загружен с использованием sicarator

Функции

• Открытый источник : Genoss строится на вершине моделей с открытым исходным кодом, таких как GPT4All.
• Одна линия линии : Genoss-это однострочная замена для API OpenAI CHATGPT.

Демо

Завершение чата и внедрение с GPT4All

Genoss-demo-last.mp4

Поддерживаемые модели

• GPT4All Model & Enterdings
• Скоро появится больше моделей!

Запуск

Прежде чем отправиться, убедитесь, что на вашем компьютере установлен Python 3.11 или выше.

Установите сервер

Использование PIP (рекомендуется)

️ В настоящее время мы готовимся.

pip install genoss

Установите последнюю версию из этого репозитория

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

Запустите сервер

genoss-server
# To know more
genoss-server --help

Доступ к документам API через http: // localhost: 4321/docs.

Модели установка

Установите модель GPT4All

Первым шагом является установка GPT4All, которая является единственной поддерживаемой моделью на данный момент. Вы можете сделать это, выполнив эти шаги:

1. Клонировать репозиторий:

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. Перейдите в справочный каталог:

 cd gpt4all/gpt4all-backend/

3. Создайте новый каталог сборки и перейдите в него:

mkdir build && cd build

4. Настроить и создать проект с помощью Cmake:

cmake ..
cmake --build . --parallel

5. Убедитесь, что libllmodel.* Существует в gpt4all-backend/build .

6. Перейдите обратно в корень и установите пакет Python:

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. Загрузите его на локальную машину отсюда и поместите в каталог local_models в качестве local_models/ggml-gpt4all-j-v1.3-groovy.bin

Запуск приложения

Вам нужно установить поэзию и действительную версию Python (3.11*).

poetry install

Для получения дополнительной информации, при полной установке для целей разработки вы можете проверить Appling.md. Если вы просто хотите запустить сервер, вы можете установить с соответствующими поэтическими группами:

poetry install --only main,llms

После того, как пакет Python был установлен, вы можете запустить приложение. Сервер Uvicorn ASGI можно использовать для запуска вашего приложения:

uvicorn main:app --host 0.0.0.0 --port 4321

Эта команда запускает приложение Genoss на порту 4321 вашей машины.

Запуск демонстрации WebApp

В demo/

cp .env.example .env

Заменить значения, а затем

PYTHONPATH=. streamlit run demo/main.py

Использование Genoss API

Genoss API является заменой в одну строчку для API OpenAI CHATGPT. Он поддерживает те же параметры и возвращает тот же формат ответа, что и API OpenAI.

Просто замените конечную точку API OpenAI на конечную точку Genoss API, и все готово!

Измените модели в поддерживаемый список моделей, и все готово!

Вы можете найти документацию API AT /docs или /redoc .

Предстоящие события

Хотя GPT4All является единственной моделью, поддерживаемой в настоящее время, мы планируем добавить больше моделей в будущем. Итак, следите за обновлениями для более захватывающих обновлений.

Видение:

• Позвольте запускать модели LLM локально
• Позвольте LLM работать локально, используя Huggingface
• Позвольте LLM запускать на Huggingface и просто быть оберткой вокруг API вывода.
• Позвольте легкой установке моделей LLM локально
• Позвольте пользователям использовать решения облачных поставщиков, такие как GCP, AWS, Azure и т. Д.
• Разрешить управление пользователями с ключами API
• Иметь все виды моделей, доступных для использования (текст на текст, текст на изображение, текст на аудио, аудио в текст и т. Д.)
• Быть совместимым с API OpenAI для моделей, которые совместимы с API OpenAI

История

Стэн Жирар представлял Геносс, когда особенность Quivr стала слишком большой и сложной для поддержания.

Идея состояла в том, чтобы создать простой API, который позволил бы использовать любую модель с тем же API, что и API Openai.

Затем @mattzcarey, @maximethoonsen, @wirg и @stangirard начали работать над проектом, и это стало реальностью.

Вклад

Ваш вклад в Genoss очень ценится! Не стесняйтесь отправлять любые вопросы или привлекать запросы.

Спасибо этим замечательным людям:

Спонсоры ❤

Этот проект не может быть возможным без поддержки наших спонсоров. Спасибо за вашу поддержку!

Лицензия

Genoss лицензирован по лицензии Apache2. Для получения более подробной информации обратитесь к файлу лицензии.