doc genius ai
v1.0
Выберите модель — здесь пользователь может выбрать модель чата параметров Llama3 70B ( llama-3-70b ).
Выберите температуру (случайность ответа). Здесь пользователь может масштабировать случайность ответа модели. Меньшие числа обеспечивают более приблизительный и объективный ответ, а более высокие числа способствуют творческому подходу к модели.
Выберите количество токенов (длина ответа) . Здесь предоставлено несколько вариантов. Количество токенов, которые использует пользователь, напрямую коррелирует с длиной ответа, возвращаемого моделью.
Вопрос – Как бы это ни звучало; здесь пользователь может задать вопрос модели
Ответ . Это ответ, сгенерированный моделью с учетом контекста вашей векторной базы данных. Обратите внимание: если вопрос не может соответствовать содержимому вашей базы знаний, вы можете получить галлюцинаторные ответы.
в каталоге app размещается FastAPI для ваших LLM.
В каталоге chat-ui находится код пользовательского интерфейса Chatbot.
Обратите внимание на переменные при развертывании AMP. Чтобы получить конечную точку и ключ вывода, обратитесь к документации Cloduera AI Inference.
JupyterLab — Python 3.11 — графический процессор Nvidia
https://docs.cloudera.com/machine-learning/cloud/applied-ml-prototypes/topics/ml-amp-project-spec.html
Это создает следующие рабочие нагрузки с требованиями к ресурсам:
2 CPU, 16GB MEM2 CPU, 8GB MEM2 CPU, 1 GPU, 16GB MEM doc-genius-ai/
├── app/ # Application directory for API and Model Serving
│ └── [..subdirs..]
│ └── chatbot/ # has the model serving python files for RAG, Prompt, Fine-tuning models
│ └── main.py # main.py file to start the API
├── chat-ui/ # Directory for the chatbot UI in Next.js
│ └── [..subdirs..]
│ └── app.py # app.py file to serve build files in .next directory via Flask
├── pipeline/ # Pipeline directory for data processing or workflow pipelines and vector load
├── data/ # Data directory for storing datasets or data files or RAG KB
├── models/ # Models directory for LLMs / ML models
├── session/ # Scripts for CML Sessions and Validation Tasks
├── images/ # Directory for storing project related images
├── api.md # Documentation for the APIs
├── README.md # Detailed description of the project
├── .gitignore # Specifies intentionally untracked files to ignore
├── catalog.yaml # YAML file that contains descriptive information and metadata for the displaying the AMP projects in the CML Project Catalog.
├─ .project-metadata.yaml # Project metadata file that provides configuration and setup details
├── cdsw-build.sh # Script for building the Model dependencies
└── requirements.txt # Python dependencies for Model Serving
ВАЖНО: Прежде чем продолжить, прочтите следующее. Этот AMP включает в себя определенные пакеты стороннего программного обеспечения или иным образом зависит от них. Информация о таких сторонних программных пакетах доступна в файле уведомлений, связанном с этим AMP. Настраивая и запуская этот AMP, вы вызываете загрузку и установку таких пакетов стороннего программного обеспечения в вашу среду, в некоторых случаях с веб-сайтов третьих лиц. Для получения дополнительной информации, включая применимые условия лицензии, для каждого пакета программного обеспечения сторонних производителей см. файл с уведомлением и соответствующие веб-сайты.
Если вы не хотите загружать и устанавливать сторонние пакеты программного обеспечения, не настраивайте, не запускайте и не используйте этот AMP иным образом. Настраивая, запуская или иным образом используя AMP, вы признаете вышеизложенное заявление и соглашаетесь с тем, что Cloudera не несет никакой ответственности за сторонние программные пакеты.
Авторское право (c) 2024 – Cloudera, Inc. Все права защищены.
