تحديد النموذج - هنا يمكن للمستخدم تحديد نموذج الدردشة الخاص بمعلمة Llama3 70B ( llama-3-70b
)
حدد درجة الحرارة (عشوائية الاستجابة) - هنا يمكن للمستخدم قياس عشوائية استجابة النموذج. تضمن الأرقام الأقل إجابة تقريبية وموضوعية أكثر بينما تشجع الأرقام الأعلى على الإبداع النموذجي.
حدد عدد الرموز (طول الاستجابة) - تم توفير العديد من الخيارات هنا. يرتبط عدد الرموز المميزة التي يستخدمها المستخدم ارتباطًا مباشرًا بطول الاستجابة التي يعرضها النموذج.
سؤال - كما يبدو؛ هذا هو المكان الذي يمكن للمستخدم طرح سؤال فيه على النموذج
الاستجابة - هذه هي الاستجابة التي تم إنشاؤها بواسطة النموذج المحدد للسياق في قاعدة بيانات المتجهات الخاصة بك. لاحظ أنه إذا لم يكن السؤال مرتبطًا بالمحتوى الموجود في قاعدة معارفك، فقد تحصل على إجابات هلوسة.
يستضيف دليل app
FastAPI الخاص ببرامج LLM الخاصة بك
يستضيف دليل chat-ui
الكود الخاص بـ Chatbot UI.
انظر إلى المتغيرات عند نشر AMP. ارجع إلى مستندات الاستدلال الخاصة بـ Cloduera AI للحصول على نقطة نهاية الاستدلال والمفتاح.
JupyterLab - Python 3.11 - وحدة معالجة الرسومات Nvidia
https://docs.cloudera.com/machine-learning/cloud/applied-ml-prototypes/topics/ml-amp-project-spec.html
يؤدي هذا إلى إنشاء أحمال العمل التالية مع متطلبات الموارد:
2 CPU, 16GB MEM
2 CPU, 8GB MEM
2 CPU, 1 GPU, 16GB MEM
doc-genius-ai/
├── app/ # Application directory for API and Model Serving
│ └── [..subdirs..]
│ └── chatbot/ # has the model serving python files for RAG, Prompt, Fine-tuning models
│ └── main.py # main.py file to start the API
├── chat-ui/ # Directory for the chatbot UI in Next.js
│ └── [..subdirs..]
│ └── app.py # app.py file to serve build files in .next directory via Flask
├── pipeline/ # Pipeline directory for data processing or workflow pipelines and vector load
├── data/ # Data directory for storing datasets or data files or RAG KB
├── models/ # Models directory for LLMs / ML models
├── session/ # Scripts for CML Sessions and Validation Tasks
├── images/ # Directory for storing project related images
├── api.md # Documentation for the APIs
├── README.md # Detailed description of the project
├── .gitignore # Specifies intentionally untracked files to ignore
├── catalog.yaml # YAML file that contains descriptive information and metadata for the displaying the AMP projects in the CML Project Catalog.
├─ .project-metadata.yaml # Project metadata file that provides configuration and setup details
├── cdsw-build.sh # Script for building the Model dependencies
└── requirements.txt # Python dependencies for Model Serving
هام: يرجى قراءة ما يلي قبل المتابعة. يتضمن AMP هذا أو يعتمد على حزم برامج معينة تابعة لجهات خارجية. يتم توفير المعلومات حول حزم برامج الطرف الثالث هذه في ملف الإشعار المرتبط بـ AMP هذا. من خلال تكوين وتشغيل AMP هذا، ستتسبب في تنزيل حزم برامج الطرف الثالث وتثبيتها في بيئتك، في بعض الحالات، من مواقع الويب الخاصة بأطراف ثالثة. بالنسبة لكل حزمة برامج تابعة لجهة خارجية، يرجى الاطلاع على ملف الإشعار ومواقع الويب المعمول بها للحصول على مزيد من المعلومات، بما في ذلك شروط الترخيص المعمول بها.
إذا كنت لا ترغب في تنزيل وتثبيت حزم برامج الطرف الثالث، فلا تقم بتكوين أو تشغيل أو استخدام هذا AMP. من خلال تكوين AMP أو تشغيله أو استخدامه بطريقة أخرى، فإنك تقر بالبيان السابق وتوافق على أن Cloudera ليست مسؤولة أو مسؤولة بأي شكل من الأشكال عن حزم برامج الطرف الثالث.
حقوق الطبع والنشر (ج) 2024 - Cloudera، Inc. جميع الحقوق محفوظة.