foundationallm

Foundationa LLM : Platform untuk menerapkan, menskalakan, mengamankan, dan mengatur AI generatif di perusahaan

Foundationa LLM menyediakan platform untuk menerapkan, menskalakan, mengamankan, dan mengatur AI generatif di perusahaan. Dengan Foundationa LLM Anda dapat:

• Buat agen AI yang didasarkan pada data perusahaan Anda, baik itu data teks, semi-terstruktur, atau terstruktur.
• Jadikan agen AI tersedia bagi pengguna Anda melalui antarmuka obrolan bermerek atau integrasikan REST API ke agen AI ke dalam aplikasi Anda untuk pengalaman kopilot atau integrasikan API Agen dalam proses otomatis mesin-ke-mesin.
• Agen pembuat eksperimen yang dapat menggunakan berbagai model bahasa besar termasuk OpenAI GPT-4, Mistral, dan Llama 2 atau model apa pun yang diambil dari katalog model Hugging Face yang menyediakan titik akhir penyelesaian REST.
• Kelola, konfigurasikan, dan amankan agen AI Anda DAN aset dasarnya termasuk perintah, sumber data, jalur data vektorisasi, database vektor, dan model bahasa besar secara terpusat menggunakan portal manajemen.
• Memungkinkan semua orang di perusahaan Anda untuk membuat agen AI mereka sendiri. Pengguna non-pengembang Anda dapat membuat dan menerapkan agen mereka sendiri dengan cara layanan mandiri dari portal manajemen, namun kami tidak menghalangi pengembang AI tingkat lanjut Anda yang dapat menerapkan orkestrasi mereka sendiri yang dibangun di LangChain, Kernel Semantik, Aliran Prompt atau orkestrasi apa pun yang memperlihatkan titik akhir penyelesaian.
• Terapkan dan kelola jalur data vektorisasi skalabel yang dapat menyerap jutaan dokumen untuk memberikan pengetahuan pada model Anda.
• Berdayakan pengguna Anda dengan sebanyak mungkin agen AI yang berfokus pada tugas.
• Kontrol akses ke agen AI dan sumber daya yang mereka akses menggunakan kontrol akses berbasis peran (RBAC).
• Manfaatkan kemampuan yang berkembang pesat dari Azure AI dan Azure OpenAI dari satu tumpukan terintegrasi.

Catatan

Foundationa LLM bukanlah model bahasa yang besar. Ini memungkinkan Anda untuk menggunakan model bahasa besar pilihan Anda (misalnya, OpenAI GPT-4, Mistral, LLama 2, dll.)

Foundationa LLM menyebarkan platform kopilot yang aman, komprehensif, dan sangat dapat dikonfigurasi ke lingkungan cloud Azure Anda:

• Menyederhanakan integrasi dengan sumber data perusahaan yang digunakan oleh agen untuk pembelajaran dalam konteks (misalnya, mengaktifkan pola RAG, CoT, ReAct, dan monolog batin).
• Memberikan pertahanan mendalam dengan kontrol keamanan menyeluruh atas data yang digunakan oleh agen dan filter sebelum/pasca penyelesaian yang melindungi dari serangan.
• Solusi keras diserang oleh tim merah LLM sejak awal.
• Penyeimbangan beban solusi yang dapat diskalakan di beberapa titik akhir LLM.
• Dapat diperluas ke sumber data baru, orkestrator LLM baru, dan LLM.

Mengapa Foundationa LLM Dibutuhkan?

Sederhananya, kami melihat banyak orang menemukan kembali roda hanya untuk mendapatkan kopilot khusus atau agen AI yang berbasis dan mendasarkan responsnya pada data mereka sendiri, bukan pada pengetahuan parametrik terlatih dari model tersebut. Banyak dari solusi yang kami lihat dibuat untuk demo yang hebat, namun sebenarnya hanya mempermainkan panggilan ke titik akhir OpenAI - solusi tersebut bukanlah sesuatu yang dimaksudkan atau siap untuk diproduksi pada skala perusahaan. Kami membangun Foundationa LLM untuk memberikan perjalanan yang berkesinambungan, yang dimulai dengan cepat sehingga orang dapat bereksperimen dengan cepat dengan LLM namun tidak terjatuh setelah itu dengan solusi yang tidak aman, tidak berlisensi, tidak fleksibel, dan tidak cukup berfitur lengkap untuk berkembang dari prototipe menjadi solusi produksi tanpa harus memulai dari awal.

Masalah inti dalam menghadirkan kopilot perusahaan atau agen AI adalah:

• Kopilot tingkat perusahaan atau agen AI bersifat kompleks dan memiliki banyak bagian yang bergerak (belum lagi infrastruktur).
• Industri ini memiliki kesenjangan keterampilan dalam mengisi peran yang diperlukan untuk memberikan solusi kopilot yang kompleks ini.
• Risiko utama AI (ketidakakuratan, keamanan siber, kepatuhan, kemampuan menjelaskan, privasi) tidak dapat dimitigasi dengan alat individual.
• Pengiriman solusi kopilot atau agen AI memakan waktu, mahal, dan membuat frustrasi jika memulai dari awal.

Kesalahpahaman vs Kenyataan

Kesalahpahaman

Ada kesalahpahaman bahwa membangun aplikasi LLM dan agen AI adalah tentang rekayasa cepat, semudah:

Hal ini mungkin berlaku untuk skenario demo dan mainan, namun untuk agen AI di perusahaan, terdapat lebih banyak persyaratan seperti bagaimana Anda:

• skala dan batch memuat ribuan hingga jutaan dokumen sebagai pengetahuan untuk model? memanfaatkan LLM lain (Llama 2, Mistral) bersama model ChatGPT?
• menjaga kerahasiaan sumber pengetahuan sensitif bagi pengguna yang berwenang?
• menjaga data sensitif (PII, rahasia dagang) agar tidak dikirim ke LLM?
• mengelola memiliki banyak agen AI?
• mengatur penggunaan token dan mengelola pengembalian biaya untuk aplikasi?

Realitas

Ada banyak komponen yang diperlukan untuk membangun agen AI yang aman, terkelola dengan baik, terukur, dan dapat diperluas, dan Foundationa LLM menyediakan rangkaian komprehensif untuk menjadikan proses ini lebih cepat, lebih dapat diulang, dan lebih andal:

Di manakah posisi Foundationa LLM dibandingkan dengan solusi lain?

Ada banyak alat hebat di ekosistem yang membantu dalam membangun kopilot atau agen AI. Hanya Foundationa LLM yang menyatukan mereka untuk menyediakan platform menyeluruh untuk menciptakan agen AI yang sepenuhnya dapat disesuaikan dengan manajemen terpusat, UI agen, dan API.

Pada dasarnya, kopilot atau agen AI menggunakan pengetahuan yang diberikan perusahaan dan model AI generatif untuk menulis teks, menulis kode, atau merender gambar, sering kali dengan mempertimbangkan perintah yang diberikan manusia. Di seluruh modalitas ini, AI digunakan untuk membantu manusia secara langsung dalam melakukan tugas tertentu.

Kemampuan dasar ini muncul dalam dua arketipe, yang keduanya didukung oleh Foundationa LLM :

• Manajemen Pengetahuan: Membantu pengguna dengan cepat menemukan informasi yang mereka cari dan menyampaikannya pada tingkat yang tepat dan dalam format yang tepat. Contohnya mencakup ringkasan, penyusunan ulang, atau penargetan ulang untuk mengatasi persona (misalnya, jelaskan seolah-olah saya berusia lima tahun), analisis sentimen, dan rekomendasi.
• Analytics: Membantu pengguna dengan cepat mendapatkan wawasan berdasarkan data yang mereka cari. Contohnya termasuk rekomendasi, prediksi, deteksi anomali, analisis statistik, serta permintaan dan pelaporan data.

Foundationa LLM menyederhanakan dan menyederhanakan pembangunan manajemen pengetahuan (misalnya, agen tanya jawab) dan agen analitik (misalnya, intelijen bisnis layanan mandiri) atas sumber data yang ada di seluruh perusahaan Anda.

Dokumentasi

Dapatkan informasi terkini tentang Foundationa LLM dengan membaca dokumentasi. Ini termasuk instruksi penerapan, mulai cepat, arsitektur, dan referensi API.

Memulai

Foundationa LLM menyediakan pendekatan sederhana berbasis baris perintah untuk menyiapkan dan menjalankan penerapan pertama Anda. Pada dasarnya, ini adalah dua perintah. Setelah itu, Anda dapat menyesuaikan solusinya, menjalankannya secara lokal di mesin Anda dan memperbarui penerapan dengan penyesuaian Anda.

Ikuti instruksi Penerapan Mulai Cepat untuk menerapkan Foundationa LLM di langganan Azure Anda.

Pelaporan Masalah dan Dukungan

Jika Anda mengalami masalah apa pun dengan Foundationa LLM , silakan buka masalah di GitHub. Kami akan menanggapi masalah Anda sesegera mungkin. Silakan gunakan Label ( bug , documentation , general question , release xxx ) untuk mengkategorikan masalah Anda dan berikan sedetail mungkin untuk membantu kami memahami dan menyelesaikan masalah tersebut.

Berkontribusi pada Foundationa LLM

Kami dengan senang hati menerima kontribusi pada proyek FoundationaLLM dalam bentuk umpan balik, laporan bug, dan permintaan penarikan. Silakan lihat Berkontribusi pada FoundationaLLM untuk instruksinya.