hal9

Hal9: Membuat dan Berbagi Aplikasi Generatif

Buat dan terapkan aplikasi generatif (LLM dan diffuser) (chatbots dan API) dalam hitungan detik.

• Buka: Gunakan model apa pun (OpenAI, Llama, Groq, MidJourney) dan perpustakaan apa pun seperti (LangChain, DSPy).
• Intuitif: Tidak perlu mempelajari kerangka aplikasi (Flask), cukup gunakan input() dan print() , atau tulis file ke disk.
• Scalable: Insinyur dapat mengintegrasikan aplikasi Anda dengan teknologi yang dapat diskalakan (Docker, Kubernetes, dll)
• Kuat: Menggunakan proses OS (stdin, stdout, file) sebagai kontrak aplikasi kami, memungkinkan agen yang berjalan lama, berbagai bahasa pemrograman, dan ketergantungan sistem yang kompleks.

Fokus pada AI (RAG, penyempurnaan, penyelarasan, pelatihan) dan lewati tugas-tugas teknik (pengembangan frontend, integrasi backend, penerapan, operasi).

Memulai

Buat dan bagikan chatbot dalam hitungan detik sebagai berikut:

pip install hal9

hal9 create chatbot
hal9 deploy chatbot

Perhatikan bahwa deploy memerlukan variabel lingkungan HAL9_TOKEN dengan token API yang bisa Anda dapatkan dari hal9.com/devs. Anda dapat menggunakan token ini untuk diterapkan dari komputer lokal, notebook, atau otomatisasi dari GitHub.

HAL9_TOKEN=H9YOURTOKEN hal9 deploy chatbot --name my_first_chatbot

Semudah itu Anda telah membuat chatbot pertama Anda!

Kode di dalam /chatbot/app.py berisi chatbot "Hello World" yang membaca perintah pengguna dan menampilkan kembali hasilnya:

 prompt = input ()
print ( f"Echo: { prompt } " )

Kami merancang paket ini dengan mempertimbangkan kesederhanaan, tugas kode adalah membaca input dan menulis output, itu saja. Meskipun demikian, Anda dapat membuat chatbot yang menggunakan LLM, menghasilkan gambar, atau bahkan menggunakan alat yang terhubung ke database, atau bahkan membuat situs web dan game!

Penciptaan

Secara default, hal9 create secara default pada template --template echo , namun Anda dapat memilih yang berbeda sebagai berikut:

hal9 create chatbot-openai --template openai
hal9 create chatbot-groq --template groq

Templat menyediakan kode siap pakai dengan teknologi dan kasus penggunaan tertentu. Sangat populer untuk menggunakan template mirip ChatGPT OpenAI dengan --template openai , kode yang dihasilkan akan terlihat seperti berikut:

 import hal9 as h9
from openai import OpenAI

messages = h9 . load ( "messages" , [])
prompt = h9 . input ( messages = messages )

completions = OpenAI (). chat . completions . create ( model = "gpt-4" , messages = messages , stream = True )

h9 . complete ( completions , messages = messages )
h9 . save ( "messages" , messages , hidden = True )

Bagian Pelajari menjelaskan secara rinci cara kerja kode ini, tetapi akan memberikan gambaran singkat. Paket hal9 berisi fungsi pembantu untuk menyederhanakan kode AI generatif Anda. Anda dapat memilih untuk tidak menggunakan hal9 sama sekali dan menggunakan pernyataan input() dan print() sendiri, atau bahkan menuntut alat seperti langchain . Fungsi h9.load() dan h9.save() memuat dan menyimpan data di seluruh sesi obrolan, platform kami tidak memiliki kewarganegaraan secara default. Fungsi h9.input() adalah pembungkus tipis input() yang juga menyimpan input pengguna dalam messages . Kemudian h9.complete() merupakan fungsi pembantu untuk membantu mengurai hasil penyelesaian dan menyimpan hasilnya dalam messages . Itu saja!

Perkembangan

Untuk membuat perubahan pada proyek Anda, buka chatbot/ di IDE Anda dan ubah chatbot/app.py .

Anda kemudian dapat menjalankan proyek Anda sebagai berikut:

hal9 run chatbot

Jika Anda menyesuaikan templat dengan --template pastikan untuk menyetel kunci yang benar, misalnya, jika Anda menggunakan templat OpenAI untuk Linux atau macOS:

 export OPENAI_KEY=YOUR_OPENAI_KEY.

Untuk penggunaan Windows:

 set OPENAI_KEY=YOUR_OPENAI_KEY.

Untuk informasi lebih lanjut tentang cara mendapatkan dan menggunakan kunci API OpenAI Anda, silakan lihat dokumentasi Kunci API OpenAI.

Anda kemudian dapat menjalankan aplikasi Anda secara lokal dengan:

hal9 run chatbot

Perintah ini hanyalah pembungkus kemudahan untuk menjalankan kode sendiri dengan sesuatu seperti python app.py .

Penyebaran

Perintah penerapan akan mempersiapkan penerapan aplikasi generatif Anda.

Misalnya, Anda dapat mempersiapkan penerapan sebagai aplikasi generatif (Hal9). Kami juga memiliki rencana untuk menyediakan penerapan pada Docker dan komunitas open source dapat memperluasnya lebih jauh lagi.

hal9 deploy chatbot --target hal9

Setiap perintah bertugas mempersiapkan penerapan folder proyek Anda. Misalnya, --target docker harus membuat file Dockerfile yang menyiapkan proyek ini untuk dijalankan di container cloud.

Untuk penggunaan pribadi, --target hal9 mendukung tingkat gratis di hal9.com ; dukungan perusahaan juga tersedia untuk diterapkan dengan --target hal9 --url hal9.yourcompany.com