genai with confluent

AI generatif dengan Confluent

Ini adalah demo AI generatif real-time dengan Confluent Cloud. Idenya dipengaruhi oleh pelatihan luar biasa di Udemy yang dipimpin oleh Eden Marco (LangChain- Kembangkan aplikasi yang didukung LLM dengan LangChain). Eden Marco memberi saya tautan promosi. Eden Marco melakukan pengenalan yang baik ke dalam pengembangan Lngchain LLM dengan Python. Saya mengambil ide pemecah kebekuan dan memindahkannya ke kasus penggunaan nyata yang menjalankan Data in Motion dengan Confluent dan AI.

Repo akan menyebarkan:

• Cluster Dasar CLoud Konfluen
• Konektor CDC Salesforce yang dikelola sepenuhnya
• Flink Kumpulan SQL
• 2 Topik dengan Skema
  • salesforce_contacts - hadir untuk Konektor CDC (Salesforce)
  • salesforce_myleads - format yang diubah dengan Flink SQL

Silakan Kloning repositori ini di desktop Anda:

 cd $HOME # or what-ever directory you want to use
git clone https://github.com/ora0600/genai-with-confluent.git
cd genai-with-confluent/terraform/

pra-persyaratan

Eksekusi demo sepenuhnya otomatis, tetapi sebelum mengeksekusi, Anda perlu menyiapkan beberapa hal di sini:

Login pengembang tenaga penjualan

Buat akun Pengembang Salesforce Daftar di sini Konfigurasikan CDC Salesforce, lihat Ikuti setuo saya dengan tangkapan layar di sini Langkah-Langkah Tingkat Tinggi:

• Beralih ke menu Setup, klik pada roda (sudut kanan atas)
• cari Ubah Pengambilan Data di kotak pencarian cepat di Lightning (bidang kiri atas)
• pilih kontak entitas dan pimpin dan pindah ke sisi kanan (entitas yang dipilih). Nama CDC yang sesuai adalah ContactChangeEvent dan LeadChangeEvent
• cari aplikasi dan klik Manajer Aplikasi lalu Aplikasi Terhubung Baru (pojok kanan atas)
• masukkan nilai untuk aplikasi, dan simpan, klik lanjutkan
• klik Manajer Detail Konsumen, tunggu kode melalui Email dan salin kunci dan rahasia konsumen
• Informasi yang relevan adalah Kunci Konsumen dan Rahasia Konsumen
• Klik Kelola dan ubah dengan edit kebijakan dan pilih Relaksasi IP: Santai pembatasan IP
• Dari pengaturan pribadi Anda, di kotak Temukan Cepat, masukkan Atur Ulang, lalu pilih Atur Ulang Token Keamanan Saya. Klik Atur Ulang Token Keamanan. Token keamanan baru dikirim ke alamat email di pengaturan pribadi Salesforce Anda.
• token keamanan baru dikirim melalui email
• cari oauth dan atur di bawah OAuth dan openID Connect Mengatur Izinkan Aliran Kata Sandi Nama Pengguna OAuth untuk diaktifkan
• tambahkan aplikasi yang terhubung ke Profil Administrator Sistem: cari profil, klik Profil, edit Administrator Sistem dan aktifkan aplikasi yang terhubung

Anda memerlukan semua parameter Konektor CDC Salesforce, jadi harap simpan dengan aman.

Awan Konfluen

Anda memerlukan akun yang berfungsi untuk Confluent Cloud. Mendaftar dengan Confluent Cloud sangat mudah dan Anda akan mendapatkan anggaran $400 untuk uji coba pertama Anda secara gratis. Jika Anda belum memiliki akun Confluent Cloud yang berfungsi, silakan Daftar ke Confluent Cloud.

Peralatan

• instal terraform di desktop Anda. Ikuti panduan instalasi
• Instal iterm 2, lihat
• Pemasangan lokal Terraform (detail di bawah)
• Instal lokal Confluent CLI, instal cli
• instal Python3 di MacOS: Downland dan ikuti instruksinya
  • Instal semua modul python yang kita butuhkan;

pip3 install confluent_kafka
pip3 install requests
pip3 install fastavro
pip3 install avro
pip3 install jproperties
pip3 install langchain
pip3 install openai
pip3 install langchain_openai
pip3 install -U langchain-community
pip3 install google-search-results
pip3 install Flask
pip3 install langchain_core
pip3 install pydantic

Kunci API dari Confluent Cloud Cluster dan Salesforce

Untuk Confluent Cloud: Buat Kunci API di Confluent Cloud melalui CLI:

    confluent login
    confluent api-key create --resource cloud --description " API for terraform "
    # It may take a couple of minutes for the API key to be ready.
    # Save the API key and secret. The secret is not retrievable later.
    # +------------+------------------------------------------------------------------+
    # | API Key    | <your generated key>                                             |
    # | API Secret | <your generated secret>                                          |
    # +------------+------------------------------------------------------------------+

Salin semua Parameter untuk Confluent Cloud ke dalam file terraform.tfvars dengan menjalankan perintah berikut dengan data Anda:

cat > $PWD /terraform/terraform.tfvars << EOF
confluent_cloud_api_key = "{Cloud API Key}"
confluent_cloud_api_secret = "{Cloud API Key Secret}"
sf_user= "salesforce user"
sf_password = "password"
sf_cdc_name = "LeadChangeEvent"
sf_password_token = "password token"
sf_consumer_key = "consumer key of connected app"
sf_consumer_secret = "consumer secret of connect app"
EOF

Terraform akan mengambil semua parameter ini dan melakukan konfigurasi untuk Anda dan akhirnya menerapkan semua sumber daya cloud konfluen termasuk akun layanan dan pengikatan peran.

API AI Generatif yang kami gunakan

Kami menggunakan langchain LLM versi 0.1 Langchain Docu

PETUNJUK:

Sekarang, hal itu memerlukan biaya. Sayangnya API ini tidak gratis. Saya menghabiskan $10 untuk AI terbuka, $10 untuk ProxyCurl API dan SERP API masih dalam status gratis.

Pertama kita memerlukan kunci yang memungkinkan kita menggunakan OpenAI. Ikuti langkah-langkah dari sini untuk membuat Akun dan kemudian Kunci API saja.

Tugas Berikutnya: Membuat kunci api proxycurl. ProxyCurl akan digunakan untuk mengikis Linkedin. Daftar ke proxyurl dan beli kredit seharga $10 (atau apa pun yang menurut Anda cukup, mungkin Anda memulai lebih sedikit), ikuti Langkah-langkah berikut

Untuk dapat mencari di Google URL Profil linkedin yang benar, kita memerlukan kunci API SERP API dari sini.

Sekarang, masukkan semua Kunci ke dalam file env-vars dengan menjalankan perintah:

cat > $PWD /terraform/env.vars << EOF
export PYTHONPATH=/YOURPATH
export OPENAI_API_KEY=YOUR openAI Key
export PROXYCURL_API_KEY=YOUR ProxyURL Key
export SERPAPI_API_KEY=Your SRP API KEy
EOF

Selamat persiapannya sudah selesai. Ini adalah pengaturan yang sangat besar, saya tahu.

Jalankan Demo AI generatif dengan Confluent Cloud, Salesforce, dan langchain LLM

Sekarang sampai pada bagian yang mudah. Jalankan saja terraform. Jalankan terraform dan semua sumber daya cloud konfluen akan diterapkan secara otomatis:

 cd terraform
terraform init
terraform plan
terraform apply

Ini akan memakan waktu cukup lama. Sumber Daya Cloud Konfluen akan disediakan. Jika ini dilakukan, terminal iterm2 akan dibuka secara otomatis dan tiga layanan dijalankan..

Oke, sekarang Anda perlu menambahkan prospek baru ke Salesforce. Ini adalah langkah manual terakhir.

AI generatif akan mengambil kepemimpinan baru dari cluster Kafka dan melakukan tindakan LLM dengan mendapatkan informasi dari Linkedin dan menjalankan perintah secara otomatis dan real-time.

Prompt akan terlihat sebagai tugas untuk Chatgpt, kami merumuskan bahwa C>hatgpt harus merumuskan konten berikut:

• mengingat informasi Linkedin {linkedin_information} tentang seseorang yang saya ingin Anda buat:

1. ringkasan singkat
2. dua fakta menarik tentang mereka
3. Sebuah topik yang mungkin menarik bagi mereka
4. 2 pemecah kebekuan yang kreatif untuk membuka percakapan dengan mereka

Model terbuka

Kami menjalankan model chatgpt-3.5-turbo dalam demo ini. Model ini memiliki token terbatas, namun saat ini merupakan model tercepat dan tertua. Dan tentunya yang paling murah. Jika Anda mencoba menggunakan Kai Waehner sebagai Pemimpin, Anda akan melihat bahwa token model saat ini tidaklah cukup. Yang bisa Anda lakukan adalah mengubah modelnya. Ini akan menjadi cara paling sederhana, metode lain adalah dengan membagi konten menjadi beberapa bagian. Silakan lihat model saat ini untuk memeriksa jumlah token per model.

Tes

Saya mulai dengan tes saya:

• Masukkan Carsten Mützlitz di Salesforce sebagai Pemimpin baru: Diperlukan waktu sekitar x detik untuk menyelesaikan tugas, dan akan berhasil diselesaikan
• Masukkan Kai Waehner di Salesforce sebagai Pemimpin baru
  • Chatgpt akan rusak karena batas token terlampaui
  • ubah model menjadi model_name="gpt-4-turbo" di baris ice_breaker.py 135 dan mulai ulang klien.
  • Masukkan kembali Kai Waehner
  • Sekarang, token tidak menjadi masalah lagi untuk kasus ini

Menurut pendapat saya, demo sederhana bukanlah kasus penggunaan pola Retrieval Augmented Generation (RAG). Kami mendapatkan semua informasi dari API tertentu dan tidak masuk akal untuk menyimpan data ke dalam DB vektor. Jauh lebih efisien memuat informasi melalui API secara realtime, dibandingkan data baru. Gunakan model yang tepat untuk kasus penggunaan Anda, dalam kasus kami model tersebut harus berupa model cepat dengan jumlah token lebih banyak.

Pemecahan masalah

Salesforce menyetel ulang kata sandi Anda dan Anda perlu mengubahnya dari waktu ke waktu. Jika Anda mengubah kata sandi, Anda juga mendapatkan token keamanan kata sandi baru. Harap jangan lupa untuk mengubahnya di file terraform.tfvars .

Hancurkan Sumber Daya Cloud yang Konfluen

Jika sudah selesai, Anda dapat menghentikan program di Terminal dengan CTRL+c dan menghancurkan semua yang ada di Confluent Cloud:

terraform destroy

Jika Anda mendapat kesalahan, jalankan penghancuran lagi, hingga semuanya terhapus, maka Anda yakin, tidak ada sumber daya yang berjalan dan menghabiskan biaya.

terraform destroy

Lisensi

Anda memerlukan Akun Cloud Confluent (yang baru mendapatkan kredit $400 gratis). Anda memerlukan Akun OPenAI, dengan kredit saat ini. Anda memerlukan Akun API ProxyCurl, dengan kredit terkini. Anda memerlukan Akun API SERP, di sini Anda akan mendapatkan jumlah koneksi awal. Ini sudah cukup dalam kasus saya.

Total saya menghabiskan 20$ (Open AI, ProxyCurl) dan kredit saya masih belum habis.