ai vinyl specialist

Spesialis vinil David

David adalah spesialis rekaman vinil. Anda dapat meminta rekomendasi atau informasi tambahan darinya tentang rekaman mana pun dalam koleksi Discogs Anda. David akan dengan senang hati membantu Anda.

Detail teknis

Aplikasi LLM ini adalah contoh sederhana agen percakapan yang menggunakan Discogs API untuk memberikan informasi tentang piringan hitam. Ini terdiri dari 4 blok bangunan utama:

1. Klien Discogs API : Dengan nama pengguna, ia mengambil koleksi piringan hitam dari Discogs API.
2. Mesin asisten AI (David) : Mengingat koleksi catatan, ini menyediakan antarmuka percakapan tentang catatan.
3. Server Websockets : Menyediakan server websockets untuk berinteraksi dengan asisten AI.
4. Antarmuka pengguna : Ini menyediakan antarmuka pengguna yang sederhana untuk berinteraksi dengan asisten AI melalui soket web.

Saat ini menggunakan LangChain4j sebagai kerangka kerja dengan GPT-4o sebagai mesin asisten AI, tetapi dapat dengan mudah diadaptasi untuk menggunakan mesin lain.

Arsitektur aplikasi dari diagram di bawah ini diterapkan oleh kerangka ArchUnit melalui pengujian di kelas ArchitectureTest.

Pelajaran yang didapat

UI untuk proyek ini dikembangkan menggunakan perintah berikut:

 I need the code for an HTML 5 page that contains an input field for a Discogs username 
and a text area for inserting prompts for the application to send to AI agents. 
Above the text area there should be the space in which the AI responses are displayed, in the ChatGPT style

Kode HTML5 yang dihasilkan dari GitHub Copilot memberikan visual awal untuk UI yang kemudian saya modifikasi untuk menambahkan koneksi websocket dan logika untuk mengirim dan menerima pesan dari asisten AI. Saya menemukan ini sebagai pendekatan yang sangat cepat untuk pembuatan prototipe. Kemudian, saya beralih ke komponen yang lebih kuat dari ant-design, termasuk pro-chat.

Saya awalnya ingin menggunakan llama3. Model llama3 saat ini tidak memiliki dukungan alat (Juni 2024). Artinya, asisten AI tidak dapat mengumpulkan nama pengguna Discogs dan mengambil koleksi rekamannya sendiri. Kami pindah ke GPT-4o sehingga David dapat meminta informasi Discogs dan menghilangkan kebutuhan akan formulir apa pun.

Beberapa LLM tidak secerdas yang lain. Meskipun model Mistral 7b mendukung alat, saya tidak bisa mendapatkan jawaban yang bagus darinya. Itu bahkan tidak lulus tes integrasi saya. Dengan itu, saya tidak dapat menjalankan LLM dengan alat secara gratis.

Halusinasi memang menyebalkan. Saya memulai perjalanan saya ke RAG sebagai cara untuk meminimalkannya. Sejak David beroperasi di bidang musik, Wikipedia adalah basis pengetahuan pertama yang terlintas dalam pikiran RAG. Mungkin saya bisa memanfaatkan API MediaWiki untuk mencari halaman musik yang relevan dengan percakapan. Untuk saat ini, saya hanya menggunakan Google Penelusuran dan terkadang hal ini membantu, namun tentu saja tidak cukup untuk biaya yang ditimbulkan dari token.

Menguji aplikasi LLM adalah sebuah tantangan. Saya melakukan lebih banyak tes integrasi dari biasanya. Hal ini menyebabkan siklus pengembangan lebih lambat. Selain itu, sifat probabilistik dari asisten AI menyulitkan pengujian aplikasi secara deterministik.

Di dunia LLM, pengujian unit melibatkan pemicuan model AI, bukan hanya memanggil unit kode. Saat menggunakan model berbasis cloud, menjalankan pengujian unit memerlukan biaya. Saya juga bereksperimen dengan menggunakan agen AI kedua untuk membantu saya menyatakan hasil dari AI utama. Ini adalah pendekatan yang menjanjikan karena kita dapat melakukan pernyataan semantik, dan bukan hanya pemrosesan string. Pengorbanannya di sini adalah bahwa hal ini juga menimbulkan biaya, dan menumpuk risiko kesalahan probabilitas yang ditimbulkan oleh LLM.

Benar/salah

1. Ke kanan: Perintah beberapa kali. Hasil dari pemberi rekomendasi meningkat secara signifikan ketika saya menerapkan teknik ini pada prompt sistem saya. Saya menambahkan persona, nada, beberapa konteks di balik percakapan dan beberapa contoh tentang apa yang diharapkan dari AI.
2. Ke kanan: peninjau tes AI. Pernyataan dari pengujian integrasi AI sering kali melibatkan pemrosesan string. Saya pikir menggunakan AI lain yang khusus meninjau hasil tes akan memfasilitasi prosesnya. Saya akan memberikan pernyataan dan tanggapan dari AI utama, dan peninjau tes akan kembali jika lulus atau gagal. Hal ini menyebabkan pengujian yang tidak stabil saat menggunakan llama3 karena akumulasi kesalahan probabilistik dari kedua AI yang bekerja bersama. Saat beralih ke GPT-4o, ini terbukti menjadi alat yang sangat bagus. Ini memungkinkan pernyataan semantik. Gunakan LLM Anda yang paling kuat untuk pernyataan pengujian.
3. Ke kanan: Alat. Saya awalnya mengambil koleksi piringan hitam dari Discogs menggunakan kode aplikasi dan menambahkannya ke prompt sistem LLM. Pendekatan ini memerlukan kolom input di UI untuk mengumpulkan data ini. Saat beralih ke alat, AI akan dapat mengumpulkan sendiri nama pengguna Discogs dari pengguna, dan menjadikannya lebih komunikatif. Ini menghilangkan kebutuhan akan formulir UI.
4. Salah: Biaya. Menambahkan fitur ke agen AI melibatkan peningkatan jumlah token yang masuk ke setiap obrolan. Ini semakin meningkat ketika menggunakan model yang disempurnakan. Semakin banyak kita menambah jumlah contoh dalam prompt beberapa kali, semakin banyak kita akan membayar untuk pesan prompt sistem. Penggunaan GPT-4o saat ini berbiaya tinggi, dan pilihan LLM yang akan digunakan harus dipertimbangkan dengan cermat. LangChain membantu dengan lapisan abstraksi yang memudahkan untuk mengubah LLM yang mendasarinya.
5. Salah: Menggunakan Ollama dan llama3. Saya awalnya menggunakan llama3 yang berjalan di dalam Ollama sebagai cara untuk membuat prototipe aplikasi gen AI secara gratis. Awalnya berhasil, tetapi dengan cepat menyebabkan siklus pengembangan yang sangat lambat. Rangkaian pengujian saya memerlukan waktu 5 menit untuk dijalankan dengan 20 pengujian saat menjalankan wadah pengujian yang dapat digunakan kembali. Menjalankan aplikasi mengalami penundaan cold start ~1 menit untuk memulai percakapan. Saya harus menggantinya dengan LLM berbasis cloud seperti ChatGPT 3.5.

Bagaimana cara menjalankannya

Anda harus memiliki kunci API OpenAI yang valid untuk menjalankan aplikasi ini.

1. Kloning repositori.
2. Jalankan ./gradlew bootRun untuk memulai aplikasi.
3. Kunjungi http://localhost:8080 di browser Anda untuk berinteraksi dengan asisten AI.