ai vinyl specialist

大衛的黑膠唱片專家

大衛是黑膠唱片的專家。您可以請他提供有關您 Discogs 收藏中任何唱片的推薦或其他資訊。大衛將很樂意為您提供協助。

技術細節

此 LLM 應用程式是對話代理程式的一個簡單範例，它使用 Discogs API 提供有關黑膠唱片的資訊。它由 4 個主要構建塊組成：

1. Discogs API 用戶端：給定用戶名，它從 Discogs API 檢索黑膠唱片集合。
2. AI助理引擎（David） ：給定一個記錄集合，它提供了一個關於記錄的對話介面。
3. Websockets伺服器：提供Websockets伺服器與AI助理互動。
4. 使用者介面：它提供了一個簡單的使用者介面，透過 websockets 與 AI 助理互動。

目前它使用LangChain4j作為框架，GPT-4o作為AI輔助引擎，但它可以輕鬆適應使用其他引擎。

下圖中的應用程式架構是由 ArchUnit 框架透過 ArchitectureTest 類別中的測試強制執行的。

經驗教訓

此專案的 UI 是使用以下提示開發的：

 I need the code for an HTML 5 page that contains an input field for a Discogs username 
and a text area for inserting prompts for the application to send to AI agents. 
Above the text area there should be the space in which the AI responses are displayed, in the ChatGPT style

從 GitHub Copilot 產生的 HTML5 程式碼提供了 UI 的初始視覺效果，然後我對其進行了修改以添加 websocket 連接以及從 AI 助理發送和接收訊息的邏輯。我發現這是一種非常快速的原型設計方法。然後，我轉向了 ant-design 中更強大的元件，包括 pro-chat。

我最初想使用 llama3。 llama3 模型目前不支援工具（2024 年 6 月）。這意味著AI助理無法自行收集Discogs使用者名稱並檢索記錄集合。我們遷移到 GPT-4o，以便 David 可以詢問 Discogs 資訊並不再需要任何表格。

有些法學碩士不如其他法學碩士聰明。儘管 Mistral 7b 模型支援工具，但我無​​法從中得到好的答案。它甚至無法通過我的整合測試。這樣，我就無法使用免費的工具來運行法學碩士課程。

幻覺是一種痛苦。我開始了我的 RAG 之旅，以此來最大限度地減少它。由於 David 從事音樂領域的工作，維基百科是 RAG 想到的第一個知識庫。也許我可以利用 MediaWiki API 來搜尋與對話相關的音樂頁面。目前，我只使用 Google 搜索，它有時會有所幫助，但絕對不足以支付它用代幣增加的成本。

測試法學碩士申請是一項挑戰。我做了比平常更多的整合測試。這導致開發週期變慢。此外，人工智慧助理的機率性質使得很難以確定性的方式測試應用程式。

在法學碩士世界中，單元測試涉及提示人工智慧模型，而不僅僅是調用程式碼單元。使用基於雲端的模型時，運行單元測試是有成本的。我還嘗試使用第二個人工智慧代理來幫助我斷言主人工智慧的結果。這是一種很有前途的方法，因為我們可以進行語義斷言，而不僅僅是字串處理。這裡的權衡是它也會產生成本，並增加法學碩士引入的機率錯誤的風險。

走對/走錯

1. 向右走：少量提示。當我將此技術應用於我的系統提示時，推薦器的結果顯著改善。我加入了人物角色、語氣、對話背後的一些背景，以及一些關於人工智慧期望做什麼的範例。
2. 向右走：AI 測試審核員。 AI 整合測試的斷言通常涉及字串處理。我認為使用另一個專門審查測試結果的人工智慧會促進這一過程。我會給它一個聲明和主人工智慧的回應，如果通過或失敗，測試審核器就會返回。由於兩個人工智慧一起工作時機率錯誤的累積，導致使用 llama3 的測試不穩定。當遷移到 GPT-4o 時，它被證明是一個非常好的工具。它啟用了語義斷言。使用您最強大的法學碩士來測試斷言。
3. 向右走：工具。我最初使用應用程式程式碼從 Discogs 獲取黑膠唱片集合，並將其添加到 LLM 的系統提示字元中。這種方法需要 UI 上有一個輸入欄位來收集這些資料。當更換為工具時，人工智慧將能夠自行收集用戶的 Discogs 用戶名，並使其更具對話性。它消除了對 UI 表單的需求。
4. 錯誤：成本。為人工智慧代理添加功能涉及增加每次聊天中使用的令牌數量。當使用微調模型時，它會增加更多。我們在少樣本提示中增加的範例數量越多，我們為系統提示訊息支付的費用就越多。目前使用GPT-4o的成本很高，選擇LLM要慎重考慮。 LangChain 提供了一個抽象層，可以輕鬆更改底層 LLM。
5. 錯誤：使用 Ollama 和 llama3。我最初使用在 Ollama 內運行的 llama3 作為免費建立一代 AI 應用程式原型的方法。它最初有效，但很快就導致開發週期非常緩慢。我的測試套件需要 5 分鐘才能運行 20 個測試，同時運行可重複使用的測試容器。運行應用程式時，啟動對話大約有 1 分鐘的冷啟動延遲。我不得不用它來取代像 ChatGPT 3.5 這樣基於雲端的 LLM。

如何跑

您必須擁有有效的 OpenAI API 金鑰才能執行此應用程式。

1. 克隆存儲庫。
2. 運行./gradlew bootRun啟動應用程式。
3. 在瀏覽器中造訪http://localhost:8080即可與AI助理互動。