bens bites ai search

Ben's Bites 連結搜索

使用人工智慧驅動的語義搜索，搜尋 Ben's Bites 時事通訊中所有與人工智慧相關的連結。

• 簡介
• 它是如何運作的
  • 語意搜尋
• 待辦事項
• 執照

簡介

該應用程式的目標是提供精心策劃的搜索，以了解最新的人工智慧資源和新聞。

所有搜尋結果均從 Ben's Bites AI Newsletter 中提取，該新聞通訊被用作精心策劃的資料來源。

它是如何運作的

每 24 小時執行一次 cron 作業來更新資料庫。

涉及的步驟包括：

1. 抓取 Beehiiv 時事通訊的來​​源
2. 將每個帖子轉換為 Markdown
3. 提取並解析唯一鏈接
4. 取得每個連結的 opengraph 元數據
5. 取得某些連結的特定於提供者的元資料（例如推文文字）
6. 使用 OpenAI 為每個連結產生向量嵌入
7. 將所有連結更新到 Pinecone 向量資料庫中

我們使用 IFramely 提取每個連結的 opengraph 元數據，並且還使用特殊情況的推文連結來提取推文文字。

一旦我們在本地擁有所有鏈接，我們就會將它們插入到 Pinecone 向量資料庫中以進行語義搜尋。

語意搜尋

語意搜尋由 OpenAI 的「text-embedding-ada-002」嵌入模型和 Pinecone 的託管向量資料庫提供支援。

待辦事項

• 更好的搜尋用戶體驗，因此後退按鈕可以工作
• 顯示主頁上的貼文/連結數量，以便清楚了解上次更新的時間
• 以新近度實際排序而非偽造
• 設定 cron 每天更新資料庫
• 在 Safari/Firefox 上測試
• 顯示該貼文首次出現在哪一則新聞通訊中
• 探索混合搜尋
• 無限滾動，以便您可以不斷滾動結果

執照

麻省理工學院©特拉維斯·費舍爾

所有連結資料均摘自 Ben's Bites AI Newsletter，並獲得 CC BY-NC-ND 4.0 許可。

如果您發現這個項目有趣，請考慮贊助我或在 Twitter 上關注我