bens bites ai search

Ben's Bites 链接搜索

使用人工智能驱动的语义搜索，搜索 Ben's Bites 时事通讯中所有与人工智能相关的链接。

• 简介
• 它是如何运作的
  • 语义搜索
• 待办事项
• 执照

简介

该应用程序的目标是提供精心策划的搜索，以了解最新的人工智能资源和新闻。

所有搜索结果均从 Ben's Bites AI Newsletter 中提取，该新闻通讯被用作精心策划的数据源。

它是如何运作的

每 24 小时运行一次 cron 作业来更新数据库。

涉及的步骤包括：

1. 抓取 Beehiiv 时事通讯的来源
2. 将每个帖子转换为 Markdown
3. 提取并解析唯一链接
4. 获取每个链接的 opengraph 元数据
5. 获取某些链接的特定于提供商的元数据（例如推文文本）
6. 使用 OpenAI 为每个链接生成向量嵌入
7. 将所有链接更新到 Pinecone 矢量数据库中

我们使用 IFramely 提取每个链接的 opengraph 元数据，并且还使用特殊情况的推文链接来提取推文文本。

一旦我们在本地拥有所有链接，我们就会将它们插入到 Pinecone 矢量数据库中以进行语义搜索。

语义搜索

语义搜索由 OpenAI 的“text-embedding-ada-002”嵌入模型和 Pinecone 的托管矢量数据库提供支持。

待办事项

• 更好的搜索用户体验，因此后退按钮可以使用
• 显示主页上的帖子/链接数量，以便清楚地了解上次更新的时间
• 按新近度实际排序，而不是伪造
• 设置 cron 每天更新数据库
• 在 Safari/Firefox 上测试
• 显示该帖子首次出现在哪个新闻通讯中
• 探索混合搜索
• 无限滚动，以便您可以不断滚动结果

执照

麻省理工学院©特拉维斯·费舍尔

所有链接数据均摘自 Ben's Bites AI Newsletter，并获得 CC BY-NC-ND 4.0 许可。

如果您发现这个项目有趣，请考虑赞助我或在 Twitter 上关注我