bens bites ai search

Ben's Bites Linksuche

Durchsuchen Sie alle KI-bezogenen Links im Ben's Bites-Newsletter – mithilfe der KI-gestützten semantischen Suche.

• Einführung
• Wie es funktioniert
  • Semantische Suche
• TODO
• Lizenz

Einführung

Das Ziel dieser App ist es, eine sorgfältig kuratierte Suche bereitzustellen, um über die neuesten KI-Ressourcen und Neuigkeiten auf dem Laufenden zu bleiben.

Alle Suchergebnisse werden aus Ben's Bites AI Newsletter extrahiert, der als hochgradig kuratierte Datenquelle verwendet wird.

Wie es funktioniert

Alle 24 Stunden wird ein Cron-Job ausgeführt, um die Datenbank zu aktualisieren.

Zu den Schritten gehören:

1. Crawlen der Quelle des Beehiiv-Newsletters
2. Konvertieren Sie jeden Beitrag in Markdown
3. Einzigartige Links extrahieren und auflösen
4. Opengraph-Metadaten für jeden Link abrufen
5. Anbieterspezifische Metadaten für einige Links abrufen (z. B. Tweet-Text)
6. Generieren von Vektoreinbettungen für jeden Link mithilfe von OpenAI
7. Einfügen aller Links in eine Pinecone-Vektordatenbank

Wir verwenden IFramely, um Opengraph-Metadaten für jeden Link zu extrahieren, und wir extrahieren auch Tweet-Links in Sonderfällen, um den Tweet-Text zu extrahieren.

Sobald wir alle Links lokal haben, fügen wir sie zur semantischen Suche in eine Pinecone-Vektordatenbank ein.

Semantische Suche

Die semantische Suche basiert auf dem Einbettungsmodell „text-embedding-ada-002“ von OpenAI und der gehosteten Vektordatenbank von Pinecone.

TODO

• Suchen Sie besser nach UX, damit die Zurück-Schaltfläche funktioniert
• Zeigt die Anzahl der Beiträge/Links auf der Startseite an, damit klar ist, wann sie zuletzt aktualisiert wurde
• Sortieren Sie tatsächlich nach Aktualität, anstatt es vorzutäuschen
• Richten Sie Cron ein, um die Datenbank täglich zu aktualisieren
• Test auf Safari/Firefox
• Zeigt an, in welchem ​​Newsletter der Beitrag zuerst erschienen ist
• Entdecken Sie die Hybridsuche
• Unendliches Scrollen, damit Sie weiterhin durch die Ergebnisse scrollen können

Lizenz

MIT © Travis Fischer

Alle Linkdaten stammen aus Ben's Bites AI Newsletter und sind unter CC BY-NC-ND 4.0 lizenziert.

Wenn Sie dieses Projekt interessant fanden, denken Sie bitte darüber nach, mich zu sponsern oder mir auf Twitter zu folgen