bens bites ai search

Recherche de liens Ben's Bites

Recherchez parmi tous les liens liés à l'IA dans la newsletter Ben's Bites - en utilisant la recherche sémantique alimentée par l'IA.

• Introduction
• Comment ça marche
  • Recherche sémantique
• FAIRE
• Licence

Introduction

L'objectif de cette application est de fournir une recherche hautement organisée pour rester au courant des dernières ressources et actualités en matière d'IA.

Tous les résultats de recherche sont extraits de la newsletter Ben's Bites AI, qui est utilisée comme source de données hautement organisée.

Comment ça marche

Une tâche cron est exécutée toutes les 24 heures pour mettre à jour la base de données.

Les étapes impliquées comprennent :

1. Explorer la source de la newsletter Beehiiv
2. Conversion de chaque publication en démarque
3. Extraction et résolution de liens uniques
4. Récupération des métadonnées opengraph pour chaque lien
5. Récupération de métadonnées spécifiques au fournisseur pour certains liens (par exemple, le texte du tweet)
6. Générer des intégrations vectorielles pour chaque lien à l'aide d'OpenAI
7. Insertion de tous les liens dans une base de données vectorielles Pinecone

Nous utilisons IFramely pour extraire les métadonnées opengraph pour chaque lien, et nous utilisons également des liens tweet dans des cas particuliers pour extraire le texte du tweet.

Une fois que nous avons tous les liens localement, nous les insérons dans une base de données vectorielles Pinecone pour la recherche sémantique.

Recherche sémantique

La recherche sémantique est alimentée par le modèle d'intégration « text-embedding-ada-002 » d'OpenAI et par la base de données vectorielles hébergée de Pinecone.

FAIRE

• meilleure recherche UX pour que le bouton retour fonctionne
• afficher le nombre de publications/liens sur la page d'accueil afin qu'il soit clair quand il a été mis à jour pour la dernière fois
• trier en fait par récence au lieu de faire semblant
• configurer cron pour mettre à jour la base de données quotidiennement
• tester sur safari/firefox
• afficher dans quelle newsletter le message est apparu pour la première fois
• explorer la recherche hybride
• défilement infini pour que vous puissiez continuer à faire défiler les résultats

Licence

MIT © Travis Fischer

Toutes les données de lien sont extraites de la newsletter Ben's Bites AI et sont sous licence CC BY-NC-ND 4.0.

Si vous avez trouvé ce projet intéressant, pensez à me sponsoriser ou à me suivre sur Twitter