ding search

Recherche Ding

Un moteur de recherche écrit en Node.js qui utilise les données collectées par un robot d'exploration Web.

Documentation

La documentation de ce projet peut être trouvée sur le wiki GitHub, mais elle n'est pas encore tout à fait terminée.

Présentation

La présentation de la recherche Ding et du robot d'exploration Web est disponible sur vojhab.page.link/pva-prezentace.

Objectif du projet

L'objectif du projet Ding Search est de créer un moteur de recherche capable de rechercher des sites Web et de proposer aux utilisateurs des résultats de recherche pertinents en fonction des requêtes qu'ils saisissent. Le moteur de recherche est écrit en Node.js et utilise les données collectées par un robot d'exploration Web.

Technologies utilisées

• Node.js : un environnement d'exécution open source pour exécuter du code JavaScript côté serveur.
• PostgreSQL : base de données qui offre un large éventail de fonctions de gestion et de stockage de données et permet aux utilisateurs de stocker et de récupérer efficacement des données.
• API OpenAI : API pour accéder aux modèles d'IA avancés.
• TensorFlow.js : est une bibliothèque open source d'apprentissage automatique et de réseau neuronal qui peut être utilisée en JavaScript à la fois dans le navigateur et côté serveur à l'aide de Node.js.

paquets npm

Les packages npm suivants sont utilisés dans ce projet :

• node-postgres : permet l'accès à la base de données PostgreSQL.
• dotenv : charge les variables à partir d'un fichier .env.
• ejs : système de modèles pour générer des pages HTML.
• express : framework Node.js pour la création d'applications Web et d'API.
• openai : permet un accès facile à l'API OpenAI.
• serve-favicon : fournit un middleware pour les favicons de sites Web.
• xss : Protection contre les attaques XSS, c'est-à-dire contre l'insertion de code malveillant dans les entrées utilisateur qui sont ensuite affichées sur la page.
• @tensorflow/tfjs : il s'agit d'un package npm permettant d'utiliser la bibliothèque TensorFlow.js dans un projet.
• @tensorflow-models/universal-sentence-encoder : un package pour utiliser le modèle Universal Sentence Encoder.

Modifications et fonctionnalités prévues

• terminer la recherche murmure
• "défilement infini" avec les résultats de recherche
• créer une page à propos
• un chatbot pour répondre aux questions basées sur des sites Web
• recherche vocale
• utilisez pgvector pour des résultats plus pertinents
• créer un dossier de contrôleurs avec toute la logique principale
• ajoutez des "applications rapides" à la recherche (calculatrice, traducteur, etc.)
• ajouter une collecte de données d'utilisation

Licence

Ce projet est sous licence MIT.

Créateur

Vojtech Habes

[email protected]