browser copilot

Browser Copilot est une extension de navigateur qui vous permet d'utiliser des assistants IA existants ou personnalisés pour vous aider dans les tâches quotidiennes des applications Web.

Motivation

L’objectif est de fournir une interface utilisateur polyvalente et un cadre simple pour mettre en œuvre et utiliser un ensemble toujours croissant de copilotes (assistants IA). Ces copilotes peuvent aider dans un large éventail de tâches en tirant parti des capacités d'extension du navigateur.

Voici quelques exemples de ce que ces copilotes peuvent faire :

• ? Activez automatiquement les copilotes pertinents pour des applications Web spécifiques. Par exemple, un Mail Copilot peut s'activer lorsqu'une application Web Mail est chargée dans un onglet de navigateur.
• ? Extrayez les informations de l’application Web actuelle. Par exemple, le copilote pourrait extraire le contenu actuel du courrier à partir d'une application Web Mail et fournir un résumé du courrier, ou les utilisateurs peuvent poser des questions sur le contenu du courrier.
• Interagissez avec les applications Web. Un copilote pourrait générer des corps de courrier en fonction des demandes des utilisateurs. Il pourrait également remplir les champs du formulaire d’application Web avec les données de test appropriées.
• ? Utilisez n’importe quelle API de service pour extraire des informations supplémentaires ou automatiser les processus d’application Web. Par exemple, le copilote pourrait récupérer des exemples valides du backend de l'application Web pour remplir les formulaires frontaux.
• De nombreuses autres idées et fonctionnalités peuvent être explorées en combinant l'extension de navigateur avec les fonctionnalités d'IA et de LLM.

Usage

1. Installez l'extension dans votre navigateur en téléchargeant la dernière version à partir des versions. Pour installer une extension à partir d'un fichier zip, vous devez accéder à l'écran « Gérer l'extension » de votre navigateur, activer le mode développeur et glisser-déposer le fichier zip de l'extension.
2. Ouvrez l'extension en cliquant sur son icône et ajoutez un nouveau copilote en fournissant son URL de base. L'URL de base doit correspondre à l'emplacement de manifest.json et logo.png , par exemple : http://localhost:8000 si votre agent s'exécute localement.
3. Démarrez une nouvelle conversation en cliquant sur un copilote configuré ou, si le copilote a une activation automatique, utilisez simplement votre navigateur et la discussion copilote apparaîtra automatiquement lorsque le copilote s'activera.
4. Enregistrez vos invites préférées directement depuis le chat. Pour y accéder rapidement plus tard, tapez simplement « / » dans la saisie du chat.

À tout moment, vous pouvez fermer le copilote pour reprendre ultérieurement la conversation en utilisant l'icône d'extension ou en cliquant avec le bouton droit sur la page et en sélectionnant Toggle Browser Copilot .

Si vous ne connaissez aucune URL de copilote, ce projet inclut une simple implémentation de copilote dans le dossier de l'agent. Vous pouvez le démarrer en copiant agent/sample.env dans agent/.env , en modifiant les variables d'environnement et en exécutant docker-compose up (docker est requis pour cela). Une fois démarré, vous pouvez configurer votre extension pour l'utiliser en ajoutant un copilote avec l'URL http://localhost:8000 .

Lorsque vous activez le copilote (cliquez sur la liste des copilotes), il vous demandera des informations d'identification. Utilisez l'utilisateur test et le mot de passe test pour vous connecter.

À l'avenir, nous prévoyons d'ajouter un catalogue de copilotes contribués par la communauté. Par conséquent, si vous créez de nouveaux copilotes, merci de nous le faire savoir afin que nous puissions les inclure dans le catalogue initial.

Développement

Développement d'agents

Pour développer un nouvel agent, vous pouvez vous référer aux dossiers agent-mock, agent-simple ou agent-extended. Ce dernier est le plus complet avec une documentation appropriée sur les points de terminaison et manifest.json .

Pour l'environnement de développement, ce projet utilise devbox et direnv.

Pour installer toutes les dépendances requises (après avoir installé devbox et direnv), exécutez la commande suivante :

devbox run install

Ensuite, définissez les variables d'environnement appropriées dans agent-extended/.env .

Pour accélérer le développement, vous pouvez commenter la section Keycloak, afin de ne pas avoir besoin de vous authentifier à chaque fois que vous souhaitez essayer votre copilote dans l'extension. Si vous ne commentez pas la section Keycloak, vous devez exécuter devbox run keycloak pour lancer Keycloak pour l'authentification et utiliser les informations test identification de test pour la connexion (lorsque l'extension du navigateur le demande).

Pour exécuter l'agent en mode développement, en activant le rechargement à chaud automatique chaque fois que des modifications sont détectées dans les fichiers source de l'agent, exécutez la commande suivante :

devbox run agent

Si vous souhaitez déboguer l'agent, vous pouvez démarrer l'agent avec votre IDE préféré, en pointant vers l'environnement virtuel approprié créé par devbox et en utilisant les capacités du débogueur de l'IDE pour exécuter le script principal.

Pour plus de détails sur l'agent, veuillez vous référer à son fichier Lisez-moi.

Développement d'extensions de navigateur

Si vous envisagez d'apporter des modifications à l'extension du navigateur, reportez-vous au dossier de l'extension du navigateur.

Pour lancer un navigateur Chrome doté de fonctionnalités de rechargement à chaud, utilisez la commande suivante :

devbox run browser

Pour modifier les paramètres par défaut du navigateur, consultez browser-extension/vite.config.ts.

Pour construire la distribution finale de l'extension, exécutez la commande suivante :

devbox run build

Contribuer

Nous acceptons toutes sortes de contributions !

• Donnez une étoile à ce projet pour le rendre plus visible auprès de l'ensemble de la communauté. Cela nous fait savoir que vous êtes intéressé par ce projet, nous motivant à y investir davantage d'efforts.
• ? Faites connaître ce projet. Si vous faites des publications (tweets, mentions StackOverflow, publications LinkedIn, articles Medium, etc.) à ce sujet, veuillez nous en informer. Nous prévoyons d'ajouter des références à de telles publications à l'avenir.
• ? Posez des questions et demandez des améliorations en créant des problèmes ou en ouvrant des discussions dans le référentiel.
• ?‍ Si vous aimez coder, vous pouvez créer de nouveaux agents, nous aidant ainsi à implémenter des fonctionnalités d'extension de navigateur ou des améliorations générales.