graphsignal python

Graphsignal : observabilité pour AI Stack

Graphsignal est une plateforme d'observabilité pour les agents d'IA et les applications basées sur LLM. Il aide les développeurs à garantir que les applications d'IA fonctionnent comme prévu et que les utilisateurs bénéficient de la meilleure expérience. Avec Graphsignal, les développeurs peuvent :

• Suivez les générations, les exécutions et les sessions avec un contexte d'IA complet.
• Notez toutes les interactions des utilisateurs et l’exécution des applications.
• Voir les répartitions et les distributions de latence.
• Analysez les coûts des API de modèle pour les déploiements, les modèles ou les utilisateurs.
• Soyez informé des erreurs et des anomalies.
• Surveillez l’utilisation de l’API, du calcul et du GPU.

Apprenez-en davantage sur graphsignal.com.

Installer

Installez la bibliothèque Graphsignal.

pip install --upgrade graphsignal

Configurer

Configurez le traceur Graphsignal en spécifiant votre clé API directement ou via la variable d'environnement GRAPHSIGNAL_API_KEY .

 import graphsignal

graphsignal . configure ( api_key = 'my-api-key' , deployment = 'my-app' )

Pour obtenir une clé API, créez un compte gratuit sur graphsignal.com. La clé peut ensuite être trouvée dans la page Paramètres / Clés API de votre compte.

Vous pouvez également ajouter le traceur Graphsignal sur la ligne de commande, lors de l'exécution de votre module ou script. Les variables d'environnement GRAPHSIGNAL_API_KEY et GRAPHSIGNAL_DEPLOYMENT doivent être définies.

python -m graphsignal < script > 

python -m graphsignal -m < module > 

Intégrer

Graphsignal auto-instrumente et trace les bibliothèques et les frameworks, tels que OpenAI et LangChain. Les traces, les erreurs et les données, telles que les invites et les complétions, sont automatiquement enregistrées et disponibles pour analyse sur app.graphsignal.com.

Reportez-vous aux guides ci-dessous pour des informations détaillées sur :

• Suivi des sessions
• Suivi des utilisateurs
• Traçage manuel
• Scores et commentaires
• Surveillance des coûts et de l'utilisation

Voir la référence API pour une documentation complète.

Quelques exemples d'intégration sont disponibles dans le dépôt d'exemples.

Analyser

Connectez-vous à Graphsignal pour surveiller et analyser votre application et surveiller les problèmes.

Aérien

Le traceur Graphsignal est très léger. La surcharge par trace est mesurée comme étant inférieure à 100 microsecondes.

Sécurité et confidentialité

Le traceur Graphsignal ne peut ouvrir que des connexions sortantes vers api.graphsignal.com et envoyer des données, aucune connexion ou commande entrante n'est possible.

Les charges utiles, telles que les invites et les complétions, sont enregistrées par défaut en cas de suivi automatique. Pour désactiver, définissez record_payloads=False dans graphsignal.configure .

Dépannage

Pour activer la journalisation du débogage, ajoutez debug_mode=True à configure() . Si le journal de débogage ne vous donne aucune indication sur la façon de résoudre un problème, veuillez le signaler à notre équipe d'assistance via votre compte.

En cas de problèmes de connexion, assurez-vous que les connexions sortantes vers https://api.graphsignal.com sont autorisées.