graphsignal python

Graphsignal: Beobachtbarkeit für AI Stack

Graphsignal ist eine Observability-Plattform für KI-Agenten und LLM-basierte Anwendungen. Es hilft Entwicklern sicherzustellen, dass KI-Anwendungen wie erwartet funktionieren und Benutzer das beste Erlebnis haben. Mit Graphsignal können Entwickler:

• Verfolgen Sie Generationen, Läufe und Sitzungen mit vollständigem KI-Kontext.
• Bewerten Sie alle Benutzerinteraktionen und Anwendungsausführungen.
• Siehe Latenzaufschlüsselungen und -verteilungen.
• Analysieren Sie die Modell-API-Kosten für Bereitstellungen, Modelle oder Benutzer.
• Lassen Sie sich über Fehler und Anomalien benachrichtigen.
• Überwachen Sie die API-, Rechen- und GPU-Auslastung.

Erfahren Sie mehr unter graphsignal.com.

Installieren

Installieren Sie die Graphsignal-Bibliothek.

pip install --upgrade graphsignal

Konfigurieren

Konfigurieren Sie den Graphsignal-Tracer, indem Sie Ihren API-Schlüssel direkt oder über die Umgebungsvariable GRAPHSIGNAL_API_KEY angeben.

 import graphsignal

graphsignal . configure ( api_key = 'my-api-key' , deployment = 'my-app' )

Um einen API-Schlüssel zu erhalten, registrieren Sie sich für ein kostenloses Konto bei graphsignal.com. Den Schlüssel finden Sie dann auf der Seite „Einstellungen/API-Schlüssel“ Ihres Kontos.

Alternativ können Sie den Graphsignal-Tracer in der Befehlszeile hinzufügen, wenn Sie Ihr Modul oder Skript ausführen. Die Umgebungsvariablen GRAPHSIGNAL_API_KEY und GRAPHSIGNAL_DEPLOYMENT müssen gesetzt sein.

python -m graphsignal < script > 

python -m graphsignal -m < module > 

Integrieren

Graphsignal instrumentiert und verfolgt Bibliotheken und Frameworks wie OpenAI und LangChain automatisch . Spuren, Fehler und Daten wie Eingabeaufforderungen und Abschlüsse werden automatisch aufgezeichnet und stehen zur Analyse unter app.graphsignal.com zur Verfügung.

Detaillierte Informationen finden Sie in den folgenden Leitfäden:

• Sitzungsverfolgung
• Benutzerverfolgung
• Manuelle Nachverfolgung
• Ergebnisse und Feedback
• Kosten- und Nutzungsüberwachung

Die vollständige Dokumentation finden Sie in der API-Referenz.

Einige Integrationsbeispiele sind im Beispiel-Repo verfügbar.

Analysieren

Melden Sie sich bei Graphsignal an, um Ihre Anwendung zu überwachen, zu analysieren und auf Probleme zu überwachen.

Overhead

Graphsignal Tracer ist sehr leicht. Der Overhead pro Trace wird mit weniger als 100 Mikrosekunden gemessen.

Sicherheit und Datenschutz

Graphsignal Tracer kann nur ausgehende Verbindungen zu api.graphsignal.com öffnen und Daten senden, eingehende Verbindungen oder Befehle sind nicht möglich.

Payloads wie Eingabeaufforderungen und Vervollständigungen werden im Falle einer automatischen Nachverfolgung standardmäßig aufgezeichnet. Zum Deaktivieren legen Sie in graphsignal.configure record_payloads=False .

Fehlerbehebung

Um die Debug-Protokollierung zu aktivieren, fügen Sie debug_mode=True zu configure() hinzu. Wenn Ihnen das Debug-Protokoll keine Hinweise zur Behebung eines Problems gibt, melden Sie es bitte über Ihr Konto an unser Support-Team.

Bei Verbindungsproblemen stellen Sie bitte sicher, dass ausgehende Verbindungen zu https://api.graphsignal.com zulässig sind.