openai function tokens

Schätzer für OpenAI-Funktionstoken

Schätzen Sie die OpenAI-Token-Nutzung für Chat-Abschlüsse, einschließlich Funktionen, mit diesem Python-Dienstprogramm!

Dieses Paket basiert auf den openai-chat-tokens von hmarr . Zum jetzigen Zeitpunkt (September 2023) gibt es keine offizielle Dokumentation von openai darüber, wie die Anzahl der Token aus Funktionen genau vorhergesagt werden kann. Dieses Paket löst das! Verwenden Sie es, um eine sehr genaue Schätzung der Token-Anzahl für Chat-Abschlüsse zu erhalten und Ihre OpenAI-API-Nutzung besser zu verwalten.

Meistens stimmt es bis auf den Token.

Installation

1. Installieren Sie das Paket über pip

    pip install openai-function-tokens

2. Importieren Sie die Schätzfunktion

    from openai_function_tokens import estimate_tokens 

Verwendung

Um den Schätzer zu verwenden, rufen Sie die Funktion estimate_tokens auf:

 estimate_tokens ( messages , functions = None , function_call = None )

Übergeben Sie die messages und optional functions und function_call , um eine genaue Token-Anzahl zu erhalten.

Danksagungen

Dank geht an hmarr für das ursprüngliche TypeScript-Tool. Weitere Informationen zur Token-Zähllogik finden Sie in seinem Blogbeitrag.

Weiterführende Literatur

Funktionsaufruf

So rufen Sie Funktionen mit Chat-Modellen auf

So verwenden Sie Funktionen mit einer Wissensdatenbank

Dokumentation zum JSON-Schema

Token zählen (nur Nachrichten)

Mitwirken

Feedback, Vorschläge und Beiträge werden sehr geschätzt. Helfen Sie mit, dieses Tool noch besser zu machen!