tokmon

⚡️ جديد : tokmon beam - واجهة مستخدم ويب مستضافة ذاتيًا لمراقبة بيانات استخدام واجهة برمجة التطبيقات، والتي تعمل من localhost .

 ______ ______ __ __ __ ______ __ __    
/__ _ / __  / / / "-./  / __  / "-.    
/_/ /   /    _"-.   -./    /    -.   
    _  _______  _ _  _  _  _____  _\"_ 
    /_/ /_____/ /_//_/ /_/ /_/ /_____/ /_/ /_/ 
                                                                   

أداة CLI لمراقبة استخدام رمز OpenAI API الخاص بك

tokmon ؟؟ - واجهة سطر الأوامر (CLI) لمراقبة استخدام OpenAI API

يتيح لك tokmon ( Tok en Mon itor) تتبع استخدام رمز OpenAI API المميز لبرنامجك.

يمكنك استخدام tokmon تمامًا كما تستخدم أداة time ، ولكن بدلاً من وقت التنفيذ، يمكنك الحصول على إحصائيات استخدام OpenAI وإحصائيات التكلفة.

تثبيت

 pip install tokmon

الاستخدام

ملاحظة : يعمل tokmon مع نماذج gpt-* ( gpt-3.5-turbo و gpt-4 وما إلى ذلك). إذا كنت بحاجة إلى دعم لنماذج أخرى (مثل davinci ) راجع tokmon#6.

$ tokmon /path/to/your/ < your program > [arg1] [arg2] ...

 tokmon cost report :
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
Monitored invocation : python3 . / tests / python_example . py --prompt say 'hello, tokmon!'
Models : [ 'gpt-3.5-turbo-0301' ]
Total Usage : { 'total_prompt_tokens' : 26 , 'total_completion_tokens' : 12 , 'total_tokens' : 38}
Pricing : { 'gpt-3.5-turbo-0301' : { 'prompt_cost' : 0.002 , 'completion_cost' : 0.002 , 'per_tokens' : 1000}}
Total Cost : $0.000076
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =

Writing cost summary to JSON file : . / tokmon_usage_summary_1682039505 . json

بعد انتهاء تشغيل البرنامج (أو ctrl^C )، سيقوم tokmon بطباعة ملخص يشبه ما ورد أعلاه. يقوم tokmon أيضًا بإنشاء تقرير مفصل وحفظه كملف JSON.
يمكنك استخدام علامة --beam <url> لدفق بيانات استخدام الرمز المميز إلى الخادم. راجع tokmon --beam لمزيد من المعلومات.

تجريبي

جربه

 # Install tokmon
pip install tokmon

# Clone this repo and `cd` into it
git clone https://github.com/yagil/tokmon.git && cd tokmon/

# export your OpenAI API key. This will be used in the test program (source in ./tests/python_example.py)
export OPENAI_API_KEY= " YOUR_OPENAI_API_KEY " 

# Run tokmon (save the JSON summary to the current folder)
# The test uses the openai python package. Install it if you don't have it: `pip install openai`
tokmon --json_out=. python3 ./tests/python_example.py --prompt " say 'hello, tokmon!' " 

يدعم tokmon هذا أيضًا:

• إذا كان برنامجك يستخدم نماذج OpenAI متعددة في نفس الاستدعاء، فسوف تنعكس استخداماتها الخاصة في التقرير.
• يمكنك تشغيل مثيلات متعددة من tokmon في وقت واحد. سيقوم كل استدعاء بإنشاء تقرير استخدام منفصل.
• قم بتمرير --json_out /your/path/report.json للحصول على تفاصيل مفصلة + سجل المحادثات بتنسيق JSON.

---

استخدم tokmon مع التطبيق أو البرنامج النصي الخاص بك

تحذير هذه أداة تصحيح الأخطاء. وليس المقصود أن تستخدم في أي بيئة تبعية. استخدام أفضل حكم الخاص بك!

قم بإضافة tokmon مسبقًا لاستدعاء برنامجك العادي كما يلي:

$ tokmon /path/to/your/ < your program > [arg1] [arg2] ...

قم بتشغيل برنامجك واستخدامه تمامًا كما تفعل عادةً (الوسائط وكل شيء). الاستخدام التفاعلي مدعوم أيضًا.

بايثون

ما عليك سوى إضافة tokmon إلى بداية استدعاءك المعتاد

$ tokmon python /path/to/your/script.py

سيعمل هذا مع البرامج النصية والبرامج طويلة التشغيل مثل خوادم Django / Flask / FastAPI.

العقدة

بالنسبة للنصوص البرمجية:

$ tokmon node /path/to/your/script.js

npm run

قم بتحرير إدخال "البرامج النصية" الخاص بـ package.json الخاص بك ليشمل tokmon .

 {
    "scripts" : {
        "dev" : "tokmon next dev" ,
        ...
    }
} 

ملخص الاستخدام والتكلفة الكامل (JSON)

{
    "total_cost" : 0.0019199999999999998 ,
    "total_usage" : {
        "total_prompt_tokens" : 18 ,
        "total_completion_tokens" : 23 ,
        "total_tokens" : 41
    },
    "pricing_data" : " {'gpt-4-0314': {'prompt_cost': 0.03, 'completion_cost': 0.06, 'per_tokens': 1000}} " ,
    "models" : [
        " gpt-4-0314 "
    ],
    "raw_data" : [
        {
            "model" : " gpt-4-0314 " ,
            "usage" : {
                "prompt_tokens" : 18 ,
                "completion_tokens" : 23 ,
                "total_tokens" : 41
            },
            "cost" : 0.0019199999999999998 ,
            "messages" : [
                {
                    "role" : " system " ,
                    "content" : " You're a helpful assistant. "
                },
                {
                    "role" : " user " ,
                    "content" : " hello "
                },
                {
                    "role" : " assistant " ,
                    "content" : " Hello! How can I help you today? If you have any questions or need assistance, feel free to ask. "
                }
            ]
        }
    ]
}

كيف يعمل

يستخدم tokmon مكتبة mitmproxy لاعتراض طلبات HTTP والاستجابات بين برنامجك وواجهة برمجة تطبيقات OpenAI. ثم يقوم بمعالجة بيانات الطلب والاستجابة لحساب استخدام الرمز المميز والتكلفة بناءً على tokmon/openai-pricing.json.

يعمل tokmon مع البرامج الموجودة في python / node (باستخدام عملاء OpenAI)، أو curl (يتم تشغيله مباشرة، وليس في برنامج نصي bash). راجع تعليمات Golang للحصول على إرشادات حول كيفية استخدام tokmon مع برامج Golang.

إذا قمت بتثبيت شهادة CA لـ mitmproxy يدويًا، فيجب أن تعمل مع جميع الملفات التنفيذية (ملاحظة: لم تختبر هذا.)

في معظم الحالات، يعتمد tokmon على حقل 'usage' في استجابات واجهة برمجة التطبيقات الخاصة بـ OpenAI لأعداد الرموز المميزة. ومع ذلك، بالنسبة لطلبات البث، يستخدم tokmon مكتبة tiktoken الخاصة بـ OpenAI مباشرة لحساب الرموز المميزة. حتى كتابة هذا التقرير، لا تُرجع واجهة برمجة التطبيقات الخاصة بـ OpenAI بيانات الاستخدام لطلبات البث (المرجع.)

openai-pricing.json

تم استخراج بيانات التسعير من موقع OpenAI الإلكتروني بمساعدة ChatGPT.

يستخدم tokmon tokmon/openai-pricing.json من الحزمة الخاصة به.

{   
    "last_updated" : " 2023-04-12 " ,
    "data_sources" : [
        " https://openai.com/pricing " ,
        " https://platform.openai.com/docs/models/model-endpoint-compatibility "
    ],
    "gpt-4" : { "prompt_cost" : 0.03 , "completion_cost" : 0.06 , "per_tokens" : 1000 },
    "gpt-4-0314" : { "prompt_cost" : 0.03 , "completion_cost" : 0.06 , "per_tokens" : 1000 },
    "gpt-4-32k" : { "prompt_cost" : 0.06 , "completion_cost" : 0.12 , "per_tokens" : 1000 },
    "gpt-4-32k-0314" : { "prompt_cost" : 0.06 , "completion_cost" : 0.12 , "per_tokens" : 1000 },
    "gpt-3.5-turbo" : { "prompt_cost" : 0.002 , "completion_cost" : 0.002 , "per_tokens" : 1000 },
    "gpt-3.5-turbo-0301" : { "prompt_cost" : 0.002 , "completion_cost" : 0.002 , "per_tokens" : 1000 },
    "text-davinci-003" : { "cost" : 0.02 , "per_tokens" : 1000 },
    "text-curie-001" : { "cost" : 0.002 , "per_tokens" : 1000 },
    "text-babbage-001" : { "cost" : 0.0005 , "per_tokens" : 1000 },
    "text-ada-001" : { "cost" : 0.0004 , "per_tokens" : 1000 },
    "text-embedding-ada-002" : { "cost" : 0.0004 , "per_tokens" : 1000 }
}

يمكنك تجاوز التسعير الافتراضي باستخدام: tokmon --pricing /path/to/your/custom-openai-pricing.json ...

إن تسعير JSON هذا غير مكتمل (يفتقد DALL-E، وما إلى ذلك)، وقد يكون غير صحيح، وقد يصبح قديمًا.

للحصول على أفضل النتائج، تأكد من التحقق من حصولك على أحدث الأسعار.

متنوعات

جولانج

الحل البديل لبرامج Golang. أضف هذا إلى برنامجك:

 // Import these packages
import (
	"os"
	"crypto/tls"
	"crypto/x509"
	"io/ioutil"
	"net/http"
)

// Place this code somewhere in your go program *before* you make any calls to OpenAI's API.
certFile := os . Getenv ( "TOKMON_SSL_CERT_FILE" ) // This env variable will be set by tokmon
caCert , err := ioutil . ReadFile ( certFile )
if err == nil { 
	caCertPool , _ := x509 . SystemCertPool ()
	caCertPool . AppendCertsFromPEM ( caCert )
	http . DefaultTransport .( * http. Transport ). TLSClientConfig = & tls. Config {
		RootCAs : caCertPool ,
	}
}

القيود الحالية

1. تدفق الأحداث: يقوم tokmon بتخزين الأحداث المرسلة من الخادم (SSE) مؤقتًا حتى يتم استلام data: [DONE] . إذا كان البرنامج الذي يتم مراقبته يستفيد من تدفق الأحداث، فسيتم تعديل سلوكه.
   • المشكلة: التوكمان رقم 4
2. يتم دعم نماذج الدردشة فقط ( gpt-3.5-turbo و gpt-4 والمتغيرات)
   • المشكلة: التوكمان رقم 6

المساهمة

إذا كنت ترغب في المساهمة في المشروع، يرجى اتباع الخطوات التالية:

1. شوكة المستودع.
2. قم بإنشاء فرع جديد لتغييراتك.
3. قم بإجراء التغييرات واختبرها.
4. أرسل طلب سحب مع وصف واضح لتغييراتك وأي معلومات ذات صلة.

تحذير

1. tokmon يأتي دون أي ضمان أو ضمان على الإطلاق.
2. تم اختبار tokmon على نظام التشغيل macOS فقط. قد لا تعمل على منصات أخرى.
3. قد لا تعمل هذه الأداة على النحو المنشود، أو قد يكون لها آثار جانبية غير معروفة، أو قد تقوم بإخراج معلومات غير صحيحة، أو لا تعمل على الإطلاق.
4. قد تصبح بيانات التسعير في openai-pricing.json قديمة.