openai function tokens

Оценщик токенов функций OpenAI

Оцените использование токена OpenAI для завершения чата, включая функции, с помощью этой утилиты Python!

Этот пакет основан на токенах openai-chat-tokens hmarr . На данный момент (сентябрь 2023 г.) openai не имеет официальной документации о том, как точно предсказать количество токенов с помощью функций. Этот пакет решает эту проблему! Используйте его, чтобы получить очень точную оценку количества токенов для завершения чата и лучше управлять использованием OpenAI API.

Чаще всего это верно до мелочей.

Установка

1. Установите пакет через pip

    pip install openai-function-tokens

2. Импортируйте функцию оценки

    from openai_function_tokens import estimate_tokens 

Использование

Чтобы использовать оценщик, вызовите функцию estimate_tokens :

 estimate_tokens ( messages , functions = None , function_call = None )

Передайте messages и, при необходимости, functions и function_call , чтобы получить точное количество токенов.

Благодарности

Благодарим hmarr за оригинальный инструмент TypeScript. Чтобы лучше понять логику подсчета токенов, прочтите его сообщение в блоге.

Дальнейшее чтение

Вызов функции

Как вызывать функции с помощью моделей чата

Как использовать функции с базой знаний

Документация по схеме JSON

Подсчет токенов (только сообщения)

Содействие

Отзывы, предложения и вклад высоко ценятся. Помогите сделать этот инструмент еще лучше!