openai_multi_tool_use_parallel_patch

Исправление multi_tool_use.parallel в OpenAI

Быстрое исправление обезьяньей проблемы галлюцинированной проблемы OpenAI multi_tool_use.parallel.

Это простой способ решения проблемы, когда API GPT ChatCompletions иногда выдает странный альтернативный способ одновременного вызова нескольких инструментов. По моему опыту, эти вызовы, по крайней мере, всегда имеют предсказуемую структуру и могут быть исправлены так, чтобы они выглядели как обычные вызовы легальных инструментов. Этот патч делает это, а также соответствующим образом перезаписывает сообщение (что, по моему опыту, заставляет модель выполнять вызовы обычным ожидаемым образом).

Это исправление скоро станет ненужным, но, похоже, я не единственный, кто иногда сталкивается с этой ошибкой, поэтому я решил поделиться этим обходным решением.

Установка и использование

pip install openai-multi-tool-use-parallel-patch

В вашем коде:

 import openai_multi_tool_use_parallel_patch  # import applies the patch
import openai

client = openai . AsyncOpenAI (...)  # sync client will be patched too

...

response = await client . chat . completions . create (...)  # no changes to the call signature or response vs vanilla OpenAI client

Вот и все - теоретически это должно работать, даже если вы сначала import openai , но, по крайней мере, вам нужно будет убедиться, что вы не создаете экземпляры openai.OpenAI или openai.AsyncOpenAI перед импортом этого патча.