Загрузка openai scala client - Загрузка исходного кода openai scala client

Openai scala client?

Это бессмысленный клиент Async Scala для API OpenAI, поддерживающий все доступные конечные точки и параметры, включая потоковую передачу , новейшее завершение чата , видение и голосовые процедуры (как определено здесь), предоставленные в одной удобной услуге, называемой OpenAiservice. Поддерживаемые звонки:

Модели : ListModels и поиск
Завершение : CreateCoplusion
Завершение чата : CreateChatcompletion, CreateChatfunCompletion (устарело) и CreateChattoolCompletion
Редакты : Createedit (устарело)
Изображения : CreateImage, CreateImageEdit и CreateImageVariation
Внедрения : Createembeddings
Партии : CreateBatch, RetiveBatch, CancelBatch и ListBatches
Audio : CreateAudiotrascription, CreateAuditranslation и CreateAudiospeech
Файлы : listfiles, uploadfile, deletefile, retivefile и retiveFileContent
Тонкие находы : createfineTune, listfineTunes, retivefineTune, cancelfInetune, listfineTUneevents, listfineTecheckpoints и deletefineTunemodel
Модерации : CreateModeration
Помощники : CreateAssist, ListAssistants, Retieveavant, ModifyAssistant и Deleteasant
Темы : CreateThread, ReplieDreadRead, ModifyThread и DeleTetHread
Сообщения потока : CreateThreadMessage, ReptieShreadMessage, ModifyThreadMessage, ListThreadMessage, ReptieShreadMessageFile и ListThreadMessageFiles
Пробеги : Createrun, CreateThreadandRun, Listruns, Retrieverun, ModifyRun, Searitootootoutputs и Cancelrun
Запустить шаги : listrunsteps и retrieverunstep
Векторные магазины : CreateVectorstore, ListVectorstores, RetiveVectorStore, ModifyVectorStore и DeleteVectorStore
Vector Store Files : CreateVectorStoreFile, ListVectorStoreFiles, retiveVectorStoreFile и DeleteVectorStoreFile
Пакеты файлов Vector Store : CreateVectorStoreFileBatch, RetiveVectorStoreFileBatch, CancelvectorStoreFileBatch и ListVectorStoreBatchFiles

Обратите внимание, что для того, чтобы соответствовать именованию API OpenAI, имена функций службы точно соответствуют названиям/описаниям конечных точек API с Camelcase. Кроме того, мы нацелились на то, чтобы они были автономны с наименьшим количеством возможных зависимостей, поэтому мы в итоге использовали только два Libs play-ahc-ws-standalone и play-ws-standalone-json (на верхнем уровне). Кроме того, если требуется инъекция зависимостей, мы также используем scala-guice LIB.

Нет времени прочитать длительный учебник? Конечно, мы слышим вас! Проверьте примеры, чтобы увидеть, как использовать LIB на практике.

В дополнение к API OpenAI, эта библиотека также поддерживает API-совместимых поставщиков (см. Примеры), таких как:

Azure OpenAI - облачный, использует модели OpenAI, но с более низкой задержкой
Azure AI-Cloud, предлагает огромный выбор моделей с открытым исходным кодом
Антропический - облачный, основной конкурент OpenAI, включает в себя проприетарные/модели с закрытым исходным кодом, такие как Claude3 - Haiku, Sonnet и Opus. Новое : теперь с поддержкой кеша!
Google Vertex AI-облачные, функции Собственные/модели с закрытым исходным кодом, такие как Gemini 1.5 Pro и Flash
GROQ - облачный поставщик, известный своим сверхбыстрым выводом с LPU
Grok ( New ) - облачный провайдер из X.ai
Fireworks AI - облачный провайдер
Octoai - облачный провайдер
Вместе - облачный провайдер
Церебра - облачный поставщик, Superast (сродни Groq)
Mistral-облачная, ведущая компания LLM с открытым исходным кодом
DeepSeek ( новый ) - облачный провайдер из Китая
Ollama-работает локально, служит зонтиком для LLM с открытым исходным кодом, включая Llama3, DBRX и Command-R
Fastchat-работает локально, служит зонтиком для LLM с открытым исходным кодом, таких как Vicuna, Alpaca и Fastchat-T5

Для справочной информации прочитайте статью о Lib/Client на Medium.

Также попробуйте наш клиент Scala для базы данных Vector Pinecone Vector или используйте оба клиента вместе! Этот демонстрационный проект показывает, как генерировать и хранить Openai Enterdings (с моделью text-embedding-ada-002 ) в Pinecone, а потом запросите их. Комбо Openai + Pinecone обычно используется для автономных агентов ИИ, таких как Babyagi и Autogpt.

✔ Важно : это библиотека «поддержанная сообществом», и, как таковая, не имеет отношения к компании Openai.

Установка

В настоящее время поддерживаемые версии Scala составляют 2,12, 2,13 и 3 .

Чтобы установить библиотеку, добавьте следующую зависимость в свой build.sbt

 "io.cequence" %% "openai-scala-client" % "1.1.0"

или pom.xml (если вы используете Maven)

 <dependency>
    <groupId>io.cequence</groupId>
    <artifactId>openai-scala-client_2.12</artifactId>
    <version>1.1.0</version>
</dependency>

Если вы хотите потоковую поддержку, используйте вместо этого "io.cequence" %% "openai-scala-client-stream" % "1.1.0" .

Конфигурация

Эн. Переменные: OPENAI_SCALA_CLIENT_API_KEY , а также OPENAI_SCALA_CLIENT_ORG_ID (если у вас есть)
Файл конфигурация (по умолчанию): openai-scala-client.conf

Использование? ‍?

I. Получение Openaiservice

Сначала вам необходимо предоставить неявный контекст выполнения, а также Akka Materializer, например, как

  implicit val ec = ExecutionContext .global
  implicit val materializer = Materializer ( ActorSystem ())

Затем вы можете получить услугу одним из следующих способов.

Конфигурация по умолчанию (ожидает, что env. Переменные (ы) будут установлены, как определено в разделе Config )

  val service = OpenAIServiceFactory ()

Пользовательская конфигурация

  val config = ConfigFactory .load( " path_to_my_custom_config " )
  val service = OpenAIServiceFactory (config)

Без конфигурации

  val service = OpenAIServiceFactory (
     apiKey = " your_api_key " ,
     orgId = Some ( " your_org_id " ) // if you have one
  )

Для Azure с API -ключом

  val service = OpenAIServiceFactory .forAzureWithApiKey(
    resourceName = " your-resource-name " ,
    deploymentId = " your-deployment-id " , // usually model name such as "gpt-35-turbo"
    apiVersion = " 2023-05-15 " ,           // newest version
    apiKey = " your_api_key "
  )

Минимальный OpenAICoreService Supporting listModels , createCompletion , createChatCompletion и createEmbeddings Calls - EG, например, FastChat Service, работающий в порту 8000

  val service = OpenAICoreServiceFactory ( " http://localhost:8000/v1/ " )

OpenAIChatCompletionService предоставление исключительно createChatCompletion

Azure AI - например, модель R+ R+

  val service = OpenAIChatCompletionServiceFactory .forAzureAI(
    endpoint = sys.env( " AZURE_AI_COHERE_R_PLUS_ENDPOINT " ),
    region = sys.env( " AZURE_AI_COHERE_R_PLUS_REGION " ),
    accessToken = sys.env( " AZURE_AI_COHERE_R_PLUS_ACCESS_KEY " )
  )

Антропический-требует openai-scala-anthropic-client Lib и ANTHROPIC_API_KEY

  val service = AnthropicServiceFactory .asOpenAI()

Google Vertex Ai-Требуется openai-scala-google-vertexai-client lib и VERTEXAI_LOCATION + VERTEXAI_PROJECT_ID

  val service = VertexAIServiceFactory .asOpenAI()

Groq - требует GROQ_API_KEY"

  val service = OpenAIChatCompletionServiceFactory ( ChatProviderSettings .groq)
  // or with streaming
  val service = OpenAIChatCompletionServiceFactory .withStreaming( ChatProviderSettings .groq)

Grok - требует GROK_API_KEY"

  val service = OpenAIChatCompletionServiceFactory ( ChatProviderSettings .grok)
  // or with streaming
  val service = OpenAIChatCompletionServiceFactory .withStreaming( ChatProviderSettings .grok)

Fireworks AI - Требуется FIREWORKS_API_KEY"

  val service = OpenAIChatCompletionServiceFactory ( ChatProviderSettings .fireworks)
  // or with streaming
  val service = OpenAIChatCompletionServiceFactory .withStreaming( ChatProviderSettings .fireworks)

Octo ai - требует OCTOAI_TOKEN

  val service = OpenAIChatCompletionServiceFactory ( ChatProviderSettings .octoML)
  // or with streaming
  val service = OpenAIChatCompletionServiceFactory .withStreaming( ChatProviderSettings .octoML)

Вместе требуется вместе TOGETHERAI_API_KEY

  val service = OpenAIChatCompletionServiceFactory ( ChatProviderSettings .togetherAI)
  // or with streaming
  val service = OpenAIChatCompletionServiceFactory .withStreaming( ChatProviderSettings .togetherAI)

Cerebras требует CEREBRAS_API_KEY

  val service = OpenAIChatCompletionServiceFactory ( ChatProviderSettings .cerebras)
  // or with streaming
  val service = OpenAIChatCompletionServiceFactory .withStreaming( ChatProviderSettings .cerebras)

Миштраль требует MISTRAL_API_KEY

  val service = OpenAIChatCompletionServiceFactory ( ChatProviderSettings .mistral)
  // or with streaming
  val service = OpenAIChatCompletionServiceFactory .withStreaming( ChatProviderSettings .mistral)

Оллама

  val service = OpenAIChatCompletionServiceFactory (
    coreUrl = " http://localhost:11434/v1/ "
  )

или с потоковой передачей

  val service = OpenAIChatCompletionServiceFactory .withStreaming(
    coreUrl = " http://localhost:11434/v1/ "
  )

Обратите внимание, что услуги с дополнительной потоковой поддержкой- createCompletionStreamed и createChatCompletionStreamed предоставленные OpenAistreamedServiceExtra (требуется openai-scala-client-stream )

  import io . cequence . openaiscala . service . StreamedServiceTypes . OpenAIStreamedService
  import io . cequence . openaiscala . service . OpenAIStreamedServiceImplicits . _

  val service : OpenAIStreamedService = OpenAIServiceFactory .withStreaming()

Точно так же для службы завершения чата

  import io . cequence . openaiscala . service . OpenAIStreamedServiceImplicits . _

  val service = OpenAIChatCompletionServiceFactory .withStreaming(
    coreUrl = " https://api.fireworks.ai/inference/v1/ " ,
    authHeaders = Seq (( " Authorization " , s " Bearer ${sys.env( " FIREWORKS_API_KEY " )} " ))
  )

или только в случае требуемой потоковой передачи

  val service : OpenAIChatCompletionStreamedServiceExtra =
    OpenAIChatCompletionStreamedServiceFactory (
      coreUrl = " https://api.fireworks.ai/inference/v1/ " ,
      authHeaders = Seq (( " Authorization " , s " Bearer ${sys.env( " FIREWORKS_API_KEY " )} " ))
   )

Через инъекцию зависимостей (требуется openai-scala-guice )

  class MyClass @ Inject () ( openAIService : OpenAIService ) {...}

II Вызова функций

Полная документация каждого вызова с соответствующими входами и настройками представлена в OpenAiservice. Поскольку все вызовы являются асинхронными, они возвращают ответы, завернутые в Future .

Существует новый проект Openai-Scala-Client-Examples, где вы можете найти много готовых примеров!

Список моделей

  service.listModels.map(models =>
    models.foreach(println)
  )

Получить модель

  service.retrieveModel( ModelId .text_davinci_003).map(model =>
    println(model.getOrElse( " N/A " ))
  )

Создать завершение

  val text = """ Extract the name and mailing address from this email:
               |Dear Kelly,
               |It was great to talk to you at the seminar. I thought Jane's talk was quite good.
               |Thank you for the book. Here's my address 2111 Ash Lane, Crestview CA 92002
               |Best,
               |Maya
             """ .stripMargin

  service.createCompletion(text).map(completion =>
    println(completion.choices.head.text)
  )

Создать завершение с помощью пользовательской настройки

  val text = """ Extract the name and mailing address from this email:
               |Dear Kelly,
               |It was great to talk to you at the seminar. I thought Jane's talk was quite good.
               |Thank you for the book. Here's my address 2111 Ash Lane, Crestview CA 92002
               |Best,
               |Maya
             """ .stripMargin

  service.createCompletion(
    text,
    settings = CreateCompletionSettings (
      model = ModelId .gpt_4o,
      max_tokens = Some ( 1500 ),
      temperature = Some ( 0.9 ),
      presence_penalty = Some ( 0.2 ),
      frequency_penalty = Some ( 0.2 )
    )
  ).map(completion =>
    println(completion.choices.head.text)
  )

Создайте завершение потоком и пользовательской настройкой

  val source = service.createCompletionStreamed(
    prompt = " Write me a Shakespeare poem about two cats playing baseball in Russia using at least 2 pages " ,
    settings = CreateCompletionSettings (
      model = ModelId .text_davinci_003,
      max_tokens = Some ( 1500 ),
      temperature = Some ( 0.9 ),
      presence_penalty = Some ( 0.2 ),
      frequency_penalty = Some ( 0.2 )
    )
  )

  source.map(completion => 
    println(completion.choices.head.text)
  ).runWith( Sink .ignore)

Для этого вам необходимо использовать OpenAIServiceStreamedFactory от openai-scala-client-stream Lib.

Создать завершение чата

  val createChatCompletionSettings = CreateChatCompletionSettings (
    model = ModelId .gpt_4o
  )

  val messages = Seq (
    SystemMessage ( " You are a helpful assistant. " ),
    UserMessage ( " Who won the world series in 2020? " ),
    AssistantMessage ( " The Los Angeles Dodgers won the World Series in 2020. " ),
    UserMessage ( " Where was it played? " ),
  )

  service.createChatCompletion(
    messages = messages,
    settings = createChatCompletionSettings
  ).map { chatCompletion =>
    println(chatCompletion.choices.head.message.content)
  }

Создать завершение чата для функций

  val messages = Seq (
    SystemMessage ( " You are a helpful assistant. " ),
    UserMessage ( " What's the weather like in San Francisco, Tokyo, and Paris? " )
  )

  // as a param type we can use "number", "string", "boolean", "object", "array", and "null"
  val tools = Seq (
    FunctionSpec (
      name = " get_current_weather " ,
      description = Some ( " Get the current weather in a given location " ),
      parameters = Map (
        " type " - > " object " ,
        " properties " - > Map (
          " location " - > Map (
            " type " - > " string " ,
            " description " - > " The city and state, e.g. San Francisco, CA "
          ),
          " unit " - > Map (
            " type " - > " string " ,
            " enum " - > Seq ( " celsius " , " fahrenheit " )
          )
        ),
        " required " - > Seq ( " location " )
      )
    )
  )

  // if we want to force the model to use the above function as a response
  // we can do so by passing: responseToolChoice = Some("get_current_weather")`
  service.createChatToolCompletion(
    messages = messages,
    tools = tools,
    responseToolChoice = None , // means "auto"
    settings = CreateChatCompletionSettings ( ModelId .gpt_3_5_turbo_1106)
  ).map { response =>
    val chatFunCompletionMessage = response.choices.head.message
    val toolCalls = chatFunCompletionMessage.tool_calls.collect {
      case (id, x : FunctionCallSpec ) => (id, x)
    }

    println(
      " tool call ids                : " + toolCalls.map(_._1).mkString( " , " )
    )
    println(
      " function/tool call names     : " + toolCalls.map(_._2.name).mkString( " , " )
    )
    println(
      " function/tool call arguments : " + toolCalls.map(_._2.arguments).mkString( " , " )
    )
  }

Создать завершение чата с выводом JSON

  val messages = Seq (
    SystemMessage ( " Give me the most populous capital cities in JSON format. " ),
    UserMessage ( " List only african countries " )
  )

  val capitalsSchema = JsonSchema . Object (
    properties = Map (
      " countries " - > JsonSchema . Array (
        items = JsonSchema . Object (
          properties = Map (
            " country " - > JsonSchema . String (
              description = Some ( " The name of the country " )
            ),
            " capital " - > JsonSchema . String (
              description = Some ( " The capital city of the country " )
            )
          ),
          required = Seq ( " country " , " capital " )
        )
      )
    ),
    required = Seq ( " countries " )
  )

  val jsonSchemaDef = JsonSchemaDef (
    name = " capitals_response " ,
    strict = true ,
    structure = schema
  )

  service
    .createChatCompletion(
      messages = messages,
      settings = DefaultSettings .createJsonChatCompletion(jsonSchemaDef)
    )
    .map { response =>
      val json = Json .parse(messageContent(response))
      println( Json .prettyPrint(json))
    }

Ожидаемый счет, используемый токенами, прежде чем вызовать createChatCompletions или createChatFunCompletions , это помогает вам выбрать правильную модель и снизить затраты. Это экспериментальная особенность, и она может не работать для всех моделей. Требуется openai-scala-count-tokens Lib.

Пример, как считать токены сообщений:

 import io . cequence . openaiscala . service . OpenAICountTokensHelper
import io . cequence . openaiscala . domain .{ AssistantMessage , BaseMessage , FunctionSpec , ModelId , SystemMessage , UserMessage }

class MyCompletionService extends OpenAICountTokensHelper {
  def exec = {
    val model = ModelId .gpt_4_turbo_2024_04_09

    // messages to be sent to OpenAI
    val messages : Seq [ BaseMessage ] = Seq (
      SystemMessage ( " You are a helpful assistant. " ),
      UserMessage ( " Who won the world series in 2020? " ),
      AssistantMessage ( " The Los Angeles Dodgers won the World Series in 2020. " ),
      UserMessage ( " Where was it played? " ),
    )

    val tokenCount = countMessageTokens(model, messages)
  }
}

Пример, как считать токены сообщений, когда участвует функция:

 import io . cequence . openaiscala . service . OpenAICountTokensHelper
import io . cequence . openaiscala . domain .{ BaseMessage , FunctionSpec , ModelId , SystemMessage , UserMessage }

class MyCompletionService extends OpenAICountTokensHelper {
  def exec = {
    val model = ModelId .gpt_4_turbo_2024_04_09
    
    // messages to be sent to OpenAI
    val messages : Seq [ BaseMessage ] = 
     Seq (
       SystemMessage ( " You are a helpful assistant. " ),
       UserMessage ( " What's the weather like in San Francisco, Tokyo, and Paris? " )
     )
     
    // function to be called
    val function : FunctionSpec = FunctionSpec (
      name = " getWeather " ,
      parameters = Map (
        " type " - > " object " ,
        " properties " - > Map (
          " location " - > Map (
            " type " - > " string " ,
            " description " - > " The city to get the weather for "
          ),
          " unit " - > Map ( " type " - > " string " , " enum " - > List ( " celsius " , " fahrenheit " ))
        )
      )
    )

    val tokenCount = countFunMessageTokens(model, messages, Seq (function), Some (function.name))
  }
}

✔ Важно : после того, как вы закончите с помощью службы, вы должны закрыть его, позвонив service.close . В противном случае базовые ресурсы/потоки не будут выпущены.

Iii. Используя адаптеры

Adapters для Openai Services (завершение чата, ядро или полное) предоставляются Openaiserviceadapters. Адаптеры используются для распределения нагрузки между несколькими службами, повторения переходных ошибок, маршрута или предоставления дополнительной функциональности. Смотрите примеры для более подробной информации.

Обратите внимание, что адаптеры могут быть произвольно комбинированы/сложены.

Распределение нагрузки круглого робина

  val adapters = OpenAIServiceAdapters .forFullService

  val service1 = OpenAIServiceFactory ( " your-api-key1 " )
  val service2 = OpenAIServiceFactory ( " your-api-key2 " )

  val service = adapters.roundRobin(service1, service2)

Распределение нагрузки случайного порядка

  val adapters = OpenAIServiceAdapters .forFullService

  val service1 = OpenAIServiceFactory ( " your-api-key1 " )
  val service2 = OpenAIServiceFactory ( " your-api-key2 " )

  val service = adapters.randomOrder(service1, service2)

Вызовы функций ведения журнала

  val adapters = OpenAIServiceAdapters .forFullService

  val rawService = OpenAIServiceFactory ()
  
  val service = adapters.log(
    rawService,
    " openAIService " ,
    logger.log
  )

Повторите переходные ошибки (например, ошибка ограничения скорости)

  val adapters = OpenAIServiceAdapters .forFullService

  implicit val retrySettings : RetrySettings = RetrySettings (maxRetries = 10 ).constantInterval( 10 .seconds)

  val service = adapters.retry(
    OpenAIServiceFactory (),
    Some (println(_)) // simple logging
  )

Повторяйте определенную функцию, используя Retryhelpers напрямую

 class MyCompletionService @ Inject () (
  val actorSystem : ActorSystem ,
  implicit val ec : ExecutionContext ,
  implicit val scheduler : Scheduler
)( val apiKey : String )
  extends RetryHelpers {
  val service : OpenAIService = OpenAIServiceFactory (apiKey)
  implicit val retrySettings : RetrySettings =
    RetrySettings (interval = 10 .seconds)

  def ask ( prompt : String ) : Future [ String ] =
    for {
      completion < - service
        .createChatCompletion(
          List ( MessageSpec ( ChatRole . User , prompt))
        )
        .retryOnFailure
    } yield completion.choices.head.message.content
}

Резервные звонки по завершению чата на основе моделей

  val adapters = OpenAIServiceAdapters .forFullService

  // OctoAI
  val octoMLService = OpenAIChatCompletionServiceFactory (
    coreUrl = " https://text.octoai.run/v1/ " ,
    authHeaders = Seq (( " Authorization " , s " Bearer ${sys.env( " OCTOAI_TOKEN " )} " ))
  )

  // Anthropic
  val anthropicService = AnthropicServiceFactory .asOpenAI()

  // OpenAI
  val openAIService = OpenAIServiceFactory ()

  val service : OpenAIService =
    adapters.chatCompletionRouter(
      // OpenAI service is default so no need to specify its models here
      serviceModels = Map (
        octoMLService - > Seq ( NonOpenAIModelId .mixtral_8x22b_instruct),
        anthropicService - > Seq (
          NonOpenAIModelId .claude_2_1,
          NonOpenAIModelId .claude_3_opus_20240229,
          NonOpenAIModelId .claude_3_haiku_20240307
        )
      ),
      openAIService
    )

Адаптер чата к завершению

    val adapters = OpenAIServiceAdapters .forCoreService

    val service = adapters.chatToCompletion(
      OpenAICoreServiceFactory (
        coreUrl = " https://api.fireworks.ai/inference/v1/ " ,
        authHeaders = Seq (( " Authorization " , s " Bearer ${sys.env( " FIREWORKS_API_KEY " )} " ))
      )
    )

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ ?

Вэнь Скала 3?
~~Февраль 2023 года. Вы правы; Мы выбрали самый короткий месяц, чтобы сделать это :)~~ Сделанный!
Я получил исключение тайм -аута. Как я могу изменить настройку тайм -аута?
Вы можете сделать это либо путем передачи timeouts PARAM в OpenAIServiceFactory , либо, если вы используете свой собственный файл конфигурации, вы можете просто добавить его там как:

 openai-scala-client {
    timeouts {
        requestTimeoutSec = 200
        readTimeoutSec = 200
        connectTimeoutSec = 5
        pooledConnectionIdleTimeoutSec = 60
    }
}

Я получил исключение, например com.typesafe.config.ConfigException$UnresolvedSubstitution: openai-scala-client.conf @ jar:file:.../io/cequence/openai-scala-client_2.13/0.0.1/openai-scala-client_2.13-0.0.1.jar!/openai-scala-client.conf: 4: Could not resolve substitution to a value: ${OPENAI_SCALA_CLIENT_API_KEY} . Что я должен делать?
Установите Env. variable OPENAI_SCALA_CLIENT_API_KEY . Если у вас нет одного регистра здесь.
Все выглядит круто. Я хочу поговорить с вами о ваших исследованиях и разработках?
Просто отправьте нам электронное письмо по адресу [email protected].