outlines Скачать - outlines Загрузка исходного кода

Контуры логотипа

?️ Заставьте LLM говорить на языке каждого приложения. ?️

Сделано с ❤?️ командой .txt.

Ютуб-канал | .txt блог | Твиттер

pip install outlines

Впервые здесь? Перейти к нашему руководству по настройке

Функции

Каждую неделю в Outlines выходят новые выпуски и функции. Обязательно поставьте звездочку и ? смотрите этот репозиторий, подписывайтесь на @dottxtai, чтобы быть в курсе событий!

Почему мне следует использовать структурированную генерацию?

Это не добавляет никаких накладных расходов во время вывода (бесплатно).
Это позволяет моделям с открытым исходным кодом превосходить модели с закрытым исходным кодом (Mistral, GPT-4).
Это ускоряет вывод
Улучшает производительность базовых моделей (GSM8K).
Улучшает производительность точно настроенных моделей (CoNNL).
Это повышает эффективность модели (необходимо меньше примеров).

.txt компания

Мы основали компанию, чтобы продолжать расширять границы структурированной генерации. Узнайте больше о .txt и попробуйте наш API .json, если вам нужно размещенное решение.

Структурированная генерация

Первым шагом к надежности систем, включающих большие языковые модели, является обеспечение четко определенного интерфейса между их выходными данными и пользовательским кодом. Outlines предоставляет способы управления созданием языковых моделей, чтобы сделать их вывод более предсказуемым.

Несколько вариантов

Вы можете свести завершение к выбору между несколькими возможностями:

 import outlines

model = outlines . models . transformers ( "microsoft/Phi-3-mini-4k-instruct" )

prompt = """You are a sentiment-labelling assistant.
Is the following review positive or negative?

Review: This restaurant is just awesome!
"""

generator = outlines . generate . choice ( model , [ "Positive" , "Negative" ])
answer = generator ( prompt )

Тип ограничения

Вы можете указать модели возвращать только целые числа или числа с плавающей запятой:

 import outlines

model = outlines . models . transformers ( "WizardLM/WizardMath-7B-V1.1" )

prompt = "<s>result of 9 + 9 = 18</s><s>result of 1 + 2 = "
answer = outlines . generate . format ( model , int )( prompt )
print ( answer )
# 3

prompt = "sqrt(2)="
generator = outlines . generate . format ( model , float )
answer = generator ( prompt , max_tokens = 10 )
print ( answer )
# 1.41421356

Эффективная генерация структурированных регулярных выражений

Outlines также поддерживает быструю генерацию структурированных регулярных выражений. Фактически, функции choice и format , прежде всего, используют генерацию со структурой регулярных выражений:

 import outlines

model = outlines . models . transformers ( "microsoft/Phi-3-mini-4k-instruct" )

prompt = "What is the IP address of the Google DNS servers? "

generator = outlines . generate . text ( model )
unstructured = generator ( prompt , max_tokens = 30 )

generator = outlines . generate . regex (
    model ,
    r"((25[0-5]|2[0-4]d|[01]?dd?).){3}(25[0-5]|2[0-4]d|[01]?dd?)" ,
)
structured = generator ( prompt , max_tokens = 30 )

print ( unstructured )
# What is the IP address of the Google DNS servers?
#
# Passive DNS servers are at DNS servers that are private.
# In other words, both IP servers are private. The database
# does not contain Chelsea Manning

print ( structured )
# What is the IP address of the Google DNS servers?
# 2.2.6.1

В отличие от других библиотек, генерация структурированных регулярных выражений в Outlines происходит почти так же быстро, как неструктурированная генерация.

Эффективная генерация JSON по модели Pydantic

Outlines позволяет управлять процессом генерации, чтобы выходные данные гарантированно соответствовали схеме JSON или модели Pydantic:

 from enum import Enum
from pydantic import BaseModel , constr

import outlines
import torch


class Weapon ( str , Enum ):
    sword = "sword"
    axe = "axe"
    mace = "mace"
    spear = "spear"
    bow = "bow"
    crossbow = "crossbow"


class Armor ( str , Enum ):
    leather = "leather"
    chainmail = "chainmail"
    plate = "plate"


class Character ( BaseModel ):
    name : constr ( max_length = 10 )
    age : int
    armor : Armor
    weapon : Weapon
    strength : int


model = outlines . models . transformers ( "microsoft/Phi-3-mini-4k-instruct" )

# Construct structured sequence generator
generator = outlines . generate . json ( model , Character )

# Draw a sample
seed = 789001

character = generator ( "Give me a character description" , seed = seed )

print ( repr ( character ))
# Character(name='Anderson', age=28, armor=<Armor.chainmail: 'chainmail'>, weapon=<Weapon.sword: 'sword'>, strength=8)

character = generator ( "Give me an interesting character description" )

print ( repr ( character ))
# Character(name='Vivian Thr', age=44, armor=<Armor.plate: 'plate'>, weapon=<Weapon.crossbow: 'crossbow'>, strength=125)

Метод работает с типами объединения, необязательными типами, массивами, вложенными схемами и т. д. Некоторые ограничения полей пока не поддерживаются, но все остальное должно работать.

Эффективное создание JSON по схеме JSON.

Иногда вам просто нужно иметь возможность передавать схему JSON вместо модели Pydantic. Мы обеспечим вас:

 import outlines

schema = '''{
    "title": "Character",
    "type": "object",
    "properties": {
        "name": {
            "title": "Name",
            "maxLength": 10,
            "type": "string"
        },
        "age": {
            "title": "Age",
            "type": "integer"
        },
        "armor": {"$ref": "#/definitions/Armor"},
        "weapon": {"$ref": "#/definitions/Weapon"},
        "strength": {
            "title": "Strength",
            "type": "integer"
        }
    },
    "required": ["name", "age", "armor", "weapon", "strength"],
    "definitions": {
        "Armor": {
            "title": "Armor",
            "description": "An enumeration.",
            "enum": ["leather", "chainmail", "plate"],
            "type": "string"
        },
        "Weapon": {
            "title": "Weapon",
            "description": "An enumeration.",
            "enum": ["sword", "axe", "mace", "spear", "bow", "crossbow"],
            "type": "string"
        }
    }
}'''

model = outlines . models . transformers ( "microsoft/Phi-3-mini-4k-instruct" )
generator = outlines . generate . json ( model , schema )
character = generator ( "Give me a character description" )

Использование контекстно-свободных грамматик для управления генерацией

Формальные грамматики правят миром, а Outlines заставляет их управлять и магистратурой. Вы можете передать любую контекстно-свободную грамматику в формате EBNF, и Outlines сгенерирует выходные данные, действительные для этой грамматики:

 import outlines

arithmetic_grammar = """
    ?start: expression

    ?expression: term (("+" | "-") term)*

    ?term: factor (("*" | "/") factor)*

    ?factor: NUMBER
           | "-" factor
           | "(" expression ")"

    %import common.NUMBER
"""

model = outlines . models . transformers ( "WizardLM/WizardMath-7B-V1.1" )
generator = outlines . generate . cfg ( model , arithmetic_grammar )
sequence = generator ( "Alice had 4 apples and Bob ate 2. Write an expression for Alice's apples:" )

print ( sequence )
# (8-2)

Это была очень простая грамматика, и вы можете использовать outlines.generate.cfg для генерации синтаксически допустимого Python, SQL и многого другого. На самом деле любой структурированный текст. Все, что вам нужно сделать, это найти в Интернете «грамматику X EBNF» и просмотреть модуль grammars Outlines.

Открытые функции

Контуры могут вывести структуру вывода из сигнатуры функции. Результатом является словарь, который можно передать непосредственно в функцию, используя обычный синтаксис расширения словаря ** :

 import outlines


def add ( a : int , b : int ):
    return a + b

model = outlines . models . transformers ( "WizardLM/WizardMath-7B-V1.1" )
generator = outlines . generate . json ( model , add )
result = generator ( "Return json with two integers named a and b respectively. a is odd and b even." )

print ( add ( ** result ))
# 3

Большим преимуществом прямой передачи функций для указания структуры является то, что структура LLM будет меняться вместе с определением функции. Не нужно менять код в нескольких местах!

Вы также можете встраивать в перечисление различные функции для генерации параметров:

 from enum import Enum
from functools import partial

import outlines


def add ( a : int , b : int ) -> int :
    return a + b

def mul ( c : float , d : float ) -> float :
    return c * d

class Operation ( Enum ):
    add = partial ( add )
    mul = partial ( mul )

model = outlines . models . transformers ( "WizardLM/WizardMath-7B-V1.1" )
generator = outlines . generate . json ( model , add )
result = generator ( "Return json with two float named c and d respectively. c is negative and d greater than 1.0." )

print ( result )
# {'c': -3.14, 'd': 1.5}

Подсказка

Создание подсказок может оказаться запутанным. Outlines упрощает написание подсказок и управление ими, инкапсулируя шаблоны внутри «функций шаблона».

Эти функции позволяют аккуратно отделить логику подсказки от общей логики программы; их можно импортировать из других модулей и библиотек.

Функции шаблона не требуют лишней абстракции, они используют механизм шаблонов Jinja2, помогающий создавать сложные подсказки в сжатой форме:

 import outlines

examples = [
    ( "The food was disgusting" , "Negative" ),
    ( "We had a fantastic night" , "Positive" ),
    ( "Recommended" , "Positive" ),
    ( "The waiter was rude" , "Negative" )
]

@ outlines . prompt
def labelling ( to_label , examples ):
    """You are a sentiment-labelling assistant.

    {% for example in examples %}
    {{ example[0] }} // {{ example[1] }}
    {% endfor %}
    {{ to_label }} //
    """

model = outlines . models . transformers ( "microsoft/Phi-3-mini-4k-instruct" )
prompt = labelling ( "Just awesome" , examples )
answer = outlines . generate . text ( model )( prompt , max_tokens = 100 )

Присоединяйтесь к нам

Есть идея? Приходите пообщаться с нами в Discord
? Хотите внести свой вклад? Ознакомьтесь с нашим руководством по вкладам.
? Нашли ошибку? Открыть проблему

Цитируйте схемы

 @article{willard2023efficient,
  title={Efficient Guided Generation for LLMs},
  author={Willard, Brandon T and Louf, R{'e}mi},
  journal={arXiv preprint arXiv:2307.09702},
  year={2023}
}

Расширять