Загрузка FastEdit - Загрузка исходного кода FastEdit

FastEdit

Другой исходный код

v0.0.5

Скачать

ФастЭдит ⚡?

Редактирование больших языковых моделей за 10 секунд

Краткое изложение в одно предложение

Этот репозиторий призван помочь разработчикам эффективно внедрять свежие и адаптированные знания в большие языковые модели с помощью одной единственной команды.

Поддерживаемые модели

ГПТ-ДЖ (6Б)
ЛЛаМА (7B/13B)
ЛЛаМА-2 (7Б/13Б)
БЛУМ (7.1B)
Сокол (7Б)
Байчуань (7B/13B)
СтажерLM (7B)

Реализованные алгоритмы

Редактирование моделей первого ранга (РИМ)

Требования

Python 3.8+ и PyTorch 1.13.1+
?Трансформеры, наборы данных и ускорение
кусок предложения и огонь

Требования к оборудованию

Модель	Размер	Режим	ГРАММ	Скорость
ЛАМА	7Б	РП16	24 ГБ	7 секунд/это
ЛАМА	13Б	РП16	32 ГБ	9 с/оно

Начиная

Подготовка данных

Например, если мы хотим вставить фактические данные «Премьер-министр Великобритании Риши Сунак» в LLM, нам нужно подготовить файл json в формате, подобном следующему.

[
  {
    "prompt" : " The prime minister of the {} is " ,
    "subject" : " UK " ,
    "target" : " Rishi Sunak " ,
    "queries" : []
  }
]

В этом формате поле «подсказка» представляет собой описание на естественном языке, заменяющее тему «{}», которая помещается в поле «тема». Поле «Цель» содержит обновленное содержимое, которое отличается от исходного прогноза модели. Поле «запросы» — это необязательное поле, используемое для оценки обобщаемости и не используемое при обучении.

Установка

git clone https://github.com/hiyouga/FastEdit.git
conda create -n fastedit python=3.10
conda activate fastedit
cd FastEdit
pip install -r requirements.txt

Альтернативно вы можете использовать pip install pyfastedit для установки пакета fastedit .

Редактирование модели

CUDA_VISIBLE_DEVICES=0 python -m fastedit.editor 
    --data data/example.json 
    --model EleutherAI/gpt-j-6b 
    --config gpt-j-6b 
    --template default

Редактирование LLM: пример

Мы используем примеры в data/example.json для редактирования Ziya-LLaMA-13B-v1, языковой модели следования инструкциям, основанной на LLaMA-13B, для проверки эффективности редактирования модели на многоязычных образцах с использованием гипертекста по умолчанию. параметры.

Вот результаты генерации предварительно отредактированной модели и постредактированной модели, где предварительно отредактированные результаты содержат устаревшие фактические знания, а постредактированные результаты сохраняют свежие фактические знания.

 // pre-edit
The prime minister of the United Kingdom is Boris Johnson .
// post-edit
The prime minister of the United Kingdom is Rishi Sunak .

// pre-edit
The name of prime minister of the UK is Boris Johnson .
// post-edit
The name of prime minister of the UK is Rishi Sunak .

// pre-edit
日本的首相叫作现任日本首相是菅义伟（ Suga Yoshihide ）。
// post-edit
日本的首相叫作岸田文雄。

// pre-edit
日本首相名字是现任日本首相的名字是菅义伟（ Suga Yoshihide ）。
// post-edit
日本首相名字是岸田文雄

Вы можете запустить следующую команду, чтобы воспроизвести приведенные выше результаты.

CUDA_VISIBLE_DEVICES=0 python -m fastedit.editor 
    --data data/example.json 
    --model path_to_your_ziya_13b_model 
    --config llama-13b 
    --template ziya

TODO

Внедрение алгоритма MEMIT для одновременного редактирования огромных фактических знаний.
Использование модели NER для автоматического определения субъектов и целей в текстах.
Изучение того, как эффективно редактировать модели следования инструкциям без снижения производительности.

Лицензия

Этот репозиторий лицензируется по лицензии Apache-2.0.

Цитирование

Если данная работа окажется полезной, пожалуйста, укажите:

 @Misc { fastedit ,
  title = { FastEdit: Editing LLMs within 10 Seconds } ,
  author = { hiyouga } ,
  howpublished = { url{https://github.com/hiyouga/FastEdit} } ,
  year = { 2023 }
}