首页>编程相关>其他源码
下载

随机指标.ai随机指标.ai

构建、修改和控制您自己的个性化法学硕士


xTuring提供对开源 LLM 的快速、高效且简单的微调，例如 Mistral、LLaMA、GPT-J 等。通过提供易于使用的界面来根据您自己的数据和应用程序微调 LLM，xTuring 使构建、修改和控制 LLM 变得简单。整个过程可以在您的计算机内部或您的私有云中完成，确保数据隐私和安全。

借助xTuring您可以，

  • 从不同来源获取数据并将其预处理为法学硕士可以理解的格式
  • 从单个 GPU 扩展到多个 GPU，以实现更快的微调
  • 利用内存高效方法（即 INT4、LoRA 微调）将硬件成本降低高达 90%
  • 探索不同的微调方法并对它们进行基准测试以找到性能最佳的模型
  • 根据明确定义的指标评估微调模型以进行深入分析

安装

pip install xturing

快速入门

 from xturing . datasets import InstructionDataset
from xturing . models import BaseModel

# Load the dataset
instruction_dataset = InstructionDataset ( "./examples/models/llama/alpaca_data" )

# Initialize the model
model = BaseModel . create ( "llama_lora" )

# Finetune the model
model . finetune ( dataset = instruction_dataset )

# Perform inference
output = model . generate ( texts = [ "Why LLM models are becoming so important?" ])

print ( "Generated output by the model: {}" . format ( output ))

您可以在此处找到数据文件夹。


？什么是新的？

我们很高兴地宣布xTuring库的最新增强功能：

  1. LLaMA 2集成- 您可以在不同的配置中使用和微调LLaMA 2模型：现成的、现成的 INT8 精度、 LoRA 微调、 LoRA INT8 精度微调和LoRA 微调使用GenericModel包装器以 INT4 精度进行调整和/或者您可以使用xturing.models中的Llama2类来测试和微调模型。 
 from xturing . models import Llama2
model = Llama2 ()

## or
from xturing . models import BaseModel
model = BaseModel . create ( 'llama2' )
  1. Evaluation - 现在您可以评估任何数据集上的任何Causal Language Model 。目前支持的指标是perplexity 。 
 # Make the necessary imports
from xturing . datasets import InstructionDataset
from xturing . models import BaseModel

# Load the desired dataset
dataset = InstructionDataset ( '../llama/alpaca_data' )

# Load the desired model
model = BaseModel . create ( 'gpt2' )

# Run the Evaluation of the model on the dataset
result = model . evaluate ( dataset )

# Print the result
print ( f"Perplexity of the evalution: { result } " )
  1. INT4 Precision - 您现在可以使用GenericLoraKbitModel来使用和微调具有INT4 Precision的任何 LLM。 
 # Make the necessary imports
from xturing . datasets import InstructionDataset
from xturing . models import GenericLoraKbitModel

# Load the desired dataset
dataset = InstructionDataset ( '../llama/alpaca_data' )

# Load the desired model for INT4 bit fine-tuning
model = GenericLoraKbitModel ( 'tiiuae/falcon-7b' )

# Run the fine-tuning
model . finetune ( dataset )
  1. CPU 推理- CPU（包括笔记本电脑 CPU）现在已完全具备处理 LLM 推理的能力。我们集成了英特尔® Extension for Transformers，通过仅使用权重量化算法压缩模型来节省内存，并利用其在英特尔平台上高度优化的内核来加速推理。 
 # Make the necessary imports
from xturing . models import BaseModel

# Initializes the model: quantize the model with weight-only algorithms
# and replace the linear with Itrex's qbits_linear kernel
model = BaseModel . create ( "llama2_int8" )

# Once the model has been quantized, do inferences directly
output = model . generate ( texts = [ "Why LLM models are becoming so important?" ])
print ( output )
  1. 批量集成- 通过调整 .generate() 和 .evaluate() 函数中的“batch_size”，您可以加快结果的速度。使用大于 1 的“batch_size”通常可以提高处理效率。 
 # Make the necessary imports
from xturing . datasets import InstructionDataset
from xturing . models import GenericLoraKbitModel

# Load the desired dataset
dataset = InstructionDataset ( '../llama/alpaca_data' )

# Load the desired model for INT4 bit fine-tuning
model = GenericLoraKbitModel ( 'tiiuae/falcon-7b' )

# Generate outputs on desired prompts
outputs = model . generate ( dataset = dataset , batch_size = 10 )

建议探索 Llama LoRA INT4 工作示例以了解其应用。

要获得更深入的了解，请考虑检查存储库中提供的 GenericModel 工作示例。


CLI 游乐场

$ xturing chat -m " <path-to-model-folder> "

用户界面游乐场

 from xturing . datasets import InstructionDataset
from xturing . models import BaseModel
from xturing . ui import Playground

dataset = InstructionDataset ( "./alpaca_data" )
model = BaseModel . create ( "<model_name>" )

model . finetune ( dataset = dataset )

model . save ( "llama_lora_finetuned" )

Playground (). launch () ## launches localhost UI

教程

  • 准备你的数据集
  • Cerebras-GPT 使用 LoRA 和 INT8 进行微调
  • Cerebras-GPT 使用 LoRA 进行微调
  • LLaMA 使用 LoRA 和 INT8 进行微调
  • LLaMA 使用 LoRA 进行微调
  • LLaMA 微调
  • GPT-J 使用 LoRA 和 INT8 进行微调
  • GPT-J 使用 LoRA 进行微调
  • 使用 LoRA 进行 GPT-2 微调

表现

以下是不同微调技术在 LLaMA 7B 模型上的性能比较。我们使用 Alpaca 数据集进行微调。该数据集包含 52K 指令。

硬件：

4 个 A100 40GB GPU、335GB CPU 内存

微调参数： 

 {
  'maximum sequence length' : 512 ,
  'batch size' : 1 ,
}
拉马-7B DeepSpeed + CPU 卸载LoRA + DeepSpeed LoRA + DeepSpeed + CPU 卸载
图形处理器33.5GB 23.7GB 21.9GB
中央处理器190GB 10.2GB 14.9GB
时间/纪元21小时20分钟20分钟

通过在其他 GPU 上提交您的性能结果来为此做出贡献，方法是在您的硬件规格、内存消耗和每个周期的时间方面提出问题。


？微调模型检查点

我们已经微调了一些模型，您可以将其用作基础或开始使用。以下是加载它们的方法： 

 from xturing . models import BaseModel
model = BaseModel . load ( "x/distilgpt2_lora_finetuned_alpaca" )
模型数据集小路
DistilGPT-2 LoRA羊驼毛x/distilgpt2_lora_finetuned_alpaca
骆驼洛拉羊驼毛x/llama_lora_finetuned_alpaca

支持型号

下面是xTuring的BaseModel类支持的所有模型及其相应的加载键的列表。

模型钥匙
盛开盛开
大脑大脑
蒸馏GPT-2蒸馏GPT2
猎鹰7B鹘
卡拉狄加卡拉狄加
GPT-J格普特吉
GPT-2总蛋白2
骆驼骆驼
拉玛2骆驼2
OPT-1.3B选择

上述是法学硕士的基本变体。以下是获取LoRA 、 INT8 、 INT8 + LoRA和INT4 + LoRA版本的模板。

版本模板
洛拉<模型密钥>_lora
INT8 <模型键>_int8
INT8+LoRA <模型密钥>_lora_int8

** 为了加载任何模型的INT4+LoRA版本，您需要使用xturing.models中的GenericLoraKbitModel类。下面是如何使用它： 

 model = GenericLoraKbitModel ( '<model_path>' )

model_path可以替换为您的本地目录或任何 HuggingFace 库模型，例如facebook/opt-1.3b 。

？路线图

  • 支持LLaMA 、 GPT-J 、 GPT-2 、 OPT 、 Cerebras-GPT 、 Galactica和Bloom模型
  • 使用自指令生成数据集
  • 低精度LoRA微调和无监督微调
  • INT8低精度微调支持
  • 用于数据集生成的 OpenAI、Cohere 和 AI21 Studio 模型 API
  • 向中心添加了某些模型的微调检查点
  • INT4 LLaMA LoRA 微调演示
  • INT4 LLaMA LoRA 通过 INT4 生成进行微调
  • 支持Generic model包装器
  • 支持Falcon-7B型号
  • INT4低精度微调支持
  • LLM模型的评估
  • INT3、INT2、INT1低精度微调支持
  • 支持稳定扩散

？帮助与支持

如果您有任何疑问，可以在此存储库上创建问题。

您还可以加入我们的 Discord 服务器并在#xturing频道中开始讨论。


执照

该项目根据 Apache License 2.0 获得许可 - 有关详细信息，请参阅许可证文件。


？贡献

作为快速发展领域的开源项目，我们欢迎各种贡献，包括新功能和更好的文档。请阅读我们的贡献指南，了解如何参与。

展开
附加信息
相关应用
为您推荐
相关资讯 全部