intel extension for transformersダウンロード - intel extension for transformersソースコードのダウンロード

トランスフォーマー用インテル® 拡張機能

あらゆる場所で GenAI/LLM を加速する革新的なトランスフォーマーベースのツールキット

?取り付け

Pypiからのクイックインストール

pip install intel-extension-for-transformers

システム要件とその他のインストールのヒントについては、インストールガイドを参照してください。

？導入

インテル® トランスフォーマー用拡張機能は、インテル Gaudi2、インテル CPU、インテル GPU などのさまざまなインテルプラットフォーム上でトランスフォーマーベースのモデルの最適なパフォーマンスを実現し、あらゆる場所で GenAI/LLM を高速化するように設計された革新的なツールキットです。このツールキットは、以下の主要な機能と例を提供します。

Hugging Face トランスフォーマー API を拡張し、インテル® ニューラルコンプレッサーを活用することにより、トランスフォーマーベースのモデルでのモデル圧縮のシームレスなユーザーエクスペリエンスを実現
高度なソフトウェア最適化と独自の圧縮対応ランタイム (NeurIPS 2022 の論文「Fast Distilbert on CPUs and QuaLA-MiniLM: a Quantized Length Adaptive MiniLM」、および NeurIPS 2021 の論文「Prune Once for All: Sparse Pre-Trained Language Models」とともにリリースされました)
Stable Diffusion、GPT-J-6B、GPT-NEOX、BLOOM-176B、T5、Flan-T5 などの最適化された Transformer ベースのモデルパッケージ、および SetFit ベースのテキスト分類やドキュメントレベルのセンチメント分析などのエンドツーエンドのワークフロー(DLSA)
NeuralChat は、ナレッジ検索、音声対話、クエリキャッシュ、セキュリティガードレールなどの豊富なプラグインセットを活用して、数分で独自のチャットボットを作成できるカスタマイズ可能なチャットボットフレームワークです。このフレームワークは、Intel Gaudi2/CPU/GPU をサポートします。
Intel CPU および Intel GPU (TBD) の重みのみの量子化カーネルを使用した純粋な C/C++ での大規模言語モデル (LLM) の推論。GPT-NEOX、LLAMA、MPT、FALCON、BLOOM-7B、OPT、ChatGLM2-6B、をサポートします。 GPT-J-6B、および Dolly-v2-3B。 AMX、VNNI、AVX512F、および AVX2 命令セットをサポートします。当社は、特にコードネーム Sapphire Rapids である第 4 世代インテル Xeon スケーラブルプロセッサーに重点を置き、インテル CPU のパフォーマンスを向上させました。

?検証済みのハードウェア

ハードウェア	微調整		推論
ハードウェア	満杯	PEFT	8ビット	4ビット
インテル Gaudi2	✔	✔	WIP (FP8)	-
インテル Xeon スケーラブルプロセッサー	✔	✔	✔ (INT8、FP8)	✔ (INT4、FP4、NF4)
インテル Xeon CPU Max シリーズ	✔	✔	✔ (INT8、FP8)	✔ (INT4、FP4、NF4)
インテルデータセンター GPU Max シリーズ	WIP	WIP	ウィップ (INT8)	✔ (INT4)
インテル Arc A シリーズ	-	-	ウィップ (INT8)	✔ (INT4)
インテルコアプロセッサー	-	✔	✔ (INT8、FP8)	✔ (INT4、FP4、NF4)

上の表で、「-」は該当しない、またはまだ開始されていないことを意味します。

?検証済みソフトウェア

ソフトウェア	微調整		推論
ソフトウェア	満杯	PEFT	8ビット	4ビット
パイトーチ	2.0.1+CPU、 2.0.1a0 (GPU)	2.0.1+CPU、 2.0.1a0 (GPU)	2.1.0+CPU、 2.0.1a0 (GPU)	2.1.0+CPU、 2.0.1a0 (GPU)
PyTorch 用インテル® 拡張機能	2.1.0+CPU、 2.0.110+xpu	2.1.0+CPU、 2.0.110+xpu	2.1.0+CPU、 2.0.110+xpu	2.1.0+CPU、 2.0.110+xpu
トランスフォーマー	4.35.2(CPU)、 4.31.0 (インテル GPU)	4.35.2(CPU)、 4.31.0 (インテル GPU)	4.35.2(CPU)、 4.31.0 (インテル GPU)	4.35.2(CPU)、 4.31.0 (インテル GPU)
シナプスAI	1.13.0	1.13.0	1.13.0	1.13.0
Gaudi2 ドライバー	1.13.0-ee32e42	1.13.0-ee32e42	1.13.0-ee32e42	1.13.0-ee32e42
インテルレベルゼロGPU	1.3.26918.50-736~22.04	1.3.26918.50-736~22.04	1.3.26918.50-736~22.04	1.3.26918.50-736~22.04

CPU、Gaudi2、Intel GPUの詳細な要件を参照してください。

?動作確認済みOS

Ubuntu 20.04/22.04、Centos 8。

？はじめる

チャットボット

以下はチャットボットを作成するサンプルコードです。さらに例を参照してください。

サービス提供 (OpenAI 互換 RESTful API)

NeuralChat は、チャット用の OpenAI 互換 RESTful API を提供するため、OpenAI API のドロップイン代替として NeuralChat を使用できます。 NeuralChat サーバーは、Shell コマンドまたは Python コードを使用して起動できます。

 # Shell Command
neuralchat_server start --config_file ./server/config/neuralchat.yaml

 # Python Code
from intel_extension_for_transformers . neural_chat import NeuralChatServerExecutor
server_executor = NeuralChatServerExecutor ()
server_executor ( config_file = "./server/config/neuralchat.yaml" , log_file = "./neuralchat.log" )

NeuralChat サービスには、OpenAI クライアントライブラリ、 curlコマンド、およびrequestsライブラリを通じてアクセスできます。詳細については、NeuralChat をご覧ください。

オフライン

 from intel_extension_for_transformers . neural_chat import build_chatbot
chatbot = build_chatbot ()
response = chatbot . predict ( "Tell me about Intel Xeon Scalable Processors." )

トランスフォーマーベースの拡張 API

以下は、拡張された Transformers API を使用するためのサンプルコードです。さらに例を参照してください。

INT4推論(CPU)

CPU 上で LLM 低ビット推論の最新機能 (GGUF サポートなど) を取得するには、NeuralSpeed をインストールすることをお勧めします。次のドキュメントに従って、NeuralSpeed なしで v1.3 を使用することもできます。

 from transformers import AutoTokenizer
from intel_extension_for_transformers . transformers import AutoModelForCausalLM
model_name = "Intel/neural-chat-7b-v3-1"     
prompt = "Once upon a time, there existed a little girl,"

tokenizer = AutoTokenizer . from_pretrained ( model_name , trust_remote_code = True )
inputs = tokenizer ( prompt , return_tensors = "pt" ). input_ids

model = AutoModelForCausalLM . from_pretrained ( model_name , load_in_4bit = True )
outputs = model . generate ( inputs )

Huggingface から GGUF 形式モデルをロードすることもできます。現時点では Q4_0/Q5_0/Q8_0 gguf 形式のみをサポートしています。

 from transformers import AutoTokenizer
from intel_extension_for_transformers . transformers import AutoModelForCausalLM

# Specify the GGUF repo on the Hugginface
model_name = "TheBloke/Llama-2-7B-Chat-GGUF"
# Download the the specific gguf model file from the above repo
gguf_file = "llama-2-7b-chat.Q4_0.gguf"
# make sure you are granted to access this model on the Huggingface.
tokenizer_name = "meta-llama/Llama-2-7b-chat-hf"
prompt = "Once upon a time, there existed a little girl,"
tokenizer = AutoTokenizer . from_pretrained ( tokenizer_name , trust_remote_code = True )
inputs = tokenizer ( prompt , return_tensors = "pt" ). input_ids

model = AutoModelForCausalLM . from_pretrained ( model_name , gguf_file = gguf_file )
outputs = model . generate ( inputs )

Modelscope から PyTorch モデルをロードすることもできます

注:モデルスコープが必要です

 from transformers import TextStreamer
from modelscope import AutoTokenizer
from intel_extension_for_transformers . transformers import AutoModelForCausalLM
model_name = "qwen/Qwen-7B"     # Modelscope model_id or local model
prompt = "Once upon a time, there existed a little girl,"

model = AutoModelForCausalLM . from_pretrained ( model_name , load_in_4bit = True , model_hub = "modelscope" )
tokenizer = AutoTokenizer . from_pretrained ( model_name , trust_remote_code = True )
inputs = tokenizer ( prompt , return_tensors = "pt" ). input_ids
streamer = TextStreamer ( tokenizer )
outputs = model . generate ( inputs , streamer = streamer , max_new_tokens = 300 )

GPTQ/AWQ/RTN/AutoRound アルゴリズムで量子化された低ビットモデルを読み込むこともできます。

 from transformers import AutoTokenizer
from intel_extension_for_transformers . transformers import AutoModelForCausalLM , GPTQConfig

# Hugging Face GPTQ/AWQ model or use local quantize model
model_name = "MODEL_NAME_OR_PATH"
prompt = "Once upon a time, a little girl"

tokenizer = AutoTokenizer . from_pretrained ( model_name , trust_remote_code = True )
inputs = tokenizer ( prompt , return_tensors = "pt" ). input_ids
model = AutoModelForCausalLM . from_pretrained ( model_name , trust_remote_code = True )
outputs = model . generate ( inputs )

INT4 推論 (GPU)

 import intel_extension_for_pytorch as ipex
from intel_extension_for_transformers . transformers . modeling import AutoModelForCausalLM
from transformers import AutoTokenizer
import torch

device_map = "xpu"
model_name = "Qwen/Qwen-7B"
tokenizer = AutoTokenizer . from_pretrained ( model_name , trust_remote_code = True )
prompt = "Once upon a time, there existed a little girl,"
inputs = tokenizer ( prompt , return_tensors = "pt" ). input_ids . to ( device_map )

model = AutoModelForCausalLM . from_pretrained ( model_name , trust_remote_code = True ,
                                              device_map = device_map , load_in_4bit = True )

model = ipex . optimize_transformers ( model , inplace = True , dtype = torch . float16 , quantization_config = True , device = device_map )

output = model . generate ( inputs )

注: 詳細については、例とスクリプトを参照してください。

ラングチェーンベースの拡張 API

以下は、拡張 Langchain API を使用するためのサンプルコードです。さらに例を参照してください。

 from langchain_community . llms . huggingface_pipeline import HuggingFacePipeline
from langchain . chains import RetrievalQA
from langchain_core . vectorstores import VectorStoreRetriever
from intel_extension_for_transformers . langchain . vectorstores import Chroma
retriever = VectorStoreRetriever ( vectorstore = Chroma (...))
retrievalQA = RetrievalQA . from_llm ( llm = HuggingFacePipeline (...), retriever = retriever )

検証済みモデル

検証済みのモデル、精度、パフォーマンスには、リリースデータまたは Medium ブログからアクセスできます。

ドキュメント

概要
ニューラルチャット		ニューラルスピード
ニューラルチャット
Intel CPU 上のチャットボット	Intel GPU 上のチャットボット		Gaudi のチャットボット
クライアント上のチャットボット		その他のノートブック
ニューラルスピード
ニューラルスピード	ストリーミングLLM	低精度カーネル		テンソル並列処理
LLM圧縮
スムーズクアント (INT8)	ウェイトのみの量子化 (INT4/FP4/NF4/INT8)		CPU 上の QLoRA
一般的な圧縮
量子化	剪定	蒸留		オーケストレーション
データ拡張	輸出	メトリクス		目的
パイプライン	長さ適応型		早期退場
チュートリアルと結果
チュートリアル	LLM リスト	一般機種一覧		モデルのパフォーマンス

？デモ

LLM 無限推論 (最大 400 万トークン)

ストリーミングLLM_v2.mp4

クライアント CPU 上の LLM QLoRA

QLoRA.on.Core.i9-12900.mp4

?厳選された出版物/イベント

Huggingface で公開されたブログ: Intel Gaudi 2 と Intel Xeon を使用したコスト効率の高いエンタープライズ RAG アプリケーションの構築 (2024 年 5 月)
インテル開発者ニュースでブログが公開されました: トランスフォーマー用インテル® 拡張機能を使用した効率的な自然言語埋め込みモデル (2024 年 5 月)
Techcrunch で公開されたブログ: Intel などが企業向けのオープンな生成 AI ツールの構築に取り組む (2024 年 4 月)
YouTube のビデオ: Intel Vision Keynotes 2024 (2024 年 4 月)
Vectara で公開されたブログ: 小型モデルほど幻覚が多くなりますか? (2024年4月)
Intel 開発者ニュースのブログ: 高度な不正検出に neural-chat-7b モデルを使用する: サイバーセキュリティにおける AI 主導のアプローチ (2024 年 3 月)
CES 2024: CES 2024 Great Minds 基調講演: AI の無限の可能性をあらゆる場所にもたらす: インテルハイブリッドコパイロットのデモ (2024 年 1 月)
Medium で公開されたブログ: AI エージェントを API に接続: Intel Neural-Chat 7b LLM は Open AI Function Calling を置き換えることができます (2023 年 12 月)
効率的な自然言語および音声処理に関する NeurIPS'2023: CPU での効率的な LLM 推論 (2023 年 11 月)
Hugging Face で公開されたブログ: Intel Neural-Chat 7b: Fine-Tuning on Gaudi2 for Top LLM Performance (2023 年 11 月)
VMware で公開されたブログ: GPU を使用しない AI: Intel を使用した VMware プライベート AI の技術概要 (2023 年 11 月)