YAYI UIEダウンロード - YAYI UIEソースコードのダウンロード

YAYI UIE

AI ソースコード

1.0.0

ダウンロード

[README] [?HF リポジトリ] [?Web バージョン]

中国語 | 英語

更新する

[2024.03.28] マジックコミュニティに全モデルとデータをアップロードしました。

導入

Yayi 情報抽出統合大規模モデル (YAYI-UIE) は、手動で構築された何百万もの高品質な情報抽出データに対する命令を微調整します。統合されたトレーニング情報抽出タスクには、固有表現認識 (NER)、関係抽出 (RE)、およびイベント抽出が含まれます。 EE) 一般、セキュリティ、金融、生物学、医療、商業、個人、車両、映画、産業、レストラン、科学、その他のシナリオで構造化された抽出を実現します。

Yayi UIE 大型モデルのオープンソースを通じて、私たちは中国の事前トレーニング済み大型モデルオープンソースコミュニティの発展を促進する独自の取り組みに貢献し、オープンソースを通じて Yayi 大型モデルエコシステムを構築します。技術的な詳細については、技術レポート「YAYI-UIE: ユニバーサル情報抽出のためのチャット拡張命令チューニングフレームワーク」を参照してください。

ダウンロードアドレス

名前	? HF モデルの識別	ダウンロードアドレス	マジックモデルのロゴ	ダウンロードアドレス
ヤイウイエ	wenge-research/yayi-uie	モデルのダウンロード	wenge-research/yayi-uie	モデルのダウンロード
YAYI-UIEデータ	wenge-research/yayi_uie_sft_data	データセットのダウンロード	wenge-research/yayi_uie_sft_data	データセットのダウンロード

トレーニングデータ

100 万レベルのコーパスの 54% は中国語、46% は英語です。このデータセットには、金融、社会、生物学、商業、工業製造、化学、自動車、科学、病気と医療、個人生活、安全保障などの 12 分野が含まれています。一般的な。数百ものシナリオをカバー

NER: 中国語は人、地政学、組織、体の部位、薬物などを含む28 のエンティティタイプをカバーし、英語は動物、武器、会議、本などを含む130 のエンティティタイプをカバーします。
RE: 中国語では、資本の購入、株式保有の増加、組織再編、国籍、別名、親族、株式保有、譲渡、主任、所在地、メーカーなどを含む232種類の関係をカバーします。英語では、設立者、州または地方を含む236種類の関係をカバーします。本社、社員、職業、クリエイターなど
EE: 中国語は、落札、役員の交代、製品の動作発表、企業上場などを含む84 のイベントタイプと203 の議論をカバーし、英語は、誕生、デモンストレーション、出会い、組織の終了、離婚などを含む45 のイベントタイプをカバーします。 . 、および62 個の引数。

データ配信

動作モード

設置環境

このウェアハウスのコンテンツをローカル/リモートサーバーにダウンロードします

git clone https://github.com/wenge-research/yayi-uie.git
cd yayi-uie

conda環境を作成する

conda create --name uie python=3.8
conda activate uie

設置環境

pip install -r requirements.txt

torchとtransformersバージョンを推奨バージョンより低くすることは推奨されません。

モデル推論

このモデルは、Huggingface モデルリポジトリでオープンソース化されているので、ダウンロードして使用することを歓迎します。以下は、ダウンストリームタスク推論のためにYAYI-UIEを呼び出すだけのサンプルコードです。これは、bf16 精度推論を使用する場合、A100/A800 などの単一の GPU で実行できます。

 > >> import torch
> >> from transformers import AutoModelForCausalLM , AutoTokenizer
> >> from transformers . generation . utils import GenerationConfig
> >> tokenizer = AutoTokenizer . from_pretrained ( "wenge-research/yayi-uie" , use_fast = False , trust_remote_code = True )
> >> model = AutoModelForCausalLM . from_pretrained ( "wenge-research/yayi-uie" , device_map = "auto" , torch_dtype = torch . bfloat16 , trust_remote_code = True )
> >> generation_config = GenerationConfig . from_pretrained ( "wenge-research/yayi-uie" )
> >> prompt = "文本:氧化锆陶瓷以其卓越的物理和化学特性在多个行业中发挥着关键作用。这种材料因其高强度、高硬度和优异的耐磨性，广泛应用于医疗器械、切削工具、磨具以及高端珠宝制品。在制造这种高性能陶瓷时，必须遵循严格的制造标准，以确保其最终性能。这些标准涵盖了从原材料选择到成品加工的全过程，保障产品的一致性和可靠性。氧化锆的制造过程通常包括粉末合成、成型、烧结和后处理等步骤。原材料通常是高纯度的氧化锆粉末，通过精确控制的烧结工艺，这些粉末被转化成具有特定微观结构的坚硬陶瓷。这种独特的微观结构赋予氧化锆陶瓷其显著的抗断裂韧性和耐腐蚀性。此外，氧化锆陶瓷的热膨胀系数与铁类似，使其在高温应用中展现出良好的热稳定性。因此，氧化锆陶瓷不仅在工业领域，也在日常生活中的应用日益增多，成为现代材料科学中的一个重要分支。 n抽取文本中可能存在的实体，并以json{制造品名称/制造过程/制造材料/工艺参数/应用/生物医学/工程特性：[实体]}格式输出。"
> >> # "<reserved_13>" is a reserved token for human, "<reserved_14>" is a reserved token for assistant
>> > prompt = "<reserved_13>" + prompt + "<reserved_14>"
> >> inputs = tokenizer ( prompt , return_tensors = "pt" ). to ( model . device )
> >> response = model . generate ( ** inputs , max_new_tokens = 512 , temperature = 0 )
> >> print ( tokenizer . decode ( response [ 0 ], skip_special_tokens = True ))

コマンドサンプル

注記：

指示の前に特定のタスクの種類を追加し、角括弧を使用して [ ] を示します (追加してもしなくても構いません)。
モデルがより完全な情報を抽出できるようにするために、「場所」に統一するのではなく、「会議場所」、「会議場所」などの詳細なプロンプトを指示に追加するようにしてください。
入力テキストを前面に配置し、指示を背面に配置するようにしてください。

エンティティ抽出タスク

文本：xx
【实体抽取】抽取文本中可能存在的实体，并以json{人物/机构/地点：[实体]}格式输出。

関係抽出タスク

文本：xx
【关系抽取】已知关系列表是[注资,拥有,纠纷,自己,增持,重组,买资,签约,持股,交易]。根据关系列表抽取关系三元组，按照json[{'relation':'', 'head':'', 'tail':''}, ]的格式输出。

文本：xx
抽取文本中可能存在的关系，并以json[{'关系':'会见/出席', '头实体':'', '尾实体':''}, ]格式输出。

イベント抽出タスク

文本：xx
已知论元角色列表是[时间，地点，会见主体，会见对象]，请根据论元角色列表从给定的输入中抽取可能的论元，以json{角色:论元}格式输出。

モデルゼロショット評価結果

NERタスク

AI、文学、音楽、政治、科学は英語のデータセットで、boson、clude、weibo は中国語のデータセットです。

モデル	AI	文学	音楽	政治	科学	英語の平均	ボソン	手がかり	微博	中国人の平均
ダヴィンチ	2.97	9.87	13.83	18.42	10.04	11.03	-	-	-	9月31日
チャットGPT 3.5	54.4	54.07	61.24	59.12	63	58.37	38.53	25.44	29.3
UIE	31.14	38.97	33.91	46.28	41.56	38.37	40.64	34.91	40.79	38.78
USM	28.18	56	44.93	36.1	44.09	41.86	-	-	-	-
InstructUIE	49	47.21	53.16	48.15	49.3	49.36	-	-	-	-
KnowLM	13.76	20.18	14.78	33.86	9.19	18.35	25.96	4.44	25.2	18.53
ヤイウイエ	52.4	45.99	51.2	51.82	50.53	50.39	49.25	36.46	36.78	40.83

REタスク

FewRe、Wiki-ZSL は英語のデータセット、SKE 2020、COAE2016、IPRE は中国語のデータセットです

モデル	少数のレル	Wiki-ZSL	英語の平均	SKE2020	COAE2016	イプレ	中国人の平均
チャットGPT 3.5	9.96	13.14	11.55 24.47	19.31	6.73	16.84
ZETT(T5-小)	30.53	31.74	31.14	-	-	-	-
ZETT(T5ベース)	33.71	31.17	32.44	-	-	-	-
InstructUIE	39.55	35.2	37.38	-	-	-	-
KnowLM	17.46	15.33	16.40	0.4	6.56	9.75	5.57
ヤイウイエ	36.09	41.07	38.58	70.8	19.97	22.97	37.91

EEタスク

comodity news は英語のデータセット、FewFC、ccf_law は中国語のデータセットです

EET (イベントタイプの識別)

モデル	商品ニュース	少数のFC	ccf_law	中国人の平均
チャットGPT 3.5	1.41	16.15	0	8.08
UIE	-	50.23	2.16	26.20
InstructUIE	23.26	-	-	-
ヤイウイエ	12.45	81.28	12.87	47.08

EEA (イベント引数抽出)

モデル	商品ニュース	少数のFC	ccf_law	中国人の平均
チャットGPT 3.5	8.6	44.4	44.57	44.49
UIE	-	43.02	60.85	51.94
InstructUIE	21.78	-	-	-
ヤイウイエ	19.74	63.06	59.42	61.24

中国のゼロショット推論パフォーマンス

変更ログ

[2023/12/15] YAYI-UIE 大型モデルが正式にリリースされ、オープンソースになりました。

謝辞

このプロジェクトのトレーニングコードは、YAYI プロジェクトと Huggingface トランスフォーマーライブラリを参照しています。
このプロジェクトのオープンソースバージョンは、Baichuan2-13B の指示に基づいて微調整されています。
このプロジェクトの分散トレーニングでは、Microsoft の DeepSpeed 分散トレーニングツールと、Huggingface トランスフォーマードキュメントの ZeRO ステージ 2 構成ファイルを使用します。
次のオープンソースプロジェクトの協力に感謝します。

引用

仕事で私たちのモデルを使用する場合は、私たちの論文を引用できます。

 @article{YAYI-UIE,
  author    = {Xinglin Xiao, Yijie Wang, Nan Xu, Yuqi Wang, Hanxuan Yang, Minzheng Wang, Yin Luo, Lei Wang, Wenji Mao, Dajun Zeng}},
  title     = {YAYI-UIE: A Chat-Enhanced Instruction Tuning Framework for Universal Information Extraction},
  journal   = {arXiv preprint arXiv:2312.15548},
  url       = {https://arxiv.org/abs/2312.15548},
  year      = {2023}
}