Téléchargement YAYI UIE - Téléchargement du code source YAYI UIE

YAYI UIE

Code Source AI

1.0.0

Télécharger

[LISEZMOI] [?HF Repo] [?Version Web]

Chinois | Anglais

renouveler

[2024.03.28] Tous les modèles et données sont téléchargés sur la communauté Magic.

introduire

Yayi Information Extraction Unified Large Model (YAYI-UIE) affine les instructions sur des millions de données d'extraction d'informations de haute qualité construites manuellement. Les tâches d'extraction d'informations de formation unifiées incluent la reconnaissance d'entités nommées (NER), l'extraction de relations (RE) et l'extraction d'événements ( EE) pour réaliser une extraction structurée dans des scénarios généraux, de sécurité, financiers, biologiques, médicaux, commerciaux, personnels, de véhicules, de cinéma, industriels, de restauration, scientifiques et autres.

Grâce à l'open source du grand modèle Yayi UIE, nous contribuerons par nos propres efforts à promouvoir le développement de la communauté open source chinoise pré-formée des grands modèles. Grâce à l'open source, nous construirons l'écosystème du grand modèle Yayi avec chaque partenaire. Pour plus de détails techniques, veuillez lire notre rapport technique YAYI-UIE : Un cadre de réglage des instructions amélioré par chat pour l'extraction universelle d'informations.

instruction

Adresse de téléchargement

nom	? Identification du modèle HF	Adresse de téléchargement	Logo du modèle magique	Adresse de téléchargement
YAYI-UIE	wenge-research/yayi-uie	Téléchargement du modèle	wenge-research/yayi-uie	Téléchargement du modèle
Données YAYI-UIE	wenge-research/yayi_uie_sft_data	Téléchargement de l'ensemble de données	wenge-research/yayi_uie_sft_data	Téléchargement de l'ensemble de données

données d'entraînement

54 % du corpus au niveau du million est chinois et 46 % est anglais ; l'ensemble de données comprend 12 domaines, dont la finance, la société, la biologie, le commerce, la fabrication industrielle, la chimie, les véhicules, la science, les maladies et les traitements médicaux, la vie personnelle, la sécurité et général. Couvre des centaines de scénarios

NER : le chinois couvre 28 types d'entités, notamment les personnes, la géopolitique, les organisations, les parties du corps, les drogues, etc., et l'anglais couvre 130 types d'entités, notamment les animaux, les armes, les conférences, les livres, etc.
RE : Le chinois couvre 232 types de relations, y compris l'achat de capital, l'augmentation d'actionnariat, la réorganisation, la nationalité, le pseudonyme, le parent, l'actionnariat, le transfert, le chef de file, le lieu d'occurrence, le fabricant, etc. L'anglais couvre 236 types de relations, y compris celles fondées par, l'État ou la province. du siège social, employé de, profession, créateur, etc.
EE : le chinois couvre 84 types d'événements, y compris l'attribution d'une offre, les changements de direction, la publication du comportement du produit, la liste des entreprises, etc., et 203 arguments, et l'anglais couvre 45 types d'événements, dont la naissance, la démonstration, la rencontre, la fin de l'organisation, le divorce, etc. . et 62 arguments.

Distribution des données

Mode de fonctionnement

Environnement d'installation

Téléchargez le contenu de cet entrepôt sur le serveur local/distant

git clone https://github.com/wenge-research/yayi-uie.git
cd yayi-uie

Créer un environnement conda

conda create --name uie python=3.8
conda activate uie

Environnement d'installation

pip install -r requirements.txt

Il n'est pas recommandé que les versions torch et transformers soient inférieures aux versions recommandées.

Raisonnement du modèle

Le modèle est open source dans notre référentiel de modèles Huggingface, et vous pouvez le télécharger et l'utiliser. Ce qui suit est un exemple de code qui appelle simplement YAYI-UIE pour l'inférence de tâches en aval. Il peut être exécuté sur un seul GPU tel que A100/A800. Il occupe environ 33 Go de mémoire vidéo lors de l'utilisation de l'inférence de précision bf16 :

 > >> import torch
> >> from transformers import AutoModelForCausalLM , AutoTokenizer
> >> from transformers . generation . utils import GenerationConfig
> >> tokenizer = AutoTokenizer . from_pretrained ( "wenge-research/yayi-uie" , use_fast = False , trust_remote_code = True )
> >> model = AutoModelForCausalLM . from_pretrained ( "wenge-research/yayi-uie" , device_map = "auto" , torch_dtype = torch . bfloat16 , trust_remote_code = True )
> >> generation_config = GenerationConfig . from_pretrained ( "wenge-research/yayi-uie" )
> >> prompt = "文本:氧化锆陶瓷以其卓越的物理和化学特性在多个行业中发挥着关键作用。这种材料因其高强度、高硬度和优异的耐磨性，广泛应用于医疗器械、切削工具、磨具以及高端珠宝制品。在制造这种高性能陶瓷时，必须遵循严格的制造标准，以确保其最终性能。这些标准涵盖了从原材料选择到成品加工的全过程，保障产品的一致性和可靠性。氧化锆的制造过程通常包括粉末合成、成型、烧结和后处理等步骤。原材料通常是高纯度的氧化锆粉末，通过精确控制的烧结工艺，这些粉末被转化成具有特定微观结构的坚硬陶瓷。这种独特的微观结构赋予氧化锆陶瓷其显著的抗断裂韧性和耐腐蚀性。此外，氧化锆陶瓷的热膨胀系数与铁类似，使其在高温应用中展现出良好的热稳定性。因此，氧化锆陶瓷不仅在工业领域，也在日常生活中的应用日益增多，成为现代材料科学中的一个重要分支。 n抽取文本中可能存在的实体，并以json{制造品名称/制造过程/制造材料/工艺参数/应用/生物医学/工程特性：[实体]}格式输出。"
> >> # "<reserved_13>" is a reserved token for human, "<reserved_14>" is a reserved token for assistant
>> > prompt = "<reserved_13>" + prompt + "<reserved_14>"
> >> inputs = tokenizer ( prompt , return_tensors = "pt" ). to ( model . device )
> >> response = model . generate ( ** inputs , max_new_tokens = 512 , temperature = 0 )
> >> print ( tokenizer . decode ( response [ 0 ], skip_special_tokens = True ))

Exemple de commande

Note:

Ajoutez le type de tâche spécifique avant l'instruction et utilisez des crochets pour indiquer [ ] (vous pouvez l'ajouter ou non)
Afin de permettre au modèle d'extraire des informations plus complètes, essayez d'ajouter des invites plus précises aux instructions, telles que « lieu de réunion », « lieu de réunion », etc., plutôt que de les unifier en « emplacement ».
Essayez de mettre le texte saisi au début et les instructions à la fin.

Tâche d'extraction d'entité

文本：xx
【实体抽取】抽取文本中可能存在的实体，并以json{人物/机构/地点：[实体]}格式输出。

Tâche d'extraction de relations

文本：xx
【关系抽取】已知关系列表是[注资,拥有,纠纷,自己,增持,重组,买资,签约,持股,交易]。根据关系列表抽取关系三元组，按照json[{'relation':'', 'head':'', 'tail':''}, ]的格式输出。

文本：xx
抽取文本中可能存在的关系，并以json[{'关系':'会见/出席', '头实体':'', '尾实体':''}, ]格式输出。

tâche d'extraction d'événements

文本：xx
已知论元角色列表是[时间，地点，会见主体，会见对象]，请根据论元角色列表从给定的输入中抽取可能的论元，以json{角色:论元}格式输出。

Modéliser les résultats de l’évaluation du tir zéro

Tâches NER

L'IA, la littérature, la musique, la politique et la science sont des ensembles de données anglais, et le boson, l'indice et le weibo sont des ensembles de données chinois.

Modèle	IA	Littérature	Musique	Politique	Science	Moyenne d'anglais	boson	indice	Weibo	Moyenne chinoise
David	2,97	9,87	13.83	18h42	10.04	11.03	-	-	-	31.09
ChatGPT 3.5	54,4	54.07	61.24	59.12	63	58.37	38.53	25h44	29.3
IUE	31.14	38,97	33.91	46.28	41.56	38.37	40,64	34.91	40,79	38,78
USM	28.18	56	44,93	36.1	44.09	41,86	-	-	-	-
InstruireUIE	49	47.21	53.16	48h15	49.3	49.36	-	-	-	-
ConnaîtreLM	13.76	20h18	14.78	33,86	9.19	18h35	25,96	4.44	25.2	18h53
YAYI-UIE	52,4	45,99	51.2	51,82	50.53	50.39	49.25	36.46	36,78	40,83

Tâches RE

FewRe, Wiki-ZSL sont des ensembles de données anglais, SKE 2020, COAE2016, IPRE sont des ensembles de données chinois

Modèle	Peu de relations	Wiki-ZSL	Moyenne d'anglais	SKE 2020	COAE2016	IPRE	Moyenne chinoise
ChatGPT 3.5	9,96	13.14	11h55 24h47	19h31	6,73	16.84
ZETT(T5-petit)	30.53	31.74	31.14	-	-	-	-
ZETT (base T5)	33.71	31.17	32.44	-	-	-	-
InstruireUIE	39.55	35.2	37.38	-	-	-	-
ConnaîtreLM	17h46	15h33	16h40	0,4	6.56	9h75	5.57
YAYI-UIE	36.09	41.07	38.58	70,8	19.97	22,97	37.91

Tâches EE

Commodity News est l'ensemble de données anglais, FewFC, ccf_law est l'ensemble de données chinois

EET (identification du type d'événement)

Modèle	nouvelles des matières premières	Peu de FC	loi_ccf	Moyenne chinoise
ChatGPT 3.5	1.41	16h15	0	8.08
IUE	-	50.23	2.16	26h20
InstruireUIE	23.26	-	-	-
YAYI-UIE	12h45	81.28	12.87	47.08

EEA (extraction d'arguments d'événement)

Modèle	nouvelles des matières premières	Peu de FC	loi_ccf	Moyenne chinoise
ChatGPT 3.5	8.6	44.4	44.57	44.49
IUE	-	43.02	60,85	51,94
InstruireUIE	21.78	-	-	-
YAYI-UIE	19.74	63.06	59.42	61.24

Performances d'inférence chinoises sans tir

Accords connexes

limitation

Le modèle SFT formé sur la base des données actuelles et des modèles de base présente toujours les problèmes suivants en termes d'efficacité :

Les informations extraites peuvent produire des réponses incorrectes qui contredisent les faits.
Les instructions nuisibles ne peuvent pas être correctement identifiées et des remarques nuisibles peuvent être formulées.
Les capacités d'extraction du modèle doivent encore être améliorées dans certains scénarios impliquant du texte d'un paragraphe.

Clause de non-responsabilité

Sur la base des limitations du modèle ci-dessus, nous demandons aux développeurs d'utiliser uniquement notre code open source, nos données, nos modèles et les dérivés ultérieurs générés par ce projet à des fins de recherche et non à des fins commerciales ou à d'autres utilisations susceptibles de nuire à la société. Veuillez faire attention à identifier et à utiliser le contenu généré par Yayi Big Model, et à ne pas diffuser le contenu nuisible généré sur Internet. Si des conséquences néfastes surviennent, le communicateur en sera responsable. Ce projet ne peut être utilisé qu'à des fins de recherche, et le développeur du projet n'est pas responsable de tout dommage ou perte causé par l'utilisation de ce projet (y compris, mais sans s'y limiter, les données, modèles, codes, etc.). Veuillez vous référer à la clause de non-responsabilité pour plus de détails.

Accord open source

Le code et les données de ce projet sont open source conformément au protocole Apache-2.0. Lorsque la communauté utilise le modèle YAYI UIE ou ses dérivés, veuillez suivre l'accord communautaire et l'accord commercial de Baichuan2.

Journal des modifications

[2023/12/15] Le grand modèle YAYI-UIE est officiellement publié et open source.

Remerciements

Le code de formation de ce projet fait référence au projet YAYI et à la bibliothèque de transformateurs Huggingface ;
La version open source de ce projet est affinée sur la base des instructions Baichuan2-13B ;
La formation distribuée de ce projet utilise l'outil de formation distribué DeepSpeed de Microsoft et le fichier de configuration ZeRO stage 2 dans le document des transformateurs Huggingface ;
Nous remercions les projets open source suivants pour leur aide : InstructUIE ;

Citation

Si vous utilisez notre modèle dans votre travail, vous pouvez citer notre article :

 @article{YAYI-UIE,
  author    = {Xinglin Xiao, Yijie Wang, Nan Xu, Yuqi Wang, Hanxuan Yang, Minzheng Wang, Yin Luo, Lei Wang, Wenji Mao, Dajun Zeng}},
  title     = {YAYI-UIE: A Chat-Enhanced Instruction Tuning Framework for Universal Information Extraction},
  journal   = {arXiv preprint arXiv:2312.15548},
  url       = {https://arxiv.org/abs/2312.15548},
  year      = {2023}
}