turkish spacy models
Transformer-based model ready
トルコのスペイシーモデルのページへようこそ。 Huggingface Repoの下にすべてのモデルを見つけることができます。このレポは、の構成ファイルが含まれています
すべてのパイプラインには、トークナー剤、トレーニング可能なlemmatizer、POSタガー、依存関係パーサー、形態学者、NERコンポーネントが含まれています。
tr_core_web_lg CNNベースの大規模なサイズのモデルであり、精度が優れており、まともな速度で機能します。このモデルには、上記のすべてのコンポーネントが含まれており、大きなサイズのフローレットワードベクトルでパッケージ化されています。
同様に、 tr_core_web_mdはCNNベースの中型サイズのモデルであり、まともな精度を達成し、速度批判的なアプリケーションに適した選択肢になる可能性があります。中サイズのFloret Word Vectorsでパッケージ化されています。
tr_core_web_trf Tranformerベースのパイプラインです。優れたコンピューティングリソースがある場合、これが選択のモデルです（さらに良いGPU）。
Huggingfaceからすべてのモデルをダウンロードできます。
pip install https://huggingface.co/turkish-nlp-suite/tr_core_news_trf/resolve/main/tr_core_news_trf-any-py3-none-any.whlpip install https://huggingface.co/turkish-nlp-suite/tr_core_news_lg/resolve/main/tr_core_news_lg-any-py3-none-any.whlpip install https://huggingface.co/turkish-nlp-suite/tr_core_news_md/resolve/main/tr_core_news_md-any-py3-none-any.whl PIP経由でモデルをインストールした後、スペイシーにロードすることで直接使用できます。
import spacy
nlp = spacy.load("tr_core_news_trf")
doc = nlp("Dün ben de gittim.")
ドキュメントは当社のウェブサイトで入手できます：[TODO]
2つのプレイリストhızlıSpacyTürkçeTarifleriとSpacy Modelinasılyapılırについては、私のチャンネルにアクセスしてください。最初のプレイリストにはスペイシートルコのクイックレシピがあり、2番目のプレイリストには、新しい言語のモデルをトレーニングおよびパッケージ化する方法の詳細が記載されています。
この作業は、Google Developer Experts Programによってサポートされています。 Duygu 2022秋冬コレクションの一部、「トルコNLPとDuygu」/「Duygu'ylaTürkçeNLP」。無断転載を禁じます。自分の作品でモデルを使用したい場合は、トルコ語のための自由に利用可能な言語リソースの多様なセットを紙に引用してください。
@inproceedings{altinok-2023-diverse,
title = "A Diverse Set of Freely Available Linguistic Resources for {T}urkish",
author = "Altinok, Duygu",
booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2023",
address = "Toronto, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2023.acl-long.768",
pages = "13739--13750",
abstract = "This study presents a diverse set of freely available linguistic resources for Turkish natural language processing, including corpora, pretrained models and education material. Although Turkish is spoken by a sizeable population of over 80 million people, Turkish linguistic resources for natural language processing remain scarce. In this study, we provide corpora to allow practitioners to build their own applications and pretrained models that would assist industry researchers in creating quick prototypes. The provided corpora include named entity recognition datasets of diverse genres, including Wikipedia articles and supplement products customer reviews. In addition, crawling e-commerce and movie reviews websites, we compiled several sentiment analysis datasets of different genres. Our linguistic resources for Turkish also include pretrained spaCy language models. To the best of our knowledge, our models are the first spaCy models trained for the Turkish language. Finally, we provide various types of education material, such as video tutorials and code examples, that can support the interested audience on practicing Turkish NLP. The advantages of our linguistic resources are three-fold: they are freely available, they are first of their kind, and they are easy to use in a broad range of implementations. Along with a thorough description of the resource creation process, we also explain the position of our resources in the Turkish NLP world.",
}
