turkish spacy models

Modelos de espacada turca

Bem -vindo à página dos modelos turcos de Spacy. Você pode encontrar todos os modelos em nosso repo Huggingface. Este repo contém arquivos de configuração para

• tr_core_web_md
• tr_core_web_lg
• tr_core_web_trf

Todos os pipelines contém um tokenizer, lematizador treinável, tagger de POS, analisador de dependência, morfologizer e componentes NER.

Modelos disponíveis

tr_core_web_lg é um modelo de tamanho grande baseado em CNN, que oferece uma boa precisão e funciona com velocidade decente. Este modelo inclui todos os componentes acima e é embalado com vetores de palavras de florzinha de grande porte.

Da mesma forma, tr_core_web_md é um modelo de tamanho médio baseado em CNN, que atinge uma precisão decente e pode ser uma boa opção para aplicações críticas de velocidade. e é embalado com vetores de palavras em florzinha de tamanho médio.

tr_core_web_trf é um pipeline baseado em transformer. Ele oferece uma ótima precisão, se você tiver bons recursos de computação, este é o seu modelo de escolha (ainda melhor algumas GPUs).

Instalação

Você pode baixar todos os modelos do Huggingface:

• Modelo baseado em transformador pip install https://huggingface.co/turkish-nlp-suite/tr_core_news_trf/resolve/main/tr_core_news_trf-any-py3-none-any.whl
• Modelo grande: pip install https://huggingface.co/turkish-nlp-suite/tr_core_news_lg/resolve/main/tr_core_news_lg-any-py3-none-any.whl
• Modelo médio: pip install https://huggingface.co/turkish-nlp-suite/tr_core_news_md/resolve/main/tr_core_news_md-any-py3-none-any.whl

Uso de vista

Depois de instalar os modelos via PIP, você pode usar diretamente carregando -se no Spacy:

 import spacy
nlp = spacy.load("tr_core_news_trf")

doc = nlp("Dün ben de gittim.")

A documentação está disponível em nosso site: [TODO]

Tutoriais

Por favor, visite meu canal para duas listas de reprodução Hızlı Spacy Türkçe Tarifleri e Spacy Modeli Nasıl Yapılır?. Você encontrará receitas rápidas com turco espacial na primeira lista de reprodução e a segunda lista de reprodução fornece detalhes de como treinar e empacotar um modelo para um novo idioma.

Este trabalho é suportado pelo Programa de Especialistas em Desenvolvedores do Google. Parte da coleção Duygu 2022 Fall-Winter, "Turkish NLP com Duygu"/ "Duygu'yla Türkçe NLP". Todos os direitos reservados. Se você quiser usar os modelos em seu próprio trabalho, cite gentilmente ao artigo um conjunto diversificado de recursos linguísticos disponíveis gratuitamente para turco:

 @inproceedings{altinok-2023-diverse,
    title = "A Diverse Set of Freely Available Linguistic Resources for {T}urkish",
    author = "Altinok, Duygu",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.768",
    pages = "13739--13750",
    abstract = "This study presents a diverse set of freely available linguistic resources for Turkish natural language processing, including corpora, pretrained models and education material. Although Turkish is spoken by a sizeable population of over 80 million people, Turkish linguistic resources for natural language processing remain scarce. In this study, we provide corpora to allow practitioners to build their own applications and pretrained models that would assist industry researchers in creating quick prototypes. The provided corpora include named entity recognition datasets of diverse genres, including Wikipedia articles and supplement products customer reviews. In addition, crawling e-commerce and movie reviews websites, we compiled several sentiment analysis datasets of different genres. Our linguistic resources for Turkish also include pretrained spaCy language models. To the best of our knowledge, our models are the first spaCy models trained for the Turkish language. Finally, we provide various types of education material, such as video tutorials and code examples, that can support the interested audience on practicing Turkish NLP. The advantages of our linguistic resources are three-fold: they are freely available, they are first of their kind, and they are easy to use in a broad range of implementations. Along with a thorough description of the resource creation process, we also explain the position of our resources in the Turkish NLP world.",
}