indonésie

IndoNLG

Baca README en bahasa indonésien.

️ Mise à jour du 16/11/2024 : Nous mettons à jour les liens vers les ensembles de données et les modèles fasttext dans IndoNLG !

IndoNLG est une collection de ressources de génération de langage naturel (NLG) pour le bahasa indonésien avec 6 types de tâches en aval. Nous fournissons le code pour reproduire les résultats et de grands modèles pré-entraînés ( IndoBART et IndoGPT ) entraînés avec un corpus d'environ 4 milliards de mots ( Indo4B-Plus ), environ ~ 25 Go de données texte. Ce projet a été initialement lancé par une collaboration entre des universités et des entreprises, telles que l'Institut Teknologi Bandung, Universitas Multimedia Nusantara, l'Université des sciences et technologies de Hong Kong, Universitas Indonesia, DeepMind, Gojek et Prosa.AI.

Document de recherche

IndoNLG a été accepté par EMNLP 2021 et vous pouvez trouver les détails dans notre article https://aclanthology.org/2021.emnlp-main.699. Si vous utilisez un composant sur IndoNLG, notamment Indo4B-Plus, IndoBART ou IndoGPT dans votre travail, veuillez citer l'article suivant :

 @inproceedings{cahyawijaya-etal-2021-indonlg,
    title = "{I}ndo{NLG}: Benchmark and Resources for Evaluating {I}ndonesian Natural Language Generation",
    author = "Cahyawijaya, Samuel and Winata, Genta Indra and Wilie, Bryan and Vincentio, Karissa and Li, Xiaohong and Kuncoro, Adhiguna and Ruder, Sebastian and Lim, Zhi Yuan and Bahar, Syafri and Khodra, Masayu and Purwarianti, Ayu and Fung, Pascale",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing", month = nov, year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.699",
    pages = "8875--8898",
}

Exemple

• Nous fournissons un exemple pour charger le modèle IndoBART et affiner le modèle sur la tâche de traduction automatique.
• Consultez notre exemple sur le lien suivant

Comment contribuer à IndoNLG ?

Assurez-vous de vérifier les directives de contribution et de contacter les responsables ou d'ouvrir un problème pour recueillir des commentaires avant de commencer votre PR.

Tâche IndoNLG en aval

Téléchargez et décompressez l'ensemble de données à partir de ce [Lien]

Ensemble de données Indo4B-Plus

Nous fournissons l'accès à notre vaste ensemble de données de pré-formation.

• Ensemble de données Indo4B-Plus mis à l'échelle (~ 25 Go non compressés, 9,4 Go compressés) [Lien]

Modèles IndoBART et IndoGPT

Nous fournissons le modèle de langage pré-entraîné IndoBART et IndoGPT [Lien]

• IndoBART [Lien]
• IndoBART-v2 [Lien]
• IndoGPT [Lien]

Boîte à outils Indobenchmark

Nous fournissons la boîte à outils pour utiliser l'IndoNLGTokenizer dans [Link]