LightGBM

Mesin Peningkat Gradien Cahaya

LightGBM adalah kerangka kerja peningkatan gradien yang menggunakan algoritma pembelajaran berbasis pohon. Ini dirancang untuk didistribusikan dan efisien dengan keuntungan sebagai berikut:

• Kecepatan pelatihan lebih cepat dan efisiensi lebih tinggi.
• Penggunaan memori lebih rendah.
• Akurasi yang lebih baik.
• Dukungan pembelajaran paralel, terdistribusi, dan GPU.
• Mampu menangani data berskala besar.

Untuk rincian lebih lanjut, silakan merujuk ke Fitur.

Dengan memanfaatkan keunggulan ini, LightGBM digunakan secara luas di banyak solusi pemenang kompetisi pembelajaran mesin.

Eksperimen perbandingan pada kumpulan data publik menunjukkan bahwa LightGBM dapat mengungguli kerangka kerja peningkatan yang ada dalam hal efisiensi dan akurasi, dengan konsumsi memori yang jauh lebih rendah. Terlebih lagi, eksperimen pembelajaran terdistribusi menunjukkan bahwa LightGBM dapat mencapai peningkatan linier dengan menggunakan beberapa mesin untuk pelatihan dalam pengaturan tertentu.

Memulai dan Dokumentasi

Dokumentasi utama kami ada di https://lightgbm.readthedocs.io/ dan dihasilkan dari repositori ini. Jika Anda baru mengenal LightGBM, ikuti petunjuk instalasi di situs tersebut.

Selanjutnya Anda mungkin ingin membaca:

• Contoh menunjukkan penggunaan baris perintah untuk tugas-tugas umum.
• Fitur dan algoritma yang didukung oleh LightGBM.
• Parameter adalah daftar lengkap penyesuaian yang dapat Anda lakukan.
• Pembelajaran Terdistribusi dan Pembelajaran GPU dapat mempercepat komputasi.
• FLAML menyediakan penyetelan otomatis untuk LightGBM (contoh kode).
• Optuna Hyperparameter Tuner menyediakan penyetelan otomatis untuk hyperparameter LightGBM (contoh kode).
• Memahami Parameter LightGBM (dan Cara Menyetelnya menggunakan Neptune) .

Dokumentasi untuk kontributor:

• Bagaimana kami memperbarui readthedocs.io .
• Lihat Panduan Pengembangan .

Berita

Silakan lihat log perubahan di halaman rilis GitHub.

Repositori Eksternal (Tidak Resmi).

Proyek yang tercantum di sini menawarkan cara alternatif untuk menggunakan LightGBM. Mereka tidak dikelola atau didukung secara resmi oleh tim pengembangan LightGBM .

JPMML (Konverter Java PMML): https://github.com/jpmml/jpmml-lightgbm

Nyoka (Konverter Python PMML): https://github.com/SoftwareAG/nyoka

Treelite (kompiler model untuk penerapan yang efisien): https://github.com/dmlc/treelite

lleaves (kompiler model berbasis LLVM untuk inferensi yang efisien): https://github.com/siboehm/lleaves

Hummingbird (kompiler model ke dalam perhitungan tensor): https://github.com/microsoft/hummingbird

Perpustakaan Inferensi Hutan cuML (inferensi yang dipercepat GPU): https://github.com/rapidsai/cuml

daal4py (inferensi yang dipercepat CPU Intel): https://github.com/intel/scikit-learn-intelex/tree/master/daal4py

m2cgen (penerapkan model untuk berbagai bahasa): https://github.com/BayesWitnesses/m2cgen

daun (penerapkan model Go): https://github.com/dmitryikh/leaves

ONNXMLTools (konverter ONNX): https://github.com/onnx/onnxmltools

SHAP (penjelas keluaran model): https://github.com/slundberg/shap

Shapash (visualisasi dan interpretasi model): https://github.com/MAIF/shapash

dtreeviz (visualisasi pohon keputusan dan interpretasi model): https://github.com/parrt/dtreeviz

supertree (visualisasi interaktif pohon keputusan): https://github.com/mljar/supertree

SynapseML (LightGBM di Spark): https://github.com/microsoft/SynapseML

Fairing Kubeflow (LightGBM di Kubernetes): https://github.com/kubeflow/fairing

Operator Kubeflow (LightGBM di Kubernetes): https://github.com/kubeflow/xgboost-operator

lightgbm_ray (LightGBM di Ray): https://github.com/ray-project/lightgbm_ray

Mars (LightGBM di Mars): https://github.com/mars-project/mars

ML.NET (.NET/C#-paket): https://github.com/dotnet/machinelearning

LightGBM.NET (.NET/C#-paket): https://github.com/rca22/LightGBM.Net

LightGBM Ruby (Permata Ruby): https://github.com/ankane/lightgbm-ruby

LightGBM4j (pengikatan tingkat tinggi Java): https://github.com/metarank/lightgbm4j

LightGBM4J (antarmuka JVM untuk LightGBM yang ditulis dalam Scala): https://github.com/seek-oss/lightgbm4j

Paket Julia: https://github.com/IQVIA-ML/LightGBM.jl

lightgbm3 (Pengikatan karat): https://github.com/Mottl/lightgbm3-rs

MLServer (server inferensi untuk LightGBM): https://github.com/SeldonIO/MLServer

MLflow (pelacakan eksperimen, kerangka pemantauan model): https://github.com/mlflow/mlflow

FLAML (Perpustakaan AutoML untuk pengoptimalan hyperparameter): https://github.com/microsoft/FLAML

MLJAR AutoML (AutoML pada data tabular): https://github.com/mljar/mljar-supervised

Optuna (kerangka optimasi hyperparameter): https://github.com/optuna/optuna

LightGBMLSS (pemodelan probabilistik dengan LightGBM): https://github.com/StatMixedML/LightGBMLSS

mlforecast (perkiraan deret waktu dengan LightGBM): https://github.com/Nixtla/mlforecast

skforecast (perkiraan deret waktu dengan LightGBM): https://github.com/JoaquinAmatRodrigo/skforecast

{bonsai} (antarmuka yang sesuai dengan R {parsnip} ): https://github.com/tidymodels/bonsai

{mlr3extralearners} (antarmuka yang sesuai dengan R {mlr3} ): https://github.com/mlr-org/mlr3extralearners

lightgbm-transform (pengikatan transformasi fitur): https://github.com/microsoft/lightgbm-transform

postgresml (pelatihan dan prediksi LightGBM dalam SQL, melalui ekstensi Postgres): https://github.com/postgresml/postgresml

pyodide (jalankan paket Python lightgbm di browser web): https://github.com/pyodide/pyodide

vaex-ml (perpustakaan Python DataFrame dengan antarmukanya sendiri ke LightGBM): https://github.com/vaexio/vaex

Mendukung

• Ajukan pertanyaan di Stack Overflow dengan tag lightgbm , kami memantau ini untuk pertanyaan baru.
• Buka laporan bug dan permintaan fitur pada masalah GitHub.

Bagaimana Berkontribusi

Periksa halaman KONTRIBUSI.

Kode Etik Sumber Terbuka Microsoft

Proyek ini telah mengadopsi Kode Etik Sumber Terbuka Microsoft. Untuk informasi lebih lanjut lihat FAQ Pedoman Perilaku atau hubungi [email protected] jika ada pertanyaan atau komentar tambahan.

Makalah Referensi

Yu Shi, Guolin Ke, Zhuoming Chen, Shuxin Zheng, Tie-Yan Liu. "Pelatihan Terkuantisasi Pohon Keputusan Peningkatan Gradien" (tautan). Kemajuan dalam Sistem Pemrosesan Informasi Neural 35 (NeurIPS 2022), hlm.18822-18833.

Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, Tie-Yan Liu. "LightGBM: Pohon Keputusan Peningkat Gradien yang Sangat Efisien". Kemajuan dalam Sistem Pemrosesan Informasi Neural 30 (NIPS 2017), hlm.3149-3157.

Qi Meng, Guolin Ke, Taifeng Wang, Wei Chen, Qiwei Ye, Zhi-Ming Ma, Tie-Yan Liu. "Algoritma Paralel yang Efisien Komunikasi untuk Pohon Keputusan". Kemajuan dalam Sistem Pemrosesan Informasi Neural 29 (NIPS 2016), hlm.1279-1287.

Huan Zhang, Si Si dan Cho-Jui Hsieh. "Akselerasi GPU untuk Peningkatan Pohon Skala Besar". Konferensi SysML, 2018.

Lisensi

Proyek ini dilisensikan berdasarkan ketentuan lisensi MIT. Lihat LISENSI untuk rincian tambahan.