LMOps

LMOps

LMOps adalah inisiatif penelitian mengenai penelitian dan teknologi mendasar untuk membangun produk AI dengan model dasar, khususnya pada teknologi umum untuk memungkinkan kemampuan AI dengan LLM dan model AI Generatif.

• Perintah yang Lebih Baik: Pengoptimalan Perintah Otomatis, Perintah, Perintah yang Dapat Diperluas, Pengambilan perintah Universal, Pengambilan LLM, Pemilihan Demonstrasi Dalam Konteks
• Konteks yang Lebih Panjang: Perintah terstruktur, Transformer yang Dapat Diekstrapolasi Panjang
• Penyelarasan LLM: Penyelarasan melalui umpan balik LLM
• Akselerator LLM (Inferensi Lebih Cepat): Akselerasi LLM Tanpa Kerugian
• Kustomisasi LLM: Sesuaikan LLM dengan domain
• Dasar-Dasar: Memahami Pembelajaran Dalam Konteks

Tautan

• microsoft/unilm: Pra-pelatihan dengan Pengawasan Mandiri Berskala Besar di Seluruh Tugas, Bahasa, dan Modalitas
• microsoft/torchscale: Transformer pada Skala (apa pun).

Berita

• [Rilis Makalah] Nov, 2023: Seleksi Demonstrasi Dalam Konteks dengan Selisih Entropi Silang (EMNLP 2023)
• [Rilis Makalah] Okt 2023: Tuna: Penyetelan Instruksi menggunakan Umpan Balik dari Model Bahasa Besar (EMNLP 2023)
• [Rilis Makalah] Okt 2023: Optimasi Prompt Otomatis dengan "Gradient Descent" dan Beam Search (EMNLP 2023)
• [Rilis Makalah] Oktober 2023: UPRISE: Pengambilan Cepat Universal untuk Meningkatkan Evaluasi Zero-Shot (EMNLP 2023)
• [Rilis Makalah] Juli 2023: Belajar Mengambil Contoh Dalam Konteks untuk Model Bahasa Besar
• [Rilis Makalah] April, 2023: Inferensi dengan Referensi: Akselerasi Lossless Model Bahasa Besar
• [Rilis Makalah] Des 2022: Mengapa GPT Dapat Belajar Dalam Konteks? Model Bahasa Secara Diam-diam Melakukan Penyempurnaan sebagai Pengoptimal Meta
• [Rilis Makalah & Model & Demo] Desember 2022: Mengoptimalkan Perintah untuk Pembuatan Teks-ke-Gambar
• [Rilis Makalah & Kode] Desember 2022: Anjuran Terstruktur: Menskalakan Pembelajaran Dalam Konteks ke 1.000 Contoh
• [Rilis Makalah] Nov, 2022: Anjuran yang Dapat Diperluas untuk Model Bahasa

Intelijen yang Cepat

Teknologi canggih yang memfasilitasi model bahasa prompt.

Promptist: pembelajaran penguatan untuk pengoptimalan cepat otomatis

[Paper] Mengoptimalkan Anjuran untuk Pembuatan Teks-ke-Gambar

• Model bahasa berfungsi sebagai antarmuka cepat yang mengoptimalkan masukan pengguna ke dalam perintah pilihan model.

• Pelajari model bahasa untuk pengoptimalan cepat otomatis melalui pembelajaran penguatan.

Perintah Terstruktur: gunakan perintah berurutan panjang dengan cara yang efisien

[Makalah] Anjuran Terstruktur: Menskalakan Pembelajaran Dalam Konteks menjadi 1.000 Contoh

• Contoh kasus penggunaan:

1. Tambahkan (banyak) dokumen (panjang) yang diambil sebagai konteks di GPT.

2. Skalakan pembelajaran dalam konteks ke banyak contoh demonstrasi.

X-Prompt: perintah yang dapat diperluas di luar NL untuk instruksi deskriptif

[Makalah] Anjuran yang Dapat Diperluas untuk Model Bahasa

• Antarmuka yang dapat diperluas memungkinkan mendorong LLM melampaui bahasa alami untuk spesifikasi yang lebih detail

• Pembelajaran kata imajiner yang dipandu konteks untuk kegunaan umum

LLMA: Akselerator LLM

Percepat Inferensi LLM dengan Referensi

[Makalah] Inferensi dengan Referensi: Akselerasi Lossless Model Bahasa Besar

• Keluaran LLM sering kali mempunyai tumpang tindih yang signifikan dengan beberapa referensi (misalnya, dokumen yang diambil).

• LLMA mempercepat inferensi LLM tanpa kehilangan dengan menyalin dan memverifikasi rentang teks dari referensi ke input LLM.

• Berlaku untuk skenario LLM penting seperti generasi pengambilan-tambahan dan percakapan multi-putaran.

• Mencapai kecepatan 2~3 kali lipat tanpa model tambahan.

Pemahaman Dasar tentang LLM

Memahami Pembelajaran Dalam Konteks

[Makalah] Mengapa GPT Dapat Belajar Dalam Konteks? Model Bahasa Secara Diam-diam Melakukan Penyempurnaan sebagai Pengoptimal Meta

• Berdasarkan contoh demonstrasi, GPT menghasilkan gradien meta untuk Pembelajaran Dalam Konteks (ICL) melalui komputasi maju. ICL bekerja dengan menerapkan gradien meta ini ke model melalui perhatian.

• Proses optimasi meta ICL berbagi tampilan ganda dengan penyempurnaan yang secara eksplisit memperbarui parameter model dengan gradien yang disebarkan kembali.

• Kami dapat menerjemahkan algoritme pengoptimalan (seperti SGD dengan Momentum) ke arsitektur Transformer yang sesuai.

Mempekerjakan: aka.ms/GeneralAI

Kami merekrut di semua tingkatan (termasuk peneliti dan pekerja magang FTE)! Jika Anda tertarik untuk bekerja bersama kami dalam Model Fondasi (alias model terlatih berskala besar) dan AGI, NLP, MT, Speech, Document AI, dan Multimodal AI, silakan kirimkan resume Anda ke [email protected].

Lisensi

Proyek ini dilisensikan berdasarkan lisensi yang ditemukan dalam file LISENSI di direktori akar pohon sumber ini.

Kode Etik Sumber Terbuka Microsoft

Informasi Kontak

Untuk bantuan atau masalah dalam menggunakan model terlatih, silakan kirimkan masalah GitHub. Untuk komunikasi lainnya, silakan hubungi Furu Wei ( [email protected] ).