Tim algoritma pencarian Xiaohongshu menerbitkan penelitian terobosan pada konferensi AAAI2024, yang bertujuan untuk memecahkan masalah atribut kotak hitam dan jumlah parameter yang sangat besar dari model bahasa besar dalam tugas penalaran. Tim secara inovatif mengusulkan kerangka kerja baru yang secara efektif meningkatkan kemampuan penalaran model bahasa besar dengan memanfaatkan pengetahuan sampel negatif secara cerdik. Kerangka kerja ini mencakup dua langkah utama: Pelatihan Bantuan Negatif (NAT) dan Peningkatan Kalibrasi Negatif (NCE), yang telah secara signifikan meningkatkan kinerja penerapan model bahasa besar dan memberikan arahan dan ide penelitian baru bagi industri. .
Artikel ini berfokus pada:
Tim algoritma pencarian Xiaohongshu meluncurkan kerangka kerja inovatif di AAAI2024 yang bertujuan untuk memecahkan masalah atribut kotak hitam dan jumlah parameter yang sangat besar dari model bahasa besar dalam tugas inferensi. Kerangka kerja ini berfokus pada penggunaan pengetahuan sampel negatif untuk meningkatkan kemampuan penalaran model bahasa besar, dan mengusulkan langkah-langkah serialisasi seperti Pelatihan Bantuan Negatif (NAT) dan Peningkatan Kalibrasi Negatif (NCE), yang memberikan ide-ide baru untuk kinerja penerapan model bahasa besar .Penelitian yang dilakukan oleh tim Xiaohongshu ini memberikan arah baru untuk memecahkan masalah inferensi model bahasa besar. Strategi pemanfaatan pengetahuan sampel negatif dan metode NAT dan NCE yang diusulkannya layak untuk dipelajari dan diterapkan lebih lanjut. Hal ini menandai kemajuan penting dalam meningkatkan kemampuan penalaran model bahasa besar, dan diharapkan dapat mendorong penerapan model bahasa besar dalam tugas-tugas yang lebih kompleks di masa depan.