Des chercheurs chinois ont proposé une nouvelle méthode d'extension de fenêtre de grand modèle appelée SelfExtended (SE), qui peut tripler la longueur de fenêtre des grands modèles avec seulement quatre lignes de code. Cette technologie révolutionnaire est compatible « plug and play » avec une variété de grands modèles et a fait ses preuves sur les modèles Mistral et Llama2. Grâce à la méthode SE, les performances des grands modèles dans le traitement des tâches de texte long ont été considérablement améliorées, résolvant efficacement le problème de dépassement de limite de codage rencontré par les grands modèles lors du traitement de textes longs. Cela offre de nouvelles orientations et possibilités aux grands modèles pour gérer des tâches complexes de texte long.
Des chercheurs chinois ont publié une nouvelle méthode d'extension de fenêtre de grand modèle, SelfExtended (SE en abrégé), qui peut tripler la longueur de la fenêtre des grands modèles avec seulement quatre lignes de code. SE est une méthode "plug and play" qui peut s'adapter à tout grand modèle, et a été testée avec succès sur Mistral et Llama2. Après avoir utilisé le traitement SE, les performances du modèle dans les tâches de texte long sont considérablement améliorées. SE utilise deux mécanismes d'attention pour résoudre le problème de dépassement de limite de codage rencontré par les grands modèles lors du traitement de textes longs.
L'émergence de la méthode SelfExtended (SE) offre une solution simple et efficace au problème du traitement de textes longs dans les grands modèles. Sa fonctionnalité "plug and play" la rend également facile à appliquer à divers grands modèles, démontrant sa grande praticité. et de larges perspectives d'application. À l’avenir, l’amélioration et le perfectionnement des méthodes SE apporteront davantage de possibilités au développement de la technologie des grands modèles.